Improving the accuracy of time-of-flight camera -based floor height estimation in mixed reality head-mounted displays

Abstract

In recent years, the use of mixed reality headsets has gained a lot of popularity in several applications ranging from creative design work to implementation of complex training procedures. To ensure a pleasant user experience, it is important that the floor height of the headset is precisely defined. The objective of this thesis was to improve the floor height estimation algorithm of the Varjo XR-3 mixed reality headset. The floor height estimation of the headset is based on using a time-of-flight camera. Typical sources of error of time-of-flight cameras were first investigated by reviewing recent publications in the field. Then, attempts were made to correct the most significant systematic error sources found. For this purpose, two separate correction models were created. The performance of the developed correction models was experimentally estimated. After applying both of the corrections, the absolute maximum error between the calculated floor height estimates and the ground truth was greatly reduced. Based on the results the work was successful and the accuracy of the floor height estimation was significantly improved. Further research is required especially to make the algorithm work for different floor materials.

Viime vuosina sekoitetun todellisuuden lasien käyttö on kasvattanut suosiotaan useissa sovelluksissa, kuten esimerkiksi luovassa suunnittelutyössä sekä erilaisten monimutkaisten koulutusprosessien toteuttamisessa. Miellyttävän käyttökokemuksen varmistamiseksi on tärkeää, että sekoitetun todellisuuden lasien korkeus lattiasta on määritelty tarkasti. Tämän opinnäytetyön tavoitteena oli parantaa Varjo XR-3 -lasien lattiakorkeuden arviointialgoritmia. Lasien lattiakorkeuden arviointi perustuu lentoaikakameran käyttöön. Aluksi tutkittiin lentoaikakameroiden tyypillisiä virhelähteitä tarkastelemalla alan viimeaikaisia julkaisuja. Merkittävimmät löydetyt järjestelmälliset virhelähteet pyrittiin korjaamaan luomalla kaksi erillistä korjausmallia. Kehitettyjen korjausmallien suorituskykyä arvioitiin kokeellisesti. Molempien korjausten soveltamisen jälkeen absoluuttinen maksimivirhe laskettujen lattiakorkeusarvioiden sekä todellisen lattiakorkeuden välillä pieneni huomattavasti. Tulosten perusteella työ onnistui; lattiakorkeuden arvioinnin tarkkuus parani merkittävästi. Lisätutkimusta tarvitaan erityisesti, jotta algoritmi saataisiin toimimaan erilaisilla lattiamateriaaleilla.