Reconstruction of 3D Planar Objects with Partial Occlusion

Abstract

Kolmiulotteisten kappaleiden rekonstruktio on yksi konenäön haastavimmista ongelmista, koska kappaleiden kolmiulotteisia etäisyyksiä ei voida selvittää yhdestä kaksiulotteisesta kuvasta. Ongelma voidaan ratkaista stereonäön avulla, jossa näkymän kolmiulotteinen rakenne päätellään usean kuvan perusteella. Tämä lähestymistapa mahdollistaa kuitenkin vain rekonstruktion niille kappaleiden osille, jotka näkyvät vähintään kahdessa kuvassa. Piilossa olevien osien rekonstruktio ei ole mahdollista pelkästään stereonäön avulla. Tässä työssä on kehitetty uusi menetelmä osittain piilossa olevien kolmiulotteisten tasomaisten kappaleiden rekonstruktioon. Menetelmän avulla voidaan selvittää hyvällä tarkkuudella tasomaisista pinnoista koostuvan kappaleen muoto ja paikka käyttäen kahta kuvaa kappaleesta. Menetelmä perustuu epipolaarigeometriaan, jonka avulla selvitetään molemmissa kuvissa näkyvät kappaleiden osat. Osittain piilossa olevien piirteiden rekonstruointi suoritetaan käyttämäen stereonäköä sekä tietoa kappaleen rakenteesta. Esitettyä ratkaisua voitaisiin käyttää esimerkiksi kolmiulotteisten kappaleiden visualisointiin, robotin navigointiin tai esineentunnistukseen.

The problem of 3D reconstruction is one of the most challenging problem in computer vision, because of impossibility to estimate the distances between 3D objects using only 2D image information. The problem can be solved by stereo vision approach, that refers to the ability to infer information about 3D structure of a scene from several images. However, this approach enables to reconstruct only the features, visible at least on two images. For occluded features the reconstruction using only stereo vision approach is impossible. In this work an innovative method for reconstruction of 3D planar objects with partial occlusion has been developed. Method allows to restore the shape and position of a 3D planar object, based on two stereo images of a scene, with high level accuracy. The method relies on the epipolar geometry concept which is used for the reconstruction of visible features. The reconstruction of occluded features exploits both the stereo vision approach and knowledge about the structure of object. These kind of solutions can be widely applied, for example, in the 3D visualization of hidden objects, robot navigation, and stereo photogrammetry.