Face recognition in the wild

Abstract

Face Recognition is a rapidly developing field of technology with advances in terms of both software and hardware. It has a number of potential applications, especially in the fields of security and access control. Despite the constant development, there are still challenges met e.g. in distinguishing accurately between twins, dealing with partially visible or small faces, and working under low-light conditions. Especially, these challenges are present when face recognition is done in the wild. To address these challenges, in this thesis, we have studied the possible enhancement of face recognition performance using a domain-specific custom dataset and a Super-Resolution technique. These results were compared to face recognition done with the off-the-shelf solutions Multi-task Cascaded Convolutional Neural Network (MTCNN) for face detection and a pre-trained FaceNet- system for face classification.

For the purpose of comparison, a full-face recognition pipeline was developed by collecting a custom database, using two 30-second-long videos of each of the 18 volunteer participants. These images were used to train a custom iteration of FaceNet for face recognition. To further enhance the performance of the custom model, a SR method CodeFormer was used for the low-quality material found by the MTCNN used for face detection. A comprehensive comparison was made to evaluate the possible gain in performance. The evaluation of the results shows that the use of the domain-specific custom database significantly improved the performance of the model. Additionally, the use of SR to train the custom model further improved its performance, as compared to the use of the custom data set, whereas using the SR only to test images was found to be harmful to the performance of the custom model. From these results, we came to the conclusion that, from the available options, the superior method was the custom model trained with images enhanced with SR.

Kasvojen tunnistus on nopeasti kehittyvä teknologian ala uusien ohjelmistollisten ja laitteellisten ratkaisujen myötä. Kasvojen tunnistuksella on valtava määrä potentiaalisia käyttökohteita erityisesti turvallisuus- ja kulunvalvonta-alalla. Nopeasta ja jatkuvasta kehityksestä huolimatta ongelmia esiintyy edelleen esimerkiksi kaksosten toisistaan erottamisessa tarkasti, kasvojen näkyessä vain osittain, sekä alhaisessa valaistuksessa. Tällaiset tilanteet tulevat erityisesti esiin, kun kasvojen tunnistusta tehdään luonnollisissa olosuhteissa. Näiden tilanteita varten, tämä kandidaatin tutkielma tutki suorituskyvyn paranemista, kun kasvojen tunnistukseen käytetään käyttökohdekohtaista tietokantaa kasvoista, sekä super- resoluutiota, verrattuna kasvojen tunnistukseen käyttäen valmiiksi koulutettuja ratkaisuja: Multi-task Cascaded Convolutional Neural Network (MTCNN) kasvojen havaitsemiseen ja valmiiksi koulutettu FaceNet systeemi kasvojen tunnistamiseen.

Tätä varten kehitettiin kokonainen kasvojentunnistusjärjestelmä sisältäen tietokannan rakentamisen hyödyntäen 18 vapaaehtoista osallistujaa. Jokaiselta osallistujalta kerättiin kaksi 30 sekunnin mittaista videota. Näistä videoista saaduilla kuvilla koulutettiin räätälöity FaceNet iteraatio kasvojen tunnistukseen. Suorituskyvyn pidemmälle kehittämistä varten käytettiin CodeFormer super-resoluutio menetelmää MTCNN:n löytämien huonolaatuisten kasvoalueiden laadun parantamiseksi. Tutkimuksen tulosten arviointi osoittaa, että käyttökohdekohtainen tietokanta parantaa merkittävästi mallin suorituskykyä verrattuna valmiiksi koulutettuun pohjamalliin. Lisäksi super-resoluution käyttö kouluttamisvaiheessa paransi suorituskykyä entisestään pelkän käyttökohdekohtaisen tietokannan käyttöön verrattuna. Toisaalta huomattiin super-resoluution käytön pelkässä testausvaiheessa huonontavan itsekoulutetun mallin suorituskykyä verrattuna malliin ilman super-resoluutiota. Näistä tuloksista todettiin parhaan ratkaisun olevan käyttökohdekohtaisella tietokannalla koulutettu malli, jonka koulutukseen käytettävät kuvat on parannettu super-resoluutiolla.