Deep generative models for facial keypoints detection

Abstract

A new area of machine learning research called deep learning, has moved machine learning closer to one of its original goals: artificial intelligence and general learning algorithm. The key idea is to pretrain models in completely unsupervised way and finally they can be fine-tuned for the task at hand using supervised learning. In this thesis, a general introduction to deep learning models and algorithms are given and these methods are applied to facial keypoints detection. The task is to predict the positions of 15 keypoints on grayscale face images. Each predicted keypoint is specified by an (x,y) real-valued pair in the space of pixel indices. In experiments, we pretrained deep belief networks (DBN) and finally performed a discriminative fine-tuning. We varied the depth and size of an architecture. We tested both deterministic and sampled hidden activations and the effect of additional unlabeled data on pretraining. The experimental results show that our model provides better results than publicly available benchmarks for the dataset.

Syväoppiminen (deep learning) on uusi koneoppimisen tutkimussuuntaus, joka on tuonut koneoppimista lähemmäs sen alkuperäisiä tavoitteita: tekoälyä ja yleistä oppimisalgoritmia. Syväoppimisen keskeisenä ajatuksena on, että mallit aluksi koulutetaan ohjaamattomasti ja tämän jälkeen ne voidaan hienosäätää ohjatusti tiettyä tehtävää varten. Tässä työssä esitellään syväoppimismalleja ja algoritmeja ja näitä menetelmiä sovelletaan kasvonpiirteiden tunnistamiseen. Tehtävänä on tunnistaa 15 kasvojen avainpistettä mustavalkokuvista. Jokainen avainpiste on määritetty (x,y) reaaliarvoparilla kuvan pikseliavaruudessa. Kokeissa esiopetettiin deep belief verkkoja (DBN), joille lopuksi tehtiin erotteleva hienosäätö. Arkkitehtuurin syvyyttä ja kokoa vaihdeltiin. Esiopetuksessa tutkittiin deterministisiä ja otannalla saatujen piilokerrosten aktivointeja sekä merkitsemättömän lisädatan vaikutusta. Kokeellisten tulosten perusteella malli suoriutuu paremmin kuin datajoukolle julkisesti saatavilla olevat vertailukohdat.