Clustering and prediction with a Gaussian process mixture model

Abstract

Gaussian processes provide a powerful Bayesian approach to many machine learning tasks. Unfortunately, their application has been limited by the cubic computational complexity of inference. Mixtures of Gaussian processes have been used to lower the computational costs and to enable inference on more complex data sets. In this thesis, we investigate a certain finite Gaussian process mixture model and its applicability to clustering and prediction tasks. We apply the mixture model on a multidimensional data set that contains multiple groups. We perform Bayesian inference on the model using Markov chain Monte Carlo. We find the predictive performance of the model satisfactory. Both the variances and the trends of the groups are estimated well, bar the issues caused by poor clustering. The model is unable to cluster some of the groups properly and we suggest improving the prior of the mixing proportions or incorporating more prior information as remedies for the issues in clustering.

Gaussiset prosessit ovat Bayesilainen koneoppimismenetelmä, jota on sovellettu menestykkäästi useilla eri aloilla. Gaussisten prosessien hyödyntämistä on kuitenkin rajoittanut niiden algoritminen kompleksisuus. Yksi tavoista, joilla laskentatehovaatimuksia on pyritty alentamaan, ovat Gaussisten prosessien yhdisteet. Tässä diplomityössä tutkitaan erään Gaussisten prosessien yhdisteen tehokkuutta klusteroinnissa ja ennustuksessa. Yhdistemallin avulla tutkitaan moniulotteista, ryhmittynyttä dataa. Mallin parametreja ja dataa tutkitaan käyttäen Markovin ketju Monte Carlo -algoritmia. Ennustuksessa malli suoriutuu hyvin, mikäli se pystyy erottelemaan samankaltaisen datan omaksi ryhmäkseen. Klusteroinnissa mallin tehokkuus todetaan puutteelliseksi eikä se kykene erottelemaan kaikkia datan ryhmiä toisistaan. Ryhmien ja niille koulutettavien Gaussisten prosessien tarkempi mallinnus todetaan mahdolliseksi kehityskohteeksi.