Stochastic variational inference and Bayesian neural network priors for inversion

Abstract

Inverse problems are computational problems in which, using a known forward model, an unknown property is solved from measured data caused by the unknown in interest. Inversion, in general, is considered ill-posed, which causes the solutions to be unstable if applicable regularization is not used. Regularization can be done with the Bayesian framework, in which the solution is found by updating random variables and well-designed prior information to posterior distribution using the likelihood function.

In various inverse problems, the unknown is a function, and thus, the prior is also constructed in a function space. In this thesis, the prior functions are created using Bayesian neural networks with parameters endowed with α-stable prior distributions. Because of the large number of parameters, sampling the posterior on the Bayesian neural network is slow with traditional Markov chain Monte Carlo methods. We propose the usage of stochastic variational inference to perform inversion with neural network priors efficiently.

We study the proposed method in deconvolution inverse problems. Stochastic variational inference proved to be an efficient alternative to traditional posterior sampling when constructing neural network priors in applications where the reconstruction needs to be done within time limits.

Inversio-ongelmat ovat laskennallisia ongelmia, joissa tunnetun suoran mallin ja mitatun datan avulla ratkaistaan tuntematon ominaisuus, josta mitattu data riippuu. Inversio-ongelmat ovat huonosti aseteltuja ongelmia, mikä johtaa epästabiileihin ratkaisuihin, jos tarvittavaa regularisointia ei ole tehty. Regularisointia voi käyttää Bayesilaista lähestymistapaa, jossa ratkaisua etsitään muodostamalla posteriorijakauma satunnaismuuttujien, a priori -tiedon ja todennäköisyysfunktion avulla.

Usein inversio-ongelmissa ratkaistava ominaisuus on funktio, jolloin priori-tiedon tulee myös olla funktioavaruudessa. Tässä työssä priorifunktiot muodostetaan käyttäen Bayesilaista neuroverkkoa, jonka parametreilla on α-stabiilit priorijakaumat. Neuroverkoilla on suuri määrä parametreja, minkä takia Bayesilaisen neuroverkon posteriorijakauma on hidasta muodostaa perinteisten Markovin ketju Monte Carlo -menetelmien avulla. Tässä työssä ehdotamme stokastisen variaatioinferenssin käyttöä neuroverkon painojen posteriorin muodostamiseen.

Tutkimme esiteltyä lähestymistapaa dekonvoluutio-ongelman avulla. Työssä näytetään stokastisen variaatioinferenssin olevan tehokas vaihtoehto perinteisille metodeille neuroverkkoprioreja käytettäessä erityisesti, kun ratkaisu tulee löytää aikarajoitteiden puitteissa.