Hamiltonian Monte Carlo and non-Gaussian random field priors for x-ray tomography

Abstract

Solving a statistical inverse problem requires selecting an appropriate prior distribution to model the phenomenon in question and using numerical algorithms, like MCMC methods, to calculate the estimates in practise. Some of the priors are more rarely used and their practical applicability are not yet fully known. On the other hand, MCMC methods based on Hamiltonian mechanics are becoming an alternative to adaptive Metropolis-Hastings methods in complex and high-dimensional distributions. However, a comprehensive comparison of the priors and MCMC methods in high dimensions has not been made so far. In this thesis, four common random field priors and three MCMC methods suitable to high-dimensional posterior distributions are tested in the case of two-dimensional X-ray tomography. We utilise L-BFGS algorithm to calculate maximum a posteriori estimates and MCMC methods to estimate conditional mean and variance estimates for the reconstructed object. Out of the priors, Cauchy difference prior looks to be the most promising one. The most obvious difference between Hamiltonian Monte Carlo and Metropolis-Hastings methods is in their calculated variance estimates. The run times of Hamiltonian Monte Carlo methods are rather sensitive to the used step size. It can be that the methods come into their own in nonlinear problems, in which the component-wise Metropolis-Hastings is ineffective.

Tilastollisen käänteisongelman ratkaiseminen vaatii tarkoituksenmukaisen priorijakauman valitsemista ja sopivien numeeristen työkalujen, kuten MCMC-menetelmien, käyttämistä. Kaikkien priorien käyttökelpoisuutta erilaisissa tilanteissa ei vielä täysin tunneta. Toisaalta Hamiltonin mekaniikkaan perustuvat MCMC-menetelmät ovat mielenkiintoinen vaihtoehto adaptiivisille Metropolis-Hastings -algoritmeille erityisesti monimutkaisten korkeaulotteisten jakaumien tapauksessa. Kattavaa vertailua prioreista ja MCMC-algoritmeista juuri korkeissa ulottuvuuksissa ei ole kuitenkaan tehty. Tässä diplomityössä vertaillaan neljää yleistä satunnaiskenttäprioria ja kolmea MCMC-menetelmää tavanomaisessa röntgentomografiassa. Työssä käytetään L-BFGS-algoritmia MAP-estimaattien ja MCMC-menetelmiä CM- sekä varianssiestimaattien laskemiseen. Testatuista prioreista Cauchyn differenssipriori vaikuttaa lupaavimmalta. Näkyvin ero Hamiltonin Monte Carlon ja Metropolis-Hastingsin välillä on niiden laskemissa varianssiestimaateissa. Hamiltonin Monte Carlo -menetelmien ajoajat riippuvat paljon käytetystä askelkoosta. Voi olla, että menetelmät pääsevät paremmin oikeuksiinsa epälineaarisissa ongelmissa, joissa komponenttikohtainen Metropolis-Hastings -algoritmi toimii huonosti.