Numerical sampling of selected stochastic processes

Abstract

Stochastic processes are elegant tools in modeling systems that contain uncertainty. They can be used as priors in probabilistic models or Bayesian neural networks. In this thesis we numerically sample stochastic process to gain insight into their behaviour and the theory behind the said behaviour.

The processes we examine are the Gaussian process, log-Gaussian process, log-Gaussian Cox process and log-Gaussian gamma process. We go through the theory behind the methods how they are generated and how they differ from each other. The method used revolves around random number generation, covariance functions and matrices, and Cholesky decomposition. We explain how these tools are used in this application. The Cholesky-Crout algorithm for computing the decomposition is also presented.

The effects of different covariance functions and their parameters are discussed and illustrated with numerical examples. With the two commonly used covariance functions, the squared exponential and exponential covariance functions the samples are in stark contrast, infinitely differentiable and only continuous respectively. The above covariance functions are special cases of the more general Matérn covariance function, which can be either of the aforementioned functions near the extremities of the parameter range and something in between otherwise.

Stokastiset prosessit ovat joustavia työkaluja epävarmuutta sisältävien systeemien mallintamisessa. Niitä voidaan käyttää priorijakaumina todennäköisyysmalleissa tai bayesiläisissa neuroverkoissa. Tässä työssä otoistetaan numeerisesti stokastisia prosesseja tavoitteena saada tietoa niiden käyttäytymisestä. Työssä käsitellään myös stokastisten prosessien käyttäytymisen teoriaa.

Tutkittavat prosessit ovat gaussinen prosessi, log-gaussinen prosessi, log-gaussinen Cox-prosessi ja log-gaussinen gamma-prosessi. Työssä käydään läpi teoriaa näiden menetelmien taustalla, miten ne on otoistettu ja miten ne eroavat toisistaan. Prosessien numeeristen realisaatioiden otoistamiseen tarvittaviin menetelmiin kuuluu satunnaislukugenerointi, prosessinkovarianssifunktio ja -matriisi sekä Choleskyn hajotelma. Työssä esitetään näiden työkalujen käyttö prosessien otoistamisessa. Työssä myös esitellään ja implementoidaan Choleskyn ja Croutin algoritmi hajotelman laskemiseksi.

Eri kovarianssifunktioiden ja niiden parametrien vaikutuksia käsitellään ja havainnollistetaan numeerisilla esimerkeillä. Kahden yleisesti käytetyn kovarianssifunktion, neliöidyn eksponentiaalikfunktion ja eksponentiaalifunktion, otokset ovat suuresti erilaisia ensimmäisen ollessa äärettömästi derivoituva ja jälkimmäinen vain jatkuva. Yllä mainitut kovarianssifunktiot ovat erityistapauksia yleisemmästä Matérn-kovarianssifunktiosta, joka voi parametrien määrittelyjoukon ääripäissä olla jompikumpi edellä mainituista funktioista tai jotain siltä väliltä.