Monte Carlo Methods in Parameter Estimation of Nonlinear Models

Abstract

Yksi keskeisimmistä tehtävistä matemaattisten mallien tilastollisessa analyysissä on mallien tuntemattomien parametrien estimointi. Tässä diplomityössä ollaan kiinnostuneita tuntemattomien parametrien jakaumista ja niiden muodostamiseen sopivista numeerisista menetelmistä, etenkin tapauksissa, joissa malli on epälineaarinen parametrien suhteen.

Erilaisten numeeristen menetelmien osalta pääpaino on Markovin ketju Monte Carlo -menetelmissä (MCMC). Nämä laskentaintensiiviset menetelmät ovat viime aikoina kasvattaneet suosiotaan lähinnä kasvaneen laskentatehon vuoksi. Sekä Markovin ketjujen että Monte Carlo -simuloinnin teoriaa on esitelty työssä siinä määrin, että menetelmien toimivuus saadaan perusteltua. Viime aikoina kehitetyistä menetelmistä tarkastellaan etenkin adaptiivisia MCMC menetelmiä. Työn lähestymistapa on käytännönläheinen ja erilaisia MCMC -menetelmien toteutukseen liittyviä asioita korostetaan.

Työn empiirisessä osuudessa tarkastellaan viiden esimerkkimallin tuntemattomien parametrien jakaumaa käyttäen hyväksi teoriaosassa esitettyjä menetelmiä. Mallit kuvaavat kemiallisia reaktioita ja kuvataan tavallisina differentiaaliyhtälöryhminä. Mallit on kerätty kemisteiltä Lappeenrannan teknillisestä yliopistosta ja Åbo Akademista, Turusta.

One of the main tasks in statistical analysis of mathematical models is the estimation of the unknown parameters in the models. In this thesis we are interested, instead of single estimates, in the distributions of the unknown parameters and numerical methods suitable for forming them, especially in cases where the model is nonlinear with respect to the parameters.

From different numerical methods the Markov Chain MonteCarlo (MCMC) methods are especially emphasized. These computationally intensivemethods have become popular in statistical analysis during the last decades, mainly due to increased computational power. The theory of both Markov Chains and Monte Carlo simulations is presented to the extent that is needed in justifying the MCMC methods. From the recently developed methods especially the adaptive MCMC methods are discussed. The approach of the thesis is practical and thus different issues related to the implementation of the MCMC methods are emphasized.

The empirical part of the work consists of five example modelsthat are studied using the methods discussed in the theoretical part. The models describe chemical reactions and are given as ordinary differential equation systems. The models are collected from chemists in Lappeenranta University of Technology (Lappeenranta, Finland) and Åbo Akademi (Turku, Finland).