Empirical likelihoods for intractable likelihood models

Abstract

Standard Bayesian inference is infeasible when likelihood functions are intractable due to factors such as model stochasticity, chaos, or high dimensionality. Several methods have been suggested for such cases, such as approximate Bayesian computation. The Bayesian Synthetic Likelihood (BSL) approach addresses the problem by constructing the likelihood using summary statistics that are assumed to follow a normal distribution. Traditional summary statistics require tuning parameters, making their efficient application laborious. This thesis studies the performance of a likelihood that requires minimal tuning: the empirical cumulative distribution function (eCDF) and the Chamfer distance. In addition to raw data, the eCDF is constructed using features derived from the original data: the correlation integral likelihood, intrinsic dimension nearest-neighbor ratios, and finite differences. The study examines the impact of these summaries on parameter estimation efficiency and accuracy. These methods are tested on three models of increasing complexity: the Ornstein-Uhlenbeck process, the Lorenz 63 system, and Nicholson's Blowfly model.

The results indicate that augmenting the empirical cumulative distribution function and correlation integral likelihood with first-order differences is the most effective strategy, significantly improving estimation accuracy. While intrinsic dimension ratios enhanced parameter identifiability in the chaotic Lorenz 63 system and the Chamfer distance reduced uncertainty for specific parameters in the Lorenz 63 and Blowfly models, their general applicability remains an open question for future research. The study concludes that combining empirical cumulative distribution statistics with finite differences offers a robust, computationally efficient, and almost tuning-free approach for parameter estimation across various intractable likelihood models.

Perinteinen bayesiläinen päättely on usein mahdotonta matemaattisille malleille, joiden uskottavuus on hankalasti laskettavissa esimerkiksi mallin stokastisuuden, kaoottisuuden tai korkeaulotteisuuden vuoksi. Tällaisiin tapauksiin on ehdotettu useita menetelmiä, kuten likimääräinen bayesilainen laskenta. Bayesilainen synteettinen uskottavuus (BSL) ratkaisee ongelman muodostamalla uskottavuuden tunnuslukujen avulla, joiden oletetaan noudattavan normaalijakaumaa. Perinteiset tunnusluvut tarvitsevat viritysparametreja, mikä tekee niiden tehokkaasta soveltamisesta työlästä. Tässä tutkielmassa tarkastellaan minimaalista virittämistä vaativan uskottavuuden suorituskykyä hyödyntäen empiiristä kertymäfunktiota (eCDF) ja Chamfer-etäisyyttä. Raakadatan lisäksi eCDF muodostetaan käyttämällä alkuperäisestä datasta johdettuja piirteitä: korrelaatiointegraaliuskottavuutta, sisäisen dimension lähimmän naapurin suhdelukuja ja numeerista derivaattaa. Tutkimuksessa tarkastellaan näiden tunnuslukujen vaikutusta parametriestimoinnin tehokkuuteen ja tarkkuuteen. Menetelmiä testataan kolmella monimutkaisuudeltaan kasvavalla mallilla: Ornstein-Uhlenbeck-prosessi, Lorenz 63 -systeemi ja Nicholsonin Blowfy-malli.

Tulokset osoittavat, että empiirisen kertymäfunktion ja korrelaatiointegraalin täydentäminen ensimmäisen asteen differenssillä on tehokkain strategia, parantaen merkittävästi estimaattien tarkkuutta. Vaikka luontaisen ulottuvuuden suhdeluvut paransivat parametrien tunnistettavuutta kaoottisessa Lorenz 63 -systeemissä ja Chamfer-etäisyys vähensi epävarmuutta tietyissä parametreissa Lorenz 63- ja Blowfly-malleissa, niiden yleinen sovellettavuus jää avoimeksi kysymykseksi tulevaa tutkimusta varten. Tutkimuksessa todetaan, että empiirisen kertymäfunktion tunnuslukujen yhdistäminen äärellisiin erotuksiin tarjoaa vakaan, laskennallisesti tehokkaan ja lähes viritysvapaan lähestymistavan parametrien estimointiin erilaisissa hankalan uskottavuuden malleissa.