Statistical assessment of neural network prediction reliability

Abstract

Traditionally, to get an estimate of the tree quantities in a forest stand, a human is needed to make the measurements, and this estimate can be used for various applications. In order to reduce the manual work done by a human, a neural network has been developed to predict the quantities of trees in forest stands. The aim of this thesis is to develop a Bayesian neural network to replace the current neural network, which could predict the outputs for the given input data and, in addition, could provide information about the uncertainty of the neural network outputs. With the help of the developed Bayesian neural network, it is possible to evaluate the reliability of the outputs and use this information to reduce manual work. In situations where the predictions produced by the neural network are sufficiently reliable, the available resources can be used for other tasks. On the other hand, if the uncertainty of the predictions given by the neural network is high, the evaluation of the forest stand should be performed by a human. Based on the experiments carried out, the developed Bayesian neural network can predict the values of the quantities considered quite accurately, because the predicted values correspond well to the known reference values. From the posterior distribution given by the Bayesian neural network, the mean values and standard deviations can be calculated for the predictions, and those values can be used to estimate the uncertainty of the obtained predictions.

Perinteisesti metsän ja sen puuston arviointiin tarvitaan ihmisen arvio metsäalueen puuston määrästä, ja tätä arviota voidaan hyödyntää erilaisiin sovelluskohteisiin. Jotta ihmisten tekemää manuaalista työtä saataisiin vähennettyä, on kehitetty neuroverkko ennustamaan metsäalueen puuston ominaisuuksia. Tämän diplomityön tavoitteena on kehittää nykyisen neuroverkon tilalle bayesilainen neuroverkko, joka ennustaa ulostulot syötetylle datalle sekä sen lisäksi antaa tietoa ulostulojen epävarmuudesta. Kehitetyn neuroverkon avulla pystytään arvioimaan saatujen ennusteiden luotettavuutta, ja hyödyntämään tätä tietoa manuaalisen työn vähentämiseen. Sellaisissa tilanteissa, joissa neuroverkon tuottamat tulokset ovat riittävän luotettavia, voidaan käytettävissä olevat resurssit hyödyntää muihin työtehtäviin. Sen sijaan jos neuroverkon antamien ennusteiden epävarmuus on korkea, on metsän puuston arviointi syytä suorittaa ihmisen toimesta. Tehtyjen kokeilujen perusteella bayesilaisella neuroverkolla saadaan ennustettua haluttujen suureiden arvoja melko tarkasti, sillä ennustetut arvot vastaavat tunnettuja referenssiarvoja hyvin. Bayesilaisen neuroverkon antamasta posteriorijakaumasta saadaan laskettua ennusteille keskiarvot ja keskihajonnat, joiden avulla pystytään arvioimaan saatujen ennusteiden epävarmuutta.