Predicting changes in profitability with machine learning models

Abstract

In this thesis, the performance of different machine learning models in predicting changes in profitability is examined. The study investigates how various machine learning models perform against each other, which is the optimal machine learning model for each profitability metric, and which variables are important for the models in predicting the change in different profitability metrics. The dataset consists of European publicly listed companies with sufficient data available from 2007 to 2019. The model results are evaluated using the mean and variance of different metrics. In the empirical part machine learning models were evaluated for predicting profitability measures using a sliding walk-forward validation approach, where each model was run with different feature sets that varied by including or excluding lagged profitability metrics and economic variables. The results show that the models perform quite similarly. Notably, the models seemed to generally struggle when predicting changes in Cash flows from operations. Notably, most models, especially the Random Forest, consistently delivered more stable evaluation metrics, with higher accuracy, lower log loss, and AUC scores compared to the others. The optimal variables were the core profitability variables and integration of model-specific additional features can further enhance forecasting accuracy.

Tässä tutkielmassa tutkitaan eri koneoppimisen mallien suoriutumista toisiinsa kannattavuuden muutoksen ennustamisessa. Tutkielmassa selvitetään, miten eri koneoppimisen mallit suoristuvat verrattuna toisiinsa, mikä on optimaalisin koneoppimisen malli kullekin kannattavuuden mittarille ja sitä, mitkä muuttajat nousevat tärkeiksi malleille eri kannattavuuden mittarin muutoksen ennustamisessa. Tutkielman aineisto koostuu eurooppalaisista julkilistatuista yhtiöistä, joista on ollut saatavilla tarpeeksi tietoa vuosilta 2007–2019. Mallien tuloksia arvioidaan eri mittareiden keskiarvolla ja varianssilla. Empiirisessä osassa koneoppimismalleja arvoitiin kannattavuusmittareiden ennustamiseksi käyttäen liukuvaa walk-forward-validointimenetelmää, jossa kukin malli koulutettiin erilaisilla muuttujajoukolla, jotka vaihtelivat sisällyttämällä tai jättämällä pois viivästetyt kannattavuusmittarit ja taloudelliset muuttujat. Tulokset osoittavat, että mallit toimivat melko samalla tavalla. Mallit näyttivät yleisesti ottaen olevan vaikeuksissa ennustettaessa liiketoiminnan rahavirtojen muutoksia. Useimmat mallit, erityisesti satunnaismetsä, antoivat johdonmukaisesti vakaampia arviointimittareita, joiden tarkkuus, logaritminen häviö ja AUC-pisteet olivat paremmat kuin muilla malleilla. Optimaaliset muuttujat olivat kannattavuusmittareiden muuttujat, mutta myös yksittäiset muuttujat voivat parantaa mallikohtaisesti tuloksia.