Cross-domain transfer learning for predicting ESG ratings

Abstract

Transfer learning is a machine learning paradigm used for creating models for situations where a feasible amount of data is not available. This thesis evaluates the usage of transfer learning in cross-country environmental, social, and governance (ESG) rating prediction using corporate financial figures, and this is done by building machine learning models trained on Finnish corporate figures and tested on Danish observations. Three different regression model architectures are evaluated with RMSE, R², and adjusted R² scores while also analysing how these metrics change as the target domain knowledge is added to the training dataset with the different models. The Finnish and Danish corporate financial figures between 2010 and 2024 were gathered from the Refinitiv database, and the target variable was the Refinitiv ESG score. The models evaluated in this research were linear regression, lasso regression, and ridge regression.

With linear and lasso regression, the transfer learned models managed to outperform both of the baseline models used, while with the ridge regression the transfer learned models were not as dominant. The linear regression model experienced the highest performance increase as the target domain exposure was increased, while also having the worst performance during the first transfer learning iterations. The lasso regression resulted in the most consistent and reliable results in this research setting. This thesis provides an overview of a possible use case for a transfer learning procedure by comparing different models’ performance and by pointing out crucial insights for building predictive machine learning models in the context of transfer learning.

Siirto-oppiminen on koneoppimisen malli, jota käytetään mallien rakentamiseen tilanteissa, joissa soveltuvaa dataa ei ole riittävästi saatavilla. Tässä tutkimuksessa arvioidaan siirto-oppimisen käyttöä maidenvälisen vastuullisuusluokitusten ennustuksessa yritysten talouslukujen avulla kouluttamalla koneoppimismalleja suomalaisten yrityksien informaatiolla ja testaamalla näitä malleja tanskalaisten yrityksien arvoihin. Tässä tutkimuksessa vertaillaan kolmea erilaista regressiomalliarkkitehtuuria keskimääräisen neliöjuurivirheen (RMSE), R² arvon sekä korjatun R² arvon avulla arvioiden samalla miten nämä arvot muuttuvat, kun tanskalaisten yrityksien informaatiota lisätään suomalaisen koulutusdataan. Tutkimuksessa käytetty data sisältää suomalaisten ja tanskalaisten yrityksien talouslukuja vuosien 2010 ja 2024 väliltä ja se on kerätty Refinitiv-tietokannasta. Kohdemuuttujana käytettiin Refinitivin vastuullisuusarvoa. Tässä tutkimuksessa arvioitavat mallit olivat lineaarinen regressio, lasso regressio sekä ridge regressio.

Lineaarisen ja lasso regression kanssa siirto-opetetut mallit onnistuivat tuottamaan parempia ennustuksia kuin vertailumallit kun taas ridge regression kohdalla siirto-oppiminen ei ollut yhtä hallitseva strategia. Lineaarisen regression mallit kokivat suurinta ennustustehokkuuden parantumista, kun kohdedomainin altistusta kasvatettiin samalla kun tämän mallin kanssa ennustusteho oli selkeästi heikoin ensimmäisten siirto-opetettujen iteraatioiden aikana. Lasso regressio tuotti johdonmukaisimpia sekä luotettavimpia tuloksia tässä tutkimusympäristössä. Tämä tutkimus tarjoaa yleiskatsauksen siirto-oppimismenetelmien mahdollisista käyttötapauksista vertaamalla eri mallien suorituskykyä ja tuomalla esiin keskeisiä kriittisiä seikkoja siirto-oppimisen hyödyntämisessä.