Regression-based credit risk modelling : a case study on the German Credit dataset

Abstract

This thesis examines which applicant characteristics are most strongly associated with credit risk and how different regression models can be used to estimate the probability of being classified as a bad credit risk. The analysis uses the Statlog German Credit Data, which contains 1000 credit applicants described by their demographic, financial, and credit-related variables and a binary target variable that indicates good or bad credit risk. Ordinary Least Squares (OLS) regression is first used as a baseline model. The reduced OLS is then expanded by Tikhonov regularization to examine multicollinearity and the stability of the model. Finally, a logistic regression model is estimated and evaluated using a stratified train-test split, classification accuracy, confusion matrices, and a ROC curve.

The results show that credit-related variables and the financial characteristics of the applicants are the strongest predictors of credit risk. Longer loan durations, larger credit amounts, and higher installment rates are associated with a higher likelihood of being classified as a bad credit risk. Checking account status and savings categories also show meaningful associations with credit risk classification. Demographic characteristics, such as age, have a milder effect, with age showing a statistically significant negative association in the reduced logistic model, while foreign worker applicants have a strong association with higher estimated credit risk. The reduced OLS model explains about a quarter of the variation in the target variable, and the Tikhonov-regularized model’s coefficients are essentially unchanged, indicating the model’s stability. The reduced logistic regression model achieves an accuracy of approximately 0.74 at the 0.5 threshold and an area under the ROC curve of 0.78, suggesting that the model is capable of capturing key patterns in credit risk evaluation.

Tässä tutkielmassa tarkastellaan, mitkä lainahakijoiden ominaisuudet ovat vahvimmin yhteydessä luottoriskiin ja miten regressiomalleilla voidaan arvioida huonoksi luottoriskiksi luokittelun todennäköisyyttä. Empiirinen analyysi perustuu Statlog German Credit -aineistoon, joka sisältää 1000 luotonhakijaa; hakijoita kuvataan demografisilla, taloudellisilla ja luottohistoriaa kuvaavilla muuttujilla sekä kohdemuuttujalla, joka ilmaisee, luokitellaanko hakija hyväksi vai huonoksi luottoriskiksi. Pienimmän neliösumman menetelmä (PNS) toimii lähtötason mallina, jota täydennetään Tikhonov-regularisoinnilla vakauden arvioimiseksi, ja logistista regressiota arvioidaan ositetulla (stratifioidulla) 70/30 opetus-testaus jaolla, sekaannusmatriiseilla (confusion matrix) ja ROC-käyrällä.

Tulokset osoittavat, että lainaan ja hakijoiden taloudelliseen asemaan liittyvät muuttujat ovat vahvimpia luottoriskin selittäjiä: pidemmät laina-ajat, suuremmat luottomäärät ja korkeammat maksuerät sekä käyttötilin tila ja säästöluokat ovat yhteydessä suurempaan riskiin. Iän vaikutus on maltillisempi ja negatiivinen pelkistetyssä logistisessa mallissa, kun taas ulkomaalaisen työntekijän indikaattori on vahvasti yhteydessä korkeampaan arvioituun luottoriskiin. OLS-malli selittää noin neljäsosan kohdemuuttujan vaihtelusta, ja Tikhonov-regularisoidun mallin kertoimet pysyvät käytännössä muuttumattomina. Pelkistetyn logistisen mallin luokittelutarkkuus 0,5 määrittelytasolla on noin 0,74 ja ROC AUC noin 0,78.