Backtesting expected shortfall in Nordic stock markets

Abstract

The study’s primary target is to participate in the debate that is the Expected Shortfall (ES) backtestable. It has been proved that ES is not elicitable, meaning that the ES does not have a penalty function for its forecast in the sense that the expectation of a perfect forecast would minimize the penalty function. Theoretically, that means non-elicitable statistics are not backtestable. The non-elicitability finding triggered a discussion that should Basel Committee stipulate ES being the primary risk measure given the backtesting issue. Later, a joint-loss function of Value-at-Risk (VaR) and ES is shown to be elicitable, making the ES backtestable together with VaR. In recent years, elicitability’s relevance to backtesting has been questioned. Elicitability property is shown to be the required property for a model selection rather than model validation. Basel Committee has stipulated ES to be the primary risk measure for banks. The Committee has not proposed a backtest for ES so far, making ES backtesting a crucial topic to research.

Several ES backtests have been suggested in the literature. Seven of them are utilized in the empirical part of the study. The backtests are used to test six VaR and ES estimation models: parametric normal distribution and t-distribution methods, and GARCH and GJR models relying on normal and t-distribution. The sample data spans from 2011 to 2020, making a 10-year testing period. Three primary Nordic stock indices, namely, OMXH25, OMXS30, and OMXC20 are used separately. Results are presented for every year, which makes an extensive set of backtesting results. The main finding was that ES backtesting does not pose any practical issues.

The empirical results show that minimally biased backtests are able to separate appropriately and poorly performing ES estimation models. Those backtests are built to incorporate the effect of faulty VaR forecasts causing more prudential ES backtest. GARCH and GJR models which use t-distribution were the best performing forecasting models. Parametric normal and t-distribution methods turned out to be unsuitable. Models relying on t-distribution yielded more promising forecasts compared to normal distribution.

Tutkimuksen tavoitteena on osallistua keskusteluun siitä, onko odotettu vaje (ES) toteumatestattavissa. On todistettu, että ES ei ole konsistentisti pisteytyvä, mikä tarkoittaa, että ES:llä ei ole sellaista virhefunktiota sen ennusteille, mikä minimoisi virhefunktion odotusarvon täydellisellä ennusteella. Teoreettisesti tämä tarkoittaa, että toteumatestaus ES:lle ei ole mahdollista. Konsistentisti pisteytyvän ominaisuuden puuttuminen käynnisti keskustelun siitä, pitäisikö Basel komitean määrätä ES riskimittariksi toteumatestausongelmasta huolimatta. Yhteisen Value-at-Risk (VaR) ja ES virhefunktion on todistettu olevan konsistentisti pisteytyvä, jolloin ES voidaan toteumatestata yhdessä VaR:n kanssa. Konsistentisti pisteytettävyyden merkitys toteumatestauksessa on kyseenalaistettu viime vuosina. Tämän on näytetty olevan oleellinen ominaisuus mallin valintaan eikä mallin validointiin liittyen. Basel komitea on määrännyt ES:n pankkien pääriskimittariksi. Komitea ei ole julkaissut toteumatestiä ES:lle, joten ES:n toteumatestaus on tärkeä tutkimusaihe.

Aiemmassa kirjallisuudessa on esitetty useita ES toteumatestejä. Niistä seitsemän on implementoitu tutkimuksen empiriaosuudessa. Toteumatestaus tehdään kuudelle mallille: parametrisestä normaali- ja t-jakaumasta sekä GARCH- ja GJR-mallien normaali- ja t-jakaumista. Aineisto on kerätty vuosilta 2011–2020 ja tutkimuksessa käytetään kolmea pohjoismaiden johtavaa osakeindeksiä erikseen: OMXH25-, OMXS30-, ja OMXC20-indeksejä. Tulokset esitetään vuosittain, joten toteumatestauksen tuloksia esitetään merkittävä määrä. Tutkimuksen tärkeä havainto oli se, että ES:n toteumatestaus ei aiheuta käytännöllisiä ongelmia.

Empiiriset tulokset näyttävät minimaalisesti harhautuneiden toteumatestien pystyvän erottelemaan asianmukaisesti ja heikosti toimivat ES:n estimointimallit. Nämä toteumatestit ottavat huomioon virheellisten VaR ennusteiden vaikutuksen aiheuttaen vaativamman toteumatestin. GARCH- ja GJR-mallit, jotka käyttävät t-jakaumaa olivat parhaat ennustusmallit. Parametriset normaali- ja t-jakauma menetelmät osoittautuivat epäsopiviksi. Mallit, jotka hyödynsivät t-jakaumaa, tuottivat lupaavampia ennusteita verrattuna normaalijakauman mukaisiin malleihin.