Meta-learning with adaptive neuro-fuzzy inference system for time series forecasting model selection
Tuunainen, Valeri (2020)
Pro gradu -tutkielma
Tuunainen, Valeri
2020
School of Business and Management, Kauppatieteet
Kaikki oikeudet pidätetään.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe2020062545750
https://urn.fi/URN:NBN:fi-fe2020062545750
Tiivistelmä
The focus of this thesis is to utilize time series’ features in order to achieve better forecasting performance. Adaptive Neuro-Fuzzy Inference System (ANFIS) is used to acquire a fuzzy rule base, predicting the accuracy of individual forecasting models based on the features extracted from time series. With multiple such rule bases, one for every forecasting model, the expected best performing model can be selected based on the highest predicted accuracy.
The model set used in this study includes naïve, seasonal naïve, random walk with drift, Theta, neural net and Holt exponential smoothing. Mean absolute scaled error (MASE) and symmetrical mean absolute percentage error (sMAPE) are used for evaluating these models. Most important features are selected with various dimensionality reduction algorithms.
According to the results, ANFIS succeeds in individual model selection by providing a lower average error with respect to using a single forecasting model on a dataset of multiple time series. The best performance is acquired on a dataset with both seasonal and nonseasonal time series and both discrete and continuous features, where ANFIS has an average MASE error of 1.6017 compared to 1.9497 for random model selection and 1.6796 for best performing single model, resulting in 17.85 % and 4.63% lower errors respectively. Tämän tutkielman tarkoitus on hyödyntää aikasarjadatan ominaispiirteitä parempien tulosten aikaansaamiseksi aikasarjamallintamisessa. Adaptive Neuro-Fuzzy Inference System (ANFIS) -algoritmia hyväksi käyttäen löydetään sumea sääntöpohja, joka ennustaa yksittäisen aikasarjamallin tarkkuutta tietyllä aikasarjalla hyödyntäen kyseisen aikasarjan ominaispiirteitä. Useilla tällaisilla sääntöpohjilla voidaan valita jokaiselle aikasarjalle parhaiten ennustava aikasarjamalli korkeimman ennustetun tarkkuuden perusteella.
Tutkimuksessa käytetään seuraavia aikasarjamallintamisen algoritmeja: naive, seasonal naive, random walk with drift, Theta, neuroverkko ja Holt. Näiden mallien ennustetarkkuuden laskemisessa käytetään keskimääräistä absoluuttista skaalattua virhettä (MASE) sekä symmetristä keskimääräistä absoluuttista prosentuaalista virhettä (sMAPE). Tärkeimmät aikasarjojen ominaisuudet valitaan erilaisilla valinta-algoritmeilla.
Tulosten perusteella ANFIS-metodologia onnistuu aikasarjamallin valinnassa saavuttamalla paremman ennustetarkkuuden kuin yksikään yksittäinen ennustemalli aikasarjajoukolla. Parhaat tulokset saavutetaan aikasarjajoukolla, jonka seassa on sekä kausittaista että tavallista aikasarjaa ja ominaispiirrejoukossa on jatkuvia sekä epäjatkuvia muuttujia. Tällöin saavutettu MASE on 1.6017, mikä on 17.85 % parempi kuin täysin satunnaisella aikasarjamallin valinnalla ja 4.63% parempi kuin parhaan yksittäisen mallin tulos.
The model set used in this study includes naïve, seasonal naïve, random walk with drift, Theta, neural net and Holt exponential smoothing. Mean absolute scaled error (MASE) and symmetrical mean absolute percentage error (sMAPE) are used for evaluating these models. Most important features are selected with various dimensionality reduction algorithms.
According to the results, ANFIS succeeds in individual model selection by providing a lower average error with respect to using a single forecasting model on a dataset of multiple time series. The best performance is acquired on a dataset with both seasonal and nonseasonal time series and both discrete and continuous features, where ANFIS has an average MASE error of 1.6017 compared to 1.9497 for random model selection and 1.6796 for best performing single model, resulting in 17.85 % and 4.63% lower errors respectively.
Tutkimuksessa käytetään seuraavia aikasarjamallintamisen algoritmeja: naive, seasonal naive, random walk with drift, Theta, neuroverkko ja Holt. Näiden mallien ennustetarkkuuden laskemisessa käytetään keskimääräistä absoluuttista skaalattua virhettä (MASE) sekä symmetristä keskimääräistä absoluuttista prosentuaalista virhettä (sMAPE). Tärkeimmät aikasarjojen ominaisuudet valitaan erilaisilla valinta-algoritmeilla.
Tulosten perusteella ANFIS-metodologia onnistuu aikasarjamallin valinnassa saavuttamalla paremman ennustetarkkuuden kuin yksikään yksittäinen ennustemalli aikasarjajoukolla. Parhaat tulokset saavutetaan aikasarjajoukolla, jonka seassa on sekä kausittaista että tavallista aikasarjaa ja ominaispiirrejoukossa on jatkuvia sekä epäjatkuvia muuttujia. Tällöin saavutettu MASE on 1.6017, mikä on 17.85 % parempi kuin täysin satunnaisella aikasarjamallin valinnalla ja 4.63% parempi kuin parhaan yksittäisen mallin tulos.