Analyzing the performance of statistical and machine-learning time-series forecasting methods : predicting global mobile phone sales

Abstract

This master’s thesis analyzes the performance of statistical and machine-learning time-series forecasting methods in predicting quarterly global mobile phone sales. The objective of the study is to evaluate and compare the short-term forecasting accuracy of these methods, examine what drives the performance differences between them, and understand the robustness and utility of the strongest model. The study tests 10 model variants from five model families (Exponential Smoothing, SARIMA, Prophet, LSTM, and XGBoost) together with two naïve benchmarks.

The models are evaluated on quarterly global mobile phone sales data from 2004 to 2023 using a rolling-origin backtesting framework with forecast horizons of one to four quarters ahead. Model performance is measured with Mean Absolute Percentage Error (MAPE) as the primary metric and the coefficient of determination (R2) as a secondary metric.

The results show a wide range of forecasting accuracy across the model variants. The multivariate XGBoost model achieves the lowest average error, followed by a manually specified SARIMA model and Double Exponential Smoothing. A paired permutation test confirms XGBoost’s advantage over both naïve benchmarks as statistically significant. It is also the only model with a positive average R2 score.

The key takeaway from the empirical results is that model-specific design choices, particularly feature engineering, matter more for forecasting performance than whether a model is classified as statistical or machine-learning. The thesis also proposes the multivariate XGBoost as a potentially viable method for short-term forecasting of quarterly sales in the mobile phone market.

Tämä pro gradu -tutkielma analysoi tilastollisten ja koneoppimiseen perustuvien aikasarjaennustusmenetelmien suorituskykyä globaalin matkapuhelinmyynnin ennustamisessa. Tutkimuksen tavoitteena on arvioida ja vertailla menetelmien lyhyen aikavälin ennustetarkkuutta, tarkastella suorituskykyerojen taustatekijöitä sekä muodostaa käsitys parhaiten suoriutuvan mallin robustisuudesta ja käyttökelpoisuudesta. Tutkimukseen on valittu kymmenen eri mallivarianttia viidestä eri malliperheestä (eksponentiaalinen tasoitus, SARIMA, Prophet, LSTM ja XGBoost) sekä kaksi naiivia vertailumallia.

Mallien suorituskyvyn arviointiin käytetään matkapuhelinten globaalia myyntiä kuvaavaa neljännesvuosittaista dataa vuosilta 2004–2023. Arvioinnissa hyödynnetään liukuvan ennustehetken toteutumatestausta (rolling-origin backtesting), ja ennustehorisontti on yhdestä neljään vuosineljännestä. Mallien suorituskykyä mitataan keskimääräisellä absoluuttisella prosenttivirheellä (MAPE) sekä determinaatiokertoimella (R2).

Tutkimuksen tulokset osoittavat, että ennustetarkkuus vaihtelee mallien välillä huomattavasti. Pienimmän keskimääräisen ennustevirheen saavuttaa monimuuttuja- XGBoost-malli, jota seuraavat manuaalisesti määritetty SARIMA sekä kaksinkertainen eksponentiaalinen tasoitus. Parittainen permutaatiotesti vahvistaa XGBoostin paremmuuden molempiin naiiveihin vertailumalleihin nähden tilastollisesti merkitseväksi. Monimuuttuja- XGBoost on myös ainoa malli, jonka keskimääräinen R2 on positiivinen.

Empiiristen tulosten keskeisin havainto on, että mallikohtaiset valinnat, erityisesti piirteiden suunnittelu (feature engineering), vaikuttavat ennustetarkkuuteen enemmän kuin se, perustuuko malli tilastollisiin menetelmiin vai koneoppimismenetelmiin. Lisäksi tutkimus ehdottaa monimuuttuja-XGBoost-mallia potentiaalisesti käyttökelpoiseksi menetelmäksi matkapuhelinmarkkinoiden neljännesvuosimyynnin lyhyen aikavälin ennustamiseen.