Anomaly detection in business metric monitoring
Kettunen, Joni E. (2021)
Diplomityö
Kettunen, Joni E.
2021
School of Engineering Science, Tuotantotalous
Kaikki oikeudet pidätetään.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe2021060935934
https://urn.fi/URN:NBN:fi-fe2021060935934
Tiivistelmä
In the digitalizing world, the amount of data transferred exceeds the human ability to study it manually. This is also the case for business metrics since data volume and the number of metrics to monitor is rapidly increasing. The era of big data raises requirements for new methodologies and tools that can be used to leverage expert opinion in the decision-making progress. Anomaly detection is one of the most common data analysis methods that can be used to get useful and often critical actionable insights from the big data.
This study delivers a clear picture of the current state of the art in business metrics anomaly detection. First anomalies in business metrics are explained as a phenomenon and literature review is conducted on the methodologies for finding anomalies as well as for existing solutions that are used to monitor business metrics at scale. Based on the findings an anomaly detection tool was developed to monitor business metrics organization wide.
The findings of the literature review as well as evidence from the implemented automated anomaly detection tool indicate that simple timeseries modelling methods for anomaly detection can provide significant business value, when used in large scale. Primary challenge in an automated business metric anomaly detection tool is the human factor in scalability which can be overcome with an intuitive user interface and fine selection of anomaly detection algorithms. The results of this study can be leveraged across industries in every company where the number of business metrics has overpassed the analyst’s capability to monitor each one separately. Digitalisoituvassa maailmassa siirretyn datan määrä ylittää ihmisen kyvyn analysoida sitä manuaalisesti. Liiketoimintametriikoiden tapauksessa datan volyymi ja metriikoiden määrä lisääntyy nopeasti. Massadatan aikakausi asettaa uusia vaatimuksia työkaluille ja menetelmille, joita käytetään asiantuntijoiden ilmiöalueosaamisen hyödyntämiseen päätöksenteossa. Poikkeavuuksien tunnistaminen on yksi yleisimmistä data-analyysi työkaluista, jota voidaan käyttää antamaan hyödyllisiä ja usein kriittisiä oivalluksia massadatasta.
Tämä tutkielma antaa selkeän kuvan moderneista menetelmistä liiketoimintametriikoiden poikkeavuuksien tunnistamisessa. Aluksi poikkeavuudet liiketoimintametriikoissa esitetään ilmiönä ja kirjallisuuskatsausta hyödynnetään löytämään metodeita poikkeavuuksien tunnistamiseen yksimuuttujaisissa aikasarjoissa. Kirjallisuuskatsausta näistä metodeista sekä tutkielmia aikaisemmista toteutuksista poikkeavuuksien tunnistamisessa suuressa mittakaavassa hyödynnettiin kehittämään työkalua, jota voidaan käyttää liiketoimintametriikoiden monitorointiin koko organisaation laajuudessa.
Kirjallisuuskatsauksen löydökset ja käytännön opit kehitetystä automaattisen poikkeavuuksien tunnistamisen työkalusta osoittavat, että poikkeavuuksien tunnistaminen voi antaa merkittävää lisäarvoa liiketoiminnalle, kun työkalua käytetään suuressa mittakaavassa. Päähaaste automaattisessa poikkeavuuksien tunnistamisen työkalussa on inhimilliset tekijät ratkaisun skaalautuvuudessa, jotka voidaan ratkaista intuitiivisella käyttöliittymällä ja oikealla valikoimalla poikkeavuuksien tunnistamis algoritmeja. Tämän työn lopputuloksia voidaan hyödyntää eri toimialoilla kaikissa yrityksissä, joissa liiketoimintametriikoiden määrä on ylittänyt analyytikoiden kyvyn monitoroida jokaista metriikkaa erikseen.
This study delivers a clear picture of the current state of the art in business metrics anomaly detection. First anomalies in business metrics are explained as a phenomenon and literature review is conducted on the methodologies for finding anomalies as well as for existing solutions that are used to monitor business metrics at scale. Based on the findings an anomaly detection tool was developed to monitor business metrics organization wide.
The findings of the literature review as well as evidence from the implemented automated anomaly detection tool indicate that simple timeseries modelling methods for anomaly detection can provide significant business value, when used in large scale. Primary challenge in an automated business metric anomaly detection tool is the human factor in scalability which can be overcome with an intuitive user interface and fine selection of anomaly detection algorithms. The results of this study can be leveraged across industries in every company where the number of business metrics has overpassed the analyst’s capability to monitor each one separately.
Tämä tutkielma antaa selkeän kuvan moderneista menetelmistä liiketoimintametriikoiden poikkeavuuksien tunnistamisessa. Aluksi poikkeavuudet liiketoimintametriikoissa esitetään ilmiönä ja kirjallisuuskatsausta hyödynnetään löytämään metodeita poikkeavuuksien tunnistamiseen yksimuuttujaisissa aikasarjoissa. Kirjallisuuskatsausta näistä metodeista sekä tutkielmia aikaisemmista toteutuksista poikkeavuuksien tunnistamisessa suuressa mittakaavassa hyödynnettiin kehittämään työkalua, jota voidaan käyttää liiketoimintametriikoiden monitorointiin koko organisaation laajuudessa.
Kirjallisuuskatsauksen löydökset ja käytännön opit kehitetystä automaattisen poikkeavuuksien tunnistamisen työkalusta osoittavat, että poikkeavuuksien tunnistaminen voi antaa merkittävää lisäarvoa liiketoiminnalle, kun työkalua käytetään suuressa mittakaavassa. Päähaaste automaattisessa poikkeavuuksien tunnistamisen työkalussa on inhimilliset tekijät ratkaisun skaalautuvuudessa, jotka voidaan ratkaista intuitiivisella käyttöliittymällä ja oikealla valikoimalla poikkeavuuksien tunnistamis algoritmeja. Tämän työn lopputuloksia voidaan hyödyntää eri toimialoilla kaikissa yrityksissä, joissa liiketoimintametriikoiden määrä on ylittänyt analyytikoiden kyvyn monitoroida jokaista metriikkaa erikseen.