Large scale data ingestion pipelines for energy industry using AWS

Abstract

Data is becoming increasingly important to industries. Industries can’t just use data to be more profitable, but they rather depend on it. This Master’s Thesis answers questions on what are the characteristics of industrial IoT data, and how the data ingestion can be done using AWS managed services. There is an abundance of industrial IoT data. Moreover, data volumes will continue increasing in future as transition towards more frequent sampling rates is ongoing. Cost mitigations are needed with big data volumes, and e.g. descriptive naming might come with a hefty cost over time. As a solution, AWS provides scalable managed services to build fault tolerant data ingestion pipelines in a serverless manner. It is also advisable to design components and pipelines in a way that those can be easily replaced with better ones - AWS is evolving quickly and you want to get the most out of it.

Datasta on tulossa yhä tärkeämpää teollisuudelle. Teollisuuden menestys on riippuvaista datan käytöstä, eikä sitä voida enää ajatella vain yhtenä tapana tulosten parantamiseen. Tämä diplomityö vastaa kysymyksiin siitä, mitkä ovat teollisen IoT-datan ominaisuuksia ja kuinka datan kerääminen voidaan toteuttaa käyttämällä AWS:n hallinnoimia palveluja. Teollista IoT-dataa on runsaasti. Datan määrä lisäksi jatkaa kasvuaan tulevaisuudessa, kun siirrytään entistä tiheämpiä mittaustaajuksia kohti. Kustannussäästöjä tarvitaan käsiteltäessä suuria datamääriä. Esimerkiksi kuvaileva nimeämiskäytäntö saattaa tulla ajan myötä kalliiksi. AWS tarjoaa skaalautuvia hallittuja palveluita vikasietoisten tiedonkeräys putkien rakentamiseen palvelimettomalla tavalla. Komponentit ja putket kannattaa myös suunnitella siten, että ne voidaan helposti vaihtaa parempiin, sillä AWS kehittyy nopeasti ja siitä kannatta ottaa kaikki hyöty irti.