Data degradation as a result of uncontrolled data hoarding

Abstract

This thesis describes the ever-increasing prevalence of organisations filled with collected data and files, called data hoarding, and its effects on the quality of data in the form of data degradation. Data hoarding is increasingly more common because of the sheer amount of data collected from various sources, such as smart devices and various sensors. A lot of this data is collected without consideration and simply for the sake of it. This study examines the completeness, relevancy and consistency of the United States Department of Education College Scorecard dataset to analyse how data hoarding can cause data degradation, how it can be prevented, and the challenges to preventing it. The results of the study show that data hoarding indeed causes data degradation, slowing down processes. It is also concluded that data quality depends heavily on the use cases for the data, and determining which data is no longer useful is usually not a simple task. Different data types with different use cases require different data quality measurements.

Tässä opinnäytetyössä kuvaillaan yhä yleistyvämpää ilmiötä, jossa organisaatiot keräävät ja tallentavat valtavia määriä dataa ja tiedostoja nimeltään datan hamstraus, sekä sen vaikutuksia datan laatuun datan rappeutumisen muodossa. Datan hamstraus on yhä yleisempää, koska eri lähteistä, kuten älylaitteista ja erilaisista antureista kerätään valtavia määriä dataa. Suuri osa tästä datasta kerätään ajattelemattomasti pelkästään keräämisen vuoksi. Tässä tutkimuksessa tarkastellaan Yhdysvaltain opetusministeriön College Scorecard -datasetin datan täydellisyyttä, ajankohtaisuutta ja yhtenäisyyttä. Työssä analysoidaan, miten datan kerääminen voi aiheuttaa datan rappeutumista, miten sitä voidaan estää ja mitä haasteita on sen estämisessä. Tutkimuksen tulokset osoittavat, että datan kerääminen todella aiheuttaa datan laadun heikkenemistä hidastaen prosesseja. Tutkimuksessa todetaan myös, että datan laatu riippuu suuresti datan käyttötarkoituksista ja ei ole aina helppoa määrittää, mikä data on vielä hyödyllistä. Erilaiset datatyypit erilaisilla käyttötarkoituksilla edellyttävät erilaisia datan laadun mittaustapoja.