Data mesh : a holistic examination of its principles, practices, and potential

Abstract

As business becomes digitized and the amount of data increases rapidly, organizations need new data and analytics solutions to maintain business growth. Therefore, one of the most important strategic goals of many enterprises is to become a data-driven organization. At the same time, the primary challenges of becoming a data-driven organization are organizational – culture, people, processes, or organization, not technology.

In this thesis, the data platform architecture, its development, and the data mesh are studied. The main objective of the thesis is to describe the differences between the current data architecture and the data mesh, as well as what practices and what kind of changes are needed in organizations to implement the data mesh. In addition, various data professionals were interviewed in this thesis to obtain their experiences of the most common data project challenges and to find out if data mesh could help to solve them.

While the current data architecture is a technology focused, the data mesh is primarily an organization's approach to how an organization should think about and manage data on a large scale. Although the creation of data culture is seen as even more important than the technology itself, it is clear that the right technology and data platform are needed so that the different areas of the organization can follow the data mesh effectively. While data mesh does not solve the primary challenges of data projects, it can help organizations enhance other common challenges in data projects, such as data quality, make data more accessible to users, foster collaboration, clarify roles and responsibilities, increase the value of data, and reduce data-related costs and risks.

Liiketoiminnan digitalisoituessa ja tiedon määrän kasvaessa nopeasti on selvää, että organisaatiot tarvitsevat uusia data- ja analytiikka ratkaisuja ylläpitääkseen liiketoiminnan kasvua. Siksi yksi monien yritysten tärkeimmistä strategisista tavoitteista on tulla tietovetoiseksi organisaatioksi. Samaan aikaan tietovetoiseksi organisaatioksi tulemisen tärkeimmät haasteet ovat organisatorisia, eli ne liittyvät kulttuuriin, ihmisiin, prosesseihin tai organisaatioon, eivät teknologiaan.

Tässä diplomityössä tutkitaan tietoalusta-arkkitehtuuria, sen kehitystä sekä data mesh konseptia. Työssä tavoitteena on kuvata nykyisen tietoalusta-arkkitehtuurin ja data meshin eroja sekä mitä käytäntöjä ja minkälaisia muutoksia organisaatioissa tarvitaan data mesh -konseptin toteuttamiseen. Lisäksi työssä haastateltiin eri rooleissa toimivia data- ammattilaisia, joilta kerättiin kokemuksia yleisimmistä dataprojektien haasteista ja mielipiteitä data mesh ajattelutavan pääperiaatteista. Tämän tavoitteena oli selvittää, että voisiko data mesh auttaa haastateltavien kertomissa haasteissa.

Siinä missä nykyinen tietoarkkitehtuuri on teknologiapainotteinen, data mesh on ensisijaisesti organisatorinen lähestymistapa siihen, kuinka organisaation tulisi ajatella ja hallita dataa suuressa mittakaavassa. Vaikka tietokulttuurin luominen nähdään jopa tärkeämpänä kuin itse teknologia, on selvää, että oikea teknologia ja tietoalusta tarvitaan, jotta organisaation eri toimialueet voivat seurata data meshiä tehokkaasti. Vaikka data mesh ei ratkaise dataprojektien ensisijaisia haasteita, on sen avulla mahdollista parantaa muita dataprojekteihin liittyviä haasteita. Näihin kuuluvat muun muassa tiedon laadun parantaminen, datan tuominen helpommin käyttäjien saataville, yhteistyön edistäminen, roolien ja vastuiden selkeyttäminen, datan arvon lisääminen sekä dataan liittyvien kustannusten ja riskien vähentäminen.