Yhtenäisen analytiikka-arkkitehtuurin suunnittelu musiikin tekijänoikeusjärjestölle

Abstract

Musiikkiteollisuuden digitalisoituminen ja suoratoistopalveluiden kasvu ovat moninkertaistaneet tekijänoikeusjärjestöjen käsittelemät datamäärät. Kasvavat datavolyymit ja pirstaleiset tietolähteet asettavat merkittäviä haasteita järjestöjen analytiikkaympäristöille. Tämän diplomityön tavoitteena oli suunnitella suomalaiselle musiikin tekijänoikeusjärjestölle moderni pilvipohjainen analytiikka-arkkitehtuuri. Työn taustalla oli kohdeorganisaation uuden operatiivisen järjestelmän käyttöönotto, joka uhkasi jakaa analytiikkadatan kahteen erilliseen ympäristöön ja luoda data-arkkitehtuuriin rakenteellisen siilon.

Tutkimus toteutettiin laadullisena tapaustutkimuksena, johon yhdistettiin suunnittelututkimuksen lähestymistapa. Työn teoreettinen viitekehys rakentui pilvilaskennan, modernien tietovarastointimenetelmien ja Microsoft Azure -pilviekosysteemin ympärille. Empiirinen aineisto kerättiin analysoimalla organisaation nykyistä järjestelmäarkkitehtuuria sekä haastattelemalla ulkopuolisia data-arkkitehtejä alan parhaiden käytäntöjen tunnistamiseksi.

Tutkimuksen tuloksena kehitettiin yhtenäinen data lakehouse -arkkitehtuurimalli, joka pohjautuu Azure Databricks -palveluun ja Unity Catalog -hallintakerrokseen. Ehdotetussa ratkaisussa vanhojen lähdejärjestelmien data noudetaan Azure Data Factoryn avulla uuteen Databricks-ympäristöön, jossa se on saumattomasti yhdistettävissä uuden operatiivisen järjestelmän tuottamaan dataan ristiinkyselyiden avulla. Arkkitehtuuri siirtää datan mallinnuksen ja raskaat muunnokset raportointikerroksesta keskitetylle tietokantatasolle.

Arkkitehtuuriehdotus ratkaisee organisaatiota uhanneen datan siiloutumisen ja yksinkertaistaa merkittävästi raportointikerroksen ylläpidettävyyttä. Palvelimettomaan SQL-laskentaan ja objektitallennukseen perustuva malli poistaa perinteisten kytkettyjen relaatiotietokantojen resurssirajoitteet, tarjoten dynaamisen skaalautuvuuden ja kustannustehokkuuden. Lisäksi ratkaisu mahdollistaa keskitetyn käyttöoikeuksien hallinnan ja parantaa järjestelmän vikasietoisuutta. Arkkitehtuurimallin looginen toimivuus ja liiketoiminnallinen arvo todennettiin asiantuntijatyöpajassa, jonka pohjalta tunnistettiin myös konkreettiset jatkokehityskohteet järjestelmän teknistä implementointia varten.

The digitalization of the music industry and the growth of streaming services have multiplied the data volumes processed by collective management organizations (CMO). Growing data volumes and fragmented data sources pose significant challenges to the analytics environments of these organizations. The objective of this master's thesis was to design a modern, cloud-based analytics architecture for a Finnish music CMO. The background of the study was the implementation of a new operational system in the target organization, which threatened to divide analytics data into two separate environments and create a structural silo within the data architecture.

The study was conducted as a qualitative case study combined with a Design Science Research approach. The theoretical framework was built around cloud computing, modern data warehousing methods, and the Microsoft Azure cloud ecosystem. Empirical data was collected by analyzing the organization's current system architecture and interviewing external data architects to identify industry best practices.

As a result of the study, a unified data lakehouse architecture model was developed, based on the Azure Databricks service and the Unity Catalog governance layer. In the proposed solution, data from legacy source systems is extracted using Azure Data Factory into the new Databricks environment, where it can be seamlessly combined with data generated by the new operational system through cross-queries. The architecture shifts data modeling and heavy transformations from the reporting layer to a centralized database level.

The proposed architecture resolves the threat of data siloing and significantly simplifies the maintainability of the reporting layer. The model, based on serverless SQL computing and object storage, eliminates the resource constraints of traditional coupled relational databases, offering dynamic scalability and cost-efficiency. Furthermore, the solution enables centralized access control and improves system fault tolerance. The logical functionality and business value of the architectural model were evaluated in an expert workshop, which also served to identify concrete further development areas for the technical implementation of the system