Tietovaraston raportointitaulujen optimointi pilvialustalla

Abstract

Pilvialustalla sijaitseva tietovarastointi on kasvavassa määrin yritysten suosima tietovarastointiratkaisu, joka on tuonut uudenlaisia haasteita vastaan. Eräs näistä on pilvialustojen käytön mukaan laskutettavien kulujen optimointi, johon tämä tutkimus liittyy. Tämä toimeksi-antona tehty diplomityö sai alkunsa organisaatiossa meneillään olevasta kolmannen osapuolen ylläpitämän on-premise tietovarastointiratkaisun siirrosta organisaation hallinnoimalle pilvialustalle. Pilvitietovaraston käyttökustannukset halutaan pitää alhaisina, ja tätä varten tarvitaan tietoa vaikuttavista tekijöistä.

Tutkimuksen tavoitteena oli selvittää pilvitietovarastossa sijaitsevien raportointitaulujen kyselyjen optimointitavat kulujen ja nopeuden osalta sekä muunto- että tallennusvaiheessa. Muuntovaiheen optimoinnin pääteltiin liittyvän tehokkaan SQL:n käyttämiseen muunto-operaatioissa. Tehokkaat SQL-pohjaiset muunto-operaatiot selvitettiin kirjallisuuskatsauksella ja nämä, SQL-kieltä, tehostavat keinot koottiin taulukkoon.

Tallennusvaiheen optimoinnin selvitystä varten luotiin ensin kirjallisuuskatsaus optimointi-keinoihin ja tämän pohjalta luotiin vuokaavio, joka pyrkii ohjaamaan optimaaliseen raportointitaulun tallennustapaan kyselyjen kannalta. Vuokaaviota testattiin simuloinnin kautta. Lisäksi suorituskykytulosten kautta pääteltiin, ohjaako vuokaavio aina optimaaliseen raportointitaulun tallennustapaan.

Tutkimuksen tulokset sisältävät koottua tietoa tekijöistä, jotka vaikuttavat pilvitietovaraston raportointitaulujen optimointiin, sekä tallennustapaa ohjaavan vuokaavion. Vuokaavio onnistui lähes aina ohjaamaan optimaaliseen tallennustapaan, mutta muutamassa tapauksessa vain tehostamaan tallennusmuotoa kyselyjen kannalta.

Data warehousing located on cloud platforms is increasingly becoming a preferred solution for companies, bringing along new challenges. One of these challenges is optimizing the costs billed according to the usage of cloud platforms, which is the focus of this research. This master's thesis originated from an ongoing migration of a third-party maintained on-premises data warehousing solution to the organization's managed cloud platform. The objective is to keep the cost level of the cloud data warehouse usage low, requiring insights into factors affecting this.

The aim of the research was to investigate optimization methods for reporting tables located in the cloud data warehouse in terms of costs and speed, both in the transformation and storage phase concerning queries. From the optimization of the transformation phase, it was inferred to be associated with the efficient use of SQL. Efficient SQL-based transformation operations were identified through a literature review of previous studies, and these SQL-enhancing methods were compiled into a table.

For the investigation of storage phase optimization, a literature review of optimization methods was conducted, and based on this, a flowchart was created aiming to guide towards an optimal storage method for reporting tables from a query perspective. The flowchart was tested through simulation of its usage and performance results were analyzed to determine if the flowchart consistently guides towards an optimal storage method for reporting tables.

The results of the study provide compiled information on factors influencing the optimization of cloud data warehouse reporting tables, as well as a flowchart guiding the storage method. The flowchart almost always succeeded in directing towards the optimal storage method, but in a few cases, it only enhanced the storage format from a query perspective.