ETL-prosessin laadunvarmistusvastuut
Loppukaarre, Niilo (2023)
Diplomityö
2023
School of Engineering Science, Tuotantotalous
Kaikki oikeudet pidätetään.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe2023061354414
https://urn.fi/URN:NBN:fi-fe2023061354414
Tiivistelmä
Tutkimus keskittyy ETL-prosessiin ja sen läpivirtaavan datan laadunvarmistuskäytänteisiin ja niiden vastuuttamiseen. Laadunvarmistuskäytänteet käsittävät validoimis-, verifioimisprosessit ja ETL-prosessin testaamisen. Tutkimus toteutettiin viranomaisraportoinnin osastolla suomalaisessa finanssialan organisaatiossa. Tutkimukseen kuului osaston laajuinen kyselytutkimus ja kohdennettuja asiantuntijahaastatteluja.
Laadunvarmistuksen osalta ETL-prosessin kehitysvaiheessa korostuvat testausmenetelmät, kun taas operatiivisessa vaiheessa erilaiset dataan suoritettavat kontrollit ja monitoroinnit. Validointi ja verifiointi ovat jatkuvia prosesseja ETL-prosessin käsittelemän datan laadukkuuden varmistamiseksi jokaisessa ETL-prosessin elinkaaren vaiheessa Laadunvarmistamistoimia tulee suorittaa datalle aina lähdejärjestelmästä viimeiselle hyödyntäjälle asti.
ETL-prosessin parissa työskentelee lukuisia eri rooleissa toimivia henkilöitä. Tutkimus selvitti, miten erilaiset ETL-prosessin liittyvät laadunvarmistamisvastuut tulisi jakautua ja millaisia toimia suoritettaan missäkin roolissa. Roolikohtaiset vastuut käsittävät ETL-prosessin koko elinkaaren. Selkeästi määritellyt kontrollointi- ja monitorointivastuut takaavat nopean reagoinnin mahdollisiin teknisiin ja laadullisiin ongelmiin.
Tutkimuksen lopputuloksena syntyi ETL-prosessin laadunvarmistuksen vastuumalli, joka määrittää roolikohtaiset laadunvarmistus vastuut niin kehittämisen yhteydessä kuin operatiivisessa vaiheessa. Vastuumalli on lähtökohtaisesti tuotettu organisaation hyödynnettäväksi viranomaisraportointitiimeissä. The research focuses on the ETL process and its data quality assurance practices. Quality assurance practices encompass validation, verification processes, and testing of the ETL process. The research was conducted in the regulatory reporting department of a Finnish financial organization. The research involved a department-wide survey and targeted expert interviews.
In terms of quality assurance, testing methods are emphasized during the development phase of the ETL process, while various data controls and monitoring activities are performed during the operational phase. Validation and verification are continuous processes to ensure the quality of the data processed by the ETL process at each stage of its lifecycle. Quality assurance activities should be performed on the data from the source system to the final user.
The ETL process involves individuals in various roles. The study investigated how the responsibilities related to data quality assurance in separate roles of the ETL process should be distributed and what actions should be taken in each role. Role-specific responsibilities encompass the entire lifecycle of the ETL process. Clearly defined monitoring and control responsibilities in the ensure prompt response to any technical and quality issues.
As a result of the research, the process model for quality assurance and testing of the ETL process was implemented that defines role-specific quality assurance responsibilities both during the development phase and the operational phase. The process model is primarily intended for the organization's use but can also be applied more generally.
Laadunvarmistuksen osalta ETL-prosessin kehitysvaiheessa korostuvat testausmenetelmät, kun taas operatiivisessa vaiheessa erilaiset dataan suoritettavat kontrollit ja monitoroinnit. Validointi ja verifiointi ovat jatkuvia prosesseja ETL-prosessin käsittelemän datan laadukkuuden varmistamiseksi jokaisessa ETL-prosessin elinkaaren vaiheessa Laadunvarmistamistoimia tulee suorittaa datalle aina lähdejärjestelmästä viimeiselle hyödyntäjälle asti.
ETL-prosessin parissa työskentelee lukuisia eri rooleissa toimivia henkilöitä. Tutkimus selvitti, miten erilaiset ETL-prosessin liittyvät laadunvarmistamisvastuut tulisi jakautua ja millaisia toimia suoritettaan missäkin roolissa. Roolikohtaiset vastuut käsittävät ETL-prosessin koko elinkaaren. Selkeästi määritellyt kontrollointi- ja monitorointivastuut takaavat nopean reagoinnin mahdollisiin teknisiin ja laadullisiin ongelmiin.
Tutkimuksen lopputuloksena syntyi ETL-prosessin laadunvarmistuksen vastuumalli, joka määrittää roolikohtaiset laadunvarmistus vastuut niin kehittämisen yhteydessä kuin operatiivisessa vaiheessa. Vastuumalli on lähtökohtaisesti tuotettu organisaation hyödynnettäväksi viranomaisraportointitiimeissä.
In terms of quality assurance, testing methods are emphasized during the development phase of the ETL process, while various data controls and monitoring activities are performed during the operational phase. Validation and verification are continuous processes to ensure the quality of the data processed by the ETL process at each stage of its lifecycle. Quality assurance activities should be performed on the data from the source system to the final user.
The ETL process involves individuals in various roles. The study investigated how the responsibilities related to data quality assurance in separate roles of the ETL process should be distributed and what actions should be taken in each role. Role-specific responsibilities encompass the entire lifecycle of the ETL process. Clearly defined monitoring and control responsibilities in the ensure prompt response to any technical and quality issues.
As a result of the research, the process model for quality assurance and testing of the ETL process was implemented that defines role-specific quality assurance responsibilities both during the development phase and the operational phase. The process model is primarily intended for the organization's use but can also be applied more generally.