Automation testing strategy and sustainability in modern CI/CD environments : case study: Helsingin Seudun Liikenne, Business Portal service
Pellinen, Joona (2026)
Diplomityö
2026
School of Engineering Science, Tietotekniikka
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe2026030718767
https://urn.fi/URN:NBN:fi-fe2026030718767
Tiivistelmä
In a modern and accelerating software development environment, processes must be reliable, scalable, and sustainable. Continuous integration and deployment (CI/CD) have enabled a rapid pace of development and releases, but at the same time the role of test automation has become increasingly critical as part of software development. The objective of test automation is to provide fast and reliable feedback, but its implementation includes risks that weaken the stability of test automation in the long term.
The objective of this Master’s thesis is to examine how test automation practices operate in modern CI/CD environments, what risks are associated with them, and how these risks can be managed from the perspective of sustainable and long-term development. The research was conducted as a combination of a literature review and a case study. The literature review examined relevant publications mainly from the current decade. In the case study, the operation of test automation as part of the CI/CD process was analysed, errors and risks affecting its functionality were identified, and corrective actions were carried out.
The results show that the sustainability of test automation in CI/CD environment does not primarily depend on individual tools or methods, but on a strategic approach, the governance of test automation, and the monitoring included with it. Risks appear at the technical, process, and organizational levels, forming an interconnected whole. Observing signals within CI/CD processes proved to be a key factor in managing and preventing the accumulation of technical debt. Modernissa ja kiihtyvässä ohjelmistokehitysympäristössä prosessien tulee olla luotettavia, skaalautuvia ja kestäviä. Jatkuva integraatio ja tuotanto (CI/CD) ovat mahdollistaneet nopean kehitys- ja julkaisutahdin, mutta samalla testiautomaation rooli on muuttunut yhä kriittisemmäksi osaksi ohjelmistokehitystä. Testiautomaation tavoitteena on tuottaa nopeaa ja luotettavaa palautetta, mutta sen toteutus sisältää riskejä, jotka heikentävät testiautomaation vakautta pitkällä aikavälillä.
Tämän diplomityön tavoitteena on tutkia, miten testiautomaatiokäytännöt toimivat moderneissa CI/CD-ympäristöissä, mitä riskejä siihen liittyy, sekä miten näitä riskejä voidaan hallita kestävän ja pitkäaikaisen kehityksen näkökulmasta. Tutkimus toteutettiin kirjallisuuskatsauksen ja tapaustutkimuksen yhdistelmänä. Kirjallisuuskatsauksessa tutkittiin relevantteja kirjallisuusteoksia pääosin nykyiseltä vuosikymmeneltä. Tapaustutkimuksessa analysoitiin testiautomaation toimintaa osana CI/CD-prosessia, ja tunnistettiin sen toimivuuteen sisältyviä virheitä ja riskejä, sekä suoritettiin korjaavia askeleita.
Tulokset osoittavat, että testiautomaation kestävyys CI/CD-ympäristössä ei ensisijaisesti riipu yksittäisistä työkaluista tai menetelmistä, vaan strategisesta lähestymisestä, testiautomaation hallinnoimisesta ja siihen sisältyvästä valvonnasta. Riskit ilmenevät teknisellä, prosessi- ja organisaatiotasolla, ja muodostavat toisiin kytkeytyvän kokonaisuuden. Signaalien havainnoiminen CI/CD-prosesseista osoittautui keskeiseksi tekijäksi teknisen velan hallinnoimisessa ja sen ehkäisemisessä.
The objective of this Master’s thesis is to examine how test automation practices operate in modern CI/CD environments, what risks are associated with them, and how these risks can be managed from the perspective of sustainable and long-term development. The research was conducted as a combination of a literature review and a case study. The literature review examined relevant publications mainly from the current decade. In the case study, the operation of test automation as part of the CI/CD process was analysed, errors and risks affecting its functionality were identified, and corrective actions were carried out.
The results show that the sustainability of test automation in CI/CD environment does not primarily depend on individual tools or methods, but on a strategic approach, the governance of test automation, and the monitoring included with it. Risks appear at the technical, process, and organizational levels, forming an interconnected whole. Observing signals within CI/CD processes proved to be a key factor in managing and preventing the accumulation of technical debt.
Tämän diplomityön tavoitteena on tutkia, miten testiautomaatiokäytännöt toimivat moderneissa CI/CD-ympäristöissä, mitä riskejä siihen liittyy, sekä miten näitä riskejä voidaan hallita kestävän ja pitkäaikaisen kehityksen näkökulmasta. Tutkimus toteutettiin kirjallisuuskatsauksen ja tapaustutkimuksen yhdistelmänä. Kirjallisuuskatsauksessa tutkittiin relevantteja kirjallisuusteoksia pääosin nykyiseltä vuosikymmeneltä. Tapaustutkimuksessa analysoitiin testiautomaation toimintaa osana CI/CD-prosessia, ja tunnistettiin sen toimivuuteen sisältyviä virheitä ja riskejä, sekä suoritettiin korjaavia askeleita.
Tulokset osoittavat, että testiautomaation kestävyys CI/CD-ympäristössä ei ensisijaisesti riipu yksittäisistä työkaluista tai menetelmistä, vaan strategisesta lähestymisestä, testiautomaation hallinnoimisesta ja siihen sisältyvästä valvonnasta. Riskit ilmenevät teknisellä, prosessi- ja organisaatiotasolla, ja muodostavat toisiin kytkeytyvän kokonaisuuden. Signaalien havainnoiminen CI/CD-prosesseista osoittautui keskeiseksi tekijäksi teknisen velan hallinnoimisessa ja sen ehkäisemisessä.