Test automation and AI

Abstract

Over the past years artificial intelligence has been in the growing hype, and the expectations towards it are high. There is a desire to use AI in all areas, including testing and test automation. The results of this study can be used to get a general overview of how AI is currently being used in test automation.

This paper examines both the status of AI in test automation as well as the test automation activities in which AI is currently being utilized. It also investigates how AI is implemented into software testing projects including the potential, benefits, and limitations of implementing AI. Additionally, the required skills and tools are discussed, and the future of AI is evaluated.

The theoretical part of the thesis is mainly based on topical articles about test automation, artificial intelligence, and quality assurance. In this thesis, a wide variety of materials has been used as references and the aim has been to rely on the most up-to-date theories. The research was done as a qualitative case study for a Finnish company that focuses on the design and development of digital services with around 200 experts in testing. For the research, 5 interviews were conducted remotely via Microsoft Teams and face-to-face meetings using a predetermined set of questions. Interviews were held in March 2024, which is why the results reflect the situation in spring 2024 within the case company.

The most important research results reveal that regardless of the high expectations of AI in test automation, it is not completely utilized yet. There are still ethical considerations, regulations, and security aspects, that must be clarified before companies are willing to give their critical data to AI. According to the results, AI is currently mainly used in test scripting and test planning tasks only. Potential for AI is seen as high, and that AI can be used in all test automation activities in the future.

Viime vuosina tekoäly on ollut kasvavan kiinnostuksen kohteena, ja siihen kohdistuvat odotukset ovat korkealla. Tekoälyä halutaan käyttää kaikilla aloilla, myös testauksessa ja testiautomaatiossa. Tämän tutkimuksen tulosten avulla saadaan yleiskuva siitä, miten tekoälyä käytetään tällä hetkellä testiautomaatiossa.

Tässä tutkielmassa tarkastellaan tekoälyn asemaa testiautomaatiossa ja sitä, missä testiautomaatiotoiminnoissa tekoälyä hyödynnetään tällä hetkellä. Tutkielmassa tutkitaan myös, miten tekoäly jalkautetaan ohjelmistotestausprojekteihin, sekä tekoälyn käytön mahdollisuuksia, hyötyjä ja rajoituksia. Lisäksi käsitellään tarvittavia taitoja ja työkaluja sekä arvioidaan tekoälyn tulevaisuutta.

Tutkielman teoriaosuus perustuu pääasiassa ajankohtaisiin artikkeleihin, jotka käsittelevät testausautomaatiota, tekoälyä ja laadunvarmistusta. Tutkielmassa on käytetty monipuolisesti erilaisia aineistoja lähteinä, ja tavoitteena on ollut tukeutua mahdollisimman ajankohtaisiin teorioihin. Tutkimus on tehty kvalitatiivisena tapaustutkimuksena suomalaiselle digitaalisten palveluiden suunnitteluun ja kehittämiseen keskittyvälle yritykselle, jossa on noin 200 testauksen asiantuntijaa. Tutkimusta varten tehtiin 5 haastattelua etänä Teamsin kautta ja kasvokkain käyttäen ennalta määriteltyä kysymyssarjaa. Haastattelut pidettiin maaliskuussa 2024, minkä vuoksi tulokset kuvastavat kevään 2024 tilannetta case- yrityksessä.

Tärkeimmät tutkimustulokset paljastavat, että vaikka tekoälyyn kohdistuu suuria odotuksia, sitä ei vielä hyödynnetä täysin testiautomaatiossa. Vielä on eettisiä pohdintoja, säännöksiä ja turvallisuuskysymyksiä, jotka on selvitettävä ennen kuin yritykset ovat valmiita antamaan kriittistä dataansa tekoälyn käyttöön. Tulosten mukaan tekoälyä käytetään tällä hetkellä pääasiassa vain testiskriptaus- ja testaussuunnittelutehtävissä. Tekoälyn potentiaalia pidetään korkeana, ja nähdään, että tekoälyä voidaan käyttää tulevaisuudessa kaikissa testiautomaatioaktiviteeteissa.