LLM-based agents in software testing : a systematic mapping study

Abstract

This thesis presents a Systematic Mapping Study (SMS) on Large Language Model (LLM)-based agents in software testing. The aim of this study is to explore the usage of these agents, what type of different architectures have been applied in software testing and what advantages or limitations have been reported. The study systematically reviews publications from IEEE Xplore and Springer Nature Link from recent years. 13 studies related to LLM-based agents in software testing were selected for comprehensive analysis.

Results show that LLM-based agents are being applied in various task in the field of software testing, including test case generation, unit testing, debugging, GUI testing and analysis of test cases. Most of the studies included focused on multi-agent architectures which enhance automation, test coverage and accuracy through collaboration between agents and iterative methods used by these agents. Included publications also reported limitations such as scalability, dependency on LLM, prompts and hallucinations. Thesis also covers how traditional test automation has evolved to LLM-based agents.

The thesis concludes that LLM-based are potentially great addition software testing workflows by improving efficiency and automation, but more research is needed to standardize architectures and apply them in large-scale projects and processes.

Tämä opinnäytetyö esittelee systemaattisen kartoitustutkimuksen ohjelmistotestauksessa käytettävistä Large Language Model (LLM) -pohjaisista agenteista. Tutkimuksen tavoitteena on tutkia näiden agenttien käyttöä, millaisia erilaisia arkkitehtuureja on sovellettu ohjelmistotestauksessa ja mitä etuja tai rajoituksia on raportoitu. Tutkimuksessa tarkastellaan systemaattisesti IEEE Xploren ja Springer Nature Linkin julkaisuja viime vuosina. Kattavaan analyysiin valittiin 13 tutkimusta, jotka liittyvät LLM-pohjaisiin agentteihin ohjelmistotestauksessa.

Tulokset osoittavat, että LLM-pohjaisia agentteja käytetään erilaisissa tehtävissä ohjelmistotestauksen alalla, mukaan lukien testitapausten luominen, yksikkötestaus, virheenkorjaus, graafisen käyttöliittymän testaus ja testitapausten analysointi. Useimmat tutkimukset keskittyivät moniagenttiarkkitehtuureihin, jotka parantavat automaatiota, testien kattavuutta ja tarkkuutta agenttien välisen yhteistyön ja iteratiivisten menetelmien avulla. Mukana olleissa julkaisuissa raportoitiin myös rajoituksista, kuten skaalautuvuudesta, LLM riippuvaisuudesta, kehotteista ja hallusinaatioista. Opinnäytetyö käsittelee myös sitä, miten perinteinen testiautomaatio on kehittynyt LLM-pohjaisiksi agenteiksi. Väitöskirjan johtopäätöksenä todetaan, että LLM-pohjaiset menetelmät ovat potentiaalisesti loistavia testauksen työnkulkuja parantamalla tehokkuutta ja automaatiota, mutta arkkitehtuurien standardoimiseksi ja soveltamiseksi laaja-alaisissa projekteissa ja prosesseissa tarvitaan lisää tutkimusta.