Cognitive load and trust in generative AI : a qualitative study of test automation engineers
Nygrén, Jesse (2025)
Diplomityö
2025
School of Engineering Science, Tietotekniikka
Kaikki oikeudet pidätetään.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe2025052251198
https://urn.fi/URN:NBN:fi-fe2025052251198
Tiivistelmä
This thesis investigates how professional test automation (TA) engineers perceive the impacts of cognitive load and trust in artificial intelligence (AI) when utilizing large language model (LLM) based generative artificial intelligence (GenAI) tools as part of their daily workflows. While GenAI technologies are becoming increasingly popular in the software industry, study considering the impacts on TA remains limited.
Gathering data through 10 TA engineer participants and using thematic analysis, this study identifies themes considering positive and negative cognitive impacts, such as mental offloading and increased motivation, along with data suggesting cognitive strain and frustration. TA engineers reported high skepticism towards AI generated recommendations but generally felt the tools beneficial as part of their workflows. The trust towards AI was described as conditional and context specific, where participants highlighted a constant need for AI output verification. The AI tools were preferred in routine tasks such as debugging, scripting and documentation, and were considered to be useful in tasks requiring large data processing where human capabilities could be seen as a limiting factor.
The results contribute to a deeper understanding of how GenAI tools are perceived by the professionals using them in real-world contexts and offer theoretical implications for AI tool design, adoption and further research. Tämä diplomityö tutkii, miten testiautomaatioinsinöörit kokevat kognitiivisen kuormituksen ja tekoälyluottamuksen vaikutukset käyttäessään laajoja kielimalleja hyödyntäviä generatiivisia tekoälytyökaluja osana päivittäisiä työnkulkujaan. Vaikka generatiiviset tekoälyteknologiat ovat enenevissä määrin suositumpia ohjelmistoalalla, niiden vaikutuksia testiautomaatioon käsittelevää tutkimusta on rajallisesti saatavilla.
Tutkimuksessa kerättiin dataa kymmeneltä testiautomaatioinsinööriltä ja käytettiin temaattista analyysia teemojen tunnistukseen. Teemat käsittelevät positiivisia ja negatiivisia kognitiivisia vaikutuksia, kuten henkisen kuorman lievitystä ja lisääntynyttä motivaatiota, sekä dataa, joka viittaa kognitiiviseen rasitukseen ja turhautumiseen.
Testiautomaatioinsinöörit raportoivat korkeasta epäluottamuksesta tekoälyn tuottamia suosituksia kohtaan, mutta pitivät työkaluja yleisesti hyödyllisinä. Luottamusta tekoälyyn kuvailtiin ehdolliseksi ja kontekstista riippuvaiseksi ja osallistujat korostivat jatkuvaa tarvetta varmistaa tekoälyn tulokset. Tekoälytyökaluja suosittiin rutiinitehtävissä kuten virheenkorjauksessa, skriptauksessa ja dokumentoinnissa. Niitä pidettiin myös erittäin hyödyllisinä tehtävissä, joissa käsitellään suuria datamääriä ja joissa ihmisen kykyjä voidaan pitää rajoittavana tekijänä.
Tulokset edistävät syvempää ymmärrystä siitä, miten generatiivisia tekoälytyökaluja käyttävät ammattilaiset kokevat ne työelämässä, ja tarjoavat teoreettisia näkemyksiä tekoälytyökalujen suunnitteluun, toteutukseen ja jatkotutkimukseen.
Gathering data through 10 TA engineer participants and using thematic analysis, this study identifies themes considering positive and negative cognitive impacts, such as mental offloading and increased motivation, along with data suggesting cognitive strain and frustration. TA engineers reported high skepticism towards AI generated recommendations but generally felt the tools beneficial as part of their workflows. The trust towards AI was described as conditional and context specific, where participants highlighted a constant need for AI output verification. The AI tools were preferred in routine tasks such as debugging, scripting and documentation, and were considered to be useful in tasks requiring large data processing where human capabilities could be seen as a limiting factor.
The results contribute to a deeper understanding of how GenAI tools are perceived by the professionals using them in real-world contexts and offer theoretical implications for AI tool design, adoption and further research.
Tutkimuksessa kerättiin dataa kymmeneltä testiautomaatioinsinööriltä ja käytettiin temaattista analyysia teemojen tunnistukseen. Teemat käsittelevät positiivisia ja negatiivisia kognitiivisia vaikutuksia, kuten henkisen kuorman lievitystä ja lisääntynyttä motivaatiota, sekä dataa, joka viittaa kognitiiviseen rasitukseen ja turhautumiseen.
Testiautomaatioinsinöörit raportoivat korkeasta epäluottamuksesta tekoälyn tuottamia suosituksia kohtaan, mutta pitivät työkaluja yleisesti hyödyllisinä. Luottamusta tekoälyyn kuvailtiin ehdolliseksi ja kontekstista riippuvaiseksi ja osallistujat korostivat jatkuvaa tarvetta varmistaa tekoälyn tulokset. Tekoälytyökaluja suosittiin rutiinitehtävissä kuten virheenkorjauksessa, skriptauksessa ja dokumentoinnissa. Niitä pidettiin myös erittäin hyödyllisinä tehtävissä, joissa käsitellään suuria datamääriä ja joissa ihmisen kykyjä voidaan pitää rajoittavana tekijänä.
Tulokset edistävät syvempää ymmärrystä siitä, miten generatiivisia tekoälytyökaluja käyttävät ammattilaiset kokevat ne työelämässä, ja tarjoavat teoreettisia näkemyksiä tekoälytyökalujen suunnitteluun, toteutukseen ja jatkotutkimukseen.