AI for software engineering education : evaluating AI-powered assistants for learning programming

Abstract

The aim of this master's thesis was to investigate the role of AI-powered assistants in learning programming within software engineering education. The rapid evolution and widespread adoption of AI tools have created a research gap concerning their impact on programming education. This study used a qualitative content analysis (QCA) and a survey to examine the effects of AI assistants on novice programmers’ learning. The QCA was conducted using an evaluation rubric, while survey data were analyzed using descriptive statistical analysis and thematic analysis. Related studies indicate that AI assistants can be powerful learning tools but also pose risks if used uncritically. The results of the QCA in this thesis demonstrated that AI assistants are effective in improving the learning outcomes of novice programmers, particularly in terms of solution accuracy and educational alignment. The survey illustrated that code debugging and code comprehension were the most positively impacted skills by AI, and that AI assistants significantly improved students’ confidence and motivation. The limitations of the QCA were restricted to a small number of AI tools, tasks, and programming languages, and its results were partly shaped by interpretative judgment. The survey was limited by a modest number of responses and the use of self-reported data, which makes the findings indicative rather than generalizable.

Tämän diplomityön tavoitteena oli tutkia tekoälypohjaisten avustajien roolia ohjelmoinnin oppimisessa tietotekniikan koulutuksessa. Tekoälytyökalujen nopea kehitys ja laajalle levinnyt käyttöönotto on luonut tutkimusaukon niiden vaikutuksesta ohjelmoinnin opetukseen. Työssä käytettiin kyselyä ja laadullista kontekstianalyysiä (LKA) tutkimusmenetelmänä tekoälyavustajien tutkimiseksi ohjelmoinnin alkeissa. LKA toteutettiin arviointimatriisin avulla, kun taas kyselyaineistoa analysoitiin kuvailevan tilastollisen analyysin ja teema-analyysin keinoin. Aiemmat tutkimukset osoittavat, että tekoälyavustajat voivat olla tehokkaita oppimistyökaluja, mutta ne voivat myös aiheuttaa riskejä, jos niitä käytetään kritiikittömästi. LKA:n tulokset osoittivat, että tekoälyavustajat parantaisivat tehokkaasti aloittelevien ohjelmoijien oppimistuloksia, erityisesti ratkaisujen tarkkuuden ja koulutuksellisen yhdenmukaisuuden osalta. Kyselyn tulosten perusteella tekoälyavustajilla oli suurin positiivinen vaikutus koodin virheenkorjaukseen ja koodin ymmärtämiseen. Tekoälyavustajat paransivat myös huomattavasti opiskelijoiden itsevarmuutta ja motivaatioita. LKA:n rajoituksena oli, että analyysissä käytettiin vain rajallista määrää tekoälyavustajia, tehtäviä ja ohjelmointikieliä, ja tulosten analysointiin vaikutti osittainen tutkijan oma tulkinta. Kyselyyn osallistujien määrä oli melko pieni sekä osallistujat itsearviointiin perustuva aineiston käyttö teki tuloksista korkeintaan suuntaa antavia kuin yleistettäviä.