Education in transition : a study on artificial intelligences’ performance in university software engineering courses

Abstract

Release of ChatGPT and the generative artificial intelligence (AI) boom following it has brought much interest and a large user base to AI software that can create text, images and videos from user input and answer any questions they have. As software like these can produce artefacts that look like human made, there is a possibility that students could easily skip manual work in education by using these AI tools.

This study aims to find out how well different generative AIs can pass exercises in university software engineering courses. First a literature review was conducted about what research has already been done on the topic of this study. After this, a survey was done to see what different generative AI software and models are available to consumers and a few of these were selected to measure their performance in weekly exercises from LUT university's software engineering courses. These exercises feature tasks in various programming languages and quizzes on course topics.

Results show that selected AIs can pass most, if not all, exercises and can often achieve moderately high points in course grading. This study does not test AIs on other parts of courses like larger course projects and exams, or in other exercises than programming tasks and quizzes and thus does not show how well AI alone could pass whole courses or other types of exercises.

ChatGPT:n julkaisu ja sitä seurannut generatiivisten tekoälyjen buumi on tuonut runsaasti kiinnostusta ja suuren käyttäjäkunnan tekoälyohjelmistoille, jotka voivat luoda tekstejä, kuvia ja videoita käyttäjän syötteistä ja vastata heidän kysymyksiinsä. Koska näiden ohjelmistojen tekemät artefaktit näyttävät ihmiskäden tekemiltä, on mahdollista, että opiskelijat pystyisivät helposti ohittamaan manuaalisen työn opiskeluissaan tekoälyätyökaluja käyttämällä.

Tässä työssä tutkittiin, miten eri generatiiviset tekoälyt pystyvät suoriutumaan harjoituksista yliopiston tietotekniikan kursseilla. Aluksi suoritettiin kirjallisuuskatsaus koskien, mitä aiempaa tutkimusta on tehty tämän työn aihepiiristä. Tämän jälkeen tutustuttiin erilaisiin saatavilla oleviin tekoälyohjelmistoihin ja -malleihin ja näistä valittiin muutama, joiden suoriutumista LUT yliopiston tietotekniikan kurssien viikkotehtävistä mitattiin. Viikkotehtävät sisältivät tehtäviä eri ohjelmointikielillä ja lyhyitä kyselyitä kurssin aiheista.

Tulokset osoittavat, että tekoälyt pääsevät läpi, jos ei kaikista, niin suurimmasta osaa harjoituksia ja pystyvät saamaan kohtalaisen hyvät pisteet niistä. Tässä työssä ei testattu tekoälyä kurssien muilla osa-alueilla, kuten kurssiprojekteissa tai tenteissä, tai muissa tehtävissä kuin ohjelmoinnissa ja kyselyissä, joten tulokset eivät osoita, miten tekoäly pystyisi suoriutumaan kokonaisista kursseista tai pääsisi läpi muun tyyppisistä harjoituksista.