Implementation of automated assessment of student assignments on an introductory software testing course

Abstract

The role of automated assessment in programming education has been gaining popularity in recent years as the course participant numbers have continued to increase. This thesis details the process of introducing an automated assessment system, CodeGrade, on an introductory level software testing course with the goal of updating existing programming assignments and moving towards completely automatic assessment process. The purpose of this paper is to find out how CodeGrade performs in assessing student submissions and what methods can be used to successfully evaluate students’ testing skills. A literature review is conducted to find out recent themes in automated assessment as well as best practices in implementing programming assignments and their assessment process. Updated programming assignments and the performance of CodeGrade were evaluated through a course-end survey on a Likert-scale of 1–5, resulting in a positive reception with CodeGrade having received an average grade of 4.2 and course assignments an average grade of 4.3. Results showed that there was still room for improvement, especially in terms of introducing programming assignments that handled topics beyond unit testing. Additionally, the assessment process could be further improved with a combination of tools to improve accuracy and provide quality feedback even in cases where the assessment process is unable to be completed.

Automaattisen arvioinnin rooli ohjelmoinnin opetuksessa on kasvattanut suosiotaan viime vuosien aikana kurssin opiskelijamäärien jatkaessa kasvuaan. Tämä opinnäytetyö kuvaa automaattisen arviointijärjestelmän, CodeGraden, käyttöönottoprosessia ohjelmointitestauksen johdantokurssilla, tarkoituksena päivittää olemassa olevat ohjelmointitehtävät ja siirtyä kohti täysin automaattista arviointiprosessia. Tämän työn tarkoituksena on selvittää, miten CodeGrade suoriutuu opiskelijoiden testaustaitojen arvioinnissa ja mitä metodeja voidaan käyttää opiskelijoiden testaustaitojen arviointiin. Kirjallisuuskatsaus toteutetaan selvittämään automaattisen arvioinnin viimeaikaisia teemoja sekä parhaiksi todettuja käytäntöjä ohjelmointitehtävien toteutusta ja niiden arviointia varten. Päivitettyjä ohjelmointitehtäviä ja CodeGraden toimintakykyä arvioitiin Likertin-asteikolla arvosanoin 1–5. Tuloksena oli positiivinen vastaanotto: CodeGrade arvioitiin keskimääräisellä arvosanalla 4.2 ja kurssin tehtävät keskimääräisellä arvosanalla 4.3. Tulokset osoittivat, että parantamisen varaa on vielä etenkin uusien ohjelmointitehtävien osalta, jotka käsittelisivät muita testauksen aihealueita yksikkötestauksen lisäksi. Lisäksi arviointiprosessia voidaan jatkokehittää yhdistelemällä erilaisia työkaluja arvioinnin tarkkuuden ja annetun palautteen laadun lisäämiseksi etenkin tilanteissa, joissa arviointiprosessia ei pystytä suorittamaan loppuun onnistuneesti.