Piloting a new automated assessment tool in the Web Applications course

Abstract

Automated assessment tools have been used for over 60 years and they have evolved over the years. Now, LUT University has come to a point where a new tool, CodeGrade, is being introduced and tried out in the Web Applications course where the CodeGrade's features can be tested in many ways. At the same time the course is being renovated and it will include new programming assignments. The goal of this thesis was to find out how capable the new tool is, and how it can improve the programming assignments. Based on the feedback survey made for the students, CodeGrade performed well and got an average score of 3.8 on a scale of 1-5. The new programming assignments were seen as challenging, and most of the students saw it as a positive thing. In the future the course staff has to be extra careful with the assignment instructions as even a small misspelling in a critical point may lead to redundant work for the students.

Automaattisen tarkistuksen työkaluja on käytetty jo yli 60 vuoden ajan, ja kehitystä niissä tapahtuu jatkuvasti. Nyt LUT-yliopistolla on päästy siihen tilanteeseen, että uutta työkalua, CodeGradea, kokeillaan Web Applications -kurssilla, jossa työkalun eri ominaisuuksia voidaan kokeilla monipuolisesti. Samaan aikaan kurssin materiaaleja päivitetään, ja ohjelmointitehtävät tehdään uusiksi. Tämän paperin tavoitteena oli selvittää, miten uusi työkalu pärjää näissä olosuhteissa ja miten ohjelmointitehtäviä saataisiin kehitettyä uuden työkalun avulla. Opiskelijoiden antaman kurssipalautteen perusteella CodeGrade suoriutui hyvin ja sai asteikolla 1-5 keskiarvosanaksi 3.8. Ohjelmointitehtävät nähtiin haasteellisina, ja suurimman osan mielestä tämä koettiin hyvänä asiana. Tehtävänantojen kanssa tulee jatkossa olla tarkka, koska pienetkin kirjoitusvirheet kriittisissä kohdissa voivat aiheuttaa opiskelijoille ylimääräistä työtä.