A design artifact for enhancing and automating the assessment process in introduction programming courses
Peltola, Jesse (2025)
Diplomityö
2025
School of Engineering Science, Tietotekniikka
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe2025063075630
https://urn.fi/URN:NBN:fi-fe2025063075630
Tiivistelmä
The enrollment in CS1 and CS2 courses has steadily increased over the years, resulting in a higher workload for the teaching assistants. One major challenge that has emerged is the subjectivity and inconsistency in the assessment process.
This thesis aims to develop a grading tool that reduces inconsistency between teaching assistants and expedites their assessment process. This thesis uses a design-science research methodology to develop an artifact and evaluate the assessment process, identifying the most common programming violations made by the students. To better understand how to improve consistency and objectivity in the assessment process, the related works are analyzed. This thesis also lists the semi-automated and automated grading tools, presenting their current state. However, these were not suitable for this thesis due to their limitations or being deprecated.
The results of this thesis showed that the artifact worked adequately while expediting TAs’ assessment process. The statistics about programming violations were successfully extracted with the tool. Ohjelmoinnin perusteiden kurssien ilmoittautumismäärät ovat kasvaneet tasaisesti vuosien varrella, mikä on johtanut opetusavustajien suurempaan työmäärään. Yksi merkittävä haaste on arviointiprosessin subjektiivisuus ja epäjohdonmukaisuus. Tämän opinnäytetyön tavoitteena on kehittää arviointityökalu, joka vähentää opetusavustajien välistä epäjohdonmukaisuutta ja nopeuttaa heidän arviointiprosessiaan.
Tässä diplomityössä käytetään suunnittelutieteen tutkimusmenetelmää artefaktin kehittämiseen ja arviointiprosessin arviointiin tunnistamalla opiskelijoiden yleisimmät ohjelmointivirheet. Ymmärtääkseen paremmin, miten arviointiprosessin johdonmukaisuutta ja objektiivisuutta voidaan parantaa, analysoidaan aiheeseen liittyviä tutkimuksia. Tässä diplomityössä luetellaan myös puoliautomaattiset ja automatisoidut arviointityökalut ja esitetään niiden nykytila. Nämä eivät kuitenkaan sopineet tähän diplomityöhön rajoitustensa tai vanhentuneisuuden vuoksi.
Tämän opinnäytetyön tulokset osoittivat, että arviointityökalu toimi riittävästi ja nopeuttaa opetusavustajien arviointiprosessia. Ohjelmointivirheitä koskevat tilastot saatiin onnistuneesti työkalulla.
This thesis aims to develop a grading tool that reduces inconsistency between teaching assistants and expedites their assessment process. This thesis uses a design-science research methodology to develop an artifact and evaluate the assessment process, identifying the most common programming violations made by the students. To better understand how to improve consistency and objectivity in the assessment process, the related works are analyzed. This thesis also lists the semi-automated and automated grading tools, presenting their current state. However, these were not suitable for this thesis due to their limitations or being deprecated.
The results of this thesis showed that the artifact worked adequately while expediting TAs’ assessment process. The statistics about programming violations were successfully extracted with the tool.
Tässä diplomityössä käytetään suunnittelutieteen tutkimusmenetelmää artefaktin kehittämiseen ja arviointiprosessin arviointiin tunnistamalla opiskelijoiden yleisimmät ohjelmointivirheet. Ymmärtääkseen paremmin, miten arviointiprosessin johdonmukaisuutta ja objektiivisuutta voidaan parantaa, analysoidaan aiheeseen liittyviä tutkimuksia. Tässä diplomityössä luetellaan myös puoliautomaattiset ja automatisoidut arviointityökalut ja esitetään niiden nykytila. Nämä eivät kuitenkaan sopineet tähän diplomityöhön rajoitustensa tai vanhentuneisuuden vuoksi.
Tämän opinnäytetyön tulokset osoittivat, että arviointityökalu toimi riittävästi ja nopeuttaa opetusavustajien arviointiprosessia. Ohjelmointivirheitä koskevat tilastot saatiin onnistuneesti työkalulla.