Design and implementation of an automated Python code grading system : enhancing feedback quality and academic integrity in MOOCs

Abstract

The main objective of this Bachelor's thesis is to study how to reduce the possibility of academic misconduct and improve the quality of automatic feedback given to students by code assessment platforms in massive open online courses. The developed system enhances academic integrity by constraining student submissions to course-specific programming constructs and limits the effectiveness of solutions generated by AI or copied from the Internet. Although this thesis focuses on the online platform CodeGrade and touches upon the Simple Python Test, Pytest and Code Structure Test blocks used by it and the best practices when using them, the techniques described can be used when designing and implementing assignments in any programming language and automated grading platform. The research methodology used in this thesis is design science research. A literature research is conducted to better understand the latest themes in the field of automated grading. The effectiveness of this study is based on both student and teacher feedback given at the end of the course. The new system was evaluated using two end-of-course surveys: one aimed at the teachers and the other at the students. In the student survey, automatic feedback from CodeGrade received an average rating of 3.6 on a 1–5 Likert scale. An analysis of the results has shown that there is still room for improvement regarding feedback generated by the Simple Python Test block, and that unit tests should not completely replace IO Tests, but rather augment them. Future course implementations are recommended to use a combination of IO Test blocks and unit tests when grading assignments in order to overcome built-in limitations.

Tämä kandidaatintyö selvittää, miten vähentää akateemisen vilpin mahdollisuutta ja parantaa automaattista palautteenantoa kursseilla, joilla hyödynnetään automaattisia arviointityökaluja. Työssä kehitetty järjestelmä rajoittaa opiskelijat käyttämään palautuksissaan ainoastaan kurssilla opetettuja rakenteita, mikä vaikeuttaa tekoälyllä luotujen ja internetistä kopioitujen ratkaisujen käyttöä. Tutkielmassa toteutettiin suunnittelutieteellisen tutkimusmenetelmän vaiheita noudattaen CodeGrade-alustalle toimiva järjestelmä, jossa hyödynnettiin Simple Python Test-, Pytest- ja Semgrep-työkaluja. Kuvattuja menetelmiä voidaan kuitenkin soveltaa tehtävien suunnitteluun ja toteutukseen millä tahansa ohjelmointikielellä ja arviointialustalla. Työ sisältää myös kirjallisuuskatsauksen alan nykytilan kartoittamiseksi. Tutkimuksen onnistumista arvioitiin kahdella kyselyllä, joista toinen suunnattiin opettajille ja toinen opiskelijoille. Opiskelijakyselyssä CodeGraden automaattinen palaute sai keskiarvoksi 3,6 Likert-asteikolla 1–5. Tulosten analyysi osoitti, että Simple Python Test -työkalulla tuotetussa palautteessa on yhä parantamisen varaa. Yksikkötestit eivät saisi täysin korvata IO-testejä vaan pikemminkin täydentää niitä. Tulevissa kurssitoteutuksissa suositellaankin tehtävien arvioinnissa hyödynnettäväksi IO-testien ja yksikkötestien yhdistelmää.