Selection process of an automated assessment system at LUT University

Abstract

At LUT University automated assessment is used to ease teachers work in the software engineering degree programme’s CS1 courses. For these courses, the system in use works well to automate the assessment of over 500 students’ weekly submissions. Automated assessment is what makes practical programming tasks possible in a mass course such as this one. In recent years, the student intake amounts at LUT University have increased drastically, especially in the field of software engineering. Due to this, automation in assessment must be expanded further to enable practical programming tasks as a part of teaching. As such, the department of software engineering is looking for a system that would work well for advanced programming courses.

In this thesis, the feature evaluation and selection process of an automated assessment system in university context is carried out. The topics of the thesis can be divided in two categories: the environment of automated assessment systems, as well as the requirements gathering process that is carried out. Both are needed for a successful selection of the tool. In the end, a list of tens of possible tools will be narrowed down to just a few. Based on the needs of the relevant stakeholders, the department of software engineering make their decision on what tool suits them the best.

Automaattista tarkastusta hyödynnetään opettajien työtaakan pienentämiseen LUT-yliopiston tietotekniikan peruskursseilla. Näillä kursseilla työkalut tekevät tehtävänsä yli 500 opiskelijan viikottaisten palautusten tarkistuksen automatisoinnissa. Automaattinen tarkastus on avainasemassa näillä kursseilla mahdollistaen käytännöllisten ohjelmointitehtävien toteuttamisen. Viime vuosina LUT-yliopiston sisäänottomäärät ovat nousseet merkittävästi, varsinkin tietotekniikan koulutusohjelmassa. Tämän takia automaattista tarkastusta on laajennettava myös muille kursseille, jotta käytännöllinen ohjelmointi on mahdollista pitää osana opetusta. Tietotekniikan laitos etsii nyt työkalua, joka voisi parantaa tarkastusta etenkin ohjelmoinnin jatkokursseilla.

Tässä diplomityössä käydään läpi automaattisen tarkastuksen työkalujen valintaprosessi. Työn aiheet voi jakaa kahteen eri kategoriaan: automaattisten tarkastustyökalujen ympäristöön, sekä vaatimusmäärittelyprosessiin. Molemmat osa-alueet ovat tärkeitä työkalun onnistuneeseen valintaan. Kymmenien työkalujen lista rajataan sisältämään vain kaikista sopivimmat ratkaisut. Tärkeiden sidosryhmien tarpeiden pohjalta tietotekniikan laitos tekee valintansa työkalusta, joka sopii heidän tarkoituksiinsa parhaiten.