Palaute : an online tool for text mining course feedback using topic modeling and emotion analysis

Abstract

Student evaluation of teaching has been accepted as a useful method for improving teaching. The evaluation usually relies on Likert-type questions as they are easier to process, and if open questions are used, they are usually not analyzed beyond reading through them. This limits the usefulness of open questions, even though it is evident that they allow for more accurate feedback from the students, and they are not as limiting as Likert-type questions. Palaute (plot, analyze, learn and understand topic emotions) was created as a tool for addressing the answers to open questions in student course evaluation surveys with the goal of making understanding the data easier. Palaute combines topic modeling with sentiment and emotion analysis to summarize and create insights from the data. Expert reviews and demonstration show that the tool is useful in its intended task. Additionally, the effects of stemming a Finnish emotion lexicon were investigated to improve the emotion analysis performance, with results leaning towards the original lexicon.

Opiskelijapalaute on todettu hyödylliseksi metodiksi opetuksen kehittämisessä. Palaute nojaa yleensä Likert-tyyppisiin kysymyksiin niiden helpon analysoinnin takia, ja jos avoimia kysymyksiä käytetään, niin niiden analysointi jää yleensä vain vastausten läpi lukemiseen. Tämä rajoittaa avointen kysymysten hyödyllisyyttä, vaikka ne ovat vähemmän rajoittavia kuin Likert-tyyppiset kysymykset ja sallivat tarkemman palautteen antamisen. Palaute (Plot, analyze, learn and understand topic emotions) on työkalu, joka kehitettiin kurssipalautteen avoimien kysymysten analysoimiseen. Tavoitteena oli tehdä datan ymmärtämisestä helpompaa. Palautteessa yhdistetään aihemallinnusta ja tunneanalyysia datan kiteyttämiseen. Asiantuntijoiden arviot ja demo osoittavat, että työkalusta on hyötyä opiskelijapalautteen analysoinnissa. Tämän lisäksi tutkittiin suomenkielisen tunnesanaston typistämisen vaikutusta tunneanalyysiin. Tulokset kuitenkin näyttivät alkuperäisen sanaston suoriutuvan paremmin kuin typistetyn sanaston.