Promptissa annetun roolin spesifisyyden vaikutus kielimallin vastausten laatuun

Abstract

Tässä kandidaatintyössä tutkittiin, miten promptissa annetun roolituksen spesifisyys vaikuttaa suurten kielimallien vastausten laatuun. Tutkimus toteutettiin empiirisenä vertailevana tutkimuksena, jossa hyödynnettiin laadulliseen arviointiin perustuvaa pisteytystä sekä määrällistä vertailua. Aiemmassa kirjallisuudessa promptausta on tutkittu laajasti, mutta roolituksen vaikutus yksittäisenä tekijänä on jäänyt vähemmälle huomiolle.

Tutkimuksessa tarkasteltiin seitsemän eri suuren kielimallin vastauksia ohjelmistokehitykseen liittyviin kysymyksiin. Mallit olivat vuoden 2026 alussa saatavilla olleita suuria kielimalleja. Kysymykset pidettiin muuten samoina, mutta roolituksen spesifisyys vaihteli eri promptiversioiden välillä. Mallien vastauksia verrattiin keskenään sekä ohjelmistoalan ammattilaisten antamiin vertailuvastauksiin, ja arviointi perustui aiemmasta kirjallisuudesta johdettuihin laatukriteereihin.

Tulosten perusteella roolituksen spesifisyydellä ei havaittu olevan johdonmukaista vaikutusta kielimallien vastausten laatuun. Tulokset viittaavat siihen, että pelkkä tarkempi asiantuntijaroolin määrittely ei automaattisesti paranna vastausten laatua, jos muu prompti on jo huolellisesti laadittu ja tehtävä kielimallille suhteellisen hallittava. Tämän perusteella promptin sisällöllinen selkeys, tehtävän rajaus ja ohjeistuksen laatu näyttävät olevan vastausten laadun kannalta roolitusta keskeisempiä tekijöitä.

This bachelor's thesis examined how the specificity of the role given in the prompt affects the quality of responses to large language models. The study was carried out as an empirical comparative study using scoring and quantitative comparison based on qualitative assessment. In previous literature, prompting has been studied extensively, but the effect of role prompting as an individual factor has been given less attention.

The study looked at the responses of seven different large language models to questions related to software development. The models were large language models available at the beginning of 2026. The questions were otherwise the same, but the specificity of the role given in the prompt varied between different prompt versions. The responses of the models were compared with each other, as well as with those of software professionals, and the evaluation was based on quality criteria derived from previous literature.

Based on the results, the specificity of the role was not found to have a consistent effect on the quality of language model responses. The results suggest that a more precise definition of the expert role does not automatically improve the quality of responses if the rest of the prompt has already been carefully prepared and the task for the language model is relatively manageable. On this basis, the content clarity of the prompt, the delineation of the task and the quality of the instructions seem to be more central to the quality of the responses than the role given.