Framework for analytical AI agent validation
Pitkäniemi, Joonas (2025)
Diplomityö
2025
School of Engineering Science, Tietotekniikka
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe20251212118383
https://urn.fi/URN:NBN:fi-fe20251212118383
Tiivistelmä
Utilizing the Design Science framework for Information Systems, this Master’s Thesis creates a framework for the validation of analytical artificial intelligence agents. The main goal is to enable organizations using analytical agentic systems to verify the production readiness of their agents.
The content within this thesis is structured according to the Design Science framework and the structure abides by the Design Science process. The work begins with a literature review, after which using the findings from the literature review it develops a designed artifact, the validity of which validity is demonstrated through a demonstration phase, where the framework is subjected to a simulated validation scenario.
The created framework seeks to introduce measurable and repeatable steps for agent validation, which anyone adhering to the framework can perform regardless of the analytical purpose of the agent. The purpose of the framework is to ensure that the agent’s connection to data is sound, that the agent correctly interprets the data it is linked to, and that the agent returns only those values derived directly from the data, thereby avoiding hallucination. Hyödyntämällä tietojärjestelmien suunnittelutieteellisen tutkimuksen (DSR) -viitekehystä tämä Diplomityö luo lopputuloksena analyyttisten tekoälyagenttien validoinnin viitekehyksen, jonka avulla samankaltaisia järjestelmiä käyttävät toimijat voivat varmentaa omien agenttiensa tuotantokelpoisuutta.
Diplomityön sisältö on rakennettu suunnittelutieteellisen tutkimuksen-viitekehyksen mukaan ja pyrkii noudattamana sitä myös rakenteensa puolesta. Työ alkaa kirjallisuuskatsauksella, jonka jälkeen työ kirjallisuuskatsausta hyödyntämällä luo artefaktin - viitekehyksen, jonka oikeellisuus todistetaan kokeellisessa käytössä.
Luotu viitekehys pyrkii tuomaan agenttien validointiin mitattavia ja toistettavia askeleita, jotka jokainen viitekehystä noudattava voi suorittaa riippumatta agentin analyyttisesta käyttötarkoituksesta. Viitekehyksen tarkoitus on varmentaa se, että agentin yhteys dataan on kunnollinen, agentti ymmärtää dataa johon se on kiinnitettynä, sekä sen, että agentti ymmärtää palauttaa vain niitä numeroita, jotka se saa vasteena datasta, eli välttämään tilanteita, jossa malli ennustaa tuloksia, eikä käytä odotettuja arvoja.
The content within this thesis is structured according to the Design Science framework and the structure abides by the Design Science process. The work begins with a literature review, after which using the findings from the literature review it develops a designed artifact, the validity of which validity is demonstrated through a demonstration phase, where the framework is subjected to a simulated validation scenario.
The created framework seeks to introduce measurable and repeatable steps for agent validation, which anyone adhering to the framework can perform regardless of the analytical purpose of the agent. The purpose of the framework is to ensure that the agent’s connection to data is sound, that the agent correctly interprets the data it is linked to, and that the agent returns only those values derived directly from the data, thereby avoiding hallucination.
Diplomityön sisältö on rakennettu suunnittelutieteellisen tutkimuksen-viitekehyksen mukaan ja pyrkii noudattamana sitä myös rakenteensa puolesta. Työ alkaa kirjallisuuskatsauksella, jonka jälkeen työ kirjallisuuskatsausta hyödyntämällä luo artefaktin - viitekehyksen, jonka oikeellisuus todistetaan kokeellisessa käytössä.
Luotu viitekehys pyrkii tuomaan agenttien validointiin mitattavia ja toistettavia askeleita, jotka jokainen viitekehystä noudattava voi suorittaa riippumatta agentin analyyttisesta käyttötarkoituksesta. Viitekehyksen tarkoitus on varmentaa se, että agentin yhteys dataan on kunnollinen, agentti ymmärtää dataa johon se on kiinnitettynä, sekä sen, että agentti ymmärtää palauttaa vain niitä numeroita, jotka se saa vasteena datasta, eli välttämään tilanteita, jossa malli ennustaa tuloksia, eikä käytä odotettuja arvoja.