Laajojen kielimallien hyödyntäminen suunnittelutoimiston projektityön tukena

Abstract

Transformer-arkkitehtuurin kehittäminen on johtanut tekoälybuumiin viime vuosina. Arkkitehtuuriin pohjautuvat laajat kielimallit ovat mahdollistaneet ennennäkemättömällä tavalla luonnollisen kielen käsittelyn, analysoinnin ja tuottamisen. OpenAI-yhtiön GPT-malleja hyödyntävä ChatGPT-keskustelubotti on tehnyt laajoista kielimalleista helposti saatavilla olevia, mikä on avannut uusia mahdollisuuksia monille sovellusalueille, kuten tiedonhakuun.

Tässä diplomityössä tarkastellaan tekoälypohjaista tiedonhakua insinööritoimiston näkökulmasta. Työ tehtiin Hefmec Engineering Oy:lle. Teoriaosuudessa käsitellään kattavasti tiedonhallintaan, tekoälyyn, koneoppimiseen, laajoihin kielimalleihin ja hakua hyödyntävään generointiin (RAG) liittyvää teoriaa. Työn käytännön osuudessa on testattu suunnittelu- ja myyntityöhön liittyvän tiedon hakemista yrityksen dokumenteista käyttämällä AnythingLLM-sovellusta, joka yhdistää laajan kielimallin, vektoritietokannan ja käyttäjän omat tiedostot.

Tuloksena saatiin määritettyä kustannus ja kesto tiedostojen lataamiselle vektoritietokantaan, yksittäisen kysymys-vastaus-parin rahallinen kustannus sekä vastauksen muodostamiseen kulunut aika. GPT-4o mallin generoimia vastauksia arvioitiin niiden oikeellisuuden perusteella ja puutteellisille vastauksille suoritettiin tarkempi analyysi virheen syyn selvittämiseksi. Tulokset osoittivat, että hakua hyödyntävä generointi on ajallisesti ja rahallisesti kannattavaa. Yrityksen data soveltuu sellaisenaan tiedonhakuun, mutta selkeästi jäsennellyllä tekstidatalla, josta on poistettu tarpeeton tieto, saadaan parempia tuloksia. Lisäksi vastauksien laatuun vaikuttaa suuri määrä parametreja, joiden optimointi vaatii tarkempaa tutkimusta.

The development of transformer architecture has led to an artificial intelligence boom in the last few years. Large language models which are based on architecture have revolutionized the processing, analysis, and generation of natural language. The ChatGPT conversational bot, which utilizes OpenAI’s GPT models, has made large language models easily accessible, opening new possibilities in various areas, such as information retrieval.

This master’s thesis examines AI-based information retrieval from the perspective of an engineering firm. The research was done for Hefmec Engineering Oy. The theoretical section provides a comprehensive overview of topics related to knowledge management, artificial intelligence, machine learning, large language models, and retrieval-augmented generation (RAG). In the practical section, information retrieval related to design and sales work was tested using company documents, employing the AnythingLLM application which integrates a large language model, a vector database, and the user’s own files.

The results provided an analysis of the cost and time required to upload documents into the vector database, the monetary cost of an individual question-answer pair, and the time taken to generate the answer. The accuracy of the responses generated by the GPT-4o model was evaluated, and a more detailed analysis was performed on incomplete responses to determine the cause of errors. The results demonstrated that retrieval-augmented generation is both time and cost-efficient. The company's data is suitable for information retrieval as is, but better results are achieved with clearly structured text data free from unnecessary information. Additionally, the quality of the answers is affected by a large number of parameters. Optimization of these parameters requires further study.