Large language model agents in professional services automation

Abstract

Large language models (LLM) are powerful tools for understanding and generating written text. These models are frequently used in chatbot applications, where users can send messages to the LLM which then generates an appropriate answer to the users' query. Recent applications have increasingly focused on the use of LLMs as intelligent agents. This study aims to implement an LLM based multi-agent system (MAS) to control professional services automation (PSA) software. The baseline approach is hierarchical MAS, where a controller agent redirects the users' queries to a task-specific agent. The proposed improvement to the MAS is to introduce retrieval-augmented generation (RAG) to provide it with few-shot examples of previously accomplished tasks. To evaluate the performance of the agent system, a test environment in the PSA software was set up and populated with a month of data. An evaluation data set and an automatic evaluation pipeline were constructed based on the data in the test environment. The best result for the baseline approach was achieved using GPT 4.1-mini LLM, with an accuracy of 85%. This was further improved when the few-shot RAG approach was added to the agent system, with an accuracy of 89%. The results indicate that the MAS can be used to help users control the PSA software and get answers based on their data. Implementing new agents to automate tasks or provide additional insights from the data should be the next steps to further improve the MAS.

Suuret kielimallit (LLM) ovat tehokkaita työkaluja ymmärtämään ja generoimaan luonnollista tekstiä. Näitä malleja käytetään usein keskustelubottisovelluksissa. Keskustelubotin avulla käyttäjät voivat lähettää viestejä kielimallille, joka generoi sopivan vastauksen viestiin. Uusimmat lähestymistavat hyödyntävät suuria kielimalleja älykkäinä agentteina. Tässä työssä on tarkoitus kehittää suuriin kielimalleihin perustuva moniagenttijärjestelmä (MAS) kontrolloimaan asiantuntijayritysten toiminnanohjauksen (PSA) sovellusta. Alustava lähestymistapa on hierarkkinen MAS, jossa kontrolleriagentti ohjaa käyttäjän pyynnöt sopivalle tehtäväkohtaiselle agentille. Tätä lähestymistapaa pyritään parantamaan hakutehostetulla generoinnilla (RAG), missä esimerkkejä aikaisemmin suoritetuista tehtävistä haetaan lisäkontekstiksi MAS:ille. Agenttijärjestelmän suorituskyvyn arvioimiseksi PSA-sovellukseen luotiin testiympäristö, johon generoitiin kuukauden ajalta dataa. Tämän datan pohjalta rakennettiin arviointiaineisto ja automaattinen arviointiputki aineiston läpikäyntiä varten. Paras tulos alustavalle lähestymistavalle saatiin käyttämällä GPT 4.1-mini -kielimallia, jolloin tarkkuus oli 85%. Tätä tulosta parannettiin edelleen hyödyntäen RAG-lähestymistapaa, jolloin tarkkuudeksi saatiin 89%. Tulokset osoittavat, että MAS:ia voidaan hyödyntää käyttäjien tukena PSA-ohjelmiston käytössä. Seuraavana kehitysaskeleena MAS:iin tulisi kehittää uusia agentteja, jotka automatisoivat käyttäjien tehtäviä tai tarjoavat uusia näkökulmia datasta.