Measuring productivity effects of AI-assisted knowledge work

Abstract

The study examined how the productivity of generative AI-assisted knowledge work can be reliably and practically measured. This stems from organizations’ growing need to demonstrate the benefits of AI investments, while generative AI tools are becoming increasingly integral to daily professional knowledge work. Traditional productivity metrics are not suitable for knowledge work because it is nonlinear, cognitive, and partly subjective. The study combined a literature review with a case study analyzing the use of generative AI by employees in five roles and proposed a productivity measurement method.

Based on the literature review, productivity is influenced by both objective and subjective factors. Key metrics identified included time usage, work quality, content relevance, and user experience. The case study found that time use was the most reliable factor in productivity, reinforcing the central role of time-based metrics. In addition, productivity was influenced by prompt quality, the user’s skill level, reduced cognitive load, and the task's suitability for AI. Among work environmental factors, workflow standardization, data and documentation quality, and the technical integration of tools proved particularly significant. Together, these factors determined how effectively generative AI could be used in daily knowledge work.

Data Envelopment Analysis (DEA) was selected as the measurement method because it is well-suited for evaluating complex, nonlinear processes. This method allows for comparing different task types without making assumptions about the form of the production function. Based on the results, the productivity of AI-assisted knowledge work should be measured using a multidimensional, task-specific approach that combines both subjective and objective metrics.

Kandidaatin työssä tarkasteltiin, miten generatiivisen tekoälyn avustaman tietotyön tuottavuutta voidaan mitata luotettavasti ja käytännöllisesti. Taustalla on kasvava tarve osoittaa tekoälyinvestointien hyödyt generatiivisten tekoälytyökalujen ollessa vakiintuneempi osa päivittäistä ammatillista tietotyötä. Perinteiset tuottavuusmittarit eivät sovellu tietotyöhön, koska työ on luonteeltaan epälineaarista, kognitiivista ja osittain subjektiivista. Tutkimuksessa yhdistettiin kirjallisuuskatsaus ja tapaustutkimus, jossa analysoitiin generatiivisen tekoälyn käyttöä viiden eri roolin työntekijöiden työssä sekä ehdotettiin tuottavuuden mittausmetodia.

Kirjallisuuskatsauksen perusteella todettiin, että tuottavuuteen vaikuttavat sekä objektiiviset että subjektiiviset tekijät. Keskeisiksi mittareiksi tunnistettiin ajankäyttö, työn laatu, tuotetun sisällön relevanssi ja käyttökokemus. Tapaustutkimuksessa todettiin, että luotettavin tuottavuuden mittari oli ajankäyttö. Lisäksi tuottavuuteen vaikuttivat promptien laatu, käyttäjän taitotaso, kognitiivisen kuormituksen väheneminen ja tehtävän sopivuus tekoälylle. Työympäristötekijöistä työnkulun standardointi, datan ja dokumentaation laatu sekä työkalujen tekninen integrointi osoittautuivat erityisen merkittäviksi. Yhdessä nämä tekijät määrittivät, kuinka tehokkaasti generatiivista tekoälyä voitiin hyödyntää osana tietotyötä.

Mittausmenetelmäksi ehdotettiin data-envelopment-analyysiä (DEA), koska se soveltuu monimutkaisten ja epälineaaristen prosessien arviointiin. Menetelmän avulla voidaan vertailla erilaisia tehtävätyyppejä tekemättä oletuksia tuotantofunktion muodosta. Tulosten perusteella tekoälyllä tuetun tietotyön tuottavuutta kannattaa mitata moniulotteisella, tehtäväkohtaisella lähestymistavalla, jossa yhdistyvät sekä subjektiiviset että objektiiviset mittarit.