Estimating generative AI impacts in public social and health care language translation services
Martikainen, Miia (2024)
Diplomityö
2024
School of Engineering Science, Tietotekniikka
Kaikki oikeudet pidätetään.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe2024091070021
https://urn.fi/URN:NBN:fi-fe2024091070021
Tiivistelmä
This study aims to evaluate how generative artificial intelligence (GAI) implementation impacts language translation speed, machine translation output quality, and human translators’ user experience.
Case study is conducted in collaboration with an in-house language translation team of a large Finnish wellbeing service county. Empirical research combines quantitative and qualitative methods ranging from analyzing computer-assisted translation software data to interpreting translator team interviews.
Equalizing the segment count per translator, translators were on average 37% faster postediting a GAI-augmented machine translation output than translating from scratch. Using the original segment count, the difference between post-editing and human translation was 14%. GAI-based machine translation output quality was assessed to be at a good or highquality level by predominant automatic metrics but in qualitative assessment the output quality was not aligned with translators’ expectations. Although translators have a positive attitude towards GAI augmentation, they highlighted the need for improving machine translation output quality and processes to reach anticipated organizational impacts.
These findings suggest that GAI holds significant potential to enhance language translation productivity, but technological advancements do not directly translate into performance outcomes. Instead, public social and health care organizations should focus on developing holistic organizational GAI capability and use to realize the potential in practice. Tämän tutkimuksen tavoitteena on arvioida generatiivisen tekoälyn (GAI) käyttöönoton vaikutuksia kielenkäännösnopeuteen, konekäännöksen laatuun sekä kääntäjien käyttäjäkokemukseen.
Tapaustutkimus on toteutettu yhteistyössä suuren suomalaisen hyvinvointialueen sisäisistä kielenkäännöspalveluista vastaavan tiimin kanssa. Empiirinen osuus yhdistää kvantitatiivisia ja laadullisia menetelmiä. Tutkimuksessa analysoidaan kielenkäännössovelluksen tuottamaa numeerista dataa sekä kielenkäännöstiimin työntekijöiden kanssa toteutettuja haastatteluja.
Kun segmenttien määrä yhdenmukaistetaan kääntäjien välillä, kääntäjät jälkieditoivat GAI:n tuottamaa konekäännöstä keskimäärin 37% nopeammin verrattuna alusta asti itse tehtyyn kääntämiseen. Alkuperäisellä segmenttijaolla vastaava nopeusero jälkieditoinnin ja kääntämisen välillä oli 14%. Yleisesti käytössä olevilla automaattisilla konekäännöksen arviointiin suunnitelluilla mittareilla GAI-konekäännöksen laatu oli hyvällä tai korkealaatuisella tasolla. Sen sijaan haastatteluissa kävi ilmi, että konekäännöksen laatu ei vastannut kääntäjien odotuksia. Vaikka kääntäjillä oli yleisesti myönteinen asenne GAI:n hyödyntämiseen käännöstyössä, he korostivat tarvetta kohentaa konekäännöksen laatua ja prosesseja haluttujen organisatoristen vaikutusten aikaansaamiseksi.
Nämä löydökset osoittavat, että GAI:lla on merkittävää potentiaalia parantaa kielenkäännösten tuottavuutta, mutta teknologinen kehitys ei automaattisesti saa aikaan haluttuja suorituskykyparannuksia arjessa. Tästä syystä julkisten sosiaali- ja terveydenhuollon organisaatioiden tulee keskittyä kehittämään organisaation GAI-kyvykkyyttä ja -käyttöä holistisella tavalla, jotta tunnistettu potentiaali toteutuu käytännössä.
Case study is conducted in collaboration with an in-house language translation team of a large Finnish wellbeing service county. Empirical research combines quantitative and qualitative methods ranging from analyzing computer-assisted translation software data to interpreting translator team interviews.
Equalizing the segment count per translator, translators were on average 37% faster postediting a GAI-augmented machine translation output than translating from scratch. Using the original segment count, the difference between post-editing and human translation was 14%. GAI-based machine translation output quality was assessed to be at a good or highquality level by predominant automatic metrics but in qualitative assessment the output quality was not aligned with translators’ expectations. Although translators have a positive attitude towards GAI augmentation, they highlighted the need for improving machine translation output quality and processes to reach anticipated organizational impacts.
These findings suggest that GAI holds significant potential to enhance language translation productivity, but technological advancements do not directly translate into performance outcomes. Instead, public social and health care organizations should focus on developing holistic organizational GAI capability and use to realize the potential in practice.
Tapaustutkimus on toteutettu yhteistyössä suuren suomalaisen hyvinvointialueen sisäisistä kielenkäännöspalveluista vastaavan tiimin kanssa. Empiirinen osuus yhdistää kvantitatiivisia ja laadullisia menetelmiä. Tutkimuksessa analysoidaan kielenkäännössovelluksen tuottamaa numeerista dataa sekä kielenkäännöstiimin työntekijöiden kanssa toteutettuja haastatteluja.
Kun segmenttien määrä yhdenmukaistetaan kääntäjien välillä, kääntäjät jälkieditoivat GAI:n tuottamaa konekäännöstä keskimäärin 37% nopeammin verrattuna alusta asti itse tehtyyn kääntämiseen. Alkuperäisellä segmenttijaolla vastaava nopeusero jälkieditoinnin ja kääntämisen välillä oli 14%. Yleisesti käytössä olevilla automaattisilla konekäännöksen arviointiin suunnitelluilla mittareilla GAI-konekäännöksen laatu oli hyvällä tai korkealaatuisella tasolla. Sen sijaan haastatteluissa kävi ilmi, että konekäännöksen laatu ei vastannut kääntäjien odotuksia. Vaikka kääntäjillä oli yleisesti myönteinen asenne GAI:n hyödyntämiseen käännöstyössä, he korostivat tarvetta kohentaa konekäännöksen laatua ja prosesseja haluttujen organisatoristen vaikutusten aikaansaamiseksi.
Nämä löydökset osoittavat, että GAI:lla on merkittävää potentiaalia parantaa kielenkäännösten tuottavuutta, mutta teknologinen kehitys ei automaattisesti saa aikaan haluttuja suorituskykyparannuksia arjessa. Tästä syystä julkisten sosiaali- ja terveydenhuollon organisaatioiden tulee keskittyä kehittämään organisaation GAI-kyvykkyyttä ja -käyttöä holistisella tavalla, jotta tunnistettu potentiaali toteutuu käytännössä.