Evaluating the impacts of machine learning to the future of A/B testing

Abstract

The incremental nature of contemporary software development necessitates companies to assess and validate where to place their development efforts. A/B testing is an established, widely used practice within the software industry to evaluate and learn the impact of product changes to the customer behavior and ultimately to the overall business performance. Lately, machine learning methods have started to gain wider attention across the industry, enabling new opportunities in evaluating and optimizing different product features.

This study establishes a detailed overview on the current A/B testing practices as well as examines how and where can machine learning methods potentially be leveraged in companies’ experimentation and product development activities in the coming years. The topic is first studied through a comprehensive literature review, which is then followed by a single case study utilizing both quantitative and qualitative evidence from a contextual multi-armed bandit experiment conducted using real end users of a game application.

The findings of the literature review as well as the practical industry evidence from the case study indicate that the multi-armed bandit machine learning algorithms complement existing A/B testing practices by having their distinct use cases as well as providing an option for evaluating the more simple changes. The contextual bandit approach is particularly interesting as it shifts the focus on personalizing the features to the end users based on their predicted preferences. The framework for the use cases of multi-armed bandits established in the thesis together with guidelines from existing research show that the companies can benefit from the use of both A/B testing and multi-armed bandits jointly in their product development activities.

Nykyaikaisen ohjelmistokehityksen inkrementaalinen luonne edellyttää yrityksiä arvioimaan ja validoimaan mihin asettaa kehityspanoksensa. A/B-testaus on vakiintunut ja laajalti käytetty menetelmä ohjelmistoalalla arvioimaan ja saamaan selville tehtävien tuotemuutosten vaikutukset asiakaskäyttäytymiseen ja perimmiltään tuotteen kokonaisliiketoimintaan. Viime aikoina koneoppimismenetelmät ovat alkaneet saada laajempaa huomiota alalla, avaten uusia mahdollisuuksia tuotemuutosten ja ominaisuuksien arvioimiseen sekä optimoimiseen.

Tehty tutkimus rakentaa yksityiskohtaisen kuvan tämänhetkisistä A/B-testauksen käytännöistä ja tarkastelee kuinka sekä missä tapauksissa yritykset potentiaalisesti voivat käyttää koneoppimismenetelmiä hyväkseen ohjelmistotuotekehitykseen liittyvässä variaatioiden vertailussa. Aihetta tarkastellaan ensin perusteellisen kirjallisuuskatsauksen kautta, jota seuraa kvantitatiivista ja kvalitatiivista dataa hyödyntävä tapaustutkimus peliapplikaatiossa loppukäyttäjillä tehdystä, kontekstuaalista multi-armed bandittia hyödyntävästä testistä.

Tulokset kirjallisuuskatsauksesta sekä käytännön näyttö tapaustutkimuksesta indikoivat että multi-armed bandit koneoppimisalgoritmit tukevat ja täydentävät nykyisiä A/B-testaus käytäntöjä mahdollistaen erillisiä selkeitä käyttötapauksia sekä vaihtoehtoisen tavan arvioida yksinkertaisempia muutoksia. Kontekstuaaliset multi-armed bandit algoritmit ovat erityisesti merkillepantavia sillä ne nykyisestä poiketen siirtävät fokuksen tuoteominaisuuksien personointiin loppukäyttäjille perustuen algoritmin arvioon käyttäjän preferensseistä. Työssä esitetty viitekehys multi-armed bandittien käyttötapauksista yhdessä olemassa olevan tutkimuksen suuntaviivojen kanssa näyttävät, että yrityksille on hyötyä yhdistää A/B-testausta ja multi-armed bandittien käyttöä eri tapauksissa tuotekehitystoiminnassaan.