Design and implementation of automated visual regression testing in a large software product

Abstract

The object of this master thesis is to address the practical implementation of visual quality assurance framework for the layout of the software being tested and to improve the finding of style bugs. In this thesis, a custom visual GUI testing (VGT) framework and a test suite was developed for the target company. The general idea of the framework is to track visual changes and assure that unwanted visual differences are covered before changes end up in production. The main goal of the thesis work was to enable rewriting of the visual layout and decrease the technical debt. The pros and cons of visual regression testing were evaluated with open source tools and frameworks. The evaluation was done with practical implementation and piloting. The outcome of this thesis is a visual testing system and a framework.

Tässä diplomityössä on tavoitteena avata visuaalisen laadunvarmistuksen käytännön toteutusta ja sen merkitystä. Tässä työssä kehitettiin räätälöity visuaaliseen testaamiseen tarkoitettu ohjelmistokehys yritykselle. Kehyksen avulla ohjelmiston visuaalista laatua ja tyylibugien löytämistä voidaan parantaa. Työn tarkoituksena oli mahdollistaa visuaalisen ulkoasun uudelleen kirjoittaminen ja teknisen velan vähentäminen koodikannasta. Visuaalisen regressiotestauksen hyötyjä ja haittoja tutkittiin vapaan lähdekoodin työkaluilla käytännönläheisellä toteutuksella. Työn lopputuloksena oli päivittäiseen kehitystyöhön integroitu visuaalisten aspektien testiautomaatioratkaisu ja testiautomaatiokehys.