Artificial intelligence for failure detection in CI/CD pipelines

Abstract

Continuous integration and continuous deployment (CI/CD) pipelines automate the build, testing, and deployment operations of current software systems. Although these pipelines improve development speed and reliability, they remain susceptible to failures that can delay releases and require manual investigation of pipeline logs. Artificial Intelligence for IT Operations (AIOps) has emerged as a potential solution to strengthen operational monitoring by applying machine learning to system logs and telemetry data.

This thesis evaluates the applicability of AI-based tools for detecting failures in CI/CD pipelines. An orchestrated experimental environment was implemented using GitHub Actions and Microsoft Azure, with pipeline failures introduced via deterministic failure injection. Pipeline logs were collected and analysed using three tools: LogAI, Elastic Observability, and Dynatrace.

The evaluation dataset comprised 47 pipeline runs, of which 27 were successful and 20 failed. The results show that Dynatrace detected all failures under the configured detection rule, while LogAI achieved strong performance using unsupervised log anomaly detection. Elastic Observability detected only a small subset of failures when using aggregated log statistics.

The research indicates that the effectiveness of AI-assisted CI/CD monitoring depends strongly on how log data is represented and analysed.

Jatkuvan integraation ja jatkuvan käyttöönoton (CI/CD) putket automatisoivat nykyaikaisten ohjelmistojärjestelmien käännös-, testaus- ja käyttöönottoprosessit. Vaikka nämä putket parantavat ohjelmistokehityksen nopeutta ja luotettavuutta, ne ovat edelleen alttiita virheille, jotka voivat viivästyttää julkaisuja ja edellyttää putkien lokien manuaalista tarkastelua. Tekoälyn hyödyntäminen IT-operaatioissa (AIOps) on noussut mahdolliseksi ratkaisuksi operatiivisen valvonnan parantamiseen hyödyntämällä koneoppimista järjestelmälokien ja telemetriadatan analysoinnissa.

Tässä diplomityössä arvioidaan tekoälypohjaisten työkalujen soveltuvuutta CI/CD-putkien virheiden havaitsemiseen. Tutkimusta varten toteutettiin kontrolloitu kokeellinen ympäristö käyttäen GitHub Actions -järjestelmää sekä Microsoft Azure -pilviympäristöä, jossa putkivirheitä aiheutettiin deterministisellä virheiden injektoinnilla. Putkien lokit kerättiin ja analysoitiin kolmella työkalulla: LogAI, Elastic Observability ja Dynatrace.

Arviointiaineisto koostui 47 putkiajon suorituksesta, joista 27 oli onnistuneita ja 20 sisälsi virheitä. Tulokset osoittivat, että Dynatrace havaitsi kaikki virheet käytetyllä tunnistussäännöllä, kun taas LogAI saavutti vahvan suorituskyvyn käyttämällä ohjaamatonta lokipoikkeamien tunnistusta. Elastic Observability havaitsi vain pienen osan virheistä, kun analyysi perustui aggregoituihin lokitilastoihin.

Tulokset osoittivat, että tekoälyavusteisen CI/CD-valvonnan tehokkuus riippuu merkittävästi siitä, miten lokidata esitetään ja analysoidaan.