Costs of machine learning-driven vs traditional policy-based scaling in container-orchestrated public cloud environments : a comparative experimental analysis

Abstract

Cloud computing shows fluctuating trends in popularity as public cloud services seem to be cost-prohibitive for certain workloads. This thesis explores the possibility of using a long short-term memory architecture to achieve lower usage expenditure without substantial sacrifices in service quality via proactive scaling. The research includes a literature review exploring the existing landscape of academic work pertaining to the combination of cloud computing and machine learning. Then, experimental tests were conducted with a proposed machine learning algorithm trained on Microsoft’s 2019 Azure virtual machine traces dataset, evaluated on a web application supported by Kubernetes and other microservices deployed in Microsoft Azure. The costs incurred were compared with that of the built-in Azure autoscaling mechanism under identical conditions. Results show that the proactive scaling mechanism reduced costs by approximately 42.5% with a comparable portion of total node uptime as opposed to the built-in rule-based autoscaling engine.

Pilvilaskenta osoittaa vaihtelevia suosion trendejä, sillä julkiset pilvipalvelut voivat olla kustannuksiltaan liian korkeita tietyille työkuormille. Tässä opinnäytetyössä tarkastellaan mahdollisuutta hyödyntää pitkän lyhyen aikavälin muistiin (LSTM) perustuvaa arkkitehtuuria käyttökustannusten vähentämiseksi ilman merkittäviä heikennyksiä palvelun laadussa ennakoivan skaalauksen avulla. Tutkimus sisältää kirjallisuuskatsauksen, jossa tarkastellaan olemassa olevaa akateemista tutkimuskenttää pilvilaskennan ja koneoppimisen yhdistämisen näkökulmasta. Tämän jälkeen suoritettiin kokeellisia testejä ehdotetulla koneoppimisalgoritmilla, joka oli koulutettu Microsoftin vuoden 2019 Azure-virtuaalikonejälkien aineistolla, ja jota arvioitiin verkkosovelluksessa, jota tukevat Kubernetes ja muut Microsoft Azureen käyttöön otetut mikropalvelut. Syntyneitä kustannuksia verrattiin Azure-alustan sisäänrakennetun automaattisen skaalauksen mekanismin kustannuksiin identtisissä olosuhteissa. Tulokset osoittavat, että ennakoiva skaalausmekanismi vähensi kustannuksia noin 42,5 %, säilyttäen samalla vastaavan osuuden solmujen kokonaiskäyttöajasta verrattuna sisäänrakennettuun sääntöpohjaiseen automaattiseen skaalausmoottoriin.