Feature characterization in raw material sorting

Abstract

Kolmogorov-Arnold networks (KANs) have recently become popular neural networks. They offer a possibility to train models that are interpretable and to gain insight on feature importance in high dimensional data. The goal in this thesis is to find ways to model a multivariate cost function in a production process, raw material sorting, using KANs. In the future, the plan is to improve the cost efficiency of the production process with these models. Modeling is done using two different datasets consisting of raw material measurements and cost function values connected to them. The samples in the datasets can also be divided into smaller groups. This could be useful in predicting the dependent variable, so mixture models are explored. The performance of three different types of KAN models is compared. These include models with one network, mixture models consisting of multiple networks, and symbolic formulas made from networks. Furthermore, the models are analyzed to inspect the relevance of the features in the raw material measurements. Based on initial tests and simulations, the network models show promising predictive ability, which means that they could be useful in bettering the production process in the future. There are no features in the data that are clearly the least important or irrelevant in all models, but in individual models such features are found. Additional preprocessing of the data is one area that future work could focus on to further improve and expand on the results of this thesis. Exploring other ways to train KANs or to fit symbolic formulas to KANs might also be beneficial.

Kolmogorov-Arnold-verkot (engl. Kolmogorov-Arnold networks; KAN) ovat viime aikoina huomiota herättäneitä neuroverkkomalleja. Ne tarjoavat mahdollisuuden tulkittavien mallien koulutukseen ja moniulotteisen datan piirteiden tärkeyden arviointiin. Tämän diplomityön tavoite on löytää tapoja mallintaa usean muuttujan kustannusfunktiota tuotantoprosessissa, raaka-aineen lajittelussa, KAN-verkkoja käyttämällä. Tulevaisuudessa näillä malleilla voitaisiin parantaa tuotantoprosessin kustannustehokkuutta. Mallinnus tehdään kahdella eri aineistolla, jotka koostuvat raaka-ainemittauksista ja niihin liitetyistä kustannusfunktion arvoista. Aineistojen näytteet voidaan jakaa edelleen pienempiin ryhmiin. Tämä voisi olla hyödyllistä selitettävän muuttujan ennustuksessa, joten yhdistemalleja tutkitaan. Kolmenlaisien erityyppisien KAN-mallien suorituksia vertaillaan. Näihin kuuluvat yhdestä verkosta koostuvat mallit, monesta verkosta koostuvat yhdistemallit ja verkoista tehdyt symboliset kaavat. Lisäksi raaka-ainemittauksien piirteiden relevanssia tutkitaan malleja analysoimalla. Ensimmäisten testien ja simulaatioiden perusteella verkkomallit osoittavat lupaavaa ennustuskykyä, eli ne voisivat olla hyödyllisiä tuotantoprosessin parannuksessa tulevaisuudessa. Datassa ei ole sellaisia piirteitä, jotka ovat selkeästi vähiten tärkeitä tai merkityksettömiä kaikissa malleissa, mutta yksittäisistä malleista tällaisia piirteitä löydetään. Datan esikäsittelyn lisääminen on yksi alue, johon voitaisiin tulevaisuudessa keskittyä tämän diplomityön tuloksien parantamiseksi ja laajentamiseksi. Lisäksi voi olla hyödyllistä kokeilla muita tapoja kouluttaa KAN-verkkoja tai sovittaa symbolisia kaavoja niihin.