Shipment type classification from images
Leppioja, Markus (2020)
Diplomityö
Leppioja, Markus
2020
School of Engineering Science, Tuotantotalous
Kaikki oikeudet pidätetään.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe2020052739405
https://urn.fi/URN:NBN:fi-fe2020052739405
Tiivistelmä
The aim of this study is to develop an automatic classifier for shipment type classification from images. The Company is operating in the field of postal and logistics. The focus is in postal shipment types and in a machine sorting process. There are several different types of shipments such as different kinds of letters and magazines. The classifier is built to classify the shipments to seven classes based on images. These images are grayscale and taken by the sorting machine. The business driver of this study is to gather more precise information about the volumes, especially in case of consumer to consumer letters.
To build the classifier, a technique of transfer learning is used. Three pretrained convolutional neural networks, VGG16, GoogLeNet and ResNet50 are used. The top layers of these models are removed, and all the other layers remain frozen. The pretrained models are used as feature extractors. On top of these models, a simple neural network classifier is utilized. The highest accuracy of 95.69% is obtained with VGG16 using the test set. Different classes are evaluated in terms of F1 score, precision and recall and based on the results, there is variability among the performance of the different classes. These results indicate that the classifier is performing well and for the future these results are definitely useful. Tämän tutkielman tavoitteena on kehittää automaattinen luokittelumalli erilaisten lähetystyyppien luokitteluun kuvien perusteella. Yritys toimii postipalveluiden ja logistiikan alalla ja tämä työ keskittyy konelajiteltuihin postilähetyksiin. Erilaisia lähetystyyppejä on useita, esimerkkinä erilaiset kirjeet ja aikakauslehdet. Luokittelumalli on rakennettu luokittelemaan lähetykset seitsemään luokkaan lajittelukoneen ottamien kuvien perusteella. Yleisenä tavoitteena tässä työssä on kerätä nykyistä tarkempaa tietoa volyymeista, etenkin kuluttajien lähettämien kirjeiden osalta.
Luokittelumallin rakentamisessa käytetään tekniikkaa nimeltä siirto-oppiminen. Työssä käytetään kolmea esikoulutettua konvoluutioneuroverkkoa, VGG16, GoogLeNet ja ResNet50. Päällimmäiset kerrokset näistä malleista on poistettu ja loput kerrokset on jäädytetty. Esikoulutettuja konvoluutioneuroverkkoja käytetään ominaisuuksien irrotukseen. Nämä ominaisuudet syötetään luokittelijaan, joka on yksinkertainen neuroverkko. Paras tarkkuus, 95,69%, saavutetaan VGG16 mallilla käyttäen testiaineistoa. Luokkien arviointiin käytetään F1 arvoa, täsmällisyyttä sekä tunnistuskykyä ja luokkien suoriutumisen välillä on tulosten perusteella vaihtelua. Tutkimustulosten perusteella voidaan sanoa, että luokittelija toimii hyvin ja tämän työn tulokset ovat hyödyllisiä tulevaisuudessa.
To build the classifier, a technique of transfer learning is used. Three pretrained convolutional neural networks, VGG16, GoogLeNet and ResNet50 are used. The top layers of these models are removed, and all the other layers remain frozen. The pretrained models are used as feature extractors. On top of these models, a simple neural network classifier is utilized. The highest accuracy of 95.69% is obtained with VGG16 using the test set. Different classes are evaluated in terms of F1 score, precision and recall and based on the results, there is variability among the performance of the different classes. These results indicate that the classifier is performing well and for the future these results are definitely useful.
Luokittelumallin rakentamisessa käytetään tekniikkaa nimeltä siirto-oppiminen. Työssä käytetään kolmea esikoulutettua konvoluutioneuroverkkoa, VGG16, GoogLeNet ja ResNet50. Päällimmäiset kerrokset näistä malleista on poistettu ja loput kerrokset on jäädytetty. Esikoulutettuja konvoluutioneuroverkkoja käytetään ominaisuuksien irrotukseen. Nämä ominaisuudet syötetään luokittelijaan, joka on yksinkertainen neuroverkko. Paras tarkkuus, 95,69%, saavutetaan VGG16 mallilla käyttäen testiaineistoa. Luokkien arviointiin käytetään F1 arvoa, täsmällisyyttä sekä tunnistuskykyä ja luokkien suoriutumisen välillä on tulosten perusteella vaihtelua. Tutkimustulosten perusteella voidaan sanoa, että luokittelija toimii hyvin ja tämän työn tulokset ovat hyödyllisiä tulevaisuudessa.