Open-set plankton detection

Abstract

Plankton include a diverse range of microscopic organisms that live in aquatic environments and have an important role in marine ecosystems as primary producers. Given their sensitivity to environmental changes, fluctuations in plankton populations can offer valuable information about ocean health and climate change. Extensive plankton datasets can be captured using automatic imaging instruments, creating a need for automatic plankton recognition systems that can be used to recognize plankton species with minimal supervision. Although these systems already exist, they still have challenges. The main objective of this thesis is to propose an automatic plankton recognition system with two main functions: first, to detect all possible plankton particles from images containing multiple particles, and second, to classify these detections into known classes and reject the unknown detections. The proposed method is a two-stage system consisting of a Faster R-CNN plankton detector and a Class Anchored Clustering open-set plankton classifier. The experiments focused on testing both parts of the system separately and as a complete pipeline. The plankton detector can accurately detect overlapping plankton particles, and the open-set plankton classifier improved open-set recognition accuracy over OpenMax and ArcFace.

Planktonit ovat mikroskooppisia eliöitä, jotka elävät vesistöissä ja joilla on merkittävä rooli meriekosysteemeissä alkutuottajina. Koska planktonpopulaatiot ovat herkkiä ympäristön muutoksille, niiden vaihtelut voivat tarjota arvokasta tietoa valtamerien terveydestä ja ilmastonmuutoksesta. Laajoja planktonaineistoja voidaan kerätä automaattisten kuvantamislaitteiden avulla, mikä luo tarpeen automaattisille planktonintunnistusjärjestelmille, joiden avulla planktonlajit voidaan tunnistaa käyttäen vähäistä valvontaa. Vaikka tällaisia järjestelmiä on jo olemassa, niihin liittyy edelleen haasteita. Tämän työn päätavoitteena on ehdottaa automaattinen planktonintunnistusjärjestelmä, jolla on kaksi päätoimintoa: ensiksi, tunnistaa kaikki mahdolliset planktonpartikkelit kuvista, jotka sisältävät useita partikkeleja, ja toiseksi, luokitella nämä tunnistukset tunnettuihin luokkiin ja hylätä tuntemattomat tunnistukset. Ehdotettu menetelmä on kaksivaiheinen järjestelmä, joka koostuu Faster R-CNN -planktonintunnistimesta ja Class Anchored Clustering avoimen joukon planktonluokittimesta. Kokeet keskittyvät molempien järjestelmän osien testaamiseen erikseen ja kokonaisuutena. Planktonintunnistin pystyy tarkasti tunnistamaan päällekäiset planktonpartikkelit, ja planktonluokitin paransi avoimen luokan tunnistunkykyä OpenMax- ja ArcFace-menetelmiin nähden.