One-to-many and many-to-many matching for Saimaa ringed seal re-identification

Abstract

Saimaa ringed seals are among the most endangered seal species. Monitoring Saimaa ringed seals using image data is a useful tool in their conservation efforts. The images can be collected automatically by using camera traps and the amount of data collected can be large. Automatic computer vision methods for identifying individual seals are used to reduce the amount of manual work involved in the identification. Utilising information from multiple images and views simultaneously can give additional information and enhance the features present in the images. In this thesis the one-to-many and many-to-many matching of Saimaa ringed seals is considered. Information from multiple images was utilised by aggregating the features from multiple images to a single Fisher Vector. The experiments were conducted with aggregating only the database features, only the query features, and aggregating both. The achieved results were compared to one-to one matching where features from a single image are used at a time. Aggregating the only the database features failed to improve results over the baseline one-to-one matching. The other two aggregation methods significantly improved the re-identification accuracy.

Saimaannorppa on yksi uhanalaisimmista hyljelajeista. Saimaannorppien tarkkailu kuvien avulla on hyödyllinen työkalu niiden suojelutyössä. Kuvia voidaan kerätä automaattisesti käyttämällä riistakameroita ja kerätyn datan määrä voi olla suuri. Manuaalisen työn vähentämiseksi norppayksilöiden tunnistamisessa hyödynnetään automaattisia tietokonenäköön pohjautuvia metodeja. Useiden kuvien ja kuvakulmien käyttö samanaikaisesti voi antaa lisäinformaatiota ja tarkentaa kuvissa olevia piirteitä. Tässä työssä käsitellään saimaannorppien yksi-moneen- ja moni-moneen-vastaavuutta. Informaatiota useista kuvista hyödennettiin yhdistämällä useista kuvista kerätyt piirteet yhteen Fisher-vektoriin. Suoritetuissa kokeissa yhdistettiin piirteet vain tietokantakuvista, vain kyselykuvista, sekä molemmista. Saavutettuja tuloksia verrattiin yksi-yhteen -vastaavuuteen, jossa käytetään piirteitä vain yhdestä kuvasta kerrallaan. Vain tietokantakuvien piirteiden yhdistäminen ei parantanut tuloksia suhteessa yksi-yhteen-vastaavuuteen. Kaksi muuta kokeiltua yhdistämismetodia paransivat tunnistamistarkkuutta merkittävästi.