Evaluation of deep learning-based object detection models on drone footage

Abstract

With the increased popularity of drones and the rapid development of object detection software, pairing the two has become a more feasible objective. Equipping drones with object detection software would enable drones to operate almost fully autonomously. This would improve the scalability of drone applications, since every drone wouldn’t need a human operator. This thesis explores the topic by fine-tuning and testing different object detection models using drone footage.

Both pretrained and fine-tuned versions of the following object detection models are evaluated: Faster R-CNN, YOLO11m, SSD300, RetinaNet, and FCOS. Performance is measured using mean average precision and recall, which are common performance metrics in object detection. The tests are conducted using three different drone footage datasets, featuring a variety of object classes and environments.

The results indicate that pretrained models trained on the popular COCO dataset aren’t suitable for drone applications, as they fail to confidently detect most objects in images captured by drones. After just a few epochs of fine-tuning, the performance of the models improves significantly. The models still struggle to detect objects that are far away or heavily occluded, but are able to reach high precision and recall in simpler scenes. It was also observed that using thermal images further improved the precision of the models.

Droonien suosion kasvaessa ja objektientunnistusmallien nopean kehityksen myötä, näiden kahden yhdistämisestä on tullut toteuttamiskelpoinen tavoite. Droonien varustaminen objektientunnistusohjelmistolla mahdollistaisi niiden lähes täysin autonomisen toiminnan. Tämä parantaisi droonisovellusten skaalautuvuutta, sillä jokainen drooni ei tarvitsisi ihmisoperaattoria. Tässä työssä aihetta tutkitaan hienosäätämällä ja testaamalla erilaisia objektientunnistusmalleja drooni-kuvamateriaalin avulla.

Testaamisessa käytetään sekä valmiiksi koulutettuja, että hienosäädettyjä versioita seuraavista malleista: Faster R-CNN, YOLO11m, SSD300, RetinaNet ja FCOS. Suorituskykyä mitataan keskimääräisellä tarkkuudella ja palautuskyvyllä, jotka ovat yleisiä suorituskykymittareita objektientunnistuksessa. Testit suoritetaan käyttämällä kolmea eri drooni-kuvamateriaalikokoelmaa, jotka sisältävät erilaisia objektiluokkia ja ympäristöjä.

Työn tulokset osoittavat, että suositulla COCO-kuvamateriaalikokoelmalla koulutetut mallit eivät sovellu droonisovelluksiin, sillä ne eivät pysty luotettavasti tunnistamaan objekteja drooneilla otetuissa kuvissa. Jo muutaman hienosäätökierroksen jälkeen mallien suorituskyky paranee merkittävästi. Kaukana olevat ja osittain peitetyt objektit aiheuttavat edelleen ongelmia malleille, mutta ne pystyvät saavuttamaan hyviä tuloksia yksinkertaisemmissa kuvissa. Tuloksissa havaittiin myös, että lämpökuvien käyttö paransi mallien tarkkuutta.