Driving Computer Vision Innovation Through the Constraints of Camera-Trap Data

Abstract

Armadilhas fotográficas são uma ferramenta não invasiva e de baixo custo para o monitoramento da fauna e a pesquisa ecológica. No entanto, elas produzem um grande volume de dados, cujo processamento manual é caro e demorado. Nos últimos anos, o aprendizado profundo tem possibilitado a extração automatizada de informações desses sensores, acelerando o processamento de dados e o monitoramento da biodiversidade em larga escala. Apesar disso, diversos desafios continuam sendo insuficientemente abordados, incluindo o extremo desbalanceamento entre classes, a disponibilidade limitada de dados rotulados, os recursos computacionais restritos e a dificuldade de contar indivíduos em sequências de imagens. Consequentemente, o objetivo principal deste trabalho é investigar como as restrições inerentes aos dados de armadilhas fotográficas podem impulsionar novos métodos de visão computacional em condições reais, com foco em três tarefas principais: filtragem de imagens vazias, classificação de espécies em cenários de cauda longa e contagem de animais em sequências de imagens. Para a filtragem de imagens vazias, analisamos a relação de compromisso entre modelos de classificação e de detecção sob restrições de implantação em dispositivos embarcados, mostrando que abordagens de classificação oferecem uma alternativa prática de baixa latência quando os recursos computacionais e as anotações de detecção são limitados. Para lidar com o desbalanceamento extremo na tarefa de reconhecimento de espécies, na qual espécies raras e ecologicamente importantes são frequentemente negligenciadas, é proposto o framework Square-Root Sampling Branch (SSB), que combina cabeças de classificação treinadas sob diferentes distribuições de amostragem para melhorar o desempenho nas classes da cauda, enquanto minimiza a degradação da acurácia nas classes majoritárias. Também foi realizada uma avaliação sistemática de estratégias para tratar o problema de cauda longa em quatro bases de dados de armadilhas fotográficas e quatro famílias de arquiteturas de visão computacional. Para a contagem de animais, motivados pelos grandes deslocamentos dos objetos e pela escassez de anotações de rastreamento para sequências de imagens de armadilhas fotográficas obtidas com baixa taxa de frames, introduz-se o PuTR-CouT, um framework de contagem por rastreamento baseado em Transformers, treinado em dados fracamente supervisionados gerados via conhecimento prévio de armadilhas fotográficas e que permite contagem de múltiplas espécies. O método proposto atinge uma pontuação de 0,0248642 no benchmark iWildCam 2021, superando métodos tradicionais de rastreamento de múltiplos objetos e apresentando uma melhoria de aproximadamente 15,2% em relação à solução vencedora do desafio. Em suma, as contribuições desta tese incluem análises comparativas e novos métodos para filtragem eficiente de imagens vazias, classificação de espécies em cauda longa e contagem de animais por rastreamento, mostrando como as restrições inerentes aos dados de armadilhas fotográficas podem guiar inovações metodológicas em visão computacional para o monitoramento da vida selvagem.