Object Tracking. Fernando Medeiros Dufour Ciência da Computação - UFPR Tópicos em Visão Computacional

Transcrição

1 Object Tracking Fernando Medeiros Dufour Ciência da Computação - UFPR Tópicos em Visão Computacional

2 Índice 1. Introdução a. Problema b. Aplicações c. Dificuldades d. Datasets 2. Redes Neurais Convolucionais 3. Artigos

3 Problema Como identificar e acompanhar objetos em sequências de imagens e vídeos?

4 Aplicações Vigilância Identificar movimentações anormais, comportamentos suspeitos.

5 Aplicações Contagens Quantos carros passam por essa rua por dia? Quantas pessoas entraram no shopping? Qual o horário com maior movimentação?

6 Aplicações Realidade Aumentada Fazer com que animações gráficas interajam com o mundo real.

7 Limitação de tempo: algoritmos com maior acurácia são mais demorados. Variações na imagem: iluminação, oclusão, ruído. Falta de bases de dados grandes. Dificuldades

8 Datasets TLP 50 videos coletados do youtube, com 25 deles sendo em ambientes fechados e 25 em ambientes abertos. Diferentes cenários: deserto, oceano, rua, céu. Diferentes objetos: pessoas, animais, carros, etc.

9 Datasets Object Tracking Benchmark (OTB) É um benchmark popular para Object Tracking. Contém 100 vídeos com anotações e variações na iluminação e ambientes.

10 Redes Neurais Convolucionais (CNN) Extração de Características Existem inúmeras formas utilizadas para gerar representações com menor dimensão e maior expressão das imagens, como: HoG, SIFT, RIFT, etc.

11 Redes Neurais Convolucionais (CNN) Extração de Características É um processo trabalhoso e que pode variar muito de acordo com o domínio da aplicação. exemplo no HoG: variação no tamanho do bloco, célula, bins...

12 Redes Neurais Convolucionais (CNN) Extração de Características E se pudéssemos aprender quais são as características que melhor representam nossas imagens?

13 Redes Neurais Convolucionais (CNN)

14 Redes Neurais Convolucionais (CNN)

15 Proposta: Framework baseado em CNNs para aprendizado de informações multi-domínios nas imagens. Distinção de informações compartilhadas entre domínios e informações específicas de cada um. Aprendizado online de informações de novos domínios. Learning Multi-Domain Convolutional Neural Networks for Visual Tracking Hyeonseob Nam, Bohyung Han 2016

16 Tracking-by-detection 1a Etapa Desenhar retângulos ao redor do objeto inicialmente detectado. 2a Etapa Classificar cada retângulo entre Objecto-alvo e Background.

17 Multi-Domain Network (MDNet) Modelo discriminativo binário para classificar uma determinada janela entre Objecto-alvo e Foreground. Uma rede-neural para cada domínio diferente.

18 Multi-Domain Network (MDNet) Dessa forma a camada compartilhada da CNN aprende a melhor forma de extrair características de forma independente de contexto.

19 Treinamento Amostra de 50 janelas positivas e 200 janelas negativas. Bounding Box Regression: técnica que busca prever a próxima região que o objeto estará.

20 Resultados Métricas: Precisão (distância do centro do box real com o box calculado) Taxa de overlap entre os boxes.

21 Resultados

22 VITAL: VIsual Tracking via Adversarial Learning Proposta: Uso de uma rede GAN para aumentar o número de amostras positivas. Função de erro com filtro para pequenas magnitudes. Yibing Song, Chao Ma, Xiaohe Wu, Lijun Gong, Linchao Bao, Wangmeng Zuo, Chunhua Shen, Rynson W.H. Lau, and Ming-Hsuan Yang 2018

23 Generative Adversarial Networks (GAN) Usada para gerar novas amostras positivas para o treinamento da rede, tentando otimizar as representações mais robustas das máscaras.

24 Problema das classes desbalanceadas Ocorre quando existe um número muito maior de amostras para uma classe. Por exemplo: existem poucos boxes positivos e muitos negativos.

25 Problema das classes desbalanceadas A GAN ajuda a gerar novas representações das amostras positivas, dessa forma, diminui as consequências desse efeito. Proposta de uma nova função de erro para o treinamento da CNN, impedindo que erros muito pequenos sejam propagados. Dessa forma, as imagens com um erro maior são favorecidas nessa etapa. (Hard mining)

26 Resultados

27 Referências Moudgil, Abhinav, and Vineet Gandhi. "Long-Term Visual Object Tracking Benchmark." arxiv preprint arxiv: (2017). Y. Wu, J. Lim and M. H. Yang, "Object Tracking Benchmark," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 37, no. 9, pp , Sept Yibing Song et al. "VITAL: VIsual Tracking via Adversarial Learning" Hyeonseob Nam, Bohyung Han "Learning Multi-Domain Convolutional Neural Networks for Visual Tracking"