Anotador automático de placas de publicidade em vídeos esportivos

Transcrição

1 MAC Trabalho de Formatura Supervisionado Professor: Carlos Eduardo Ferreira Universidade de São Paulo Instituto de Matemática e Estatística Aluno: Ricardo Augusto Fernandes Orientador: Prof. Dr. Roberto Marcondes César Jr. 2011

2 Agenda Introdução O estado da arte Método Implementado Resultados Conclusões

3 Agenda Introdução O estado da arte Método Implementado Resultados Conclusões

4 Introdução A anotação de placas de Normalmente feito de modo manual. Objetivo estatístico voltado ao mercado publicitário

5 Introdução A anotação de placas de Normalmente feito de modo manual. Objetivo estatístico voltado ao mercado publicitário

6 Agenda Introdução O estado da arte Método Implementado Resultados Conclusões

7 O estado da arte Principais problemas enfrentados Variação de escala Mudança de Perspectiva Oclusão Imagem exemplo

8 O estado da arte Principais problemas enfrentados Variação de escala Mudança de Perspectiva Oclusão Imagem exemplo Estratégias anteriores Descritores SIFT-like: SIFT GLOH Robustos em variações de escala, perspectiva e oclusão.

9 Agenda Introdução O estado da arte Método Implementado Resultados Conclusões

10 Agenda Introdução O estado da arte Método Implementado Resultados Conclusões SURF Extração de Pontos de Interesse Descrição de Pontos de Interesse Correspondência e Casamento

11 SURF Speeded-Up Robust Features Inspirado no algoritmo SIFT Descreve a imagem através de vizinhança de pontos específicos denominados Pontos de Interesse ou Descritores. Robusto em relação aos problemas apresentados anteriormente Implementado na biblioteca utilizada (OpenCV)

12 Agenda Introdução O estado da arte Método Implementado Resultados Conclusões SURF Extração de Pontos de Interesse Descrição de Pontos de Interesse Correspondência e Casamento

13 Extração dos Pontos de Interesse Os Pontos de Interesse ou Descritores, são definidos como pontos cujo Determinante de sua Hessiana são máximos locais

14 Extração dos Pontos de Interesse Pirâmides de Imagem Gaussianas são utilizadas para se atingir diferentes níveis de resolução

15 Extração dos Pontos de Interesse Pré-processamento: Cálculo da Integral da Imagem

16 Extração dos Pontos de Interesse Pré-processamento: Cálculo da Integral da Imagem Objetivo: Diminuir o tempo de processamento Imagem Pirâmide 1 Hessiana1 Pirâmide 2 Hessiana2 Determinantes Máximos Locais Pirâmide n Hessianan

17 Extração dos Pontos de Interesse Pré-processamento: Cálculo da Integral da Imagem Objetivo: Diminuir o tempo de processamento Filtro HessianaEscala 1 Imagem Integral da Imagem Filtro HessianaEscala 2 Determinantes Máximos Locais Filtro HessianaEscala n

18 Extração dos Pontos de Interesse Como: Fazendo-se a convolução da Integral da Imagem com máscaras das Derivadas Segundas de uma Gaussiana de desvio-padrão δ Máscaras Discretizadas das Segundas Derivadas de uma Gaussiana

19 Extração dos Pontos de Interesse Em vez de se calcular os vários níveis da pirâmide, aplica-se máscaras de tamanhos crescentes I

20 Extração dos Pontos de Interesse Em vez de se calcular os vários níveis da pirâmide, aplica-se máscaras de tamanhos crescentes I

21 Extração dos Pontos de Interesse Que por sua vez são trocadas por um número constante de operações Σ=A-B-C+D D B Σ C A Mapeados todos os candidatos a Pontos de Interesse, determina-se aqueles I cujos determinantes sejam máximos locais.

22 Agenda Introdução O estado da arte Método Implementado Resultados Conclusões SURF Extração de Pontos de Interesse Descrição de Pontos de Interesse Correspondência e Casamento

23 Descrição dos Pontos de Interesse Orientação: Direção que acumular mais Pontos de Interesse vizinhos Subdivisão da vizinhança em 16 subregiões I

24 Descrição dos Pontos de Interesse Cada subregião fornece quatro descritores, Dx, Dy, Dx e Dy onde dx i e dy i são cada uma das derivadas calculadas à partir da convolução com as respectivas máscaras Haar Wavelets I Haar Wavelets

25 Agenda Introdução O estado da arte Método Implementado Resultados Conclusões SURF Extração de Pontos de Interesse Descrição de Pontos de Interesse Correspondência e Casamento

26 Correspondência e Casamento Calcula-se os Descritores da placa (obj) procurada Itera-se no vídeo, calculando-se os Descritores do quadro (img) A Correspondência é dada a partir das Distâncias entre os Descritores do quadro e da placa É considerado um Casamento entre dois vetores quando há a correspondência entre n vizinhos mais próximos Baseado no número de casamentos, infere-se a presença da placa no quadro

27 Agenda Introdução O estado da arte Método Implementado Resultados Conclusões

28 Resultados Os resultados indicam robustez a oclusões, mudanças de persperctiva e pequenas variações de escala

29 Resultados Percebe-se que mesmo invertendo-se a placa há um grande número de casamentos

30 Resultados Resultados ruins ocorrem quando a placa aparece à distância no quadro

31 Resultados O método também não é robusto à Inversões de Cores

32 Resultados Apenas as correspondências não são suficientemente robustas

33 Agenda Introdução O estado da arte Método Implementado Resultados Conclusões

34 Conclusões O método parece ser suficientemente robusto para se construir um anotador direcionado ao mercado de marketing digital O aumento da qualidade da imagem e do vídeo devem colaborar no aumento do número de Descritores extraídos, principalmente em quadros de longa distância Métodos de Aprendizagem de Máquina utilizados nos trabalhos da estudados parecem ter sucesso na redução de falsos positivos Apesar do algoritmo se propor a ser muito mais veloz do que seu inspirador SIFT, não parece ainda adequado à aplicações em tempo real.

35 Referências Bibliográficas [1] Bagdanov,A. D., Ballan, L., Bertini, M., anddel Bimbo, A., Trademark matching andretrievalin sportsvideodatabases, in Proc. ofmir, Augsburg, Germany, 2007 [2] Ballan, L., Bertini, M., Del Bimbo, A., Jain, A., Automatictrademark detection and recognition in sport videos, in Multimedia and Expo, 2008 IEEE International Conferenceon. [3] Watve, A., Sural, S., Soccer Video Processing for the detection of ad-vertisement billboards, in Pattern Recognition Letters archive,volume29, Issue 7 (May 2008) Elsevier [4] Ishimura, N., Recognizing Multiple Billboard Advertisements in Videos [5] Lowe, D., Distinctive Image Features from Scale-Invariant Keypoints, (January, 2004) [6] Mikolajczyk, K., Schmid, C., A performance evaluation of local descriptors [7] Bay, H., Ess,a., Tuytelaars, T., Speeded-Up Robust Features (SURF) [8] Bradsky, G., Kaehler,A., LearningOpenCV, O'Reilly, 2008, FirstEdition [9] OpenCV,