MAC0499 - Trabalho de Formatura Supervisionado Professor: Carlos Eduardo Ferreira Universidade de São Paulo Instituto de Matemática e Estatística Aluno: Ricardo Augusto Fernandes Orientador: Prof. Dr. Roberto Marcondes César Jr. 2011
Agenda Introdução O estado da arte Método Implementado Resultados Conclusões
Agenda Introdução O estado da arte Método Implementado Resultados Conclusões
Introdução A anotação de placas de Normalmente feito de modo manual. Objetivo estatístico voltado ao mercado publicitário
Introdução A anotação de placas de Normalmente feito de modo manual. Objetivo estatístico voltado ao mercado publicitário
Agenda Introdução O estado da arte Método Implementado Resultados Conclusões
O estado da arte Principais problemas enfrentados Variação de escala Mudança de Perspectiva Oclusão Imagem exemplo
O estado da arte Principais problemas enfrentados Variação de escala Mudança de Perspectiva Oclusão Imagem exemplo Estratégias anteriores Descritores SIFT-like: SIFT GLOH Robustos em variações de escala, perspectiva e oclusão.
Agenda Introdução O estado da arte Método Implementado Resultados Conclusões
Agenda Introdução O estado da arte Método Implementado Resultados Conclusões SURF Extração de Pontos de Interesse Descrição de Pontos de Interesse Correspondência e Casamento
SURF Speeded-Up Robust Features Inspirado no algoritmo SIFT Descreve a imagem através de vizinhança de pontos específicos denominados Pontos de Interesse ou Descritores. Robusto em relação aos problemas apresentados anteriormente Implementado na biblioteca utilizada (OpenCV)
Agenda Introdução O estado da arte Método Implementado Resultados Conclusões SURF Extração de Pontos de Interesse Descrição de Pontos de Interesse Correspondência e Casamento
Extração dos Pontos de Interesse Os Pontos de Interesse ou Descritores, são definidos como pontos cujo Determinante de sua Hessiana são máximos locais
Extração dos Pontos de Interesse Pirâmides de Imagem Gaussianas são utilizadas para se atingir diferentes níveis de resolução http://www.cs.toronto.edu/~jepson/csc320/notes/pyramids.pdf
Extração dos Pontos de Interesse Pré-processamento: Cálculo da Integral da Imagem
Extração dos Pontos de Interesse Pré-processamento: Cálculo da Integral da Imagem Objetivo: Diminuir o tempo de processamento Imagem Pirâmide 1 Hessiana1 Pirâmide 2 Hessiana2 Determinantes Máximos Locais Pirâmide n Hessianan
Extração dos Pontos de Interesse Pré-processamento: Cálculo da Integral da Imagem Objetivo: Diminuir o tempo de processamento Filtro HessianaEscala 1 Imagem Integral da Imagem Filtro HessianaEscala 2 Determinantes Máximos Locais Filtro HessianaEscala n
Extração dos Pontos de Interesse Como: Fazendo-se a convolução da Integral da Imagem com máscaras das Derivadas Segundas de uma Gaussiana de desvio-padrão δ Máscaras Discretizadas das Segundas Derivadas de uma Gaussiana
Extração dos Pontos de Interesse Em vez de se calcular os vários níveis da pirâmide, aplica-se máscaras de tamanhos crescentes I
Extração dos Pontos de Interesse Em vez de se calcular os vários níveis da pirâmide, aplica-se máscaras de tamanhos crescentes I
Extração dos Pontos de Interesse Que por sua vez são trocadas por um número constante de operações Σ=A-B-C+D D B Σ C A Mapeados todos os candidatos a Pontos de Interesse, determina-se aqueles I cujos determinantes sejam máximos locais.
Agenda Introdução O estado da arte Método Implementado Resultados Conclusões SURF Extração de Pontos de Interesse Descrição de Pontos de Interesse Correspondência e Casamento
Descrição dos Pontos de Interesse Orientação: Direção que acumular mais Pontos de Interesse vizinhos Subdivisão da vizinhança em 16 subregiões I
Descrição dos Pontos de Interesse Cada subregião fornece quatro descritores, Dx, Dy, Dx e Dy onde dx i e dy i são cada uma das derivadas calculadas à partir da convolução com as respectivas máscaras Haar Wavelets I Haar Wavelets
Agenda Introdução O estado da arte Método Implementado Resultados Conclusões SURF Extração de Pontos de Interesse Descrição de Pontos de Interesse Correspondência e Casamento
Correspondência e Casamento Calcula-se os Descritores da placa (obj) procurada Itera-se no vídeo, calculando-se os Descritores do quadro (img) A Correspondência é dada a partir das Distâncias entre os Descritores do quadro e da placa É considerado um Casamento entre dois vetores quando há a correspondência entre n vizinhos mais próximos Baseado no número de casamentos, infere-se a presença da placa no quadro
Agenda Introdução O estado da arte Método Implementado Resultados Conclusões
Resultados Os resultados indicam robustez a oclusões, mudanças de persperctiva e pequenas variações de escala
Resultados Percebe-se que mesmo invertendo-se a placa há um grande número de casamentos
Resultados Resultados ruins ocorrem quando a placa aparece à distância no quadro
Resultados O método também não é robusto à Inversões de Cores
Resultados Apenas as correspondências não são suficientemente robustas
Agenda Introdução O estado da arte Método Implementado Resultados Conclusões
Conclusões O método parece ser suficientemente robusto para se construir um anotador direcionado ao mercado de marketing digital O aumento da qualidade da imagem e do vídeo devem colaborar no aumento do número de Descritores extraídos, principalmente em quadros de longa distância Métodos de Aprendizagem de Máquina utilizados nos trabalhos da estudados parecem ter sucesso na redução de falsos positivos Apesar do algoritmo se propor a ser muito mais veloz do que seu inspirador SIFT, não parece ainda adequado à aplicações em tempo real.
Referências Bibliográficas [1] Bagdanov,A. D., Ballan, L., Bertini, M., anddel Bimbo, A., Trademark matching andretrievalin sportsvideodatabases, in Proc. ofmir, Augsburg, Germany, 2007 [2] Ballan, L., Bertini, M., Del Bimbo, A., Jain, A., Automatictrademark detection and recognition in sport videos, in Multimedia and Expo, 2008 IEEE International Conferenceon. [3] Watve, A., Sural, S., Soccer Video Processing for the detection of ad-vertisement billboards, in Pattern Recognition Letters archive,volume29, Issue 7 (May 2008) Elsevier [4] Ishimura, N., Recognizing Multiple Billboard Advertisements in Videos [5] Lowe, D., Distinctive Image Features from Scale-Invariant Keypoints, (January, 2004) [6] Mikolajczyk, K., Schmid, C., A performance evaluation of local descriptors [7] Bay, H., Ess,a., Tuytelaars, T., Speeded-Up Robust Features (SURF) [8] Bradsky, G., Kaehler,A., LearningOpenCV, O'Reilly, 2008, FirstEdition [9] OpenCV, http://opencv.willowgarage.com/documentation/index.html http://www.linux.ime.usp.br/~raf