Sistema de Reconhecimento de Logotipos

Transcrição

1 Sistema de Reconhecimento de Logotipos Fellipe Duarte, Saulo T. Oliveira Relatório Técnico, Introdução ao Processamento de Imagens Programa de Engenharia de Sistemas e Computação COPPE Universidade Federal do Rio de Janeiro Brazil Resumo O objetivo deste trabalho é o estudo e a aplicação de técnicas de processamento de imagens no problema de reconhecimento de logotipos dentro de imagens. Para tanto, realizamos um estudo de caso de possíveis abordagens para utilizar neste problema e, escolhemos uma dentre todas para basear a nossa implementação. Adaptações e uma análise das dificuldades e dos resultados também se encontram neste trabalho. 1. Proposta O objetivo do nosso trabalho é o reconhecimento de logotipos dentro de imagens. Para tanto, vamos utilizar imagens compostas de logotipos (por exemplo, a Figura 1), como base para nosso estudo. Figura 1: Figura base para reconhecimento de logotipos

2 A idéia é estudar e utilizar algoritmos de processamento de imagens para comparar logotipos de uma base pré-definida de logotipos. A base de logotipos será composta de imagens de logotipos de empresas que serão extraídas do Google images 1. Exemplos de logotipos que queremos encontrar na Figura 1 são as Figura 2, Figura 3, Figura 4 e Figura 5. Figura 2 Figura 3 Figura 4 Figura 5 A seguir apresentaremos as metas que pretendemos cumprir durante a realização do nosso trabalho. Criamos essas metas para avaliar e acompanhar o escopo e a progressão do nosso trabalho. 1. Inicialmente pretendemos fazer um levantamento das abordagens utilizadas para o reconhecimento logotipos e escolheremos uma abordagem para utilizarmos; 2. Aplicaremos a abordagem escolhida listando as dificuldades encontradas e as possíveis soluções para compara duas imagens de logotipos. O resultado desta aplicação é informar se as duas são iguais (e, se possível, o quão iguais elas são 2 ) ou não. 3. Em seguida, expandiremos a aplicação para o reconhecimento de um logotipo e uma imagem com mais de um logotipo; 4. Finalmente, avaliaremos a possibilidade de a aplicação reconhecer logotipos em imagens reais. As metas propostas acima foram estipuladas para serem realizadas durante o intervalo em que a disciplina Introdução ao processamento de imagens (COS 756) durar Uma probabilidade de o quão próximas a duas imagens são.

3 2. Reconhecimento de logotipos O reconhecimento de logotipos pode ser aplicado em vários tipos de aplicações, como, por exemplo, a classificação de documentos (onde o logotipo é utilizado como marca d água) ou reconhecimento e remoção de logotipos em vídeos, como em [1]. Para [2] o problema de reconhecimento de logotipos, pode ser dividido em dois passos básico: Detecção do logotipo Características são extraídas para classificar regiões das imagens como possíveis regiões de um logotipo; Correspondência ( matching ) de logotipo As regiões candidatas, são comparadas com uma base de logotipos para determinar uma identidade para a região; Um exemplo de abordagem de detecção de logotipos está em [3] onde, retângulos são utilizados de forma iterativa para reconhecer uma região candidata a logotipo. Outra proposta para detecção de logotipos é apresentada em [2]. [1] apresenta uma abordagem que utiliza um classificador bayesiano para a detecção da região onde o logotipo se encontra e utiliza a distância de Hausdorff 3 para a Correspondência entre o logotipo e a região escolhida. Uma outra abordagem que atende tanto a detecção quanto a correspondência é encontrada em [4]. O reconhecimento de logotipos é influenciado de acordo com a forma como o logotipo pode ser apresentado na imagem alvo. Existem transformações possíveis nas características dos logotipos que gostaríamos de destacar: Escala Normalmente, o tamanho do logotipo da imagem alvo não corresponde ao tamanho do logotipo na base; Rotação Um logotipo pode ser representado dentro da mesma escala sendo rotacionado por diferentes ângulos em diferentes orientações; Oclusão Em uma imagem real, partes do logotipo podem ser omitidas por outros objetos na cena. 3

4 Um sistema para detecção e correspondência de logotipos é apresentado em [5]. Esta abordagem leva em consideração possíveis variações de escala, rotação e oclusão que podem ocorrer em fotografias naturais. Este sistema segue os seguintes passos para realizar a detecção e o casamento dos logotipos: 1. Detecção de pontos de interesse na imagem do logotipo e na imagem de teste utilizando o detector de Harris-Affine [6]; 2. Representar os pontos de interesse detectados através de descritores SIFT [6][7]; 3. Para cada ponto de interesse em um logotipo procuram-se candidatos a pontos relacionados. A escolha é feita utilizando-se um limiar de descarte entre a distância euclidiana de dois descritores; 4. Uma pontuação de correlação, baseada na idéia de votação da transformada de HOUGH 4, é calculada. Onde, uma Gaussiana é centralizada em cada ponto de interesse da imagem e cada pixel vota na região escolhida para determinar se é o um casamento válido. 3. Abordagem escolhida Escolhemos por adaptar a abordagem apresentada em [5] para a realização do nosso trabalho, visto que, ela consegue lidar com transformações de escala, rotação e oclusão. As etapas para o reconhecimento de logotipos do nosso trabalho são divididas da seguinte forma: 1) Criar a base de descritores SIFT dos pontos de interesse dos logotipos que pretendemos encontrar na imagem; 2) Extrair os descritores SIFT dos pontos de interesse da imagem alvo que vamos analisar; 3) Para cada ponto de interesse de um logotipo: i. Calcular a distância euclidiana entre seus vetores de características e um possível descritor correspondente na imagem alvo; 4

5 ii. iii. iv. Caso esta distância seja maior que o limiar pré-determinado, descartamos a possibilidade de correspondência entre os pontos de interesse; Caso contrário, verificamos se é a menor distância encontrada para o ponto de interesse do logotipo e, caso seja, marcamos os pontos como correlacionados; Realizar os passos i, ii e iii para todos os pontos de interesse da imagem alvo; 4) Para cada logotipo: i. Identificar os pontos de interesses com coordenadas máximas e mínimas com as quais, marcaremos um frame interno que as contém; ii. iii. iv. Identificar o fator de escala dividindo a distância euclidiana entre dois pontos de interesse do logotipo com a distância entre seus pontos correspondentes na imagem alvo; Contabilizar o fator médio de escala - fatormedio - realizando a média aritmética das distâncias calculadas no passo ii; Calcular o deslocamento em x descx e deslocamento em y descy, no logotipo, entre o ponto do frame interno, FI logo, de menor x e y com a origem; v. Identificar os pontos de interesses correlacionados na imagem alvo com os quais, marcaremos outro frame interno, FI imagem, que contém todos os pontos correlacionados; vi. vii. Selecionar o ponto com menores coordenadas x e y de FI imagem e calcular o ponto P E1 de coordenadas (x + descx*fatormedio, y + descy*fatormedio); Calcular os pontos P E2, P E3 e P E4 a partir de P E1 formando o frame extermo da imagem alvo; 3.1. Parametrização Para a execução da nossa estratégia, alguns parâmetros iniciais foram definidos, eles são: Para a execução do SIFT, 8 oitavos, com 4 intervalos e fator de borramento (Sigma) de 0.5 dobrando as dimensões da imagem.

6 Limiar máximo para a distância euclidiana entre os vetores de características de Exemplo prático A Figura 6 e a Figura 7 apresentam os descritores SIFT extraídos do logotipo e da imagem alvo, respectivamente. Figura 6: Descritores SIFT do logotipo Figura 7: Descritores SIFT da imagem alvo Após o passo 3 identificamos a Figura 8 e a Figura 9 que apresentam os pontos de interesse no logotipo que têm pontos de interesse correlacionados na imagem alvo.

7 Figura 8: Pontos de interesse no logotipo que tem correlações Figura 9: Pontos correlacionados da figura alvo Após o passo 4 identificamos a Figura 10 e a Figura 11 onde marcamos um quadro interno que agrupa os pontos de interesse das imagens. Nossa abordagem também marca uma região, quadro externo, candidata a região onde o logotipo se apresenta na imagem. Figura 10: Quadro interno que engloba todos os pontos de interesse do logotipo

8 Figura 11: Quadro interno que engloba todos os pontos de interesse e quadro externo da região candidata a logotipo na imagem alvo 4. Avaliações e Resultados Escolhemos um conjunto de comparações para realizar utilizando o nosso trabalho. Elas são: 1) Comparar a imagem do logotipo com ela mesma; 2) Comparar a imagem do logotipo com outro logotipo diferente; 3) Comparar a imagem do logotipo com uma imagem com vários logotipos, onde, um deles é o logotipo que queremos encontrar (com a mesma escala); 4) Comparar a imagem do logotipo com uma imagem com vários logotipos, onde, um deles é o logotipo que queremos encontrar (em outra escala); 5) Comparar a imagem do logotipo com uma imagem com vários logotipos rotacionada de 90º, onde, um deles é o logotipo que queremos encontrar (com a mesma escala); 6) Comparar a imagem do logotipo com uma imagem real que apresente o logotipo; O objetivo das comparações é o de avaliar em quais casos a abordagem é bem sucedida, em quais casos a abordagem tem que melhorar e em quais casos a abordagem não é útil. Para a realização das comparações escolhemos os logotipos da BMW, da ESSO e da OPENSUSE. Durante as avaliações, medimos os pontos de interesse encontrados nos

9 logotipos, o número de pontos que encontramos correspondentes na imagem alvo, o fator de escala médio que utilizamos para calcular os quadros na imagem alvo e o número de falsos positivos marcados na imagem alvo. Apresentamos estes valores nas Tabela 1, Tabela 2 e Tabela 3. Experimento Correspondentes Pontos de interesse Fator de escala Falsos positivos BMW BMW BMW BMW BMW BMW Tabela 1: Resultado para as comparações no logotipo da BMW Experimento Correspondentes Pontos de interesse Fator de escala Falsos positivos ESSO ESSO ESSO ESSO ESSO ESSO Tabela 2: Resultado para as comparações no logotipo da ESSO Experimento Correspondentes Pontos de interesse Fator de escala Falsos positivos OPENSUSE OPENSUSE OPENSUSE OPENSUSE OPENSUSE OPENSUSE Tabela 3: Resultado para as comparações no logotipo da OPENSUSE 5. Conclusões Podemos observar de acordo com os dados apresentados nas Tabela 1, Tabela 2 e Tabela 3 que: O fator de escala influencia diretamente a precisão dos resultados. Quando o fator de escala aumenta muito, o número de falsos positivos também aumenta; O número de pontos correspondentes encontrados não é o único fator decisivo na hora de encontrar a região onde o logo está na imagem alvo,

10 pois, podem existir falsos positivos dentro deste valor. Por exemplo, ESSO 5 apresenta 5 falsos positivos em 8 pontos correspondentes (31 % dos pontos de interesse) enquanto OPENSUSE 6 apresenta apenas 7 pontos correspondentes (18 % dos pontos de interesse) porém nenhum falso positivo e apresenta um enquadramento bom para uma imagem real (Figura 12); Apesar de a nossa abordagem de enquadramento do logotipo na imagem alvo necessitar de refinamentos, em alguns casos, ela conseguir encontrar regiões que se assemelham muito com a região onde a imagem se encontra. Figura 12 : Enquadramento do logotipo na imagem real 6. Trabalhos futuros Avaliar os resultados para diferentes configurações de limiar de corte de pontos candidatos; Aprimorar a identificação da área candidata; Melhorar a precisão para ângulos de rotação expressivos na imagem; Avaliar a existência de mais de uma área onde o logotipo pode aparecer; Atender transformações de affine e iluminação; Atender oclusão parcial dos logotipos (usando a ideia da transformada de HOUGH); Avaliar resultados utilizando outras medidas para comparar os descritores, como, por exemplo, a distâncias de Haussdorf.

11 7. Referências [1] Yan,,W.Q., Wang, J., Kankanhalli, M.S.: Automatic Video Logo Detection and Removal. Multimedia System 10, (2005). [2] Seiden, S., Dillencourt, M., Irani, S., Borrey, R., Murphy, T., Logo Detection in Document Images, Proc. Int. Conf. Imaging Science, Systems, and Technology, pp , [3] Wang, H., Chen, Y., Logo detection in document images based on boundary extension of feature rectanges, proc. Document Analysis and Recognition, ICDAR '09. 10th International Conference, pp , 2009 [4] Zhu, G., Doerman, D., Automatic Document Logo Detection, proc. Document Analysis and Recognition, ICDAR 2007., pp , 2007 [5] Sanyal, S., Srininvasan, S., LogoSeeker: A System for Detection and Matching Logos in Natural Images, Multimedia computing lab, 2007 [6] K. Mikolajczk, C. Schmid, Scale and affine invariant interest points detectors, proc. International Journal of Computer Vision, pp , [7] Lowe, D. (1999). "Object recognition from local scale-invariant features". Proc. of the International Conference on Computer Vision. 2. pp