Recuperação de Imagens Digitais com Base na Distribuição de Características de Baixo Nível em Partições do Domínio Utilizando Índice Invertido

Transcrição

1 Recuperação de Imagens Digitais com Base na Distribuição de Características de Baixo Nível em Partições do Domínio Utilizando Índice Invertido Autor: Patrícia Aparecida Proença 1, Orientador: Ilmério Reis da Silva 1, Co-Orientadora: Célia Aparecida Zorzo Barcelos 1 1 Programa de Pós-Graduação em Ciência da Computação Universidade Federal do Uberlândia (UFU) Uberlândia MG Brasil patriciaproenca@gmail.com, ilmerio@facom.ufu.br, celia@ufu.br Nível: Mestrado Ano de ingresso no programa: 2008 Época esperada de conclusão: Março / 2010 Etapa concluída: Defesa da proposta de dissertação Resumo. Considerando a indexação de características de baixo nível de partições de imagens digitais mapeadas para um índice invertido, este trabalho busca melhorias no desempenho do processamento de consultas e ganho na precisão considerando o conjunto de imagens recuperadas em grandes bases de dados. O índice invertido, análogo ao utilizado em recuperação textual, é aqui adaptado para recuperação de imagens baseado em conteúdo. O conceito de termo da recuperação textual, principal elemento da indexação é utilizado no trabalho como característica de partições de imagens para a indexação. Experimentos mostram ganho na qualidade da precisão usando duas coleções de imagens digitais. Palavras-Chave. Índice Invertido, Recuperação de Imagens, CBIR

2 1. Introdução e Motivação A facilidade de distribuição advinda com a popularização da Internet e o aumento do poder computacional disponível foram decisivos para o crescimento do número de imagens produzidas em meio digital. Diante desse cenário, muitas vezes o usuário encontra dificuldades em localizar imagens específicas, surge então a necessidade crescente por melhores algoritmos de busca, métodos de indexação e técnicas de classificação de imagens digitais [Datta et al. 2008]. Atualmente tem crescido a busca de imagem pelo próprio conteúdo denominada Recuperação de Imagens Baseada no Conteúdo. O CBIR engloba tecnologias que ajudam a organizar arquivos de imagens digitais pelo conteúdo visual extraídos automaticamente da própria imagem [Datta et al. 2008]. O conjunto de características extraídas de uma imagem varia em número e especificidade dependendo do domínio de aplicação envolvido. Para melhorar o desempenho da recuperação, indexação multidimensional é aplicada [Wu and Bretschneider 2004]. Atualmente, diferentes estruturas vêm sendo propostas, mas estruturas da família R-tree são mais utilizadas em CBIR [Valle et al. 2008] e [Wu and Bretschneider 2004]. Em [Mattos et al. 2008a] e [Mattos et al. 2008b] são apresentadas propostas de adaptação do CBIR, para a utilização da técnica existente no campo de recuperação de informação textual denominada índice invertido. O objetivo deste trabalho é estender os trabalhos [Mattos et al. 2008a] e [Mattos et al. 2008b] contribuindo na qualidade e quantidade dos termos utilizados na indexação por meio das partições das imagens, e aplicá-lo dentro do ambiente de recuperação por conteúdo para grandes coleções, visando não somente o ganho de desempenho no processamento das consultas, mas também ganho na precisão no conjunto de imagens recuperadas. 2. Traballhos Relacionados Em [Mattos et al. 2008a] e [Mattos et al. 2008b] são propostas adaptações do CBIR, para que possa ser utilizado o paradigma existente no campo de recuperação de informação textual denominado índice invertido. Os termos utilizados na recuperação textual são palavras presentes nos arquivos textuais. Na recuperação por conteúdo em [Mattos et al. 2008a] e [Mattos et al. 2008b] um termo é definido como sendo uma faixa de valores extraídos da imagem com base em característica de baixo nível, especificamente momentos de cor. São normalmente dados por três medidas estatísticas: média, desvio padrão e obliqüidade. Os momentos de cor podem ser derivados do espaço de cor HSV correspondendo aos canais matiz, saturação e intensidade. Em resumo, em [Mattos et al. 2008a] as imagens foram convertidas do espaço de cor RGB para o espaço de cor HSV. Então, foram calculados os três momentos acima para cada canal H, S e V. Com isto, o vetor de característica da imagem tem nove posições distribuídas conforme Tabela 1. O sistema indexa as imagens com base em faixas de valores encontrados para cada canal de cor HSV e calcula a similaridade baseada no cosseno entre os vetores. Essa abordagem possibilitou o uso do índice invertido e conseqüentemente melhoria no desempenho do processamento das consultas, sem perda significativa na qualidade da recuperação quando comparada com a busca por distância Euclidiana. Em CIRES [Iqbal and Aggarwal 2002] e Blobworld [Carson et al. 1999] a comparação de características de forma e textura é obtida por meio da distância euclidiana. Outra medida bastante utilizada é o cálculo do coseno em suas implementações. O sistema DrawSearch [Huijsmans and Smeulders 1999], trabalha com cor, forma e textura. A similaridade entre as imagens é dada pelo coseno do ângulo formado entre os três vetores.

3 Posição do Vetor Descrição 1 o Corresponde a Média da Matiz(H) 2 o Corresponde ao Desvio Padrão da Matiz(H) 3 o Corresponde a Inclinação da Matiz(H) 4 o Corresponde a Média da Saturação(S) 5 o Corresponde ao Desvio Padrão da Saturação(S) 6 o Corresponde a Inclinação da Saturação(S) 7 o Corresponde a Média da Intensidade(V) 8 o Corresponde ao Desvio Padrão da Matiz(V) 9 o Corresponde a Inclinação da Intensidade(V) Tabela 1. Descrição do vetor de característica resultante da extração de característica da imagem usando os três momentos de cor do espaço HSV, [Mattos et al. 2008a]. 3. Metodologia e Estado da Pesquisa Considerando uma imagem I, como uma função I : Ω R 2 [x, y] e Ω = Ω 1 Ω 2... Ω i, de modo que Ω i Ω j = para i j nossa proposta é implementar um sistema CBIR-Índice- Particionado que particiona as diversas partições Ω i da imagem I(x,y), atribuindo os termos da Tabela 1 a cada partição Ω i da imagem I, construindo um vetor contendo todos os termos encontrados em todas as partições Ω is. Tal fato é considerado pois, segundo [Datta et al. 2008], a quantidade de termos relacionados às imagens contribuem na precisão da recuperação, uma vez que podem descrever de forma mais completa o conteúdo de uma imagem. Afim de melhor expressar o objetivo do trabalho proposto, considere o esquema da Figura 1. Utilizando o sistema CBIR-Índice, o vetor de termos da imagem exemplo é formado conforme a Figura 2. Com a metodologia proposta neste trabalho, após particionado o domínio da imagem exemplo em quatro partes, foram obtidas quatro imagens I Ω 1, I Ω 2, I Ω 3 e I Ω 4, ilustradas na Figura 3. O particionamento utilizado no trabalho consiste em dividir as imagens em partes de tamanhos iguais. Em seguida é aplicado a proposta de [Mattos et al. 2008a] em cada partição e realizar a junção dos vetores de cada partição, obtendo o vetor ilustrado na Figura 3. Figura 1. Resultado obtido com o particionamento de uma imagem exemplo em quatro partições. Figura 2. (a) O espaço de Vetor de Termos utilizado na metodologia de [Mattos et al. 2008a] e [Mattos et al. 2008b], são as nove características da Tabela 1, cada uma dividida em dez faixas de valor de (A a J). (b) Vetor da imagem exemplo, onde observa-se que a terceira característica está na quarta faixa de valor (IHJ). O trabalho teve proposta aprovada em 03/2009 pelo colegiado do Programa de Pós- Graduação da Universidade Federal de Uberlândia. A implementação do particionamento das imagens já foi concluída. A aplicação de técnicas de índice invertido considerando diferentes partições das imagens foram realizados e os resultados obtidos mostram um ganho significativo quando comparados com os resultados de [Mattos et al. 2008a] e [Mattos et al. 2008b].

4 Figura 3. Vetores obtidos de cada partição e o vetor final da imagem exemplo. Observa-se no vetor final da Imagem I que a terceira característica está na nona e na décima faixa e na décima ela ocorreu três vezes. A proposta de [Mattos et al. 2008a] e [Mattos et al. 2008b], utiliza somente a característica cor. A fim de obter uma melhora nos resultados, as características textura e forma foram implementadas para serem utilizadas no vetor de características das imagens. A Tabela 2 ilustra as dezesseis novas posições que foram adicionadas no vetor de características da imagem utilizando as características textura e forma, sendo oito posições de cada característica. As imagens foram indexadas da mesma forma que os descritores de cor, com base na faixa de valores encontrados para cada posição. Posição do Vetor Descrição 10 o Corresponde ao histograma direção de bordas 0 o (H) 11 o Corresponde ao histograma direção de bordas 45 o 12 o Corresponde ao histograma direção de bordas 90 o 13 o Corresponde ao histograma direção de bordas 135 o 14 o Corresponde ao histograma direção de bordas 180 o 15 o Corresponde ao histograma direção de bordas 225 o 16 o Corresponde ao histograma direção de bordas 270 o 17 o Corresponde ao histograma direção de bordas 315 o 18 o Corresponde a vizinhança de textura 0 o (H) 19 o Corresponde a vizinhança de textura 45 o 20 o Corresponde a vizinhança de textura 90 o 21 o Corresponde a vizinhança de textura 135 o 22 o Corresponde a vizinhança de textura 180 o 23 o Corresponde a vizinhança de textura 225 o 24 o Corresponde a vizinhança de textura 270 o 25 o Corresponde a vizinhança de textura 315 o Tabela 2. Novas posições do vetor de características da imagem utilizando as características textura e forma. O histograma de direção de bordas [Brandt 1999] modela similaridade entre imagens em termos da similaridade da distribuição das direções de bordas. Operadores de Sobel de oito direçõees (ver Figura 4) são aplicados sobre os dois canais (Saturação e Intensidade) e é definido um descritor representando as oito direções. Cada pixel, de cada canal de cor, é analisado segundo as 8 máscaras de Sobel e o maior valor obtido define a direção da borda naquele pixel. Figura 4. Operadores de Sobel

5 No método de vizinhançaa de textura [Laaksonen 2000] a imagem é representada em níveis de cinza. Um descritor de dimensão oito é gerado da seguinte forma: se o valor de um pixel na vizinhança de oito for maior que o pixel central então, o contador direcional indicando a respectiva direção é incrementado. Isto é feito para todos os pixels na imagem. 4. Resultados Experimentais As coleções utilizadas nos experimentos foram a BD-160 e a Corel A BD-160 foi utilizada como base de treinamento. Posteriormente foi realizado outros experimentos em uma coleção de teste, a Corel A primeira é um subconjunto com 16% das imagens da segunda, ambas contendo imagens com resolução 256x384 pixels. As coleções são compostas por 10 categorias (África, Praia, Edifício, Ônibus, Dinossauro, Elefante, Flor, Comida, Cavalo e Montanha). Na coleção de treinamento foram considerados quatro tamanhos diferentes das partições. Na primeira, as imagens foram particionadas em duas partes de tamanhos iguais, a segunda em quatro partes, a terceira em oito e a quarta em dezesseis partes. A Precisão-R é dada pela precisão entre as R primeiras imagens do ranking, onde R é o número total de imagens relevantes para a consulta em análise. Então, a Precisão-R de uma consulta q é dada por: Relevantes(R, q) P R(q) = (1) R onde Relevantes(R, q) é a quantidade de imagens relevantes encontradas até a posição R do ranking. Para calcular a medida da precisão baseou-se em uma estatística encontrada em [Manning et al. 2008]. Calculou-se a Precisão em três posições (P0, P10 e P20). Onde P0, significa calcular a precisão na posição do ranking onde encontra a primeira imagem relevante, com exceção da imagem de consulta. P10 é o cálculo da precisão na décima posição do ranking, analogamente P20 é a vigésima. Os valores obtidos na precisão P0 foi 100% em ambas coleções. Uma imagem da coleção é considerada relevante à imagem de consulta se ambas pertencerem a mesma classe. Considera-se que as imagens em ambas as coleções foram corretamente classificadas. Na coleção de treinamento, o melhor resultado para P10 e P20 foi obtida com a imagem dividida em dezesseis partes. Com base nesse resultado, os experimentos na coleção de teste foram realizados utilizando esse número de partição. A tabela abaixo mostra os valores encontrados das precisões P10 e P20 dos sistemas CBIR, CBIR-Índice e CBIR-Índice-Particionado, relativo a média de 8 consultas de cada classe, juntamente com o valor médio da precisão de 80 consultas da coleção. Para avaliar o ganho obtido em relação ao sistema CBIR, foi calculado o ganho relativo, posicionado na última linha de cada tabela com os valores do sistema CBIR-Índice e CBIR-Índice-Particionamento. Em todos os sistemas, foram implementadas as três características, cor, forma e textura. Nesta seção verificou-se que o método de recuperação de imagens proposto neste trabalho produziu precisão média melhor que o CBIR-Índice e precisão média bem próxima ao CBIR. Além disso, o ranking do CBIR-Cor é obtido por meio da distância Euclidiana entre o vetor da imagem consulta e cada imagem do banco de dados, tornando o processo caro e lento. 5. Cronograma do Trabalho até a Defesa Segue abaixo o cronograma previsto para execução das atividades pendentes deste projeto : 0-Montagem do Banco de Imagens e construção da lista invertida; 1-Pesquisa bibliográfica e seminários; 2-Redação de artigos a serem submetidos a congressos científicos; 3-Redação do estado da arte; 4-Redação do corpo da dissertação, aplicação e conclusão; 5-Defesa da dissertação (data prevista 10/03/2010).

6 CBIR CBIR-Índice CBIR-Índice Particionado Classe P10 P20 P10 P20 P10 P20 Africa 35,71% 36,43% 52,86% 45,71% 75,71% 64,29% Beach 57,27% 49,09% 24,55% 23,18% 30,00% 30,00% Buildings 87,14% 83,57% 42,86% 37,86% 57,14% 54,29% Buses 90,00% 87,22% 86,67% 78,89% 84,44% 81,67% Dinosaurs 64,00% 61,00% 88,00% 81,00% 100,00% 100,00% Elephants 87,78% 76,11% 55,56% 46,67% 53,33% 50,00% Flowers 73,75% 60,63% 68,75% 63,75% 81,25% 79,38% Food 58,75% 50,63% 42,50% 34,38% 50,00% 47,50% Horses 76,00% 67,00% 67,00% 55,50% 94,00% 88,00% Mountains 36,25% 33,13% 17,50% 15,63% 46,25% 35,00% Média 66,67% 60,48% 54,62% 48,26% 67,21% 63,01% Média Geral -18,06% -20,21% 0,82% 4,19% Tabela 3. Precisão média obtida no sistema CBIR, CBIR-Índice e CBIR-Índice-Particionado. Coleção Corel Referências Atividade Novembro x x Dezembro x Janeiro x x Fevereiro x x Março x x Tabela 4. Cronograma de atividades. Brandt, S. (1999). Use of shape features in content-based image retrieval. Master s thesis, Helsinki University of Technology, Department of Engineering Physics e Mathematics, Epoo, Finland. Carson, C., Thomas, M., Belongie, S., Hellerstein, J. M., and Malik, J. (1999). Blobworld: A system for regionbased image indexing and retrieval. In Proceedings of the Third International Conference VISUAL, Lecture Notes in Computer Science, Spring, Amsterdam, Netherlands. Datta, R., Joshi, D., Li, J., and Wang, J. Z. (2008). Image Retrieval: Ideas, Influences, and Trends of the New Age, 40(1). Huijsmans, D. P. and Smeulders, A. W. M. (1999). Visual information and information systems. Proceedings of the Third International Conference VISUAL, Amsterdam, The Netherlands. Iqbal, Q. and Aggarwal, J. K. (2002). Cires: A system for content-based retrieval in digital image libraries. In Seventh International Conference on Control, Automation, Robotics and Vision, pages Laaksonen, J. (2000). Analyzing low-level visual features using content-based image retrieval. In Proceedings of the 7th International Conference on Neural Information Processing, Teajon, Korea. Manning, C. D., Raghavan, P., and Schtze, H. (2008). Introduction to Information Retrieval. Cambridge University Press, New York, NY, USA. Mattos, T., Reis, I., Barcelos, C. A. Z., and Proença, P. (2008a). Distribuição de características de baixo nível em imagens digitais. Mattos, T., Reis, I., Barcelos, C. A. Z., and Proença, P. (2008b). Índice Invertido para Recuperação de Imagens Baseada em Conteúdo. Valle, E., Cord, M., and Philipp-Foliguet, S. (2008). High-dimensional descriptor indexing for large multimedia databases. In CIKM 08: Proceeding of the 17th ACM conference on Information and knowledge management, pages , New York, NY, USA. ACM. Wu, L. and Bretschneider, T. (2004). Comparative analysis of the efficiency of r-tree based indexing strategies for information retrieval. In IKE, pages