Uma Abordagem Imuno-Inspirada para Recuperação de Imagens Baseada em Contéudo

Transcrição

1 Mário Henrique Gontijo Freitas Uma Abordagem Imuno-Inspirada para Recuperação de Imagens Baseada em Contéudo Dissertação apresentada ao Curso de Mestrado em Modelagem Matemática e Computacional do Centro Federal de Educação Tecnológica de Minas Gerais, como requisito parcial à obtenção do título de Mestre em Modelagem Matemática Computacional. Orientador: Prof. Dr. Flávio Luís Cardeal Pádua CEFET-MG MESTRADO EM MODELAGEM MATEMÁTICA E COMPUTACIONAL CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DE MINAS GERAIS DIRETORIA DE PESQUISA E PÓS-GRADUAÇÃO Belo Horizonte MG 25 de fevereiro de 2011

2 Resumo Este trabalho aborda o problema de recuperação de imagens baseada em conteúdo em uma biblioteca de imagens de propósito geral, tal como a Web, utilizando pontos de interesse invariantes a escala e sistemas imuno-inspirados. É proposta a realimentação de relevância para melhorar o processo de recuperação de imagens de acordo com as necessidades do usuário. A abordagem proposta se baseia na hipótese de que imagens semanticamente similares tendem a se agrupar em algum espaço de características e nesse cenário (i) calcula as assinaturas invariantes à escala e rotação de imagens utilizando o método Scale Invariant Feature Transform (SIFT), (ii) extrai o Vetor de Descritores Localmente Agregados (VDLA) para se ter um descritor de características de imagens de tamanho fixo, (iii) reduz a dimensionalidade do VDLA com a aplicação da Análise de Componentes Principais (ACP) e (iv) utiliza um algoritmo imuno-inspirado para agrupar as imagens semanticamente similares. A abordagem proposta foi validada com sucesso em uma base de dados contendo imagens da Amsterdan Library of Object Imagens (ALOI),obtendo um valor de revocação média de 47,4% nas pesquisas por imagens de objetos idênticos aos objetos de interesse e de 20,7% nas pesquisas por imagens contendo objetos similares aos objetos de interesse. PALAVRAS-CHAVE: Recuperação de Imagens Baseada em Conteúdo, Algoritmos Imuno-Inspirados, Descritores Locais de Imagens, Similaridade de Imagens, Realimentação de Relevância.

3 Abstract This work addresses the problem of content-based image retrieval in a generalpurpose picture library, such as the Web, by using scale-invariant interest points and immune-inspired systems. We propose a relevance feedback approach for quickly narrowing down the image search process to the user needs. This approach relies on the hypothesis that semantically similar images tend to be clustered in some feature space and in this scenario (i) computes images signatures that are invariant to scale and rotation using the Scale Invariant Feature Transform (SIFT), (ii) calculates the vector of locally aggregated descriptors (VLAD) to make a fixed length descriptor of the images, (iii) reduce the VLAD descriptor dimensionality with Principal Component Analysis (PCA) and (iv) uses an immune-inspired algorithm for clustering images that are semantically similar. The proposed approach has been successfully validated with a database containing images of the Amsterdan Library of Object Images (ALOI), obtaining a average recall of 47,4% for searches of images containing objects that are identical to the object of interest and an average recall of 20,7% for searches of images containing objects that are similar to the object of interest. KEY WORDS: Content-Based Image Retrieval, Immune-Inspired Algorithms, Local Image Descriptors, Image Similarity, Revevance Feedback.

4 Lista de Figuras 1.1 Exemplo de imagem que devido ao nível de abstração é difícil de ser descrita através de seu conteúdo visual p Distinção entre imagens de objetos idênticos e similares ao objeto de interesse p Imagens cujo histograma de cores é bastante similar (PASS; ZABIH, 1999) p Esquemático do funcionamento de um sistema de RIBC.... p Arquitetura do sistema multi-agente proposto em (PICARD; CORD; REVEL, 2007) p Exemplos de imagens similares extraídas do conjunto de dados e de pesquisa, respectivamente p Estratégias de amostragem de pontos nas imagens para a realização da avaliação dos descritores de cor utilizadas em (SANDE; GEVERS; SNOEK, 2009) p Mapa da região de Manhattan contendo o grafos com registros fotográficos dos usúários do Flickr (CRANDALL et al., 2009).. p Processo de geração da assinatura de uma imagem (DATTA et al., 2008) p Exemplo de representação do espaço de cores pelo sistema RGB p Exemplo de imagem com os pontos chave detectados p Principais tipos de medida de similaridade entre imagens, suas formulações matemáticas e as técnicas freqüentemente utilizadas para calculá-las (DATTA et al., 2008) p Exemplo gráfico da distância Euclidiana e de Manhattan.... p Tipos de células de defesa do organismo p. 44

5 3.7 Etapas do processo de defesa do sistema adaptativo p Metodologia da ferramenta proposta p Exemplo da aplicação do filtro gaussiano e da diferença de gaussiana no processo de localização de pontos chave em uma imagem p Cálculo da Diferença de gaussiana em diferentes oitavas da imagem (LOWE, 2004) p Obtenção de pontos com intensidade máxima ou mínima em uma região de uma imagem e de suas adjacentes (LOWE, 2004). p Exemplo de uma imagem em dois estágios da detecção de pontos chave p Processo de construção de um descritor SIFT p Exemplo de VDLA extraídos em pares de imagens parecidas.. p Imagens de um objeto do banco de dados ALOI p Imagens do ALOI de um mesmo objeto, obtidas com o ângulo de visão em relação ao eixo vertical central igual a 0 e 175 respectivamente p Imagens de objetos similares no ALOI p Revocação por iteração da realimentação de relevância de acordo com o parâmetro m aplicado grupo de imagens de pesquisa 1. p Revocação por imagem de pesquisa do Roteiro de Testes 1. Avaliação do parâmetro m p Revocação por iteração da realimentação de relevância de acordo com o parâmetro m aplicado no grupo 2 de imagens de pesquisa. p Revocação por imagem de pesquisa do grupo 2. Avaliação do parâmetro m p Porcentagem das imagens pesquisadas por grupo de imagens que possuíam ao menos uma imagem relevante entre as retornadas pelo Sistema Imuno-Inspirado p Revocação das imagens de pesquisa do grupo 1 de acordo com as iterações da realimentação de relevância p Revocação por imagem de pesquisa do grupo p. 77

6 5.11 Imagens de pesquisa do grupo 1 (im1, im2, im4, im5, im7, im9, im12, im13, im17, im18, im19) que resultaram em valores baixos de revocação p Imagens de pesquisa do grupo 1 (im3, im6, im8, im10, im11, im14, im15, im16, im20) que resultaram em valores altos da revocação p Precisão x Revocação para imagens do grupo p Revocação das imagens de pesquisa do grupo 2 de acordo com as iterações da realimentação de relevância p Revocação por imagem de pesquisa do grupo p Imagens de pesquisa do grupo 2 (im2, im5, im7, im9, im10, im11, im14, im16, im18) que resultaram em valores baixos de revocação p Imagens de pesquisa do grupo 2 (im1, im3, im4, im6, im8, im12, im13, im15, im17, im19) que resultaram em valores altos de revocação p Porcentagem das imagens pesquisadas por roteiro de teste que possuíam ao menos uma imagem relevante entre as retornadas pelo Sistema Imuno-Inspirado p Precisão x Revocação para imagens do grupo p Tempos médios de busca para imagens do grupo 1 e grupo 2. p Imagem de pesquisa e respectivas imagens do objeto no banco de dados p. 90

7 Lista de Tabelas 5.1 Especificações dos bancos de imagens criados para a realização dos experimentos p Parâmetros aplicados na realização do primeiro experimento do roteiro p Parâmetros aplicados na realização do segundo experimento do roteiro p Parâmetros aplicados na realização do experimento do roteiro 2. p Parâmetros aplicados na realização do experimento do roteiro 3. p Especificações do computador utilizado para a realização dos testes de tempo p. 85 A.1 Imagens do Grupo de Pesquisa p. 97 A.2 Imagens do Grupo de Pesquisa p. 100

8 Lista de Abreviaturas e Siglas ACP Análise de Componentes Principais AII Algoritmo Imuno-Inspirado ALOI Amsterdan Library os Object Images CEFET-MG Centro Federal de Educação Tecnológica de Minas Gerais HSV Hue, Saturation, Value RGB Red, Green, Blue RI Recuperação de Informação RIBC Recuperação de Imagens Baseada em Conteúdo SIA Sistema Imunológico Artificial SII Sistema Imuno-Inspirado SIFT Scale Invariant Feature Transform SURF Speeded Up Robust Features VDLA Vetor de Descritores Localmente Agredados

9 Sumário 1 INTRODUÇÃO p Motivação p Caracterização do Problema de Pesquisa p Objetivos: Gerais e Específicos p Contribuições p Organização do Texto p Trabalhos Relacionados p Sistemas Bio-Inspirados de RIBC p Descritores de Características de Imagens p Conclusão p Fundamentação Teórica p Extração e Descrição de Características p Assinaturas de cor p Assinaturas de Forma p Assinaturas de Textura p Assinaturas por Pontos de Interesse Locais p Redução de Dimensionalidade de Descritores..... p Cálculo da Similaridade Entre Imagens p Técnicas de Indexação de Imagens p K-means p. 42

10 3.3 Sistemas Imunológicos e Imuno-Inspirados p Conclusão p Sistema Imuno-Inspirado para Recuperação de Imagens p Descritor de Imagens p Descritor SIFT p VDLA p ACP p K-Means p Algoritmo Imuno-Inspirado p Resultados Experimentais p Bancos de Dados de Imagens p Grupos de Imagens de Pesquisa p Avaliação da Eficácia e Eficiência do Método Proposto..... p Revocação p Precisão p Medição do Custo Computacional do Método Proposto p Realimentação de Relevância p Roteiros de Testes p Roteiro de Testes 1: Escolha do Valor do Parâmetro m p Roteiro de Testes 2 - Pesquisa por Imagens de Objetos Idênticos aos Objetos de Interesse p Roteiro de Testes 3 - Pesquisa por Imagens de Objetos Similares aos Objetos de Interesse p Roteiro de Testes 4 - Medição do Tempo de Execução das Pesquisas p Considerações Finais p. 86

11 6 Conclusão e Perspectivas Futuras p. 89 Referências Bibliográficas p. 92 Anexo A -- Imagens de Pesquisa dos Grupos 1 e 2 p. 97

12 12 1 INTRODUÇÃO O aumento da produção de informações visuais (imagens e vídeos) nos últimos anos tem intensificado a demanda por sistemas de informação multimídia que sejam capazes de armazenar e recuperar eficientemente arquivos desta natureza em grandes bases de dados (PETRELLI; AULD, 2008). Em alguns países, tal acervo é considerado um repositório valiosíssimo de informações, mas ainda é na prática um tesouro oculto, uma vez que as descrições sobre seus conteúdos poucas vezes incluem algo mais do que títulos e curtas sinopses (BARRETO, 2007). A atribuição de descrições textuais a uma imagem pode ser tarefa trabalhosa e ineficiente, devido ao nível de abstração do seu conteúdo visual. Neste contexto tem-se, portanto, grande desafio da tarefa de organização de imagens por seus atributos visuais. Com a evolução tecnológica e popularização da computação, foram criados métodos eficientes para a organização e recuperação de dados textuais. Inspirada nos avanços da área de Recuperação de Informação (RI), um novo campo de pesquisa chamado Recuperação de Imagens Baseada em Conteúdo (RIBC) propõe o uso de métodos cujas chaves de busca são extraídas automaticamente dos conteúdos visuais das imagens, não sendo necessária a geração de anotações textuais. A Figura 1.1 é um bom exemplo de imagem cuja descrição textual é difícil de ser obtida devido ao nível de abstração da cena. Porém, existem métodos computacionais que permitem descrever uma imagem de maneira que ela possa ser comparada com outras. A Recuperação de Imagens Baseada em Conteúdo compreende qualquer tecnologia que, a princípio, auxilie na organização de arquivos de imagens digitais por seu conteúdo visual (DATTA et al., 2008). Esta é uma área multidisciplinar, pois compreende os conceitos de Visão Computacional, no que se refere aos métodos usados para extrair descritores de uma imagem, e Recuperação de Informação, no que tange às técnicas de indexação e pesquisa de dados. Conhecimentos das áreas de Aprendizado de Máquina e Inteligência Computacional também podem ser aplicados à RIBC, com o intuito de prover

13 1 INTRODUÇÃO 13 Figura 1.1: Exemplo de imagem que devido ao nível de abstração é difícil de ser descrita através de seu conteúdo visual. formas mais eficientes de realizar a busca de imagens por conteúdo, como por exemplo, Reconhecimento de Padrões, Realimentação de Relevância e agrupamento de dados. A Engenharia Imunológica é uma área relativamente nova, cuja inspiração vem da análise do funcionamento do sistema imunológico dos mamíferos para a construção de algoritmos de busca, agrupamento, classificação de dados e outras aplicações. A utilização de algoritmos imunológicos na solução de sistemas de RIBC ainda é pouco vista na literatura, mas seu uso nesse tipo de problema pode ser vantajoso. A adaptabilidade do espaço de soluções e a redução do espaço de busca são dois fatores que favorecem o uso de algoritmos imunológicos para a Recuperação de Imagens Baseada em Conteúdo. Este trabalho propõe a criação de um sistema de RIBC baseado em um Algoritmo Imuno-Inspirado, aplicado em imagens da base de dados ALOI 1 (GEU- SEBROEK; BURGHOUTS; SMEULDERS, 2005). O método proposto pode ser aplicado em diversas áreas referentes à recuperação de imagens por conteúdo, como por exemplo: 1 A Amsterdan Library of Object Images (ALOI) é um conjunto de imagens coloridas de mil objetos, obtidas em um ambiente controlado (fundo preto, iluminação constante), criada para fins de pesquisa. A ALOI é composta por três bases de imagens, que contém variações na rotação, intensidade e iluminação da cena.

14 1.1 Motivação 14 Sistemas de busca de imagens da Web; Recuperação de vídeos; Sistemas de classificação de elementos por conteúdo visual (peixes, objetos, pessoas, entre outros); Sistemas de realidade aumentada; Organização de bibliotecas de imagens; entre outros. A vasta gama de aplicações do método proposto mostra a necessidade de se criar ferramentas para RIBC que sejam realmente eficazes, com intuito de substituir aquelas baseadas em pesquisa de imagens por meio textual. O sistema proposto também visa ser robusto em relação ao processo de indexação e recuperação em grandes conjuntos de imagens, ao propor uma forma de agrupar imagens semanticamente similares em conjuntos. 1.1 Motivação Desde a popularização da Web, o volume de dados gerados e distribuídos diariamente supera a capacidade humana de absorção de informações. Existem diversas ferramentas de recuperação de informações textuais da Internet a partir de palavras-chave fornecidas como entrada, sendo uma das mais conhecidas e utilizadas o Google 2, mas ainda são poucas aquelas que são especializadas na recuperação de imagens. Dentre as ferramentas de recuperação de imagens como Google Images 3, Flickr 4 existentes, muitas utilizam informações textuais para a realização da pesquisa, mas esse método nem sempre é o mais eficaz, pois é passivo de haver lacunas semânticas entre as informações atribuídas a uma imagem e o seu conteúdo visual (SMEULDERS et al., 2000). Algumas ferramentas disponíveis na Internet, como TinEye Reverse Image Search 5, são capazes de realizar a busca de imagens por conteúdo, a partir da comparação entre características visuais detectadas no objeto de pesquisa e as imagens existentes na base de dados. 2 (Acessado em 13 de fevereiro de 2011) 3 (Acessado em 13 de fevereiro de 2011) 4 (Acessado em 13 de fevereiro de 2011) 5 (Acessado em 13 de fevereiro de 2011)

15 1.1 Motivação 15 (a) (b) (c) Figura 1.2: Distinção entre imagens de objetos idênticos e similares ao objeto de interesse. A imagem 1.2b é considerada idêntica ao objeto de interesse (imagem 1.2a), pois o mesmo objeto se encontra em ambas, apesar de não estarem na mesma posição. Pro outro lado, a imagem 1.2c é consideradas similar ao objeto de interesse (imagem 1.2a), pois retratam objetos diferentes, mas que compartilham de características visuais em comum, como a textura e a forma. Imagens obtidas de (GEUSEBROEK; BURGHOUTS; SMEULDERS, 2005) Como uma imagem pode ser diferenciada pelos seus atributos visuais, nada mais lógico do que utilizá-los no processo de representação de imagens. A Visão Computacional apresenta vários métodos para a descrição das características visuais de imagens, robustos a rotações, variações na escala e na cena (BAY; TUYTELAARS; GOOL, 2008; LOWE, 2004). Muitas dessas aplicações se concentram na recuperação de imagens de objetos idênticos ao objeto de interesse (imagens de um mesmo objeto ou cena em poses próximas), mas ainda não são robustas o suficiente para retornar imagens de objetos similares ao objeto de interesse (imagens de cenas ou objetos distintos, mas que compartilham características em comum), como mostra a Figura 1.2. A deficiência na recuperação de imagens parecidas pode ser resolvida com o uso de descritores de características locais de imagens. O uso desta técnica permite que imagens que possuam atributos visuais em comum, quando comparadas, tenham um grau de similaridade alto. O mesmo nem sempre ocorre quando se utilizam descritores globais, que por serem baseados em histogramas de intensidades de cores e luminosidade das imagens, estão sujeitos a comparações errôneas, como mostra a Figura 1.3 (PASS; ZABIH, 1999). O método proposto visa solucionar o problema de recuperação de imagens de objetos idênticos aos objetos de interesse e objetos similares aos objetos de interesse, utilizando descritores locais para a representação do conteúdo

16 1.2 Caracterização do Problema de Pesquisa 16 visual. O Sistema Imuno-Inspirado (SII) será responsável pela indexação e recuperação das imagens de forma eficaz. A aplicação da realimentação de relevância permitirá ao algoritmo estabelecer relações do nível de similaridade entre as imagens retornadas e o objeto de pesquisa, com base na avaliação visual do usuário. Esse sistema possui diversas aplicações e representa uma abordagem inovadora em soluções dessa natureza. 1.2 Caracterização do Problema de Pesquisa Os sistemas de RIBC são responsáveis pela recuperação de imagens localizadas em uma base de dados, que sejam relevantes em relação ao objeto de pesquisa. De acordo com o esquemático da Figura 1.4, um sistema de Recuperação de Imagens Baseada em Conteúdo é composto por três etapas. Na primeira, são extraídas assinaturas que permitam descrever de forma única as características visuais das imagens da base de dados. Na segunda, as imagens e suas respectivas assinaturas são então armazenadas de forma que permita a sua localização. Por fim, na terceira etapa, o algoritmo de pesquisa realiza buscas na base, com o intuito de retornar as imagens mais similares àquela fornecida como entrada. A realimentação de relevância pode ser realizada com o objetivo de registrar a avaliação visual do usuário para as imagens retornadas. As três etapas descritas (descrição, indexação e recuperação das imagens) compõem o núcleo da RIBC (DATTA et al., 2008). Com o uso de técnicas da área de Visão Computacional e Engenharia Imunológica, cuja eficácia foi comprovada em trabalhos recentes, é apresentado um sistema com o objetivo Figura 1.3: BIH, 1999). Imagens cujo histograma de cores é bastante similar (PASS; ZA-

17 1.3 Objetivos: Gerais e Específicos 17 Figura 1.4: Esquemático do funcionamento de um sistema de RIBC. A partir de um banco de imagens, são extraídas as assinaturas baseadas em suas características visuais. A próxima etapa consiste no armazenamento das imagens de forma eficaz. O algoritmo de pesquisa recebe como entrada a imagem a ser pesquisada e retorna aquelas mais parecidas. A realimentação de relevância é uma etapa opcional que tem como intuito melhorar os resultados da pesquisa. de permitir a busca por imagens em conjuntos de dados com eficácia e rapidez. 1.3 Objetivos: Gerais e Específicos O objetivo deste trabalho é construir um Sistema Imuno-Inspirado para RIBC capaz de retornar imagens de objetos idênticos e similares ao objeto de interesse. A partir do uso de um descritor de tamanho reduzido robusto a variações no ponto de vista, iluminação, rotação e escala das imagens e o armazenamento dos elementos do conjunto de dados em grupos, é possível reduzir o espaço de busca, ao realizar a pesquisa apenas nos grupos que contém imagens similares àquela pesquisada. Como consequência, o sistema permite que a recuperação de imagens seja eficaz e rápida. Para a realização do trabalho, os seguintes objetivos específicos foram perseguidos: Criação de dois grupos de imagens de pesquisa, sendo um com imagens de objetos objetos idênticos aos objetos de interesse e outro com imagens de objetos similares aos objetos de interesse, obtidas da base ALOI. Construção de quatro bancos de dados de diferentes tamanhos, contendo imagens de objetos também extraídas da base ALOI; Aplicação do descritor local de imagens SIFT, seguida da extração do Ve-

18 1.4 Contribuições 18 tor de Descritores Locais Agregados e a projeção ACP para obter uma representação de tamanho fixo e reduzido das características das imagens; Desenvolvimento do SII, composto pela etapa de agrupamento das imagens com o K-Means e o Algoritmo Imuno-Inspirado de recuperação de imagens por conteúdo, utilizando a linguagem JAVA; Realização de experimentos e análise dos resultados, com o intuito de avaliar a eficácia da técnica proposta. 1.4 Contribuições O trabalho realizado permitiu o desenvolvimento de uma ferramenta eficaz para organização e recuperação de imagens a partir de um Sistema Imuno- Inspirado, em conjunto com os métodos Scale Invariant Feature Transform, Vetor de Descritores Locais Agregados e Análise de Componentes Principais para a criação de uma assinatura de imagens de tamanho fixo, K-Means para o agrupamento de imagens e um algoritmo Imuno-Inspirado com realimentação de relevância para o processo de pesquisa por imagens. O diferencial da técnica proposta neste trabalho é o uso do Algoritmo Imuno- Inspirado, que com o auxílio da realimentação de relevância, promove um aumento no número de imagens relevantes retornadas de acordo com as escolhas realizadas pelo usuário. A solução desenvolvida pode ser aplicada na realização de tarefas de RIBC para imagens de propósito geral, como as existentes na Web, recuperação de vídeos a partir dos keyframes, sistemas de realidade aumentada, organização e indexação de bases de imagens em sistemas de propósitos específicos, como imagens médicas, sistemas de classificação de plantas, peixes e outros. Este sistema pode ser facilmente paralelizado e o banco de dados distribuído, com o intuito de reduzir o custo computacional e assim permitir que a recuperação de imagens em grandes conjuntos de dados seja realizada em tempo reduzido.

19 1.5 Organização do Texto Organização do Texto O restante deste trabalho está organizado da seguinte maneira: no Capítulo 2 há uma apresentação dos principais trabalhos relacionados com a área de RIBC e assinaturas de imagens. O Capítulo 3 descreve os fundamentos teóricos necessários para o entendimento do problema e de sua solução. O Capítulo 4 apresenta a metodologia aplicada para o desenvolvimento do Sistema Imuno-Inspirado para RIBC e o Capítulo 5 expõe os resultados encontrados com a aplicação da técnica proposta e faz uma análise dos valores obtidos. Por fim, o Capítulo 6 apresenta as conclusões e perspectivas futuras do trabalho. No Anexo A são listadas as imagens de pesquisa que foram utilizadas para validar o SII.

20 20 2 Trabalhos Relacionados Neste capítulo são apresentados alguns dos principais trabalhos da literatura que envolvem o uso de sistemas de RIBC e a extração de descritores de características em imagens. Uma análise crítica sobre os resultados encontrados e metodologias adotadas é realizada com o intuito de justificar o desenvolvimento desta dissertação e relatar as diferenças entre as abordagens apresentadas. São vários os trabalhos de RIBC, os quais tem como objetivo a proposição de meios eficientes de busca de imagens por conteúdo. Entretanto poucos são aqueles direcionados à busca de imagens de propósito geral, o que fazem das soluções existentes bastante específicas por serem baseadas em situações ou cenários bem definidos. A seguir serão apresentados os trabalhos da literatura que utilizam Sistemas Bio-Inspirados para a tarefa de Recuperação de Imagens Baseada em Conteúdo. 2.1 Sistemas Bio-Inspirados de RIBC Esta seção apresenta algumas abordagens da literatura, no que diz respeito ao uso de Sistemas Bio-Inspirados para Recuperação de Imagens Baseada em Conteúdo. A utilização de metodologias como estas, muitas vezes motivada pela impossibilidade de realizar uma pesquisa em todo o espaço de busca de imagens, têm como intuito aumentar a eficácia do processo de busca sem comprometer o tempo de execução do processo. Em (DUAN et al., 2007) é proposto um algoritmo imunológico para Recuperação de Imagens Baseada em Conteúdo com uso de realimentação de relevância. As imagens foram representadas por um descritor de características global, composto pelo histograma HSV e 7 momentos invariantes contendo informações de intensidade luminosa e orientação das cenas, respectivamente. Nos testes realizados foi utilizada a Corel Image Lib, composta por 4000 ima-

21 2.1 Sistemas Bio-Inspirados de RIBC 21 gens de propósito geral, divididas em 27 categorias, como por exemplo, pessoas, construções, meios de transportes, cenários naturais, entre outras. Foram selecionadas 7 imagens de pesquisa do conjunto de dados e para cada uma foram realizadas 5 rodadas de realimentação de relevância, onde o usuário selecionava aquela mais parecida com a fornecida como entrada. A eficácia do algoritmo foi medida pelo cálculo do indicador de precisão média (do inglês, Mean Average Precision - MAP) (VOORHEES, 2000). Em linhas gerais, este indicador representa a porcentagem de imagens relevantes retornadas em uma pesquisa. Segundo os autores, nos testes realizados obteve-se uma precisão média de 81,2% nas pesquisas realizadas; com o uso de realimentação de relevância, permitiu aumentar a precisão para 85%. Apesar do trabalho ser um dos pioneiros no uso da chamada engenharia imunológica, o algoritmo descrito se enquadra como um sistema imuno-inpirado, por não compor todas as etapas de um algoritmo imunológico. Ao avaliar os resultados apresentados pelos autores, deve ser observado que apesar do conjunto de dados ser razoavelmente grande, o número de categorias de imagens é relativamente pequeno, o que resulta em uma base de dados composta por muitas imagens parecidas. Dentre os trabalhos relacionados, esse é o que mais se assemelha ao proposto nesta dissertação. A partir da justificativa do constante crescimento de informação na Internet, como por exemplo as imagens, Picard, Cord e Revel (2007) propõem uma técnica de Recuperação de Imagens Baseada em Conteúdo visual com o uso de bancos de dados distribuídos e um sistema multi-agente do tipo colônia de formigas. A arquitetura do sistema é descrita conforme a Figura 2.1. A partir de uma interface gráfica localizada na máquina S 1, o usuário realiza uma pesquisa utilizando uma imagem qualquer. Agentes móveis fazem uma pré-seleção de quais bancos de dados serão acessados de acordo com as imagens contidas neles. Em cada uma das bases (S n ) existem agentes locais que fazem a seleção das imagens similares com aquela pesquisada, retornando o resultado para o usuário. Foram realizados testes com uma versão reduzida da Corel Image Lib, contendo 6000 imagens de propósito geral, divididas em 50 categorias, tendo sido extraídas 25 características de cor e 25 de textura para descrever cada imagem. A medida usada para medir a eficácia da técnica foi a precisão média, no qual obteve-se um valor de 0.47 e 0.37 na pesquisa por imagens de cachorros e montanhas, respectivamente, com a aplicação do método colônia de formigas. A solução proposta é interessante devido ao uso da técnica de computação evolucionária colônia de formigas para auxiliar na recuperação de imagens por conteúdo. Apesar dos resultados não terem sido tão significativos e a base de

22 2.2 Descritores de Características de Imagens 22 Figura 2.1: Arquitetura do sistema multi-agente proposto em (PICARD; CORD; REVEL, 2007). A imagem de pesquisa é fornecida a partir de um sistema localizado em S1, que faz uma pré-seleção dos bancos de dados a serem buscados. Em cada banco de dados existe um agente local que retorna as imagens mais similares de acordo com a fornecida como entrada. imagens ser relativamente pequena, é interessante notar o esforço recente na aplicação de métodos adaptativos na solução de problemas de recuperação de informação. Em (MUNEESAWANG; GUAN, 2004) é apresentado um sistema de recuperação de imagens baseada em conteúdo que utiliza aprendizado de máquina para alterar características da pesquisa e melhorar os resultados. Para tal, utilizou-se uma rede neural do tipo Radial Basis-Function (RBF) que modela o cálculo do grau de similaridade através do uso de realimentação de relevância. Para os testes foi utilizada a galeria Corel, composta por imagens com resolução de 384x256 pixels, separadas em 400 categorias. Cada imagem foi representada no sistema por um conjunto de descritores, sendo histogramas e momentos para as cores; transformada Gabor Wavelet para texturas e transformada de Fourier para contornos. Segundo o autor, na primeira pesquisa obteve-se um valor de precisão média igual a 44.82%, chegando a 91.79% na terceira iteração da realimentação de relevância. 2.2 Descritores de Características de Imagens Esta seção apresenta alguns trabalhos da literatura que obtiveram destaque por utilizarem abordagens inovadoras e eficazes para a descrição de características de imagens. Devido às limitações dos histogramas de cor que, por serem baseados na

23 2.2 Descritores de Características de Imagens 23 Figura 2.2: Exemplos de imagens similares extraídas do conjunto de dados e de pesquisa, respectivamente. Nesse caso, imagens de uma mesma cena em poses diferentes são similares segundo Pass e Zabih (1999). composição dos pixels da imagem desconsideram suas características específicas, Pass e Zabih (1999) propõem uma melhoria para esse tipo de descritor. A proposta consiste na criação de um histograma de junção, composto por vetores multidimensionais, criados a partir da seleção de características distintas que podem ser extraídas da imagem, como por exemplo, cor, densidade de borda 1, texturização, magnitude do gradiente e rank. Para os testes realizados o autor utilizou cinco descritores de características, sendo eles o histograma de cores e quatro diferentes histogramas de junção, cada um desses compostos por duas ou mais características dentre as descritas. Foram utilizadas imagens, extraídas de diversas fontes e 52 imagens para pesquisa, sendo que o conjunto de dados possuía versões similares. A Figura 2.2 mostra exemplos de imagens consideradas similares segundo o autor. A medida de eficácia foi dada pela revocação, que representa a razão entre imagens retornadas nas pesquisas e o número de imagens relevantes existentes no conjunto de dados, conforme detalhado em (VOORHEES, 2000). Em um cenário no qual cada pesquisa retornava 100 imagens para o usuário, o histograma de junção foi capaz de retornar a imagem similar à pesquisada em 94% dos casos, enquanto que, para o histograma de cores o valor da revocação foi de apenas 40%. Apesar de apresentar resultados melhores, o descritor proposto reduz significativamente a eficiência da tarefa de recuperação de imagens. Nos testes realizados, utilizando um Pentium pro 200 Mhz, foi possível calcular a similaridade de 25 imagens por segundo utilizando o histograma de cores e apenas 7 com o histograma de junção. Os resultados de tempo estão sujeitos às limitações computacionais da época em que os testes foram realizados. 1 Segundo Pass e Zabih (1999), densidade de borda é a medida da razão entre bordas detectadas e pixels de uma região ao redor de um ponto p(x,y) da imagem

24 2.2 Descritores de Características de Imagens 24 Li e Shapiro (2002) propuseram um descritor de características de propósito específico com o foco na detecção de agrupamentos de segmentos de retas em imagens, aplicado em sistemas de RIBC ou de classificação de imagens de construções. O autor justifica a criação desse tipo de descritor baseado no fato de que constuções no geral possuem formas compostas por segmentos de retas. O método criado para a descrição de características em imagens se baseia na obtenção de agrupamento de segmentos de retas, a partir do uso de informações como cor, orientação e distância entre elas; o método de casamento é pautado na comparação entre as interseções de linhas detectadas em cada imagem. Para os testes realizados utilizando essa técnica em um sistema de classificação de imagens de prédios, foram utilizadas 977 imagens, no qual 336 eram de construções e 641 não eram. Os descritores foram armazenados em uma árvore de decisão. Nas pesquisas feitas com as imagens, obtevese um erro médio de apenas 5,8%, que representa as imagens classificadas como falsos positivos ou falsos negativos. Apesar do método ter demonstrado ser eficaz na realização da classificação de imagens, o leque de aplicações é bastante restrito devido a natureza do descritor de imagens. Em (TOHARIA et al., 2007) é feito um estudo sobre a aplicação de 15 momentos invariantes de Zernike na construção de um descritor de imagens. Apesar desse descritor desconsiderar detalhes e regiões salientes das imagens, os resultados obtidos foram relevantes. Utilizando a base de dados ALOI, composta por imagens, sendo 72 por objeto, o sistema obteve revocação na pesquisa de 0.4 quando retornadas 50 imagens e de aproximadamente 0.7 quando retornadas as 100 imagens mais relevantes. Como o trabalho não cita o uso de nenhuma técnica de redução de espaço de busca, nem cita o tempo realizado na busca pelas imagens, acredita-se que a imagem de pesquisa foi comparada com todas do conjunto, o que exige um grande esforço computacional, levando em conta o número de elementos da base ALOI. Devido ao uso crescente de descritores de características mistos (globais e locais), Sande, Gevers e Snoek (2009) realizaram um estudo comparativo com diversos descritores invariantes a mudanças na irradiância aplicados na recuperação de imagens e vídeos. De acordo com os testes realizados, concluiuse que a variação da coloração e intensidade da iluminação da cena afeta no processo de categorização das imagens. O trabalho faz uma análise sobre o modelo de reflectância e a influência da variação da iluminação em imagens. Foram comparados 17 descritores de cor baseados em histogramas, momentos e SIFT (LOWE, 2004) em conjunto com quatro estratégias para detecção de pontos de interesse em imagens, sendo uma baseada no detector de pontos de Harris-Laplace e outras três baseadas em uma amostragem espacial

25 2.2 Descritores de Características de Imagens 25 Figura 2.3: Estratégias de amostragem de pontos nas imagens para a realização da avaliação dos descritores de cor utilizadas em (SANDE; GEVERS; SNOEK, 2009). dos pixels, como mostra a Figura 2.3. Realizaram-se três testes para avaliar as combinações de descritores. O primeiro utilizou o banco de imagens ALOI (GEUSEBROEK; BURGHOUTS; SMEULDERS, 2005) para medir a invariância dos descritores em relação a mudanças na cor e intensidade da iluminação da cena; o segundo e o terceiro avaliaram a robustez dos descritores aplicados na recuperação de imagens e vídeos respectivamente. Nos três testes realizados os descritores baseados em SIFT foram mais eficazes sendo que o Opponent-SIFT foi escolhido como o melhor no caso médio, com aproximadamente 41% de precisão média nos testes de recuperação de imagens. Também concluiu-se que o uso de descritores de cor em conjunto com o SIFT nos testes em imagens e vídeos resultou em uma melhoria de 8% e 7% nos testes, respectivamente, em relação ao uso do SIFT proposto por (LOWE, 2004). O opponent-sift, apesar de ser o recomendável pelos autores, é um descritor que agrega grandes quantidades de informações e por isso possui um alto custo computacional quando aplicado no cálculo de similaridade de imagens. Em ferramentas de RIBC cuja base de dados é extensa, essa característica pode afetar a eficiência do sistema ao

26 2.2 Descritores de Características de Imagens 26 Figura 2.4: Mapa da região de Manhattan contendo o grafos com registros fotográficos dos usúários do Flickr (CRANDALL et al., 2009). aumentar o tempo de resposta de uma pesquisa. Outras abordagens se beneficiam do uso de informações textuais para compor o método de descrição das imagens. Em (CRANDALL et al., 2009) é apresentado um sistema de indexação de imagens baseado em conteúdo e metadados aplicado em imagens da Web obtidas do sítio Flickr 2. Um conjunto de aproximadamente 35 milhões de imagens georreferenciadas de cerca de usuários foi organizado de acordo com a localidade da cena e tags com informações sobre as imagens. Utilizaram-se as tags das imagens e o descritor SIFT para classificar os pontos turísticos mais representativos de uma região e assim formar grafos contendo os locais fotografados por uma mesma pessoa em uma determinada cidade. A Figura 2.4 mostra os locais mais fotografados em Manhattan de acordo com as fotografias dos usuários do Flickr. O uso de dados textuais na composição da descrição de uma imagem pode auxiliar o processo de cálculo de similaridade, mas nem sempre essas informações estão disponíveis. No caso desse trabalho os metadados já estavam disponíveis no Flickr. A dificuldade de atribuir informações significativas para uma imagem também é um fator limitador dessa metodologia. 2 (Acessado em 13 de fevereiro de 2011)

27 2.3 Conclusão 27 Os trabalhos apresentados demonstram alguns dos avanços obtidos na área de Recuperação de Imagens Baseada em Conteúdo. Como pode ser visto, a aplicação de métodos adaptativos e evolucionários nos trabalhos é significativa, o que mostra uma tendência no emprego dessas técnicas. Com uma abordagem orientada à classificação de espécies de plantas em imagens, Kebapci, Yanikoglu e Unal (2010) propõem um sistema de RIBC de propósito específico. Nesse trabalho, uma imagem previamente segmentada é representada pela composição de diversos descritores. Para a representação das características de cor utilizou-se o histograma RGB normalizado (SANDE; GEVERS; SNOEK, 2009), para as formas foi usado o SIFT (LOWE, 2004) e um descritor de contorno proposto pelo autor, baseado nas cadeias de regiões côncavas e convexas da planta e para a textura utilizou-se wavelets de Gabor. Um dos problemas do uso desse descritor é a necessidade de selecionar manualmente pontos na imagem, chamados de sementes, como entrada de dados para o algoritmo de segmentação. Em um conjunto de dados grande, essa tarefa pode ser cansativa e sujeita a erros, por necessitar da intervenção humana para ser realizada. Apesar dessa limitação, os resultados comprovam a eficácia do uso de descritores de características compostos na detecção automática de espécies de plantas em uma pequena quantidade de imagens. Em testes aplicados em um conjunto de 380 imagens divididas em 78 categorias de plantas, em 55% dos casos havia pelo menos uma imagem de uma planta da espécie pesquisada entre as 15 mais similares retornadas. Segundo os autores, foi adotado o descritor de imagens proposto porque a tarefa de recuperação de imagens de plantas é mais complicada devido à sobreposição de folhagens e flores. 2.3 Conclusão Dentre os trabalhos apresentados, dois se destacam por terem características semelhantes ao método proposto nesta dissertação. Em (DUAN et al., 2007), o sistema imunológico de recuperação de imagens se assemelha ao utilizado nesta dissertação. A principal diferença entre ambos é a forma de representação das características das imagens. Descritores de cores geralmente são intolerantes a variações na luminosidade das imagens. Optou-se então por utilizar o descritor local SIFT na extração das assinaturas das imagens, devido a sua robustez em relação a variações na luminosidade, rotação, escala e mudança no ponto de vista da cena. Outro aspecto que diferencia os dois trabalhos é o método utilizado para o agrupamento de imagens.

28 2.3 Conclusão 28 O K-Means é um método robusto e leve, mas que requer menos memória primária na execução, pois não necessita a criação de uma tabela de pertinência entre os elementos e os grupos. Dentre os trabalhos analisados, Muneesawang e Guan (2004) utilizou a base de imagens com tamanho mais próximo da utilizada nesta dissertação. Enquanto em Muneesawang e Guan (2004) os testes foram aplicados em uma base contendo imagens, nesta dissertação foi usada uma versão reduzida da ALOI, contendo itens. Em contrapartida, devido à natureza das imagens de ambos os trabalhos serem distintas, é inviável comparar qual dos dois métodos é melhor. A galeria Corel, apesar de possuir cerca de 7000 imagens a mais do que a base ALOI, utilizada nessa dissertação, possui um número menor de categorias e consequentemente tem mais imagens por categoria. Descritores de características globais, como por exemplo, histograma de cores são em geral mais eficazes com as imagens do conjunto Corel devido a natureza das fotografias, que possuem cores predominantes em sua composição. Apesar das diferenças enumeradas, o trabalho de Muneesawang e Guan (2004) é mais um dos que obteve êxito ao empregar um método adaptativo na Recuperação de Imagens Baseada em Conteúdo. Apesar de cada trabalho possuir seu mérito e destaque, o proposto por esta dissertação avalia um aspecto importante, mas desconsiderado nos outros, que é a recuperação de imagens parecidas. Muitos artigos analisam os resultados tomando em conta apenas a capacidade do método de recuperar imagens similares. O sistema proposto nesta dissertação é avaliado quanto a sua capacidade de recuperar imagens em ambos os casos, o que é um diferencial em relação à literatura. O Sistema Imuno-Inspirado proposto em conjunto com o uso de descritores VDLA resultam em uma representação compacta das imagens e a redução do espaço de busca na recuperação de imagens, sem afetar drasticamente a eficácia do método.

29 29 3 Fundamentação Teórica Este Capítulo apresenta a base teórica necessária para compreender as etapas do sistema desenvolvido para Recuperação de Imagens Baseada em Conteúdo. É feita uma síntese das três etapas de um sistema de RIBC (descrição de características visuais, indexação e recuperação de imagens) e do funcionamento dos Sistemas Imunológicos Artificiais. A área de Recuperação de Imagens Baseada em Conteúdo expõe três questões que surgem no processo de concepção de um sistema dessa natureza. São elas: Como descrever matematicamente o conteúdo visual de uma imagem; Como comparar a similaridade entre duas imagens, baseada na descrição de ambas; Como organizar de forma eficiente grandes quantidades de imagens de acordo com seu conteúdo. A partir da definição de soluções para cada uma das questões acima, têmse um sistema de RIBC. A eficácia do método dependerá então da conformidade entre a natureza das imagens que compõem a base de dados, o propósito e as abordagens propostas para a solução do problema. 3.1 Extração e Descrição de Características Uma imagem digital geralmente é descrita por uma matriz de pontos de tamanho fixo, conhecidos como pixels, que podem armazenar informações de luminosidade e cor (TRUCCO; VERRI, 1998). Esse tipo de representação não

30 3.1 Extração e Descrição de Características 30 Figura 3.1: Processo de geração da assinatura de uma imagem (DATTA et al., 2008). permite a realização de comparações entre imagens de forma eficiente. Assim, são necessários outros meios de caracterizar imagens que destaquem seus atributos visuais e que possam ser usados para estabelecer um nível de similaridade no processo de comparação. A representação matemática de uma imagem usada para o cálculo do grau de similaridade é conhecida como sua assinatura. A assinatura de uma imagem pode ser obtida por algoritmos conhecidos como descritores de imagens. Essa descrição identifica uma imagem de maneira única, e deve ser robusta o suficiente para permitir a detecção de objetos semelhantes em imagens diferentes, mesmo com variações de luminosidade, ângulo de visão, rotação e a existência de ruídos. A extração de assinaturas visuais pode ser considerada como uma etapa de pré-processamento dos sistemas de Recuperação de Imagens Baseada em Conteúdo. Uma vez obtidas, as características visuais que compõem a assinatura agem como entradas e podem ser usadas na avaliação de similaridade entre imagens. A Figura 3.1 ilustra o processo de geração da assinatura de uma imagem e os problemas de pesquisa relacionados. As características que compõem a assinatura de uma imagem podem capturar propriedades globais (a imagem como um todo é considerada) ou propriedades locais (referentes a regiões específicas da imagem). As características mais freqüentemente utilizadas para composição de assinaturas de imagens

31 3.1 Extração e Descrição de Características 31 são: Cor: baseiam na distribuição de cores dos pixels da imagem; Textura: localizam padrões de luminosidade em regiões de pixels; Forma: baseiam na busca de padrões geométricos, como retas e curvas para compor o contorno de objetos na cena; Pontos salientes: localizam pixels cujas intensidades luminosas são máximos ou mínimos locais; Pontos de interesse locais: detectam pontos significativos na imagem e calculam uma assinatura para cada um deles, a partir de características dos pixels vizinhos. A principal vantagem de se utilizarem características que capturam propriedades globais é o baixo custo computacional para extraí-las, bem como para estimar similaridade entre imagens utilizando-as como base. Contudo, tais características costumam ser muito sensíveis a ruídos ou informações de uma região específica da imagem e ambíguas, ao gerar uma descrição similar para imagens distintas, falhando assim na geração da assinatura que caracterizaria a imagem globalmente. De modo alternativo a esta abordagem, verifica-se o uso de características que capturam propriedades locais, sendo necessária uma etapa posterior de fusão de dados para obter uma descrição global da imagem (ver Figura 3.1). Neste caso, um conjunto de características é calculado para cada pixel utilizando-se a sua vizinhança (por exemplo, a cor média, gradiente ou histograma de luminosidade dos pixels na vizinhança considerada). Para reduzir o custo computacional, uma imagem pode ser dividida em pequenos blocos sem sobreposição e as características são calculadas para cada bloco individualmente. Finalmente, os dados calculados são fundidos (DATTA et al., 2008), gerando-se uma assinatura para a imagem. Nas próximas subseções são apresentadas cada um desses tipos de assinaturas de imagens Assinaturas de cor Assinaturas de cor são amplamente utilizadas em aplicações que envolvem imagens, como sistemas de recuperação e de categorização. A extração de descritores de características dessa natureza pode ser facilmente realizada

32 3.1 Extração e Descrição de Características 32 Figura 3.2: Exemplo de representação do espaço de cores pelo sistema RGB. Nele, uma cor é dividida pelos canais Vermelho (R, do inglês Red), Verde (G, do inglês Green) e Azul (B, do inglês Blue) e para cada um possui um valor na faixa [0,255] (na representação de 24 bits). A composição de um valor de cada faixa corresponde a uma tonalidade diferente. O sistema RGB é capaz de representar 255*255*255 = cores distintas. através da avaliação dos valores dos pixels que compõem uma imagem, o que não exige um custo computacional muito alto. O princípio básico dos descritores de cor consiste em agrupar as informações sobre a intensidade luminosa ou de cores dos pixels de uma determinada imagem, a partir de histogramas. Com o intuito de reduzir a complexidade computacional dessa tarefa, algumas abordagens utilizam técnicas de amostragem dos pixels da imagem para se obter sua representação em um tempo menor. As informações de cores de uma imagem podem ser representadas de diferentes maneiras. Os espaços de cores definem parâmetros para representar os pixels de forma padronizada através da decomposição da cor em canais distintos. Exemplos de sistemas conhecidos são o Red, Green, Blue (RGB), Hue, Saturation, Value (HSV), Cyan, Magenta, Yellow, Key (CMYK) e Oponente (TKALCIC; TASIC, 2003). A Figura 3.2 apresenta o espaço de cores RGB e como os valores de cor são representados nele. A partir de um histograma de valores de cores de uma imagem, o cálculo do grau de similaridade pode ser feito através do cálculo da distância entre os valores de faixas de cores equivalentes. Este método é bastante sensível a variações na iluminação da cena, o que pode influenciar no processo de

33 3.1 Extração e Descrição de Características 33 casamento de imagens. A aplicação de diferentes sistemas de cores, como o HSV, pode minimizar o efeito desse fenômeno, mas em compensação se torna instável em outros aspectos, como por exemplo, na diferenciação de tons de cinza (SANDE; GEVERS; SNOEK, 2009). Pesquisas relacionadas à obtenção de assinaturas de imagens baseadas em características de cor têm focado no desenvolvimento de técnicas de fusão de cores referentes a diversas regiões da imagem. Por exemplo, seguindo esta linha, Manjunath et al. (2001) descrevem um conjunto de descritores de cor e textura para inclusão no padrão MPEG-7. Em (SANDE; GEVERS; SNOEK, 2009) são descritos diversos tipos de assinaturas de cores e variações, com a aplicação de técnicas de amostragem na seleção dos pixels, normalização de sistemas de cores e descritores por pontos de interesses locais (SIFT ) na composição do descritor Assinaturas de Forma As assinaturas de forma são igualmente populares na área de visão computacional. Seu princípio se baseia na detecção de regiões conexas em imagens que podem representar algum objeto de interesse na cena. Existem dois grandes tipos de assinaturas de forma, sendo eles baseados em contorno ou em região (ZHANG; LU, 2002). Os descritores de contorno extraem somente informações relacionadas a limites em imagens. Em (TRUCCO; VERRI, 1998) são apresentados descritores clássicos de contornos, baseados na transformada de Hough na detecção de retas e curvas e no ajuste da distância Euclidiana na detecção de elipses em imagens. Esse tipo de representação de características de imagens pode não ser eficaz quando existem ruídos e contornos não esperados na imagem, sendo necessário um ajuste fino dos parâmetros usados nesse algoritmo para a obtenção de melhores resultados. Em (KEBAPCI; YANIKOGLU; UNAL, 2010) é proposto um descritor que utiliza regiões côncavas e convexas da folhagem de plantas na obtenção do seu contorno. As imagens são comparadas a partir do número de regiões côncavas e convexas detectadas. Os descritores baseados em regiões utilizam de informações de contorno e seu formato (área, volume, centro, etc). Para a obtenção desse tipo de assinatura, geralmente são usados momentos para descrever a imagem, como por exemplo, momentos invariantes (DUAN et al., 2007), de Zernike (TOHARIA et al., 2007) e Legendre (ZHANG; LU, 2002).

34 3.1 Extração e Descrição de Características 34 Características de forma são atributos cuja representação eficaz e robusta pode determinar, em diversos casos, o sucesso de uma tarefa de recuperação de informação visual baseada em conteúdo. Tem-se observado nos últimos anos uma crescente utilização de descritores locais (BERRETTI; BIMBO; PALA, 2000; PETRAKIS; DIPLAROS; MILIOS, 2002) ao invés de representações globais de formas (FLICKNER et al., 1995), devido às limitações típicas de modelagem destas últimas abordagens. Em (BERRETTI; BIMBO; PALA, 2000), curvas são representadas por um conjunto de segmentos, cujas características correspondentes (curvatura e orientação) são organizadas em árvores buscando-se otimizar os tempos de execução de algoritmos de correspondência e recuperação Assinaturas de Textura As assinaturas de textura se baseiam em informações de padrões de intensidades em pixels vizinhos para estabelecer uma representação das imagens. Podem ser utilizados filtros e transformadas para realçar as regiões das imagens com padrões específicos. Características de textura são freqüentemente utilizadas para se capturarem padrões de granularidade e de repetição de superfícies em uma imagem. Tais características são fundamentais para o projeto de sistemas de recuperação de imagens voltados para recuperação de imagens aéreas e imagens médicas, cujos conteúdos visuais possuem texturas muito bem definidas. Como exemplos de trabalhos no campo de recuperação de imagens que utilizam características de textura utilizando transformadas, pode-se citar o trabalho de Do e Vetterli (2002), baseado na Transformada Wavelet, e o trabalho de Li, Wang e Wiederhold (2000), baseado no uso da Transformada Discreta de Cossenos. Dos trabalhos que utilizaram filtros de imagens para a extração de assinaturas de textura, pode-se citar Wu et al. (2002), que utiliza filtros de Gabor na decomposição da imagem em projeções multidimensionais Assinaturas por Pontos de Interesse Locais Alternativamente às abordagens descritas anteriormente, verifica-se o uso de características que capturam propriedades locais, sendo necessária uma etapa posterior de fusão de dados para obter uma descrição global da imagem (ver Figura 3.1). Neste caso, um conjunto de características é calculado para cada pixel utilizando-se a sua vizinhança (por exemplo, a cor média dos

35 3.1 Extração e Descrição de Características 35 pixels na vizinhança considerada). Para se reduzir o custo computacional, uma imagem pode ser dividida em pequenos blocos sem sobreposição e as características são calculadas para cada bloco individualmente. Finalmente, os dados calculados são fundidos (DATTA et al., 2008), gerando-se uma assinatura para a imagem. SIFT - Scale-Invariant Feature Transform O descritor Scale-Invariant Feature Transform (SIFT) provê uma maneira de extrair características locais de uma imagem, invariantes a alterações na escala, rotação, variações na iluminação e pontos de vista das imagens. Tais dados são armazenados em vetores de pontos chave, que descrevem regiões de interesse da imagem de maneira única, como uma assinatura. Posteriormente esses descritores podem ser usados no cálculo do grau de similaridade entre imagens (comparação das características existentes) (LOWE, 2004). A versão original do método desconsidera informações de cores dos pixels, tratando a imagem como uma matriz de pontos em tons de cinza. Existem implementações que calculam o descritor SIFT levando em conta as informações de cores das imagens (SANDE; GEVERS; SNOEK, 2009). Algumas abordagens aplicam o descritor separadamente nos canais R, G e B da Figura e extraem a assinatura para cada uma delas. Para uma determinada imagem podem ser detectados zero ou mais pontos chave, que definem seu conteúdo visual, como por exemplo, contornos e variações bruscas na tonalidade do pixel. Os pontos chave gerados são invariantes a ruídos e variações do contraste o que torna mais eficiente o casamento de imagens. O processo de obtenção de descritores SIFT inicia com a detecção de pontos chave na imagem. Para cada ponto chave detectado na transformação de uma imagem, é gerado um vetor de 128 elementos que define as características dos pontos ao redor deste, obtido a partir de histogramas do gradiente da orientação da região ao redor de um pixel. No capítulo 4 é detalhado o processo de detecção dos pontos chave e a geração dos vetores de características. A Figura 3.3 apresenta uma imagem e seus pontos chave detectados pelo SIFT, além de um exemplo de descritor. Ainda em (LOWE, 2004) é proposto o uso da Transformada Hough (DUDA; HART, 1972) para a redução do número de pontos chave em uma imagem transformada. Segundo o autor, são necessários apenas 3 pontos chave para realizar um casamento de imagens robusto e tolerante à desordem e oclusão

36 3.1 Extração e Descrição de Características 36 Figura 3.3: Exemplo de imagem com os pontos chave detectados. Pode-se notar que muitos desses pontos estão localizados em áreas de variação de contraste da imagem. À direita tem-se um exemplo de descritor SIFT, representando as características de um ponto chave específico da imagem. Em (a) são informados o número de pontos chave na imagem e o número de características de cada um; em (b) é apresentada a posição do ponto na imagem, sua orientação e magnitude; e finalmente em (c) são apresentados as 128 características, obtidas através do histograma do gradiente das orientações dos pixels vizinhos. no conteúdo da imagem. O uso desta técnica provê uma redução no custo computacional na realização do cálculo de similaridade entre imagens e consequentemente o tempo gasto para tal tarefa. Outros descritores de características locais também se destacam pela eficácia na representação dos atributos visuais de imagens. Em (BAY; TUYTE- LAARS; GOOL, 2008) é proposto um descritor derivado do SIFT, com foco na simplificação dos métodos de detecção e descrição de imagens. Considerada uma evolução do SIFT, o algoritmo SURF aplica as convoluções em uma versão simplificada da imagem original, chamada imagem integral, aplicada no processo de detecção dos pontos em conjunto com matrizes Hessianas. Nesta simplificação, o valor do pixel p i j equivale ao somatório dos valores dos pixels localizados entre [0,i] e [0, j] (CROW, 1984).Utilizando imagens integrais é possível obter a média do valor das intensidades dos pixels de qualquer região retangular da imagem com apenas quatro operações aritméticas. O SURF utiliza dessa vantagem no processo de detecção dos pontos chave na imagem (BAY; TUYTELAARS; GOOL, 2008). Outra característica do SURF é o uso de um descritor de tamanho menor, obtido de forma similar ao SIFT, a partir da distribuição de intensidade de pixels

37 3.1 Extração e Descrição de Características 37 vizinhos ao ponto chave. Em (BAY; TUYTELAARS; GOOL, 2008) são usados vetores de dimensão igual a 64 para representar as características de um ponto chave. Segundo os autores, mesmo o ponto chave tendo uma dimensão igual à metade do usado no SIFT, é invariável a rotações, ruídos, mudanças na iluminação e no ponto de vista. Em (MIKOLAJCZYK; SCHMID, 2005) é feito um estudo comparativo com diversos descritores locais de imagens, onde se concluiu que dentre os métodos testados, aqueles que se baseavam no SIFT obtiveram melhores resultados. Em (JUAN; GWUN, 2009) os descritores locais de características SIFT, PCA- SIFT e SURF são comparados. Segundo os testes realizados, concluiu-se que o SIFT, apesar de ser mais lento no processo de extração do descritor e casamento entre imagens e não ser tão robusto quanto à representação de variações luminosas nas imagens1, é invariável a rotação, alterações na escala e no ponto de vista da cena. O SURF, apesar de ter um desempenho melhor, é instável quanto a rotações e variações na iluminação. O PCA-SIFT mostrou-se robusto em relação a variações na iluminação e rotação das imagens, mas em compensação é deficiente na recuperação de imagens desfocadas. O autor afirma que cada um dos descritores tem as suas vantagens e o uso de cada um depende do propósito do problema e da natureza das imagens Redução de Dimensionalidade de Descritores O tamanho de um descritor de imagens é um fator importante a ser considerado em sistemas de RIBC. Descritores compostos por muitos elementos podem afetar o desempenho devido ao tempo necessário para se calcular o grau de similaridade entre imagens. Existem na literatura técnicas matemáticas cujo objetivo é obter uma representação reduzida dos descritores mantendo as características marcantes da imagem. Outro aspecto dos métodos de redução de dimensionalidade de descritores é que a representação das imagens se dá por um vetor de características de tamanho fixo. O uso destas técnicas foi adotado a princípio devido a uma limitação no Sistema Imuno-Inspirado, que requer que as imagens sejam representadas preferencialmente por um vetor de tamanho fixo no processo de agrupamento. Caso contrário, a eficácia do algoritmo reduz significativamente à medida que o conjunto de dados aumenta de tamanho (FREITAS; CONSE- LHO; PÁDUA, 2010). A seguir são apresentadas as duas técnicas de redução de dimensionalidade de descritores utilizadas na obtenção de representações mais compactas

38 3.1 Extração e Descrição de Características 38 das imagens contidas nos conjuntos de dados. Vetor de Descritores Localmente Agregados O Vetor de Descritores Localmente Agregados (VDLA) é um método aplicado na redução da dimensionalidade de descritores locais de características, que tem como finalidade a criação de um vetor de tamanho fixo contendo a representação dos atributos visuais de uma imagem. A criação de um VDLA é feita atribuindo cada descritor da imagem ao elemento mais similar de um codebook (conjunto de descritores) e calculando o valor da diferença de ambos. Esta técnica baseia-se no uso do método Fisher Kernel, em conjunto com o método Bag of Features (BOF) para a criação do codebook. O passo inicial para a extração do VDLA de uma imagem é criar um codebook, que é uma lista com descritores de imagem, distribuídos no espaço de características. Segundo Jégou et al. (2010), pode ser usado o K-Means para agrupar descritores de imagens e a partir dos centróides construir o codebook com k itens (C = [c 1,c 2,...c k ]). O VDLA é obtido para uma imagem a partir do cálculo da diferença entre cada descritor x e o item referente do codebook, obtido através do método de vizinho mais próximo (NN, do inglês Nearest Neighbors). Primeiramente é calculado o grau de similaridade entre o descritor x e todos os itens do codebook. Aquele que retornar o maior valor c j é utilizado para o cálculo da diferença. Como c j e x possuem a mesma quantidade de elementos, é calculado item a item a diferença entre ambos, e armazenado no VDLA, na posição c j, referente ao item do codebook. Logo, a dimensão D de um VDLA é de D = d k, onde d representa o número de características do descritor (no caso do SIFT, 128) e k a quantidade de elementos no codebook. Com o intuito de reduzir a dimensionalidade de um vetor VDLA, cujo tamanho é de 8192 elementos para um codebook com 64 elementos (k = 64), Jégou et al. (2010) sugere a aplicação da técnica Análise de Componentes Principais na criação de uma projeção reduzida do vetor. Análise de Componentes Principais A Análise de Componentes Principais (ACP) é uma técnica proposta por Pearson (1901) que faz a transformação de variáveis relacionadas em um subconjunto de dimensionalidade reduzida, composta por componentes não relaci-

39 3.1 Extração e Descrição de Características 39 onados, chamados componentes principais. A técnica permite extrair padrões que permitam realçar as similaridades e diferenças entre os elementos de um conjunto de dados. Seu funcionamento baseia-se na criação de componentes a partir de variáveis de um conjunto de dados cujos valores possuem alta variância. Existem duas formas de obter uma projeção ACP a partir de um conjunto de dados. Uma delas utiliza a extração de autovalores e autovetores da matriz de covariância dos dados para detectar os componentes principais (que são os autovetores com maior autovalor) (SMITH, 2002). Outra abordagem utiliza a Decomposição em Valores Singulares (SVD, do inglês Single Value Decomposition) sobre os autovalores e autovetores. Em (WALL; RECHTSTEINER; ROCHA, 2003) é detalhado o relacionamento entre o ACP e o SVD. Em (SMITH, 2002) são apresentados diversos trabalhos que utilizaram a Análise de Componentes Principais na resolução em tarefas da Visão Computacional, como por exemplo, compactação e reconhecimento de padrões em imagens de faces Cálculo da Similaridade Entre Imagens Uma vez que tenham sido obtidas as assinaturas visuais, o próximo passo consiste em utilizá-las para recuperar imagens, por meio da estimação de medidas de similaridade. Um grande número de técnicas para estimação de medidas de similaridade têm sido propostas. Em (DATTA et al., 2008), os autores sugerem que tais técnicas podem ser agrupadas como se segue: Usam características com representações vetoriais, não-vetoriais ou agrupamentos; Usam medidas de similaridade locais, globais ou uma combinação de ambas; Estimam similaridades em espaços lineares ou não-lineares; Usam medidas de similaridade estocásticas, nebulosas fuzzy ou determinísticas; Usam algoritmos de aprendizagem supervisionados, não-supervisionados ou semi-supervisionados.

40 3.1 Extração e Descrição de Características 40 Figura 3.4: Principais tipos de medida de similaridade entre imagens, suas formulações matemáticas e as técnicas freqüentemente utilizadas para calculálas (DATTA et al., 2008). A Figura 3.4 exibe algumas das principais medidas de similaridade utilizadas, suas formulações matemáticas e as técnicas mais utilizadas para calculálas (DATTA et al., 2008). Como ilustrado na Figura 3.4, assinaturas baseadas em regiões resultam em representações compostas por conjuntos de vetores. Infelizmente, medir a distância entre conjuntos de vetores não é uma tarefa tão simples como medir a distância entre apenas dois vetores (RUBNER; TO- MASI; GUIBAS, 2000). Para aumentar a robustez de técnicas que objetivam resolver este problema, busca-se freqüentemente o apoio do usuário na seleção de um subconjunto de regiões de maior interesse. No que se refere ao uso de vetores de características globais, tem-se observado recentemente o desenvolvimento de novas técnicas de medida de similaridade baseadas em algoritmos de aprendizagem, tais como manifold embedding (HE et al., 2004; VASCONCELOS; LIPPMAN, 2005; ZHOU et al., 2004). Esforços têm sido feitos no sentido de se obter variedades não-lineares nos quais distâncias geodésicas possam corresponder melhor à maneira na qual trabalha a percepção visual humana. Alternativamente, ao invés de se descrever uma imagem por um conjunto de regiões segmentadas, pode-se fundir vetores de características locais, obtendo-se assinaturas representadas por funções de densidade de probabilidade ou codebooks (JING et al., 2004). Codebooks são gerados por quantização vetorial e as codewords são muitas vezes tratadas simbolicamente, aplicando-se técnicas de medida de similaridade baseadas em técnicas de recuperação de texto. Uma maneira eficaz de se estimar funções de densidade de probabilidade consiste em ajustar um modelo de mistura de Gaussianas (HASTIE; TIBSHIRANI; FRIEDMAN, 2001). Neste caso, a medida

41 3.2 Técnicas de Indexação de Imagens 41 Figura 3.5: Exemplo gráfico da distância Euclidiana e de Manhattan. Enquanto na primeira é considerado a reta de menor distância entre os dois pontos, na segunda, cada segmento de reta obrigatoriamente passa pelos pontos do eixo, no limite entre os pontos A e B. de distância conhecida como Kullback-Leibler é freqüentemente usada para medir a disparidade entre distribuições (DO; VETTERLI, 2002; MATHIASSEN; SKAVHAUG; BO, 2002). Algumas técnicas partem do princípio que um descritor de imagens pode ser dado por um ou vários pontos em um espaço multidimensional, o que permite que seja calculado o grau de similaridade entre estes pontos de uma maneira elegante e eficaz; dentre elas pode-se citar as distâncias Euclidiana (L2), que utiliza a função de distância entre dois pontos, de Manhattan (L1) que utiliza uma medida discreta de distância entre pontos adjacentes e de Mahalanobis, que estabelece relações entre variáveis com níveis de grandeza distintos a partir de uma matriz de covariância para estabelecer um grau de similaridade entre dois dados (ZHANG; LU, 2004). A Figura 3.5 apresenta um exemplo de distância de Manhattan e Euclidiana em um espaço 2D. 3.2 Técnicas de Indexação de Imagens Em um sistema de RIBC, é necessário armazenar as imagens de modo eficaz, que permita que elas sejam organizadas e possam ser localizadas a partir da representação obtida pelos descritores de características. A utilização de técnicas robustas de indexação é fundamental para o sucesso de sistemas de recuperação de imagens que trabalham com grandes

42 3.2 Técnicas de Indexação de Imagens 42 bases de dados. Embora tenham sido desenvolvidos vários trabalhos de pesquisa relacionados com a indexação e recuperação de informações textuais, poucos trabalhos foram conduzidos buscando-se propor técnicas para indexação de imagens baseadas em conteúdo visual. De fato, a maior parte dos métodos atuais para indexação de imagens são adaptações de técnicas originalmente propostas para indexação de informações textuais. Em (PETRAKIS; FALOUTSOS; LIN, 2002), árvores R são usadas para indexar imagens representadas como grafos relacionais com atributos (Attributed Relational Graphs). Em (NATSEV; RASTOGI; SHIM, 2004), os autores propõem uma técnica de recuperação de imagens baseada no uso de coeficientes Wavelet e árvores R para indexação. Em (BERRETTI; BIMBO; VICARIO, 2001), os autores apresentam um algoritmo de correspondência entre imagens baseado em conteúdo visual, o qual utiliza representação de imagens por meio de grafos e um algoritmo alternativo para indexação eficiente de imagens. Maiores detalhes sobre técnicas de indexação de imagens baseadas em conteúdo visual podem ser encontrados em (BIMBO, 1999). Os algoritmos de agrupamento provêem uma forma elegante de armazenar imagens, agrupando aquelas que possuem características em comum. Essa abordagem torna o processo de recuperação de imagens eficaz, pois aquelas afins estarão preferencialmente num mesmo grupo. Partindo desse princípio, algumas abordagens utilizam dessa característica para reduzir o espaço de busca do sistema, ao evitar a pesquisa por imagens similares em grupos cujas imagens não se parecem com o objeto pesquisado. A seguir é apresentado o funcionamento do K-Means, utilizado em tarefas de classificação e agrupamento de informação K-means O K-Means é um algoritmo conceitualmente simples, amplamente utilizado em tarefas de agrupamento e classificação de dados devido à sua eficácia. Seu funcionamento consiste em atribuir a cada grupo os elementos que possuírem menor distância de seu centróide. Dessa maneira, os grupos armazenam elementos que possuam afinidade em relação à natureza dos seus dados (MACQUEEN, 1967). Inicialmente é determinado o parâmetro k, que representa o número de grupos em que os elementos serão distribuídos. Esse valor deve ser definido manualmente, mas existem na literatura abordagens para escolhê-lo. Em (DUNN, 1973) é proposto que o número de grupos seja igual à raiz quadrada do número

43 3.3 Sistemas Imunológicos e Imuno-Inspirados 43 de elementos a serem agrupados. Com o parâmetro k definido, é feita uma seleção aleatória de k elementos de dados para a formação dos centróides. Um centróide representa um ponto no espaço de coordenadas de dados que possui a menor distância dos elementos contidos em um determinado grupo. Em seguida cada elemento é comparado com os centróides de cada agrupamento e armazenada naquela cuja distância obteve o menor valor. A partir do agrupamento inicial criado, o algoritmo realiza iterações com intuito de refinar o resultado através da redefinição do centróide e rearranjo dos elementos. Os centróides são recalculados a partir da média dos valores dos elementos contidos nos grupos. Essa alteração faz com que o centróide possua a menor distância possível entre todos os elementos do grupo. Após a redefinição dos centróides, os elementos são reagrupados novamente seguindo o mesmo critério de valor de distância do centróide. A iteração final do algoritmo ocorre quando o valor do centróide torna-se constante. Consequentemente os grupos se mantém inalterados contendo os mesmos elementos da iteração anterior e o sistema se estabiliza em uma determinada configuração. Como o método de seleção dos centróides é estocástico, o estado final dos grupos varia à cada execução do K-Means. Existem outras técnicas de agrupamento de dados, sendo muitas delas variações e melhorias de (MACQUEEN, 1967). Bezerra et al. (2005) propõem uma solução imuno-inspirada para agrupamento de dados. Em (DUNN, 1973) é apresentado um algoritmo fuzzy de agrupamento de dados que utiliza matrizes de pertinência para definir o grau de similaridade entre os elementos do conjunto de dados e os grupos. 3.3 Sistemas Imunológicos e Imuno-Inspirados Os Sistemas Imunológicos Artificiais (SIA) são métodos computacionais adaptativos criados com base na análise do funcionamento do sistema imunológico dos mamíferos, aplicados em problemas de classificação, agrupamento, indexação e recuperação de dados, entre outros. Para entender a filosofia dos SIA, é importante conhecer o funcionamento do sistema imunológico dessa classe de animais. O sistema de defesa dos mamíferos é complexo e dividido em várias partes, cada uma com suas atribuições específicas. As barreiras externas e bi-

44 3.3 Sistemas Imunológicos e Imuno-Inspirados 44 Figura 3.6: Tipos de células de defesa do organismo. Basicamente as células são divididas em dois grupos, sendo eles compostos pelas inatas e adaptativas (SILVA, 2001). oquímicas, tal como a pele, saliva e suor, protegem o organismo de doenças mais simples. As barreiras internas correspondem às células de proteção, divididas em inatas e adaptativas, como mostra a Figura 3.6. As células inatas, presentes no organismo dos animais desde o dia do nascimento, são capazes de combater diversos tipos de doenças, gerando a resposta imune assim que uma célula invasora (antígeno) é detectada no organismo. Esta resposta pode ocorrer pela a liberação de enzimas ou de absorção das células antigênicas. As células adaptativas (chamadas linfócitos) evoluem à medida que doenças desconhecidas atacam o organismo. Elas possuem um receptor que é capaz de reconhecer um tipo específico de antígeno e assim liberar a produção de anticorpos para defender o organismo do animal. O funcionamento dos linfócitos se dá da seguinte forma: ao perceber a presença de um antígeno no organismo, o sistema imune tenta reconhecer através de seus receptores quais linfócitos são capazes de reconhecer a célula nociva e neutralizá-la. Aquelas que mais se identificam com as células antigênicas são ativadas e assim proliferadas no organismo, para combater a doença. A essa proliferação é dado o nome de Seleção Clonal. Em conjunto com a proliferação dos linfócitos capazes de neutralizar os antígenos, os mesmos iniciam a produção dos anticorpos, que são as células que eliminam de fato as células antigênicas. No processo de seleção clonal, alguns linfócitos sofrem mutações, com o intuito de se adaptarem ainda mais aos antígenos e assim atacá-los com mais eficácia. As mutações bem sucedidas são então replicadas pelo organismo, e as mal sucedidas descartadas. No final do processo, os linfócitos mutados que foram mais aptos na neutralização dos antígenos são armazenados no organismo, formando assim a memória do sistema imune adaptativo. Essa memória permite que o sistema imune gere uma resposta imune mais rápida caso estes antígenos venham novamente atacar

45 3.3 Sistemas Imunológicos e Imuno-Inspirados 45 Figura 3.7: Etapas do processo de defesa do sistema adaptativo. Dado um antígeno, os linfócitos específicos gerarão uma resposta imune, que resultará na sua proliferação. A partir de mutações novos linfócitos são gerados, realizando uma neutralização mais eficaz dos antígenos. Os linfócitos mais bem sucedidos são então armazenados no organismo para protegê-lo de doenças conhecidas (SILVA, 2001). o corpo do animal. A Figura 3.7 apresenta os processos de Seleção Clonal, mutação e formação da memória em sistemas imunes adaptativos. O SIA, de forma semelhante ao funcionamento do sistema imunológico adaptativo dos mamíferos, recebe os antígenos, que representam a entrada no algoritmo imunológico, e geram os anticorpos, como resultado da execução do algoritmo (SILVA, 2001). Através do processo de clonagem e mutação dos linfócitos, que seria o meio pelo qual o algoritmo percorre o espaço de dados (no caso da proposta deste trabalho, os linfócitos seriam a base de imagens), são geradas soluções que se utilizam da entrada em conjunto com a memória existente armazenada durante o uso contínuo do algoritmo. Esta memória guia padrões de entrada conhecido para respostas esperadas. Na seção de trabalhos relacionados pode ser visto um exemplo de aplicação deste tipo de algoritmo no cálculo de similaridade de imagens (DUAN et al., 2007).

46 3.4 Conclusão 46 Existem na literatura diversos algoritmos que se baseiam no funcionamento do sistema de defesa dos animais para soluções de problemas computacionais. Em (SILVA, 2001) são apresentados os seguintes algoritmos: SAND: baseado no Simulated Annealing, utiliza a mutação de dados na formação de um conjunto mais diverso de anticorpos, representados por vetores binários ou de números reais; CLONALG: algoritmo de Seleção Clonal usado na solução de problemas de otimização, aprendizado de máquina e reconhecimento de padrões; ABNET: rede neural baseada em conceitos da Seleção Clonal e maturação dos dados; ainet: rede imunológica aplicada na solução de problemas de compressão, análise e agrupamento de dados; Em Bezerra et al. (2005) é proposto o Adaptive Radius Immune Algorithm (ARIA), aplicado em problema de agrupamentos de dados, preservando a variação da densidade de dados nos grupos e permitindo a pertinência de um dado em mais de um grupo de forma a melhor representá-los. 3.4 Conclusão Este capítulo apresentou alguns conceitos e técnicas da área de Recuperação de Imagens Baseadas em Conteúdo e Computação Imuno-Inspirada, especialmente aqueles em que esta dissertação foi baseada. Como esta área se desenvolveu a partir da área de Recuperação de Informação, muitas técnicas de indexação e recuperação de dados são herdadas. No trabalho apresentado nesta dissertação, foi utilizado o descritor local de imagens SIFT como assinatura das imagens, em conjunto com o VDLA para criar uma representação reduzida e de tamanho fixo das características das imagens. O uso das técnicas de redução de dimensionalidade do descritor foram utilizadas a princípio devido a uma restrição do K-Means, que apresenta melhores resultados quando os dados a serem agrupados possuem a mesma estrutura. Em (FREITAS; CONSELHO; PÁDUA, 2010) esta restrição é comprovada, pois ao incrementar o tamanho do banco de dados a eficácia do Sistema Imuno-Inspirado é drasticamente reduzida, devido ao uso de descritores locais de imagens no processo de agrupamento.

47 3.4 Conclusão 47 Apesar do VDLA ser uma técnica de redução de dimensionalidade de descritores, que como consequência gera um vetor de tamanho fixo para representar uma imagem, sua aplicação no SII não foi eficaz no processo de agrupamento e recuperação de imagens. Para isso, aplicou-se a ACP sobre os VDLA das imagens para obter melhores resultados no sistema, assim como foi proposto em (JéGOU et al., 2010). O Algoritmo Imuno-Inspirado utilizado neste trabalho, se baseia no trabalho proposto por Duan et al. (2007), e utiliza técnicas de redução do espaço de busca para recuperar imagens de forma eficaz e rápida. No entanto, é essencial que o processo de agrupamento funcione corretamente para que o centróide represente da melhor forma as imagens contidas em um determinado grupo.

48 48 4 Sistema Imuno-Inspirado para Recuperação de Imagens Este capítulo descreve o Sistema Imuno-Inspirado desenvolvido para Recuperação de Imagens Baseada em Conteúdo, bem como as etapas que o compõem. Este sistema pode ser decomposto em três etapas distintas, sendo elas a (i) extração das assinaturas das imagens, utilizando o descritor SIFT em conjunto com VDLA e PCA para a redução da dimensionalidade do descritor, (ii) indexação das imagens a partir do método de agrupamento K-Means e (iii) aplicação do SII na recuperação de imagens por conteúdo com realimentação de relevância. A Figura 4.1 apresenta uma visão geral do sistema e as partes que o compõem. Figura 4.1: Metodologia da ferramenta proposta.

49 4.1 Descritor de Imagens 49 Para a validação do sistema, foi utilizado um subconjunto do banco de dados ALOI (GEUSEBROEK; BURGHOUTS; SMEULDERS, 2005), composto por imagens de objetos rotacionados em um eixo vertical central, obtidas a partir de um ambiente controlado (fundo escuro e fonte luminosa de intensiade constante). As imagens selecionadas para compor a base de dados usado neste trabalho tiveram suas características extraídas por uma série de técnicas a fim de se obter um descritor compacto composto por um vetor de tamanho fixo. A próxima seção apresenta os detalhes dessa etapa. 4.1 Descritor de Imagens A primeira etapa do Sistema Imuno-Inspirado consiste em obter uma forma de representar as imagens do banco de dados que seja robusta a variações dos objetos na cena e possua um tamanho fixo e reduzido, para que o processo de cálculo do grau de similaridade entre imagens não demande um custo computacional elevado. A assinatura utilizada é composta pelo descritor local de imagens SIFT em conjunto com a extração do Vetor de Descritores Localmente agregados e a Análise de Componentes principais, o que cumpre com as restrições citadas Descritor SIFT O descritor SIFT provê uma forma de representar as características de uma imagem, que seja robusta a variações na rotação, ângulo de visão e iluminação (LOWE, 2004). A aplicação deste método é dividida em dois processos, sendo eles a busca de pontos chave da imagem e em seguida a extração da descrição de cada um. A primeira parte do descritor SIFT corresponde à detecção de pontos salientes na imagem, ou seja, pixels cujo valor de intensidade se destaca na região em que se encontram. O número de pontos chave detectados em uma imagem varia de acordo com o seu tamanho e também o nível de detalhes existentes, como por exemplo, texturas e contornos com variação intensa de contraste. Com o uso de convoluções do tipo Diferença de Gaussiana (DoG), seleção de pontos de máximo e mínimo e eliminação daqueles com baixo contraste, é obtido um subgrupo de pontos chave da imagem, cujos descritores serão extraídos.

50 4.1 Descritor de Imagens 50 Figura 4.2: Exemplo da aplicação do filtro gaussiano e da diferença de gaussiana no processo de localização de pontos chave em uma imagem. Para a detecção dos pontos chave é aplicada a convolução do tipo filtro gaussiano em diferentes escalas (valores de σ), obtendo assim instâncias da imagem com índices variados de suavização. A função gaussiana de duas dimensões, aplicada a todos os pontos da imagem é dada por: g(x,y,σ) = 1 x 2 +y 2 2πσ 2 e 2σ 2. (4.1) Em seguida é aplicada a função de diferença de gaussiana DoG = G(x,y,σ) G(x,y, σ k ), k > 1 em um par de imagens, para destacar contornos e regiões salientes da imagem. A Figura 4.2 apresenta o processo de aplicação do filtro DoG em uma imagem. Cópias da imagem original são criadas em diferentes tamanhos, chamadas de oitavas em Lowe (2004) e também nelas são calculadas a DoG, como é apresentado na Figura 4.3; o intuito da criação das oitavas é obter um descritor invariável a alterações no tamanho das imagens. Lowe (2004) propõe que a cada oitava a imagem seja redimensionada por um fator de 2.

51 4.1 Descritor de Imagens 51 Figura 4.3: Cálculo da Diferença de gaussiana em diferentes oitavas da imagem (LOWE, 2004). A detecção de pontos chave é feita localizando-se pontos de máximo ou mínimo na região ao redor de um pixel da imagem e de suas imagens adjacentes à escala. O ponto é comparado com seus oito vizinhos e com os nove de cada imagem adjacente, de acordo com a escala em que foi aplicado o filtro gaussiano na imagem, totalizando 26 comparações. Caso esse ponto possua a maior ou menor intensidade dentre os comparados, ele será um candidato a se tornar um ponto chave. A Figura 4.4 exemplifica como é feita essa comparação entre os pixels vizinhos. Com um conjunto de pontos candidatos representados em diferentes oitavas, são aplicados métodos para estimar a localização correta e a remoção daqueles mais sensíveis a ruídos e com baixo contraste. É definido um vetor de orientação para cada ponto chave, calculado a partir do maior valor de gradiente dos 8 pixels vizinhos, na escala na qual o ponto candidato foi detectado. A magnitude do vetor de orientação também é armazenada. A Figura 4.5 apresenta uma imagem antes e depois do processo de descarte dos pontos candidados. Esta informação mantém o descritor robusto a rotações nas imagens. Por

52 4.1 Descritor de Imagens 52 Figura 4.4: Obtenção de pontos com intensidade máxima ou mínima em uma região de uma imagem e de suas adjacentes (LOWE, 2004). fim, são extraídos os descritores dos pontos mantidos. A segunda parte da extração da assinatura SIFT de uma imagem consiste na obtenção dos descritores locais a partir dos pontos chave localizados. Para cada ponto é criado um vetor de 128 elementos contendo os valores dos gradientes da região ao redor do pixel. Ao total, tem-se uma lista de n vetores de 128 elementos por imagem, onde n é o número de pontos chave detectados, mais a localização do ponto chave, além da orientação e magnitude do vetor criado para tornar o descritor invariável a rotações da imagem. O processo de extração dos descritores é baseado no cálculo do histograma de magnitudes de orientações de conjunto de pixels vizinhos ao redor dos pontos chave. Ao redor de cada pixel são criadas 16 regiões contendo uma matriz de 4x4 pixels cada uma, como mostra a Figura 4.6. Para cada região são calculados os gradientes dos pixels com orientação e magnitude. Uma janela gaussiana é aplicada sobre as 16 regiões, aplicando pesos a cada pixel. Dessa forma, aqueles mais próximos do centro serão mais relevantes, enquanto os mais afastados influenciarão menos no valor do descritor. Pontos fora da janela são desconsiderados. Posteriormente os pixels de cada região são agrupados em um histograma de 8 orientações, resultando em 16 regiões com 8 valores de orientação, como mostra a 4.6. Os valores dos histogramas de cada região são armazenados em um vetor contendo 128 elementos (16 regiões x 8 orientações). A cada item desse vetor, damos o nome de características. Tendo as imagens extraídas seus descritores SIFT, é feita a extração do VDLA, para se obter uma representação reduzida e de tamanho fixo. Na próxima seção é apresentado o funcionamento desta técnica.

53 4.1 Descritor de Imagens 53 (a) (b) Figura 4.5: Exemplo de uma imagem em dois estágios da detecção de pontos chave: no primeiro (a), com os pontos candidatos, representados pela origem de cada um dos vetores exibidos; no segundo (b) a imagem contém apenas os pontos chave restantes após o processo de descarte daqueles com baixo contraste e sensíveis a ruídos (LOWE, 2004) VDLA O Vetor de Descritores Localmente Agregados é uma técnica de redução de dimensionalidade de descritores locais de imagens, proposto por Jégou et al. (2010). Seu funcionamento se baseia em agregar descritores de uma imagem com base em seus valores em um espaço de características definido por um codebook (no caso do SIFT, 128 características por descritor). Consequentemente é obtido um descritor de características de tamanho fixo, que pode então ser utilizado para o agrupamento da imagem pelo K-Means. Consideremos uma imagem I cuja assinatura foi obtida pelo SIFT, resultando em n descritores de 128 características cada. Com base no método bag og features, inicialmente é criado um codebook, obtido através do K-Means, contendo k descritores SIFT (C = c 1,c 2,...,c k ). Cada um dos n descritores de I é associado ao descritor do codebook com menor distância, utilizando o método do vizinho mais próximo (NN, do inglês Nearest Neighbor). A função a seguir é utilizada para se estimar o vizinho mais próximo do codebook, para um descritor x n. c i = NN(x,C) (4.2)

54 4.1 Descritor de Imagens 54 Figura 4.6: Processo de construção de um descritor SIFT. Inicialmente são selecionadas 16 regiões com 4x4 pixels, onde são calculadas as orientações e magnitudes de cada ponto; em seguida é criada uma janela gaussiana (circulo em azul), onde somente os pontos contidos na janela serão contabilizados nos histogramas; por último, são criados histogramas de magnitudes das orientações (divididas em 8 faixas) para cada região.(lowe, 2004). Assim que um descritor x n é associado ao elemento mais similar do codebook (c i ), é calculada o valor da diferença entre os valores ambos, conforme a função 4.3: v i, j = 128 x j c i j, (4.3) j=1 onde j representa cada uma das 128 características do descritor SIFT. Essa diferença é calculada para cada um dos n descritores petencentes a I. Assim é criado um descritor de tamanho fixo, contendo D = k d elementos, sendo k o número de descritores do codebook e d o tamanho do descritor (no caso do SIFT, d = 128). Na Figura 4.7, são apresentadas imagens similares e seus respectivos VDLA, calculados com k = 16. Segundo Jégou et al. (2010), o número ideal do parâmetro k está entre 16 e 256. Para este trabalho, utilizou-se o valor de k = 64 (assim como foi usado nos testes de Jégou et al. (2010)) o que resultou em um VDLA de 8192 elementos. Em testes preliminares, notou-se que o uso desse descritor no SII não foi eficaz na recuperação de imagens da base de dados ALOI, o que pode estar ligado com o fato da aplicação do SIFT nas imagens ter resultado em um número baixo de descritores gerados (abaixo de k). Para solucionar esta limitação, foi usado a ACP para obter um descritor cujos componentes fossem mais eficazes

55 4.1 Descritor de Imagens 55 na representação da imagem. A próxima subseção descreve a obtenção de um vetor aplicando a ACP em um VDLA ACP A Análise de Componentes Principais (ACP) é um método matemático proposto por Pearson (1901) e utilizado na redução da dimensionalidade de dados (nesse caso, o Vetor de Descritores Localmente Agregados). Seu funcionamento consiste basicamente na criação de um subconjunto de componentes não relacionados a partir de um conjunto maior de características relacionadas permitindo assim realçar as similaridades e dissimilaridades da assinatura de imagens. No caso desse trabalho, utilizou-se a ACP para criar um descritor de imagens com 128 componentes a partir do VDLA extraído das imagens, composto por 8192 elementos, assim como proposto por Jégou et al. (2010). A redução de dimensionalidade do VDLA a partir a ACP é feita selecionando as características com maior variância. Os passos necessários para se obter a projeção ACP de Vetores de Descritores Localmente Agregados são apresentados a seguir, conforme descrito por Smith (2002): Subtrair a média das características: Para todos os VDLA do banco de dados, calcular a média de cada elemento do vetor e subtrair seu valor. Assim, cada característica terá média igual a zero. Calcular a matriz de covariância do banco de dados: A matriz de covariância estabelece as relações entre os valores das características do VDLA. Figura 4.7: Exemplo de VDLA extraídos em pares de imagens parecidas. Pode ser observado que os descritores obtidos para cada par de imagem se assemelham bastante, no que diz respeito a orientação e magnitude das características. (JéGOU et al., 2010).

56 4.2 K-Means 56 Obter os autovalores e autovetores da matriz de covariância: Isso é possível, devido ao fato de que a matriz de covariância é quadrada. Criar o vetor de características a partir dos componentes: Os componentes principais são escolhidos de acordo com os maiores autovalores. Os dados referentes aos menores autovalores podem ser descartados, e assim a dimensionalidade do VDLA é reduzida. Modificar os vetores de características originais para o novo padrão: Dados os componentes selecionados a partir dos autovalores, os autovalores resultantes são multiplicados com o banco de dados original, a fim de se obter a projeção ACP dos VDLA. A projeção ACP pode ser então aplicada como a assinatura das imagens pertencentes à base de dados. Como os vetores resultantes dessa operação também possuem tamanho fixo, eles podem ser utilizados de forma eficaz no algoritmo de agrupamento K-Means, conforme apresentado na próxima seção. 4.2 K-Means A segunda etapa do Sistema Imuno-Inspirado corresponde à indexação das imagens do banco de dados, utilizando o K-Means (MACQUEEN, 1967). Este método provê uma forma de agrupar imagens a partir de seus descritores, de forma que aquelas semanticamente similares sejam alocadas em um mesmo conjunto. Antes de se aplicar o K-Means, deve ser estabelecida uma estrutura para os dados que serão agrupados. Considerando a representação das características de uma imagem a partir de um descritor local de imagens, como por exemplo o SIFT, tem-se uma lista com i vetores de 128 elementos, onde i 0 (nos casos em que a aplicação da transformada SIFT em uma imagem não resulta na geração de descritores, tem-se i = 0). Devido ao fato de que o parâmetro i possui tamanho variável de acordo com o número de pontos chave detectados na imagem, é necessário uma maneira de representar as imagens com um tamanho fixo, visto que o K-Means utiliza distância entre pontos para calcular o nível de similaridade entre os dados e os centróides no processo de agrupamento. Partindo do princípio que o descritor de imagens proposto é um vetor v de n elementos (v = [i 0,i 1,i 2,...i n 1 ]), pôde-se considerá-lo como sendo um ponto

57 4.3 Algoritmo Imuno-Inspirado 57 no espaço R n. Com essa definição, as imagens do banco de dados podem ser agrupadas com eficácia utilizando o K-Means. Para a definição do número de grupos a serem criados, utilizou-se a abordagem de Dunn (1973) que propõe que sejam criados k = n grupos, onde n é o número de itens a serem agrupados. O processo de cálculo do centróide é feito pela mediana dos pontos que compõem o grupo referente. Quando os valores dos centróides são redefinidos, é necessário fazer o rearranjo dos descritores de imagens nos grupos. Cada vetor é alocado no grupo cujo valor da distância do centróide for menor. Assim que as imagens são agrupadas, é feito novamente a redefinição dos valores dos centróides com base na mediana dos vetores que se encontram atualmente no grupo. Esse processo é repetido até que os grupos se estabilizem com um determinado número de imagens, ou seja, valor do vetor do centróide se mantenha o mesmo durante duas iterações consecutivas do processo de cálculo das medianas. Com as assinaturas das imagens do banco de dados devidamente armazenadas no agrupamento criado pelo K-Means e cada grupo contendo um centróide representando o valor da mediana dos vetores armazenados nele, o Algoritmo Imuno-Inspirado pode ser aplicado na recuperação de imagens por conteúdo. A próxima seção apresenta os detalhes dessa etapa. 4.3 Algoritmo Imuno-Inspirado O passo final do SII é a aplicação do Algoritmo Imuno-Inspirado na recuperação de imagens por conteúdo. Assim como toda aplicação de RIBC, uma imagem é fornecida como entrada à aplicação e, de acordo com uma série de operações matemáticas, são retornadas para o usuário aquelas mais similares em relação à pesquisada. O Algoritmo Imuno-Inspirado proposto realiza uma redução no espaço de busca com o intuito de manter as pesquisas eficientes computacionalmente. Isto é feito a partir da comparação entre a imagem de pesquisa Q e os centróides e posteriormente a seleção dos grupos mais similares a Q. Um subconjunto de grupos é selecionado e apenas imagens desses grupos são consideradas durante a pesquisa. Isso evita que seja realizada a busca utilizando força bruta na recuperação das imagens mais similares a Q, o que torna o tempo de execução consideravelmente menor. Para cada grupo selecionado é feita a pesquisa entre seus elementos e Q. Somente aquelas com o maior grau de similaridade são retornadas ao usuário, respeitando um limite máximo de itens a serem exi-

58 4.3 Algoritmo Imuno-Inspirado 58 bidos. O processo de realimentação de relevância é realizado quando o usuário seleciona entre os itens retornados uma ou mais imagens que julga ser visualmente similar àquela pesquisada. Essa escolha auxilia o algoritmo nas próximas pesquisas ao estabelecer relações entre o grau de similaridade calculado e a avaliação semântica das imagens assistida por um humano. No Algoritmo Imuno-Inspirado proposto, a realimentação de relevância é feita ao selecionar a imagem i mais parecida com o objeto de pesquisa e favorecer o grupo onde ela se encontra. O intuito é de recompensar as imagens que ficaram mal alocadas no processo de agrupamento, ao criar um relacionamento entre essas imagens e o grupo em que elas deveriam estar. Para tal, o sistema armazena uma matriz de contadores Mem[k][n], onde n representa o número de elementos da base de dados e k o número de agrupamentos existentes. Essa matriz faz o relacionamento entre uma imagem Q e o grupo cujas imagens são mais similares a ela. A Q representa a imagem do conjunto com o maior grau de similaridade com Q. Este relacionamento permite que, quando uma imagem de pesquisa Q tenha como imagem mais similar a Q, os grupos relacionados a ela tenham mais imagens retornadas para o usuário. A seguir (Algoritmo 1) é apresentado o Algoritmo Imuno-Inspirado utilizado neste trabalho. Como entrada, são necessários a imagem a ser pesquisada (Q), a lista contendo as imagens do banco de dados (l[]) e o parâmetro w, que define o número de imagens a serem retornadas por pesquisa. O processo de casamento entre imagens no Algoritmo Imuno-Inspirado é feito utilizando o cálculo da distância euclidiana, devido a sua eficácia e rapidez quando aplicado a vetores de tamanho fixo, como no caso do descritor VDLA extraído do SIFT e aplicado à ACP. No capítulo de Resultados experimentais são apresentados mais detalhes sobre os testes realizados para a validação do Sistema Imuno-Inspirado proposto, assim como os parâmetros utilizados na execução do Algoritmo Imuno- Inspirado.

59 4.3 Algoritmo Imuno-Inspirado 59 Algorithm 1 Algoritmo Imuno-Inspirado para RIBC Entrada: Imagem de pesquisa (Q), Banco de dados (l[]), Número de imagens retornadas por iteração (w) ALGORITMO 1. Inicializar variáveis n (número de imagens contidas no banco de dados l[]) k (número de grupos do K-Means) K[k] (lista contendo os grupos de imagens K-Means) Mem[k][n] (matriz de memória, contendo os contadores de realimentação de relevância) 2. Agrupar as imagens de L[] em k grupos usando o K-Means K[] = KMeans(L[],k); 3. PARA cada grupo k i pertencente ao agrupamento K do banco de dados faça: 3.1 Calcule a similaridade entre o descritor de Q e o centróide de k i ; 1 Sim(Q,k i ) = N j=0 (Q[ j] k i[ j]) 2 fim PARA; 4. Armazena no vetor vg[m] os m grupos de K mais similares a Q de acordo com o cálculo da similaridade; 5. Busca nos grupos de vg[m] a imagem mais similar a Q, denominada Q ; (Q = imagem mais similar a Q pertencente a um dos vg[m] grupos) 6. PARA cada grupo vg[i] vg[m] faça: 6.1 Calcule o número de imagens a serem retornadas do grupo vg[i] (numi); numi = Mem(Q Sim(Q,vg[i]),vg[i]) m j=1 Mem(Q,vg[ j]) m Mem(Q j=1 Sim(Q,vg[ j]),vg[ j]) m k=1 Mem(Q,vg[k]) 6.2 Selecione do grupo as numk imagens mais similares a Q; 6.3 Exiba as imagens mais similares a Q do grupo vg[i]; fim PARA; Realimentação de relevância: 7. SE(Usuário selecionar a imagem I dentre as retornadas mais similar a Q) 7.1. Incremente a matriz de memória para o grupo da imagem selecionada e o índice de Q em L[]; Mem[grupo(I))][indice(Q )] = Mem[grupo(I)][indice(Q )] + 1 Onde: grupo(i) retorna o índice do grupo em que a imagem I se encontra indice(q ) retorna o índice da imagem Q em l[] 7.2. Repita o algoritmo a partir do passo 3; fim SE; FIM ALGORITMO w

60 60 5 Resultados Experimentais Este capítulo apresenta os experimentos realizados com o Sistema Imuno- Inspirado e faz uma análise dos resultados obtidos, com o intuito de demonstrar a eficácia e a escalabilidade do método proposto. Para isso, foram criados quatro roteiros de experimentos que utilizaram dois grupos de imagens de pesquisa e quatro bancos de dados de imagens. Todas as imagens utilizadas nos experimentos foram extraídas do banco de dados ALOI, composto por imagens adquiridas em ambiente controlado (fundo preto, iluminação uniforme, distância focal constante) de 1000 objetos, sendo 72 imagens para cada um (72 imagens x 1000 objetos). As diferentes poses foram obtidas através da rotação do objeto sobre seu eixo vertical central, com uma variação de cinco graus para cada ângulo de visão. A Figura 5.1 exibe imagens de um dos objetos do ALOI, rotacionado de acordo com o eixo central. Figura 5.1: Imagens de um objeto do banco de dados ALOI. No total existem 72 imagens de cada objeto, sendo que a diferença entre cada imagem adjacente é que o objeto está rotacionado em 5, realizando assim uma volta completa sobre seu eixo vertical central.

61 5.1 Bancos de Dados de Imagens 61 Figura 5.2: Imagens do ALOI de um mesmo objeto, obtidas com o ângulo de visão em relação ao eixo vertical central igual a 0 e 175 respectivamente. Apesar das duas imagens serem do mesmo objeto, ambas possuem um nível de similaridade que pode ser considerado baixo pelo SII. 5.1 Bancos de Dados de Imagens Para a realização dos experimentos, foram criados quatro bancos de imagens de tamanhos distintos, não somente no que diz respeito ao número de imagens, mas também ao número de objetos de interesses visualizados. A utilização de tais bancos permitiu avaliar de maneira criteriosa a escalabilidade do sistema proposto. Os bancos de imagens foram construídos a partir da base de dados ALOI. Para a composição das bases de dados, foram utilizadas 36 das 72 imagens disponíveis por objeto, o que representa uma variação de 180 em relação ao ângulo de visão. Essa escolha foi feita com base na análise visual dos objetos quando o ângulo de visão aproxima dos 180 entre duas imagens como pode ser comprovado na Figura 5.2. O conteúdo visual de ambas apresenta variações significativas, e o algoritmo pode obter um grau de similaridade igual a zero na comparação entre as duas imagens. A Tabela 5.1 descreve as especificações dos quatro bancos de imagens de teste, nomeados ALOI 5000, ALOI 10000, ALOI e ALOI Nela são apresentados para cada base os números de imagens, de objetos distintos existentes, e de imagens por objeto. Apesar do ALOI possuir imagens de 1000 objetos, foram utilizadas imagens de apenas 922 objetos pois algumas foram reservadas para serem aplicadas como imagens de pesquisa e outras resultaram em um descritor vazio no processo de extração do descritor SIFT, pois retratavam objetos escuros o suficiente para impedir que a etapa de detecção de pontos chaves localizasse regiões com alta variação de contraste. Imagens com descritor vazio não podem ser usadas para fins de comparação, pois não

62 5.2 Grupos de Imagens de Pesquisa 62 Tabela 5.1: Especificações dos bancos de imagens criados para a realização dos experimentos. Bancos de Imagens ALOI 5000 ALOI ALOI ALOI N de imagens N de objetos Imagens por objeto possuem atributos a serem usados no cálculo de similaridade entre imagens. Com base nos dados da Tabela 5.1, tem-se o menor banco de imagens (ALOI 5000) com 5004 e o maior (ALOI 33000) com elementos obtidos do ALOI. Os bancos de diferentes tamanhos permitem a realização de experimentos para avaliar a eficácia do sistema gradualmente. A próxima seção descreve como foram elaborados os grupos de imagens de pesquisas e as diferenças entre eles. 5.2 Grupos de Imagens de Pesquisa Para avaliar a eficácia do sistema proposto quanto à capacidade de recuperar imagens relevantes foram criados dois grupos de pesquisa com características distintas. Esses grupos são compostos por imagens também extraídas da base de dados ALOI. O primeiro grupo contém 20 imagens de diferentes objetos. Essas imagens estão presentes nos quatro bancos de dados (ALOI 5000, ALOI 10000, ALOI e ALOI 33000), ou seja, para cada imagem de pesquisa existem nos bancos de dados 36 imagens referentes ao objeto em diferentes ângulos de rotação. A partir dos experimentos realizados com esse grupo de pesquisa é possível avaliar se o método de agrupamento de imagens e cálculo de centróides foi eficaz e se o algoritmo é capaz de recuperar imagens de objetos iguais. O segundo grupo é composto por 19 imagens de pesquisa de diferentes objetos, que ao contrário do grupo 1, não estão presentes nas bases de dados. Para cada objeto retratado no grupo 2, existe ao menos um objeto nas bases ALOI 5000, ALOI 10000, ALOI e ALOI que possua imagens cujas características visuais (forma, textura) se assemelhem entre si. A Figura 5.3 apresenta um exemplo de uma imagem de pesquisa do grupo e de um objeto

63 5.3 Avaliação da Eficácia e Eficiência do Método Proposto 63 Figura 5.3: Imagens de objetos similares no ALOI. Apesar de ambas as Figuras não serem do mesmo objeto, elas possuem características visuais em comum, que são a forma e a textura da superfície. A Figura da esquerda pertence ao grupo de imagens de pesquisa 2, enquanto a da direita pertence aos bancos de dados ALOI 5000, ALOI 10000, ALOI 20000, ALOI parecido, existente nos quatro bancos. O objetivo desse grupo de pesquisa é avaliar a capacidade do algoritmo e do método de cálculo de similaridade de retornar imagens de objetos parecidos com o pesquisado, de acordo com o método de comparação de imagens. Os grupos de imagens de pesquisa propostos abordam dois aspectos importantes de um algoritmo de RIBC, que são a habilidade de recuperar objetos idênticos ao objeto de interesse, mesmo que em pontos de vista diferentes, como propõe o grupo 1 e a habilidade de recuperar objetos similares ao objeto de interesse, como propõe o grupo 2. Isso só é possível com métodos eficazes de indexação e recuperação de imagens. 5.3 Avaliação da Eficácia e Eficiência do Método Proposto A avaliação da eficácia do método proposto é feita com a análise dos resultados obtidos nos experimentos. Para isso foram utilizadas como métricas a revocação (r) e a precisão (p) das imagens pesquisadas. Para um conjunto de pesquisas, foi calculada a média da revocação e a média da precisão (VO- ORHEES, 2000). Para a avaliação do custo computacional do método, utilizouse a medida do tempo médio de execução da busca para imagens do grupo 1 e 2.

64 5.3 Avaliação da Eficácia e Eficiência do Método Proposto Revocação A revocação de uma pesquisa é obtida através do cálculo da razão entre o número de imagens relevantes (relacionadas com o objeto pesquisado) retornadas pelo sistema e o número de imagens relevantes existentes no banco de dados, de acordo com a equação: r = I Rel, onde: r: valor da revocação; I: número de imagens relevantes retornadas; Rel: número de imagens relevantes existentes no banco de dados; A revocação representa assim a porcentagem de imagens retornadas pelo sistema em relação ao número total de imagens relevantes. Seu valor pode variar entre 0 (nenhuma imagem relevante foi retornada) e 1 (todas as imagens relevantes do banco foram retornadas). Assim, quanto mais próximo de 1 for o valor de r, maior é a eficácia da pesquisa, pois significa que houve um número grande de imagens relevantes retornadas. Esse cálculo é bastante simples, mas é capaz de expressar a eficácia do método testado. Nos casos em que foi necessário fazer a avaliação da revocação para duas ou mais pesquisas, utilizou-se a média da revocação, obtida através da razão entre o somatório dos valores de revocação das pesquisas e o número de termos do somatório. Por se tratar de uma média, a faixa de valores para essa variável se assemelha à revocação, onde 0 significa que nenhuma das pesquisas retornou imagens relevantes e 1 significa que todas as pesquisas retornaram o número máximo de imagens relevantes (DAVIS; GOADRICH, 2006) Precisão A precisão é obtida através do cálculo da razão entre o número de imagens relevantes (relacionadas com o objeto pesquisado) retornadas pelo sistema e o número de imagens retornadas em uma pesquisa, como descreve a equação abaixo:

65 5.3 Avaliação da Eficácia e Eficiência do Método Proposto 65 p = I Ret, onde: p: valor da precisão; I: número de imagens relevantes retornadas; Rel: número de imagens retornadas em uma pesquisa; Como o número de imagens retornadas é um valor fixo, definido pelo parâmetro W no Algoritmo Imuno-Inspirado, foi utilizada a medida chamada " precisão em n" (P@n) que se baseia no cálculo da precisão em faixas de n imagens (LIU et al., 2007; KASZKIEL; ZOBEL, 1997). Nos experimentos realizados, os valores de n usados foram 5, 10, 15, 20, 25, 30, 35, 40, 45, e W (sendo que W = 50). Assim é possível obter a variação da precisão de acordo com o aumento do número de imagens retornadas. A medição da precisão foi aplicada para a obtenção dos gráficos de Precisão x Revocação. Estes gráficos apresentam a relação entre a quantidade de imagens relevantes à medida que o número de imagens retornadas aumenta. Geralmente este gráfico possui o formato de uma curva descendente, que representa a queda da precisão e o aumento da revocação de acordo com o aumento do número de imagens retornadas pelo sistema. Assim é possível avaliar se a escolha do valor do parâmetro W foi correta Medição do Custo Computacional do Método Proposto Para avaliar o custo computacional da técnica proposta, utilizou-se a medição do tempo de execução das buscas por imagens, que é feita a partir do momento que o AIS recebe a imagem a ser pesquisada até o processo de exibição dos resultados. Os tempos são apresentados utilizando a unidade de medida milissegundo (ms). Os experimentos de tempo de execução possibilitam avaliar a viabilidade da técnica proposta, quando utilizada em aplicações que exigem baixo custo computacional.

66 5.4 Realimentação de Relevância Realimentação de Relevância O processo de realimentação de relevância, utilizado pelo SII proposto, tem como o objetivo aumentar a eficácia do sistema quanto ao processo de busca, ao permitir que o usuário selecione a imagem retornada mais similar àquela pesquisada. O uso desta técnica resulta no aumento do número de imagens relevantes retornadas ao usuário, pois indica ao AII quais grupos deve se retornar mais ou menos imagens. No SII, a realimentação de relevância funciona da seguinte forma: após retornadas as imagens de uma pesquisa, o usuário pode selecionar aquela que julga ser mais relevante. Nas próximas iterações, serão retornadas mais imagens do grupo que contém a imagem escolhida e menos dos demais. Isso permite que o algoritmo retorne mais imagens de um determinado grupo, partindo do princípio que nele existem mais imagens relevantes. Para os experimentos realizados, foram realizadas 10 repetições da pesquisa para avaliar a realimentação de relevância. Este valor foi escolhido pois com este número de repetições pôde-se avaliar o comportamento da curva com o crescimento da revocação. Em uma situação real, dificilmente um usuário do sistema se disporia a realizar 10 repetições da realimentação de relevância. Por isso, o sistema é capaz de salvar seu estado, armazenando assim a memória das escolhas já realizadas durante as realimentações realizadas, o que justifica a escolha do número alto dessas repetições. Nos experimentos realizados, houve duas situações distintas: quando haviam imagens relevantes vindas de apenas um grupo e quando haviam vindas de dois ou mais grupos. No primeiro caso, não importava qual imagem relevante era votada pelo usuário, visto que todas elas pertenciam ao mesmo grupo. Quando existia mais de um grupo com imagens relevantes, optou-se por votar em uma imagem relevante retornada por iteração, para que todos os grupos pudessem ser favorecidos. A próxima seção apresenta os roteiros de testes criados para validar o método proposto e os resultados obtidos na realização dos experimentos. 5.5 Roteiros de Testes Os experimentos realizados para a avaliação da eficácia do sistema imunoinspirado proposto foram divididos em quatro roteiros de testes. Para isso foram

67 5.5 Roteiros de Testes 67 utilizados os dois grupos de imagens de pesquisa com os bancos de dados ALOI 5000, ALOI 10000, ALOI e ALOI O primeiro roteiro de testes tem como objetivo avaliar a influência do parâmetro m, que representa o número de agrupamentos do K-means que serão utilizados na busca por imagens. Com os resultados obtidos nesse roteiro será definido um valor de m ideal para ser usado nos roteiros de testes 2, 3 e Roteiro de Testes 1: Escolha do Valor do Parâmetro m No SII proposto, o parâmetro m define o número de grupos que serão selecionados dentre os existentes, de acordo com o grau de similaridade entre a imagem de pesquisa Q e o centróide de cada grupo. A partir desse conjunto de m grupos escolhidos, são feitas buscas neles pelas imagens a serem retornadas pelo algoritmo. Com o intuito de avaliar a influência desse parâmetro no Algoritmo Imuno-Inspirado, foi realizado um experimento que permitisse selecionar qual o valor de m ideal para a realização dos roteiros de teste 2 e 3. Teoricamente, quanto maior o valor de m, maior será o número de imagens pesquisadas pelo algoritmo, devido ao aumento do número de grupos que deverá ser utilizado pelo algoritmo. Considerando que, à medida que o número de grupos aumenta, o número de imagens a serem pesquisadas é incrementado, tem-se um conjunto maior de imagens a ser pesquisado, o que resulta em um custo computacional maior. Um número maior de imagens não necessariamente representa uma garantia de resultados melhores, pois em um grupo pode haver imagens que não são diretamente correlacionadas. Dessa forma, torna-se necessário a avaliação do valor desse parâmetro para que se consiga obter o maior número de imagens similares em relação à imagem pesquisada, consultando o menor número possível de imagens do banco de dados. Os experimentos para avaliação do parâmetro m foram feitos da seguinte forma: a partir do banco de imagens ALOI 33000, foram realizados experimentos com as imagens de pesquisa dos grupos 1 e 2 com 10 iterações da realimentação de relevância, utilizando três diferentes valores de m (1, 5 e 10) no algoritmo para analisarmos qual o comportamento da variação desse parâmetro nos resultados. A seguir são apresentados os resultados encontrados nos experimentos de avaliação do parâmetro m.

68 5.5 Roteiros de Testes 68 Tabela 5.2: Parâmetros aplicados na realização do primeiro experimento do roteiro 1. Para a avaliação da influência do parâmetro m nos resultados foram utilizados os valores 1, 5 e 10. Parâmetros do Sistema Imuno-Inspirados Parâmetro Descrição Valores m Número de grupos mais similares pesquisados 1, 5, 10 w Número máximo de imagens retornadas 50 i Iterações da realimentação de relevância 10 g Grupo de imagens de pesquisa Grupo 1 c Base de imagens ALOI Experimento 1 - Avaliação do Parâmetro m com Imagens de Pesquisa do Grupo 1 O primeiro experimento avalia a eficácia da o Algoritmo Imuno-Inspirado na recuperação de imagens de pesquisa do grupo 1 para valores do parâmetro m iguais a 1, 5 e 10 utilizando o banco de dados ALOI Para cada imagem pesquisada, foram feitas 10 rodadas da realimentação de relevância. Os resultados foram agrupados pelos valores de revocação das imagens de pesquisa para cada iteração da realimentação de relevância. A Tabela 5.2 reúne os parâmetros utilizados no Sistema Imuno-Inspirado para a realização do experimento. A Figura 5.4 descreve os resultados obtidos para os experimentos de avaliação do parâmetro m aplicados ao grupo de testes 1. Para o parâmetro m igual a 1, o valor de r das imagens de pesquisa se manteve em aproximadamente 0.42 durante as iterações da realimentação de relevância, pois o algoritmo retorna as imagens mais similares desse grupo desde a primeira rodada. Para o parâmetro m igual a 5 e a 10, pôde-se notar a eficácia do uso da realimentação de relevância em conjunto com o cálculo do grau de similaridade entre imagens. Isto pode ser observado pelo o aumento do valor de r, que inicialmente era de aproximadamente 0.31 e 0.25 para o m igual a 5 e 10 respectivamente, e chegou a 0.47 para ambos valores de m na última rodada da realimentação de relevância. Nos experimentos realizados com o parâmetro m maior que 1, notou-se uma peculiaridade na curva do valor de revocação por iteração da realimentação de relevância, como pode ser observado durante as iterações 3-4 e 8-9 do experimento com m igual a 5 e 2-3 e 4-5 do experimento com m igual a 10.

69 5.5 Roteiros de Testes 69 Figura 5.4: Revocação por iteração da realimentação de relevância de acordo com o parâmetro m aplicado grupo de imagens de pesquisa 1. Nesses trechos, o aumento do r não acompanhou o restante da curva. Nas maiores bases de imagens (como por exemplo, o ALOI 33000), imagens de um mesmo objeto muitas vezes foram distribuídas em agrupamentos diferentes, o que causou a necessidade de votar alternadamente em diferentes grupos durante as iterações da realimentação de relevância. Ocorre que, alguns desses grupos continham uma ou poucas imagens relevantes e a aplicação da realimentação de relevância reduzia o número total de imagens relevantes retornadas. Isto ocorre pois, ao realizar a votação, o algoritmo aumentava o número de imagens retornadas no grupo selecionado e reduzia o número de imagens retornadas dos demais. Os valores da revocação foram ligeiramente melhores no experimento realizado com o parâmetro m igual a 5, o que mostra que a pesquisa de imagens em uma quantidade grande de grupos não garante uma melhoria nos valores de r. A Figura 5.5 apresenta os resultados do experimento com o grupo 1 agrupados por imagem de pesquisa. Foi calculada a revocação das 10 iterações da realimentação de relevância de todas as imagens de pesquisa do grupo 1. No gráfico, cada agrupamento de barras representa uma das imagens de pes-

70 5.5 Roteiros de Testes 70 Figura 5.5: Revocação por imagem de pesquisa do Roteiro de Testes 1. Avaliação do parâmetro m. quisa. As barras azuis, verdes e vermelhas representam o r calculado para cada imagem de pesquisa, de acordo com os experimentos com o parâmetro m igual a 1, 5 e 10, respectivamente. Pode ser visto que algumas imagens tiveram o valor de r maior que outras, e que os melhores valores encontrados foram para o experimento com m igual a 1, como por exemplo, as imagens de pesquisa 3, 6, 10, 11 e 15 do grupo 1. Nesses casos, como o algoritmo só realizou a pesquisa em imagens de um dos grupos do banco, pode-se concluir que o processo de agrupamento foi mais eficaz para essas imagens. Em compensação, as outras imagens do experimento com o m igual a 1 foram significativamente piores que os outros dois experimentos. Comparando os experimentos com m igual a 5 e a 10 observa-se que no primeiro a maioria das imagens (14 das 20) retornaram um r maior que no segundo. Sendo assim, os resultados encontrados na avaliação de m para o grupo de imagens de pesquisa 1 comprovam que com esse parâmetro igual a 5 foram obtidos melhores valores de revocação entre os três.

71 5.5 Roteiros de Testes 71 Experimento 2 - Avaliação do Parâmetro m com Imagens de Pesquisa do Grupo 2 O segundo experimento de avaliação do parâmetro m se assemelha ao primeiro, sendo que este utiliza as imagens de pesquisa do grupo 2. O parâmetro m foi testado com os valores 1, 5 e 10, para que se pudessem analisar os valores de revocação de acordo com o aumento do número de grupos cujas imagens foram comparadas. Foi utilizado o banco de dados ALOI e 10 rodadas da realimentação de relevância para cada imagem pesquisada. A Tabela 5.3 apresenta os valores utilizados em cada um dos parâmetros do sistema imuno-inspirado para esse experimento. Tabela 5.3: Parâmetros aplicados na realização do segundo experimento do roteiro 1. Para a avaliação da influência do parâmetro m nos resultados, foram utilizados os valores 1, 5 e 10. Parâmetros do Sistema Imuno-Inspirados Parâmetro Descrição Valores m Número de grupos mais similares pesquisados 1, 5, 10 w Número máximo de imagens retornadas 50 i Iterações da realimentação de relevância 10 g Grupo de imagens de pesquisa Grupo 2 c Base de imagens ALOI A Figura 5.6 apresenta os resultados encontrados nos experimentos com m igual a 1, 5 e 10. Assim como no experimento 1, o valor de r não variou com o parâmetro m igual a 1, mantendo-se em aproximadamente Para os outros valores de m houve melhoria desse valor durante as iterações da realimentação de relevância iniciando com 0.1 e 0.09 e terminando com e para m igual a 5 e 10 respectivamente. Até a quinta iteração da realimentação de relevância o valor de revocação foi maior para o experimento com m igual a 5, e a partir da sexta os resultados com o valor de m igual a 10 superam os outros dois experimentos. Dessa forma, pôde-se concluir que no caso da pesquisa de imagens de objetos parecidos, as imagens no banco de dados se encontram dispersas em mais grupos e o uso de um valor maior para o parâmetro m implica no aumento do r. A Figura 5.7 apresenta os resultados de revocação agrupados por imagem de pesquisa, obtidos nos experimentos de avaliação do parâmetro m. O gráfico possui os registros das 19 imagens de pesquisa do grupo 2, sendo que para cada imagem está presente o valor de r para o experimento com m igual a 1,

72 5.5 Roteiros de Testes 72 Figura 5.6: Revocação por iteração da realimentação de relevância de acordo com o parâmetro m aplicado no grupo 2 de imagens de pesquisa. 5 e 10. Analisando os valores encontrados no experimento para m igual a 1, pôde-se notar que apenas 8 imagens pesquisadas obtiveram entre as imagens retornadas pelo algoritmo alguma que fosse relevante. No experimento com m igual a 10 as pesquisas foram mais bem sucedidas, visto que em 15 das 19 imagens pesquisadas houve imagens relevantes entre as retornadas. Com o parâmetro m igual a 5, o experimento conseguiu retornar imagens relevantes em 13 casos, apesar de que em 10 das imagens pesquisadas o valor da revocação foi maior que com o m igual a 10. No geral, o valor de r foi baixo, com exceção das imagens de pesquisa im13, im17 e im19, que resultaram em um valor maior que 0.5 nos experimentos com o parâmetro m igual a 1, 5 e 10. Analisando os resultados dos gráficos apresentados nas Figuras 3 e 4, pôde-se concluir que os valores de revocação encontrados para os experimentos com o m igual a 5 e 10 ficaram próximos, mas o primeiro se destaca por realizar a tarefa com um custo computacional menor, pois realiza a busca por imagens relevantes em apenas 5 grupos da base de dados. O gráfico da Figura 5.8 mostra a porcentagem das imagens cuja pesquisa retornou ao menos uma imagem relevante, de acordo com o grupo de imagens

73 5.5 Roteiros de Testes 73 Figura 5.7: Revocação por imagem de pesquisa do grupo 2. Avaliação do parâmetro m. de pesquisa usado e o valor do parâmetro m. Pode ser visto que no grupo 1, com valores de m iguais a 1, 5 e 10, o sistema retornou para cada imagem pesquisada pelo menos uma imagem relevante, obtendo assim 100% de aproveitamento nesses três casos. Para o grupo 2 há uma melhoria significativa em relação ao número de imagens pesquisadas que retornaram imagens relevantes. Enquanto no experimento utilizando m igual a 1 o sistema foi capaz de encontrar imagens similares em cerca de 41% dos casos enquanto com m igual a 10 o sistema recuperou imagens relevantes em aproximadamente 80% das imagens pesquisadas. Apesar do número de imagens pesquisadas que retornaram ao menos uma relevante ter aumentado de acordo com o valor de m no grupo 2, como mostra a Figura 5.8, o aumento da revocação não foi significativo para o experimento com o m igual a 10 em relação ao m igual a 5. O módulo da diferença entre o r dos experimentos com m igual a 5 e a 10 é de 0.01 na primeira iteração e de 0.03 na décima iteração da realimentação de relevância segundo a Figura 5.8, o que mostra que a diferença entre o r obtido nesses dois experimentos foi baixo. Com base nos resultados apresentados e descritos acima, foi escolhido o

74 5.5 Roteiros de Testes 74 Figura 5.8: Porcentagem das imagens pesquisadas por grupo de imagens que possuíam ao menos uma imagem relevante entre as retornadas pelo Sistema Imuno-Inspirado. parâmetro m igual a 5 para ser utilizado nos roteiros de teste 2 e 3, aplicados aos bancos de dados ALOI 5000, ALOI 10000, ALOI e ALOI Esse valor se mostrou eficaz nos experimentos realizados com o ALOI como pode ser confirmado e também possui um custo computacional menor do que o parâmetro m igual a 10, pois realiza a busca em um subconjunto menor de imagens do banco de dados para compor a lista de imagens retornadas para o usuário Roteiro de Testes 2 - Pesquisa por Imagens de Objetos Idênticos aos Objetos de Interesse O roteiro de testes 2 tem como finalidade avaliar a eficácia do SII na recuperação de imagens de objetos contidos no banco de dados. Esse roteiro possui grande relevância na validação do método proposto, pois avalia se o algoritmo é capaz de localizar imagens iguais ou de uma mesma cena em diferentes ângulos de visão contidas na base de imagens a ser pesquisada. Este

75 5.5 Roteiros de Testes 75 roteiro utiliza para a pesquisa o grupo 1, composto por 20 imagens de objetos distintos, extraídas do ALOI e presentes nas bases de teste ALOI 5000, ALOI 10000, ALOI e ALOI A Tabela 5.4 apresenta os parâmetros do Sistema Imuno-Inspirado e os respectivos valores empregados na realização dos experimentos desse roteiro. Tabela 5.4: Parâmetros aplicados na realização do experimento do roteiro 2. Foram utilizados os quatro bancos de imagens para avaliar a influência do aumento do número de imagens na eficácia do sistema. Parâmetros do Sistema Imuno-Inspirados Parâmetro Descrição Valores m N de grupos mais similares pesquisados 5 w N máximo de imagens retornadas 50 i Iterações da realimentação de relevância 10 g Grupo de imagens de pesquisa Grupo 1 c Base de imagens ALOI 5000, ALOI 10000, ALOI 20000, ALOI A Figura 5.9 apresenta os resultados dos experimentos realizados com as bases de imagens ALOI 5000, ALOI 10000, ALOI e ALOI 33000, utilizando as imagens de pesquisa do grupo 1. Os dados se encontram agrupados por iteração da realimentação de relevância, no qual o eixo x representa as 10 iterações realizadas sobre cada imagem de teste e o eixo y representa o valor de revocação encontrado para cada uma das 20 imagens de pesquisa durante uma determinada iteração da realimentação de relevância. Como pode ser observado no gráfico, os melhores resultados de r foram obtidos nos menores bancos de dados por estes possuírem um espaço de busca menor. Pode ser notado um comportamento similar em todos os quatro experimentos, onde nas cinco primeiras iterações da realimentação de relevância têm-se um crescimento elevado de r das imagens de teste e da sexta em diante o aumento é menos significativo. Isso mostra que após um determinado momento não são encontradas mais imagens relevantes nos grupos mais votados e o sistema se estabiliza. O gráfico da Figura 5.10 apresenta os resultados dos experimentos agrupados por imagem de pesquisa. Cada um dos 20 conjuntos de barras representa a revocação obtida pela imagem de pesquisa referente no grupo 1. Cada barra colorida significa o valor d3 r encontrado para uma determinada imagem pesquisada em um dos bancos de dados, conforme as cores da legenda. A barra

76 5.5 Roteiros de Testes 76 Figura 5.9: Revocação das imagens de pesquisa do grupo 1 de acordo com as iterações da realimentação de relevância. amarela ausente no elemento im1 significa que a pesquisa realizada com a imagem 1 no banco de dados ALOI não obteve nenhuma imagem relevante entre as retornadas pelo sistema. Pode ser notado que os valores de revocação das imagens se encontram próximos nos quatro bancos de dados, com exceção das imagens im1, im2, im5, im14, im15, im16. Assim, pôde-se observar que, apesar das bases de imagens de teste possuírem quantidades variadas de elementos, a revocação obtida na maioria das imagens pesquisadas é bastante próximo, comprovando a escalabilidade do Sistema Imuno-Inspirado proposto. Analisando visualmente as imagens de pesquisa do grupo 1, pôde-se observar o motivo de algumas terem obtidos valores mais baixos e outras mais altos de revocação. A Figura 5.11 lista as imagens cujo valor de revocação foi abaixo de 0.5 na maioria dos bancos de dados. Pode ser visto que a maioria os objetos retratados não são simétricos em relação ao eixo vertical central da cena, ou seja, o objeto possui uma forma diferente à medida que é visto por outros ângulos. Um objeto sem essa simetria afeta negativamente os resultados do cálculo do r, pois o grau de similaridade nesses tipos de imagens é baixo quando o ângulo de visão entre a imagem pesquisada e a do banco de dados

77 5.5 Roteiros de Testes 77 Figura 5.10: Revocação por imagem de pesquisa do grupo 1. aumenta e ambas deixam de possuir características visuais em comum. A Figura 5.12 apresenta as imagens do grupo 1 que tiveram valores mais altos da revocação. É visivelmente notável a simetria em relação ao eixo vertical central de praticamente todos os objetos retratados nessas imagens (com exceção do urso de pelúcia), o que nos leva a concluir que o sistema é capaz de retornar mais imagens em casos que a variação na cena é menos significativa. Precisão x Revocação Para o segundo roteiro de testes, foram realizados experimentos para medir a variação da precisão de acordo com o aumento da revocação. A partir dos gráficos obtidos, é possível avaliar se o aumento no número de imagens retornadas resulta em uma melhora na eficácia do método. Para a realização desses testes, foram calculadas as médias da precisão e da revocação para as imagens do grupo 1. Para obter a variação da precisão, utilizou-se a precisão em n, calculada para as n primeiras imagens retornadas na pesquisa. Os valores de n usados foram: 5, 10, 15, 20, 25, 30, 35, 40, 45 e W (o valor de W definido nos esperimentos foi 50) (LIU et al., 2007; KASZKIEL; ZOBEL, 1997).

78 5.5 Roteiros de Testes 78 Figura 5.11: Imagens de pesquisa do grupo 1 (im1, im2, im4, im5, im7, im9, im12, im13, im17, im18, im19) que resultaram em valores baixos de revocação. A Figura 5.13 apresenta os valores do gráfico de precisão x revocação para a primeira e a décima iteração da realimentação de relevância. Cada ponto existente nos gráficos, representado por um círculo para facilitar a visualização, determina a precisão e revocação para as n primeiras imagens retornadas na pesquisa. Dessa forma, o primeiro ponto representa o valor médio da precisão e revocação das 5 primeiras imagens retornadas, o segundo ponto representa a mesma medida para as 10 primeiras imagens retornadas enquanto o último ponto de cada gráfico apresenta o valor para as W imagens retornadas. Como pode ser visto pelo gráfico azul, que representa os valores de revocação e precisão médio das imagens do grupo 1 durante a primeira iteração, a partir do terceiro ponto, a precisão decresce significativamente e a revocação se mantém em aproximadamente 0,3. Isto significa que as imagens relevantes encontradas para imagens de pesquisa do grupo 1 se encontravam na média entre as 15 primeiras imagens retornadas. A partir da décima sexta imagem retornada, era escasso o aparecimento de imagens relevantes. O gráfico verde, que representa o mesmo teste realizado durante a décima iteração da realimentação de relevância, apresenta melhoras em relação ao primeiro. O decrescimento da curva precisão x revocação é mais suave e ocorre até o oitavo ponto. Após ele, a curva cai significativamente, o que mostra que em média, após a quadragésima imagem, o sistema retornava um número baixo de imagens relevantes, o que comprova a melhoria na eficácia do sistema

79 5.5 Roteiros de Testes 79 Figura 5.12: Imagens de pesquisa do grupo 1 (im3, im6, im8, im10, im11, im14, im15, im16, im20) que resultaram em valores altos da revocação. após a aplicação da realimentação de relevância. Com base nos resultados do roteiro 2, pôde-se concluir que o Sistema Imuno-Inspirado se mostrou eficaz na recuperação de imagens de objetos contidos nos bancos de dados. Nos casos em que os objetos retratados não eram simétricos em relação ao eixo vertical central, o algoritmo retornou um número menor de imagens relevantes. Apesar desse fato, observando a Figura 5.10 pode ser observado que o sistema foi capaz de retornar imagens relevantes na maioria dos casos; com exceção da imagem 1 na base ALOI 20000, todas as outras pesquisas resultaram no retorno de imagens relevantes. A realimentação de relevância aumentou a eficácia do sistema sendo capaz de aumentar o número de imagens relevantes retornadas. A próxima seção detalha os experimentos realizados no roteiro 3, cuja finalidade era avaliar o Sistema Imuno-Inspirado na recuperação de imagens parecidas, utilizando os bancos de dados ALOI 5000, ALOI 10000, AOI e ALOI

80 5.5 Roteiros de Testes 80 Figura 5.13: Precisão x Revocação para imagens do grupo 1. O gráfico azul representa a variação entre a precisão e revocação na primeira iteração da realimentação de relevância e o verde representa a mesma variação durante a décima iteração Roteiro de Testes 3 - Pesquisa por Imagens de Objetos Similares aos Objetos de Interesse O terceiro roteiro de testes avalia a capacidade do Sistema Imuno-Inspirado de retornar imagens de objetos similares àquelas pesquisados. Ao contrário das imagens do grupo 1, as do grupo 2 não estão inseridas no banco de dados, o que permite observar a eficácia do cálculo de similaridade entre imagens. Para isso foram selecionadas imagens de 19 objetos distintos do ALOI que possuíam características visuais em comum (contorno, textura, formas) com imagens existentes no banco de dados. A Tabela 5.5 apresenta os parâmetros do Sistema Imuno-Inspirado e os respectivos valores empregados na realização dos experimentos desse roteiro. A Figura 5.14 apresenta o gráfico com os valores de revocação por iteração da realimentação de relevância nos quatro bancos de dados testados, de acordo com os experimentos realizados com as imagens de pesquisa do grupo 2. Como pode ser visto, o comportamento das curvas se assemelha com os

81 5.5 Roteiros de Testes 81 Tabela 5.5: Parâmetros aplicados na realização do experimento do roteiro 3. Foram utilizadas as quatro bases de imagens para avaliar a influência do aumento do número de imagens na eficácia do sistema. Parâmetros do Sistema Imuno-Inspirados Parâmetro Descrição Valores m N de grupos mais similares pesquisados 5 w N máximo de imagens retornadas 50 i Iterações da realimentação de relevância 10 g Grupo de imagens de pesquisa Grupo 2 c Base de imagens ALOI 5000, ALOI 10000, ALOI 20000, ALOI resultados obtidos nos experimentos do roteiro 2, com a diferença que no roteiro 3, os valores de r foram menores. Esse crescimento comprova a eficácia do uso da realimentação de relevância nas pesquisas. Pode se notar um pequeno pico na oitava iteração do teste com a base ALOI 1000, que se destaca da curva de crescimento. Isto está relacionado ao uso da realimentação de relevância para a escolha da imagem mais similar ao objeto de pesquisa, que pode resultar em melhoras momentâneas, dependendo do voto realizado. A Figura 5.15 exibe os valores de r por imagem de pesquisa. De acordo com o gráfico, têm-se 19 conjuntos de colunas, onde cada um representa uma imagem do grupo 2 e cada coluna o resultado da revocação da imagem nas iterações da realimentação de relevância em um determinado banco de dados. Das imagens pesquisadas, duas não retornaram imagens relevantes (im5, im16), três obtiveram valores de revocação maiores que 0.5 (im13, im17 e im19) e o resto abaixo de 0.5. Foi observado um fenômeno também notado nos experimentos do roteiro 2, onde o valor de revocação se assemelhava nos experimentos realizados nos quatro bancos de dados. As imagens de pesquisa im1, im3, im13, im17 e im19 obtiveram r bastante próximos nas bases testados. Isso mostra que o sistema foi escalável nesses casos, pois o aumento do número de imagens não influenciou no desempenho da pesquisa. Nos demais casos, são percebidas diferenças significativas entre os valores de precisão encontrados nos experimentos realizados com a mesma imagem de pesquisa. A partir da análise visual das imagens de pesquisa, se tornam claros os motivos que resultaram em casos com valores altos e baixos de revocação. Observando as imagens que compõem a Figura 5.16 pode ser visto que não

82 5.5 Roteiros de Testes 82 Figura 5.14: Revocação das imagens de pesquisa do grupo 2 de acordo com as iterações da realimentação de relevância. foi a ausência da simetria vertical central que influenciou no desempenho ruim, visto que a maioria dos objetos retratados possui essa simetria. Nesse caso, 7 das 9 imagens listadas possuíam dois ou mais objetos parecidos com o pesquisado conforme o Anexo A, existindo assim 72 ou mais imagens relevantes por imagem de pesquisa. O fato de existirem mais de um objeto parecido por imagem de pesquisa não ocasionou em um aumento do número de imagens retornadas pelo sistema e assim, com um valor maior no denominador, o valor da revocação foi baixo para esses tipos de imagens. Nas imagens de pesquisa do grupo 2 listadas na Figura 5.17, os valores de revocação foram mais altos nos experimentos realizados no roteiro 3. Das imagens listadas, apenas duas possuíam dois ou mais objetos parecidos nos bancos de dados, como pode ser visto no Anexo A. Apesar dessa base de imagens ter obtido melhores resultados, o sistema não é capaz de recuperar imagens de objetos parecidos com a mesma eficácia obtida na pesquisa por imagens de objetos contidos no banco de dados. A Figura 5.18 exibe o gráfico com os resultados da porcentagem de pesquisas realizadas que retornaram ao menos uma imagem relevante. As barras azuis representam os experimentos do roteiro 2 enquanto as vermelhas repre-

83 5.5 Roteiros de Testes 83 Figura 5.15: Revocação por imagem de pesquisa do grupo 2. sentam os do roteiro 3. Conforme pode ser visto, no roteiro 2 os experimentos com os bancos ALOI 5000, ALOI 10000, ALOI obtiveram 100% das pesquisas com sucesso e o ALOI % (devido ao processo de agrupamento não ter sido tão eficiente quanto nos outros casos). No roteiro 3, à medida que o número de imagens do banco de dados aumenta, o número de pesquisas que retornam imagens relevantes diminui. Dessa forma, pôde-se concluir que o Sistema Imuno-Inspirado não é escalável quando são realizadas pesquisas com imagens que não estão no banco de dados. Precisão x Revocação Para o terceiro roteiro de testes, também foram realizados experimentos para medir a variação da precisão de acordo com o aumento da revocação, em imagens do grupo 2. O teste de precisão x revocação realizado se assemelha com o descrito no roteiro 2, alterando apenas o grupo de imagens de pesquisa utilizado. A Figura 5.19 apresenta os valores do gráfico de precisão x revocação para a primeira e a décima iteração da realimentação de relevância. Nele, cada ponto, representado por um círculo para facilitar a visualização representa o

84 5.6 Roteiro de Testes 4 - Medição do Tempo de Execução das Pesquisas 84 Figura 5.16: Imagens de pesquisa do grupo 2 (im2, im5, im7, im9, im10, im11, im14, im16, im18) que resultaram em valores baixos de revocação. valor da precisão e revocação para um subconjunto das W imagens retornadas. Analisando o gráfico azul, referente ao experimento realizado na primeira iteração da realimentação de relevância, pode-se notar seu decrescimento significativo após o quarto ponto da curva. Este comportamento demonstra que as imagens mais relevantes retornadas em pesquisas no grupo 2 se concentraram entre os 20 primeiros itens retornados. Após a décima iteração, como apresenta o gráfico de cor verde, a curva apresenta um decrescimento mais suave, consequência do aumento do número de imagens relevantes, que se distribuiu entre as W imagens retornadas nas pesquisas. Comparando o valor da revocação no último ponto dos dois gráficos da Figura 5.19, pode ser visto a melhora da eficácia, que chega a dobrar. Assim, o uso da realimentação de relevância se mostra útil tanto para imagens do grupo 1 quanto o grupo Roteiro de Testes 4 - Medição do Tempo de Execução das Pesquisas O quarto e último roteiro de testes tem como finalidade avaliar o custo computacional do método proposto, através da medição do tempo médio de exe-

85 5.6 Roteiro de Testes 4 - Medição do Tempo de Execução das Pesquisas 85 Figura 5.17: Imagens de pesquisa do grupo 2 (im1, im3, im4, im6, im8, im12, im13, im15, im17, im19) que resultaram em valores altos de revocação. Tabela 5.6: Especificações do computador utilizado para a realização dos testes de tempo. Elemento Processador Memória Sistema Operacional Especificação AMD Turion Dual-Core, 2.1 Ghz 2.75 Gb Windows XP SP3 cução das buscas por imagens, realizadas utilizando o SII. Assim é possível avaliar se este sistema é capaz de prover respostas em tempos aceitáveis, comprovando assim, sua aplicabilidade em tarefas de diferentes propósitos. Para os testes de tempo de execução foram realizadas pesquisas com as imagens do grupo 1 e 2 no banco de dados ALOI Para cada imagem foram realizadas 10 pesquisas a fim de se obter um valor médio de busca por imagens. Os recursos do computador no qual os testes foram realizados são descritos pela Tabela 5.6 O gráfico da figura 5.20 apresenta os valores médios obtidos nas buscas com as imagens de pesquisa. Como pode ser visto, nos testes realizados com imagens do grupo 1, os tempos médios de busca foram ligeiramente melhores, situando entre 1476 ms

86 5.7 Considerações Finais 86 Figura 5.18: Porcentagem das imagens pesquisadas por roteiro de teste que possuíam ao menos uma imagem relevante entre as retornadas pelo Sistema Imuno-Inspirado. e 1650 ms, enquanto no grupo 2 os tempos variaram entre 1437 ms e 1990 ms. Possivelmente esta diferença de tempo se deve à natureza das imagens do grupo 2, que não pertenciam à base de dados ALOI Dessa forma, o processo de recuperação de imagens foi um pouco mais lento quando aplicado em imagens de objetos similares ao objeto de interesse. Os resultados se mostram promissores, principamente se for considerado o recurso computacional utilizado, que era um computador portátil de uso doméstico. Caso o SII proposto seja implantado em servidores com maior poder de processamento, o tempo de resposta poderá ser diminuído, aumentando assim a eficiência do método. 5.7 Considerações Finais A partir dos resultados apresentados nesse capítulo pôde-se concluir que o método proposto é eficaz na recuperação de imagens por conteúdo, sendo que

87 5.7 Considerações Finais 87 Figura 5.19: Precisão x Revocação para imagens do grupo 2. O gráfico azul representa a variação entre a precisão e revocação na primeira iteração da realimentação de relevância e o verde representa a mesma variação durante a décima iteração. a pesquisa por imagens já existentes nos bancos de dados se mostrou melhor do que a pesquisa por imagens similares, como foi observado nos roteiros de testes 2 e 3. No experimento do roteiro 2 com a base de dados ALOI foi obtido de revocação na última iteração da realimentação de relevância. Isso significa que em média o sistema foi capaz de retornar aproximadamente 17 imagens relevantes das 36 existentes para cada imagem pesquisada. Para o roteiro 3, utilizando também o banco ALOI o sistema obteve revocação de , que representa um valor baixo, mas satisfatório considerando os critérios das pesquisas. Quanto à escolha do parâmetro m, observou-se que valores muito baixos ou muito altos não são eficazes. Nos casos dos valores baixos, o número de grupos e conseqüentemente de imagens pesquisadas é pequeno, o que reduz o espaço de busca do algoritmo. Nos casos em que o valor de m é alto, o espaço de busca se torna maior, o que prejudica o processo da realimentação de relevância, pois com mais grupos, o aumento do número de imagens é lento, principalmente nos casos em que existem grupos com poucas imagens relevantes.

88 5.7 Considerações Finais 88 Figura 5.20: Tempos médios de busca para imagens do grupo 1 e grupo 2. No gráfico superior estão listadas os tempos médios de busca de imagens do grupo 1 enquanto o inferior contém os tempos obtidos para imagens do grupo 2. Se avaliados os resultados obtidos com o maior banco de dados (ALOI 33000), o sistema obteve revocação de aproximadamente na primeira iteração e de na última, o que comprova a eficácia e a aplicabilidade do uso da realimentação de relevância no sistema proposto.

89 89 6 Conclusão e Perspectivas Futuras Apesar dos sistemas de RIBC serem conceitualmente simples, requerem o uso de métodos computacionais complexos, devido à dificuldade de utilizar atributos visuais como objetos de pesquisa. A etapa de extração da assinatura visual das imagens é essencial para garantir o sucesso da aplicação, mas caso o processo de indexação e o algoritmo de busca não sejam igualmente eficazes, o sistema como um todo será falho. Na aplicação apresentada neste trabalho, foram várias os métodos computacionais utilizados na composição do Sistema Imuno-Inspirado para Recuperação de Imagens Baseada em Conteúdo, como por exemplo o SIFT, VDLA, K-Means e ACP. Muitas desses algoritmos, por não serem exclusivos da área de Visão Computacional, foram adaptados para se adequar ao propósito do trabalho. A combinação de todas as técnicas abordadas resultou em uma solução simples, mas eficaz, como pôde ser comprovado no Capítulo 5, que descreve os experimentos realizados e resultados alcançados. Em consideração aos experimentos realizados neste trabalho, os resultados foram bons, considerando que nos testes de recuperação de imagens de objetos iguais o sistema retornou ao menos uma imagem relevante em no mínimo 95% dos casos. Devido ao fato das imagens de pesquisa não representarem o objeto em sua posição central, como mostra a Figura 6.1, o sistema poderia ser mais eficaz, e os valores de revocação melhores. Isso ocorre porque as imagens de objetos não simétricos, quando rotacionadas sobre o eixo vertical central, adquirem formatos muito distintos e assim o sistema não é capaz de reconhecer ambas como pertencendo à mesma cena. Pode-se notar que o sistema é tolerante a pequenas variações no ponto de vista da cena, mas quando o ângulo de visão se afasta muito da origem, a precisão do método decai. Acredita-se que caso seja aplicado em um banco de imagens cuja variação do ângulo de visão da cena seja menor, como por exemplo, 30 a 40

90 6 Conclusão e Perspectivas Futuras 90 Figura 6.1: Imagem de pesquisa e respectivas imagens do objeto no banco de dados. A medida que o objeto é movimentado ao redor de seu eixo vertical central, as imagens capturadas se tornam cada vez mais dissimilares, como pode ser notado a partir da terceira linha das imagens do objeto no banco de dados. o SII possa obter melhores resultados. O uso de realimentação de relevância mostrou-se vantajoso quando aplicado no SII. A partir dos resultados pôde ser visto que em alguns casos o valor da revocação dobrou na última iteração de escolha da imagem mais similar. Mas deve ser levado em conta que a taxa de crescimento da curva de aprendizado reduz significativamente a partir da quinta iteração. O Sistema de Recuperação de Imagens Baseada em Conteúdo proposto reuniu técnicas recentes da literatura, como o Algoritmo Imuno-Inspirado e a técnica de redução de dimensionalidade VDLA, o que resultou em uma forma eficaz de representar e recuperar as imagens do banco de dados. O sistema a princípio, foi aplicado em imagens da base ALOI, mas podem ser usadas imagens de diversos propósitos, sem alterações na metodologia, o que mostra a versatilidade da solução apresentada. Durante o período em que este trabalho foi realizado, três artigos foram aceitos em congressos nacionais e internacionais, sendo eles:

91 6 Conclusão e Perspectivas Futuras 91 CONSELHO, T. H. B. ; FREITAS, M. H. G. ; PÁDUA, F. L. C. Utilização de Técnicas Robustas para Extração de Características e Medição de Similaridade para Recuperação de Imagens na Web Baseada em Conteúdo Visual. Em: XIII Encontro de Modelagem Computacional, 2010, Nova Friburgo. FREITAS, M. H. G. ; CONSELHO, T. H. B. ; PÁDUA, F. L. C. Sistema Imunológico Artificial de Recuperação de Imagens Baseada em Conteúdo Com o Uso de Descritores de Características Locais. Em: XIII Encontro de Modelagem Computacional, 2010, Nova Friburgo. FREITAS, M. H. G. ; CONSELHO, T. H. B. ; PÁDUA, F. L. C. An Immune- Inspired Content Based Image Retrieval System. Em: International Conference on Computer and Computational Intelligence, 2010, Nanning, China. Pretende-se, como perspectiva futura, aplicar outros bancos de dados no SII, com o intuito de comprovar sua eficácia na recuperação de imagens de propósito geral, tal como a Web. Consequentemente, caso o sistema se mostre eficaz com o uso de imagens de naturezas distintas, poderá ser desenvolvida uma aplicação Web para a RIBC. Outra aplicação possível do SII proposto é o uso da solução em sistemas de Realidade Aumentada. Um novo desafio nessa abordagem seria trabalhar com imagens em baixa resolução, o que pode requerer o uso de outras técnicas para obter compor a assinatura de uma imagem, assim como obter uma representação mais compacta dos elementos que comporão o banco de dados.

92 92 Referências Bibliográficas BARRETO, J. serra. Desafios e avanços na recuperação automática da informação audiovisual. Ci. Inf, SciELO Brasil, v. 36, n. 3, p , BAY, H.; TUYTELAARS, T.; GOOL, L. V. Surf: speeded-up robust features. In: 9th European Conference on Computer vision. [S.l.: s.n.], v. 110, n. 3, p BERRETTI, S.; BIMBO, A. D.; PALA, P. Retrieval by Shape Similarity with Perceptual Distance and Effective Indexing. IEEE Transactions on Multimedia, v. 2, n. 4, p , BERRETTI, S.; BIMBO, A. D.; VICARIO, E. Efficient Matching and Indexing of Graph Models in Contentbased Retrieval. IEEE Transactions on Pattern Analysis and Machine Intelligence, v. 23, n. 10, p , BEZERRA, G. et al. Adaptive radius immune algorithm for data clustering. Artificial Immune Systems, Springer, p , BIMBO, A. D. D. Visual Information Retrieval. First. [S.l.]: Morgan Kaufmann, CRANDALL, D. et al. Mapping the world s photos. In: ACM. Proceedings of the 18th international conference on World wide web. [S.l.], p CROW, F. Summed-area tables for texture mapping. ACM SIGGRAPH Computer Graphics, ACM, v. 18, n. 3, p , ISSN DATTA, R. et al. Image Retrieval: Ideas, Influences, and Trends of the New Age. ACM Transactions on Computing Surveys, v. 40, n. 2, p. 5:1 60, DAVIS, J.; GOADRICH, M. The relationship between precision-recall and roc curves. In: ACM. Proceedings of the 23rd international conference on Machine learning. [S.l.], p DO, M. N.; VETTERLI, M. Wavelet-Based Texture Retrieval Using Generalized Gaussian Density and Kullback-Leibler Distance. IEEE Transactions on Image Processing, v. 11, n. 2, p , 2002.

93 Referências Bibliográficas 93 DUAN, F. et al. Image retrieval model based on immune algorithm. In: IEEE COMPUTER SOCIETY. Proceedings of the Workshop on Intelligent Information Technology Application. [S.l.], p DUDA, R.; HART, P. Use of the hough transformation to detect lines and curves in pictures. Communications of the ACM, ACM, v. 15, n. 1, p , DUNN, J. C. A fuzzy relative of the isodata process and its use in detecting compact well-separated clusters. In: Journal of Cybernetics. [S.l.]: Taylor Francis, v. 3, p FLICKNER, M. et al. Query by Image and Video Content: The QBIC System. IEEE Computing, v. 28, n. 9, p , FREITAS, M. H. G.; CONSELHO, T. H. B.; PÁDUA, F. L. C. Sistema Imunológico Artificial de Recuperação de Imagens Baseada em Conteúdo Com o Uso de Descritores de Características Locais. Anais do XIII EMC, 2010, Springer, v. 8, p. 24, GEUSEBROEK, J. M.; BURGHOUTS, G. J.; SMEULDERS, A. W. M. The amsterdam library of object images. Int. Journal in Computer Vision, v. 61, p , HASTIE, T.; TIBSHIRANI, R.; FRIEDMAN, J. The Elements of Statistical Learning. First. [S.l.]: Springer-Verlag, HE, J. et al. Manifold-ranking based image retrieval. In: ACM. Proceedings of the 12th annual ACM international conference on Multimedia. [S.l.], p JéGOU, H. et al. Aggregating local descriptors into a compact image representation. In: 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). [S.l.: s.n.], p JING, F. et al. An Efficient and Effective Region-Based Image Retrieval Framework. IEEE Transactions on Image Processing, v. 13, n. 5, p , JUAN, L.; GWUN, O. A comparison of SIFT, PCA-SIFT and SURF. International Journal of Image Processing (IJIP), v. 3, n. 4, p. 143, KASZKIEL, M.; ZOBEL, J. Passage retrieval revisited. In: ACM. ACM SIGIR Forum. [S.l.], v. 31, n. SI, p KEBAPCI, H.; YANIKOGLU, B.; UNAL, G. Plant Image Retrieval Using Color, Shape and Texture Features. The Computer Journal, Br Computer Soc, 2010.

94 Referências Bibliográficas 94 LI, J.; WANG, J.; WIEDERHOLD, G. Irm: integrated region matching for image retrieval. In: ACM. Proceedings of the eighth ACM international conference on Multimedia. [S.l.], p LI, Y.; SHAPIRO, L. Consistent line clusters for building recognition in CBIR. Pattern Recognition, v. 3, p , ISSN LIU, T. et al. Letor: Benchmark dataset for research on learning to rank for information retrieval. In: CITESEER. Proceedings of SIGIR 2007 workshop on learning to rank for information retrieval. [S.l.], p LOWE, D. Distinctive image features from scale-invariant keypoints. International journal of computer vision, Springer, v. 60, n. 2, p , ISSN MACQUEEN, J. B. Some methods for classification and analysis of multivariate observations. In: CAM, L. M. L.; NEYMAN, J. (Ed.). Proc. of the fifth Berkeley Symposium on Mathematical Statistics and Probability. [S.l.]: University of California Press, v. 1, p MANJUNATH, B. S. et al. Color and Texture Descriptors. IEEE Transactions on Circuits and Systems for Video Technology, v. 11, n. 6, p , MATHIASSEN, J. R.; SKAVHAUG, A.; BO, K. Texture Similarity Measure Using Kullback-Leibler Divergence Between Gamma Distributions. In: European Conference on Computer Vision. [S.l.: s.n.], MIKOLAJCZYK, K.; SCHMID, C. A performance evaluation of local descriptors. IEEE transactions on pattern analysis and machine intelligence, Published by the IEEE Computer Society, p , MUNEESAWANG, P.; GUAN, L. An interactive approach for CBIR using a network of radial basis functions. Multimedia, IEEE Transactions on, IEEE, v. 6, n. 5, p , ISSN NATSEV, A.; RASTOGI, R.; SHIM, K. Walrus: A Similarity Retrieval Algorithm for Image Databases. IEEE Transactions on Knowledge and Data Engineering, v. 16, n. 3, p , PASS, G.; ZABIH, R. Comparing images using joint histograms. Multimedia systems, Springer, v. 7, n. 3, p , PEARSON, K. LIII. On lines and planes of closest fit to systems of points in space. Philosophical Magazine Series 6, Taylor & Francis, v. 2, n. 11, p , ISSN

95 Referências Bibliográficas 95 PETRAKIS, E. G. M.; DIPLAROS, A.; MILIOS, E. Matching and Retrieval of Distorted and Occluded Shapes Using Dynamic Programming. IEEE Transactions on Pattern Analysis and Machine Intelligence, v. 24, n. 4, p , PETRAKIS, E. G. M.; FALOUTSOS, C.; LIN, K. I. Imagemap: An Image Indexing Method Based on Spatial Similarity. IEEE Transactions on Knowledge and Data Engineering, v. 14, n. 5, p , PETRELLI, D.; AULD, D. An examination of automatic video retrieval technology on access to the contents of an historical video archive. Program: electronic library and information systems, Emerald Group Publishing Limited, v. 42, n. 2, p , PICARD, D.; CORD, M.; REVEL, A. Cbir in distributed databases using a multiagent system. In: IEEE. Image Processing, 2006 IEEE International Conference on. [S.l.], p ISBN ISSN RUBNER, Y.; TOMASI, C.; GUIBAS, J. J. The Earth Moverś Distance as a Metric for Image Retrieval. International Journal of Computer Vision, v. 40, n. 9, p , SANDE, K. van de; GEVERS, T.; SNOEK, C. Evaluating color descriptors for object and scene recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, Published by the IEEE Computer Society, SILVA, L. de C. Engenharia imunológica: Desenvolvimento e aplicação de ferramentas computacionais inspiradas em sistemas imunológicos artificiais. Campinas: DCA/FEEC/Unicamp, SMEULDERS, A. et al. Content-based image retrieval at the end of the early years. IEEE Transactions on pattern analysis and machine intelligence, Published by the IEEE Computer Society, p , SMITH, L. A tutorial on principal components analysis. Cornell University, USA, v. 51, p. 52, TKALCIC, M.; TASIC, J. Colour spaces perceptual, historical and applicational background, isbn: x. In: IEEE, EUROCON. [S.l.]: IEEE, p TOHARIA, P. et al. A study of Zernike invariants for content-based image retrieval. In: SPRINGER-VERLAG. Proceedings of the 2nd Pacific Rim conference on Advances in image and video technology. [S.l.], p ISBN X.

96 Referências Bibliográficas 96 TRUCCO, E.; VERRI, A. Introductory techniques for 3-D computer vision. [S.l.]: Prentice Hall New Jersey, VASCONCELOS, N.; LIPPMAN, A. A Multiresolution Manifold Distance for Invariant Image Similarity. IEEE Transactions on Multimedia, v. 7, n. 1, p , VOORHEES, E. Variations in relevance judgments and the measurement of retrieval effectiveness. Information Processing & Management, Elsevier, v. 36, n. 5, p , ISSN WALL, M.; RECHTSTEINER, A.; ROCHA, L. Singular value decomposition and principal component analysis. A practical approach to microarray data analysis, Springer, p , WU, P. et al. A texture descriptor for image retrieval and browsing. In: IEEE. Content-Based Access of Image and Video Libraries, 1999.(CBAIVL 99) Proceedings. IEEE Workshop on. [S.l.], p ISBN X. ZHANG, D.; LU, G. Generic Fourier descriptor for shape-based image retrieval. In: IEEE. Multimedia and Expo, ICME 02. Proceedings IEEE International Conference on. [S.l.], v. 1, p ISBN ZHANG, D.; LU, G. Evaluation of similarity measurement for image retrieval. In: IEEE. Neural Networks and Signal Processing, Proceedings of the 2003 International Conference on. [S.l.], v. 2, p ISBN ZHOU, D. et al. Ranking on data manifolds. In: THE MIT PRESS. Advances in neural information processing systems 16: proceedings of the 2003 conference. [S.l.], v. 16, p. 169.

97 97 ANEXO A -- Imagens de Pesquisa dos Grupos 1 e 2 Este anexo apresenta as imagens de pesquisa utilizada nos testes realizados com o sistema imuno-inspirado. A tabela A.1 contém as imagens de pesquisa do grupo 1, uma descrição textual da cena retratada e o número de identificação do objeto no conjunto ALOI. Vale à pena frisar que as imagens do grupo 1 estavam presentes nos quatro conjuntos de imagens (ALOI 5000, ALOI 10000, ALOI e ALOI 33000) enquanto as do grupo 2 não estavam. Tabela A.1: Imagens do Grupo de Pesquisa 1 Imagem Nome Descrição Objeto Referente no ALOI im1 Urso de Pelúcia 1 im2 Chaveiro com chave 2 im3 Vela 4

98 Anexo A -- Imagens de Pesquisa dos Grupos 1 e 2 98 Tabela A.1 Continuação Imagem Nome Descrição Objeto Referente no ALOI im4 Concha 7 im5 Tênis 9 im6 Protetor Labial 12 im7 Caixa de Fósforo 13 im8 Bisnaga de creme 14 im9 Bicho amarelo de pelúcia 15 im10 Caixa de chá 18 im11 Sino 20

99 Anexo A -- Imagens de Pesquisa dos Grupos 1 e 2 99 Tabela A.1 Continuação Imagem Nome Descrição Objeto Referente no ALOI im12 Bicho azul de pelúcia 23 im13 Bloco de plástico amarelo 24 im14 Caixa de lâmpada 26 im15 Urso de pelúcia deitado 31 im16 Cavalo de xadrez 33 im17 Caneca com desenho 36 im18 Vitamina C 37 im19 Garrafa de Gin 39

100 Anexo A -- Imagens de Pesquisa dos Grupos 1 e Tabela A.1 Continuação Imagem Nome Descrição Objeto Referente no ALOI im20 Lâmpada 40 A tabela A.2 lista as imagens que compõem o grupo de pesquisa 2, assim como a descrição textual do da cena, o número de identificação do objeto no conjunto ALOI e os números dos objetos que são parecidos. As imagens dos objetos retratados nesse grupo não estão presentes em nenhum dos conjuntos ALOI 5000, ALOI 10000, ALOI e ALOI 33000, para que fosse testada a capacidade do algoritmo de recuperar imagens parecidas visualmente. Tabela A.2: Imagens do Grupo de Pesquisa 2 Imagem Nome Descrição Objeto Referente Objetos no ALOI Parecidos im1 Caixa de cravos im2 Boneca russa , 197, 198, 199 im3 Caixa de chá , 46

101 Anexo A -- Imagens de Pesquisa dos Grupos 1 e Tabela A.2 Continuação Imagem Nome Descrição Objeto Referente Objetos no ALOI Parecidos im4 Boneco vermelho im5 Corretivo im6 Esparadrapo , 433 im7 Vaso de planta 508 6, 812 im8 Vaca de plástico im9 Ovo colorido , 570, 571, 572, 573 im10 Lata de pringles , 637

102 Anexo A -- Imagens de Pesquisa dos Grupos 1 e Tabela A.2 Continuação Imagem Nome Descrição Objeto Referente Objetos no ALOI Parecidos im11 Morangos , 661 im12 Pimentão im13 Vaso de cerâmica im14 Caixa de panqueca , 771 im15 Caneca com mapa im16 Botijão im17 Vasilha de alumínio im18 Bloco amarelo 993 8, 24