Proposta de um Protótipo de um Sistema de Recuperação de Imagens com Base na Cor CAMILLO JORGE SANTOS OLIVEIRA, ARNALDO DE ALBUQUERQUE ARAUJO DANIEL RIBEIRO GOMES, CARLOS ALBERTO SEVERIANO JR. UFMG Universidade Federal de Minas Gerais ICEx Instituto de Ciências Exatas DCC Departamento de Ciência da Computação NPDI Núcleo de Processamento Digital de Imagens Caixa Postal 702, CEP: 30.161-970, Belo Horizonte, MG, Brasil. {camillo, arnaldo, danielrg, carlos}@dcc.ufmg.br http://www.npdi.dcc.ufmg.br Resumo: Este trabalho apresenta o protótipo de um sistema de recuperação de imagens com base na cor. Este basicamente armazena informações de regiões com a mesma cor na imagem (regiões cromáticas), como o tamanho, posição e limites com outras regiões. Para isto são utilizados os seguintes grafos: o Modified Color Adjacency Graph (MCAG) e o Spatial Variance Graph (SVG). A recuperação da imagem é feita através de uma medida de similaridade baseada na comparação dos grafos mencionados. O protótipo suporta dois tipos de consultas: (a) o usuário entra com uma imagem para consulta e (b) o usuário define as cores de uma imagem para consulta. Para a indexação é utilizado uma estrutura para indexação de dados espaciais (R-Tree). 1 Introdução Recentemente tem se visto um crescimento muito rápido da coleções de imagens digitais. Todos os dias equipamentos militares e civis geram gigabytes de imagens. Gupta [1] relata que o sistema de observação da terra, desenvolvido e operado pela NASA (National Aero Space Administration), deve gerar um terabytes de dados de imagens por dia quando em total operação. Em conseqüência, não se pode acessar ou fazer uso da informação sem que esta esteja organizada, permitindo uma navegação, pesquisa e recuperação. A recuperação de imagens representa uma área de pesquisa muito ativa desde a década de 1970 e tem recebido a contribuição de duas grandes linha de pesquisas que seriam o gerenciamento de banco de dados e a visão computacional. Estas duas linhas de pesquisa estudam a recuperação de imagens sob dois ângulos diferentes, um sendo baseado em textos e o outro baseado no conteúdo visual (Rui [2]). A recuperação de imagens baseada em texto era a maneira mais utilizada. Primeiro descrevendo a imagem na forma de texto e então utilizando sistemas de gerenciamento de banco de dados baseados em textos para executar a recuperação da imagem. Muitos avanços, tais como modelagem de dados, indexação multidimensional e avaliação de consultas, tem sido realizados ao longo das pesquisas. Rui [2] afirma que existem duas grandes dificuldades, especialmente, quanto ao tamanho das coleções de imagens. A primeira dificuldade é a quantidade de trabalho requerido na anotação manual das imagens. A segunda dificuldade, que é mais essencial, resulta do rico conteúdo das imagens e a subjetividade humana de percepção. Isto é, para um mesmo conteúdo, diferentes pessoas possuem percepções diferentes. Para Rui [2], a subjetividade da percepção e anotações imprecisas podem causar, mais tarde, perdas irrecuperáveis no processo de recuperação. Do ano de 1990 em diante, por causa da emergência em larga escala das coleções de imagens, as dificuldades encontradas pela anotação manual tornaram-se mais agudas. A fim de superar estas dificuldades, volta-se para a recuperação de imagens baseada no conteúdo. Ou seja, em vez de serem anotadas manualmente por chaves baseadas em texto, as imagens são indexadas pelo seu próprio conteúdo visual, tal como cor, forma e textura. Para Gupta [1], a recuperação de imagens emergiu como uma área de pesquisa importante com muitas aplicações em vários campos, como banco de dados de imagens, multimídia e bibliotecas digitais. Segundo Vailaya [3], a organização e a recuperação de imagens baseadas no conteúdo emergiu como uma área importante da visão computacional e da multimídia, devido ao desenvolvimento rápido das imagens digitais, do armazenamento e da tecnologia das redes. Desta maneira, muitas técnicas têm sido desenvolvidas com base nesta linha de pesquisa e muitos sistemas de recuperação baseados no conteúdo foram construídos. Alguns, citados em Rui [2] e Bimbo [4], são: QBIC, Virage, Visual, Retrieware, Macs-Hermes, Chabot, IRIS, Picasso, ICARS, Photobook, CANDID, VisualSeek, CORE e Netra. A Seção 2 descreve a arquitetura típica de um sistema de recuperação de imagens com base no conteúdo. Na Seção 3 é feita a descrição dos módulos do protótipo. A Seção 4 faz algumas conclusões e relata os trabalhos futuros.
2 Arquitetura de um sistema de recuperação de imagens com base no conteúdo Nesta seção apresenta-se o esboço da arquitetura do protótipo e suas funcionalidades. Na Figura 1, essas funcionalidades estão apresentadas em módulos, quais sejam, módulo gerenciador de imagens, módulo indexador dos atributos, módulo de recuperação e módulo de interface com o usuário. Observa-se na Figura 1 duas bases de dados que também compõe o protótipo de recuperação de imagens com base na cor. Figura 1. Uma arquitetura típica de um sistema de recuperação de imagens com base no conteúdo. Módulo gerenciador de imagens. O módulo gerenciador de imagens é responsável pelo gerenciamento do acesso ao arquivo da imagem, conversão do formato da imagem e armazenamento das informações na base de imagens. Módulo indexador dos atributos. O módulo indexador disponibiliza a assinatura da imagem. A assinatura de uma imagem é uma representação da imagem na "visão" de um sistema de recuperação de imagens com base no conteúdo. Os componentes da assinatura são chamados de atributos. A Figura 2 mostra a relação entre uma imagem, sua assinatura e seus atributos. Figura 2. A assinatura de uma imagem é um conjunto de atributos. Desta forma, o módulo indexador dos atributos é formado de processos que permitem obter a assinatura da imagem. Processos que fazem a extração dos atributos da imagem e disponibilizam estas informações (valores) em um vetor de atributos que será armazenado na base de assinaturas. O módulo indexador dos atributos é utilizado em dois momentos diferentes no sistema. Inicialmente, o módulo indexador é utilizado como um processo off-line que atribui assinaturas para as imagens da base de dados (ver Figura 3). Em um segundo momento, o módulo será utilizado como um processo on-line que atribui a assinatura para a imagem fornecida pelo usuário como base de consulta (Ver Figura 4). Módulo de recuperação. O módulo de recuperação é um servidor de consultas do usuário on-line baseado no conteúdo da imagem. O módulo de recuperação recebe do módulo de interface do usuário uma imagem para consulta. Então, o módulo de recuperação faz uso do módulo de indexação para extrair os atributos dessa imagem fornecida como consulta. A partir da obtenção do vetor de atributos desta imagem, o módulo de recuperação utiliza seu módulo comparador para procurar na base de assinaturas, imagens que correspondam ao vetor de atributos da imagem consulta. Depois de obtidas, tais imagens, utiliza-se o módulo de classificação para ordenar os resultados em função do resultado das métricas. Por fim, o módulo de recuperação envia os resultados ao módulo de interface do usuário. A Figura 4 apresenta o processo de recuperação da imagem. Módulo de interface do usuário. O módulo de interface do usuário é formado de programas clientes que permitem a formulação de consultas baseadas no conteúdo. Estas consultas podem ser realizadas de várias maneiras: (a) o usuário fornece a porcentagem de uma determinada cor na imagem; (b) o usuário fornece uma imagem para consulta; (c) o usuário
constrói uma imagem através do preenchimento de cores e etc. O módulo de interface do usuário também permite a visualização dos resultados destas consultas. Figura 3. Processo típico de indexação de um sistema de recuperação de imagens com base no conteúdo. Figura 4. Processo de recuperação de um típico sistema de recuperação de imagens com base no conteúdo. 3 O protótipo O protótipo deste sistema de recuperação de imagens com base na cor analisará as regiões cromáticas de uma imagem, suas adjacências e variações espaciais (modelo estatístico para obter a distribuição da cor no domínio espacial, Park [5]). O processamento da base de imagens para obter estas informações é feito off-line e indexadas através de uma estrutura capaz de manipular estruturas multidimensionais, neste caso uma R-Tree, Brown [6].
O módulo de extração dos atributos. Como dito anteriormente, este módulo obtém a assinatura das imagens e as armazena em um banco de assinaturas. Este módulo de extração dos atributos prevê os seguintes procedimentos: Aplicação do filtro majoritário, Gu [7]: aplicado na imagem para remover os ruídos que existem próximos das adjacências das regiões cromáticas, tornando as regiões uniformes e as transições entre as regiões mais aguçadas (Figura 5). Isto proporcionará a geração de um grafo mais preciso. Figura 5. Exemplo da aplicação do filtro majoritário. MCAG (Modified Color Adjacency Graph), Park [5]: é utilizado para descrever as regiões cromáticas da imagem e o tamanho das adjacências entre as mesmas. Cada nodo do grafo representa um cor no modelo RGB da imagem, contendo a quantidade de pixel da sua cor e cada aresta entre os nodos a e b representará a adjacência espacial de a e b, que significa, o número de pixels na cor a que são vizinhos dos pixels na cor b. Considerando as adjacências de cores baseadas na conectividade oito. Uma "janela" 3 x 3 é aplicada em todos os pixels de cada região, cada pixel contado, na região vizinha (vizinhança 8), é adicionado ao nodo correspondente. A Figura 6 mostra um exemplo simples de um grafo MCAG. Figura 6. Exemplo de uma imagem 5x5 e o MCAG resultante. SVG (Spatial Variance Graph), Park [5]: é útil para descrever a distribuição de cor no domínio espacial da imagem. As informações necessárias para elaborar este grafo são: as cores da imagem, a contagem de cor da imagem e coordenadas de cada pixel, para cada cor. Usando equações estatísticas com probabilidade e técnicas de variância, obtém-se a própria variância espacial da cor e a variância espacial relativa de duas cores. Cada nodo contém a própria variância a própria variância espacial da cor e a variância espacial relativa de duas cores. Cada nodo contém a própria variância das cores denotadas e cada borda tem como seus atributos a variância espacial entre as cores denotadas pelos nodos ligados. O módulo de indexação exige a geração de índices utilizando uma R-Tree (Brown [6]) é uma das mais populares estruturas de dados para indexar dados espaciais. Nesta árvore cada nodo contém uma tupla da forma < I, ptr >, onde ptr é o endereço de um nodo filho, e I indica sua MBR (Minimum Bounding Rectangle) do objeto espacial indexado. O M número de tuplas em cada nodo de uma de uma R-Tree não pode ser maior que algum M ou menor que algum m. 2 Uma R-Tree é uma estrutura balanceada. A Figura 7(a) ilustra um conjunto de MBR s para uma R-Tree. As regiões (dados) são identificada por letras e as MBR s são identificadas por números. O retângulo envolvendo a figura inteira e identificado pelo número 1. Este retângulo cobre três MBR s menores, 2, 3 e 4.
Figura 7. Representação de uma R-Tree no espaço bidimensional. (a) mostrando suas regras de particionamento e (b) mostrando sua organização hierárquica. A R-Tree correspondente é descrita na Figura 7(b). Como indicado anteriormente, no nodo identificado com o número 1, existirão valores indicando o limite superior e inferior das MBR ao longo de cada dimensão. Existirão ponteiros para cada um dos seu filhos, identificados pelos números 2, 3 e 4. Cada um deles armazenam os limites inferior e superior das MBR s e assim por diante. O protótipo permite realizar dois tipos de consultas: (a) o usuário entra com uma imagem de exemplo para consulta e (b) o usuário define as cores de uma imagem de exemplo para consulta. 4 Conclusões de trabalhos futuros A recuperação das imagens utilizando o MCAG (Modified Color Adjacency Graph) e o SVG (Spatial Variance Graph) mostra-se bastante robusta (Park [5]). O protótipo modelado mostrou-se bastante viável, sendo que melhorias devam ser feitas como um todo em todo o protótipo. Esta melhorias seriam: Utilização do modelo de formação HSV, relatado em muitos trabalhos como o melhor para a recuperação de imagens (Mathias [10]). A utilização deste modelo visa também diminuir o número de cores. Utilizando o modelo de formação da cor RGB e avaliar a redução do número de cores (Sobreiro [9]). Visando diminuir o número de nodos dos grafos MCAG e SVG. Avaliação da possibilidade segmentar a imagem antes da obtenção dos grafos MCAG e SVG. Utilização do proposto por Harmon [8]. Este trabalho propõe a diminuição da resolução da imagem, ficando esta composta por quadrados (blocos), devido a baixa resolução. Demonstra-se que a imagem ainda pode ser reconhecida pelo sistema de visão humano, Lai [11]. Em cima de uma imagem quantizada extrair os grafos MCAG e SVG. Analisar a possibilidade de novas consultas (queries). Analisar a possibilidade de reconhecimento de objetos usando grafos globais e locais, múltiplas representações de grafos, que podem empregar outros atributos, tais como, textura e forma. 5 Referências [1] Gupta, A., Jain, R. "Visual information retrieval", Commuinications of theacm, 40(5), 71-79, May (1997). [2] Rui Y., Huang, T. S.,Chang, S.-F, "Image retrieval: current techniques, promising, directions, and open issues", Journal of Visual Communications and Image Representation, 10, 39-62, (1999). [3] Vailaya, A., Jain, A., Zhang, H. J., "On image classification: city vs. landscape", Proceedings of IEEE Workshop on Content-Based Access of Image and Video Libraries, Santa Barbara, CA USA, June (1998). [4] Bimbo, A. D., "Visual information retrieval", Morgan Kaufmann, 270p., (1999).
[5] Park, I. K., Yun, I. D., Lee, S. U., "Color image retrieval using hibryd graph representation", Image and Vision Computing, 17(7), 465-474, (1999). [6] Brown, L., Gruenwald, L., "Tree-based indexing for image data", JVICR, 9(4), 300-313, December, (1998). [7] Gu, C., Kunt, M., "Contour simplification and motion compensated coding", Signal Processing Image Communications, 7, 279-296, (1995). [8] Harmon, L. D., The recognition of faces, Scientific American, 229(5), 71-82, (1973). [9] Sobreiro, M. V. R., Quantização de Imagens, Dissertação de mestrado, IMPA-RJ, (1998), 94p. [10] Mathias, E., Conci, A., Comparing the influence of color spaces and metrics in content-based image retrieval, Proceedings of the 11 th Brazilian Symposium on Computer Graphics and Image Processing (SIBGRAPI 98), Rio de Janeiro, Brazil, 20-23, Oct. (1998). [11] Lai, T.-S., CHROMA: A photographic image retrieval system, Doctoral theses, School of Computing, Engineering and Technology, University of Sunderland, Sunderland United Kingdom, (2000), 234p.