Redução do Gap Semântico em CBIR utilizando Ontologia de Objeto

Transcrição

1 Redução do Gap Semântico em CBIR utilizando Ontologia de Objeto Autor: Juliana de Fátima Franciscani 1, Orientador: Prof. Dr. Ilmério Reis da Silva 1, Co-Orientadora: Prof a. Dr a. Celia A. Zorzo Barcelos 1 1 Programa de Pós-Graduação em Ciência da Computação Universidade Federal do Uberlândia (UFU) Uberlândia MG Brasil juliana@pos.facom.ufu.br, ilmerio@facom.ufu.br, celiazb@ufu.br Nível: Mestrado Ano de ingresso no programa: 2007 Época esperada de conclusão: Agosto / 2009 Data da aprovação da proposta de dissertação: Agosto / 2008 Resumo. O objetivo principal da pesquisa é o estudo de métodos de recuperação de imagens, e a utilização de ontologia, mais especificamente, ontologia de objeto nos sistemas de recuperação de imagens. O ponto de partida é o Método de Mezaris que utiliza ontologia de objeto na transcrição das características de baixo nível (como cor, forma e posição) em características de alto nível (representação semântica) da imagem. Este método utiliza como consulta palavras-chave, inviabilizando a utilização de imagens exemplos. Algumas melhorias são propostas na pesquisa como: possibilidade de utilização de imagens na consulta, a expansão da ontologia de objeto construída, a construção de um protótipo de um sistema de recuperação de imagens e a avaliação experimental da qualidade das respostas. O artigo abrange alguns conceitos de recuperação de imagens baseados em conteúdo, ontologia de objeto, trabalhos relacionados ao proposto, além da caracterização do problema. Palavras-Chave. Recuperação de Imagem, CBIR, Gap Semântico, Ontologia de Objeto.

2 1. Introdução Imagens digitais vêm tomando um espaço cada vez maior na sociedade devido à grande facilidade de geração desse tipo de imagem por meio de câmeras digitais e de sua disponibilização através de Internet, resultando no crescimento de modo exponencial de bancos de imagens disponíveis. Devido a esse grande número de imagens disponíveis, encontrar uma imagem é tarefa cada vez mais difícil. Ao tentar recuperar uma imagem em um sistema de busca, o usuário depara-se com o problema da quantidade excessiva de registros irrelevantes, além da dificuldade de selecionar termos (palavras) adequados e mais precisos para formular a consulta. Um problema encontrado, quando se trabalha com Recuperação de Imagens, é estabelecer a relação entre as características da imagem e a consulta do usuário (que também pode ser textual). Tal problema está relacionado ao gap semântico, que é a diferença entre características de baixo nível, extraídas da imagem, e o alto nível da informação necessária para o usuário. O objetivo da redução do gap semântico é estabelecer uma ligação entre o pensamento do usuário e as características extraídas da imagem. Para tanto, ontologias de objeto vêm sendo utilizadas para proporcionar melhor contextualização, acrescentando semântica ao CBIR [R. Datta 2008]. O uso de ontologia pode ser considerado uma alternativa para minimizar o problema da quantidade excessiva de registros irrelevantes, uma vez que a recuperação se baseia numa estrutura de relacionamentos semânticos e não mais na unidade léxica, como no mecanismo de busca com base em palavras-chave. As hierarquias de conceitos da ontologia podem ser utilizadas no momento da busca para auxiliar o usuário a selecionar e a combinar conceitos para recuperar a informação. Entretanto, a informação textual sobre as imagens nem sempre está disponível ou, quando disponível, não consegue descrever todas as suas características. O trabalho tem como objetivo integrar conceitos de ontologia a imagens digitais, diminuindo o gap semântico entre descritores de baixo nível e de alto nível. Para tal, a criação de um descritor de nível intermediário se torna necessária, mapeando características da imagem para formas textuais. A ontologia será definida de acordo com tais características, com a finalidade de melhorar a recuperação e indexação de imagens. 2. Fundamentação Teórica 2.1. Ontologia Ontologia são estruturas de organização que possibilitam uma compreensão comum e compartilhada de um domínio do conhecimento e, assim, têm papel importante no intercâmbio de informações. Possibilitam a comunicação entre os agentes envolvidos no processo de recuperação da informação ao reduzir as diferenças conceituais. Podem ser consideradas extensões de taxonomias, contendo vocabulários e seus significados, com semântica expressiva e bem definida. São as estruturas utilizadas para expressar semântica legível por máquinas no contexto da Web Semântica. Segundo Gruber [Gruber 1993], dentro do contexto computacional uma ontologia é definida como uma especificação formal e explícita de uma conceitualização, isto é, referese a um modelo abstrato de domínio específico que deseja representar elementos e restrições, sendo passível de processamento automático. Ontologia de Objeto Um conceito de utilização de ontologia em sistemas CBIR é a ontologia de objeto, como proposto em [V. Mezaris 2003], [V. Mezaris 2004a], [V. Mezaris 2002], [V. Mezaris 2004b]. Não

3 se trata de uma ontologia comum, é uma nova interpretação, não de palavras, mas de características (valores numéricos) em conceitos relacionados. Para cada tipo de característica uma ontologia de objeto é criada. Para cada imagem, características específicas são analisadas e traduzidas em conceitos relacionados. Este tipo de ontologia vem sendo utilizado em sistemas de recuperação de imagens baseados em conteúdo, como um nível intermedíario, que integra os descritores de baixo nível aos de alto nível, como observados na figura 1. Seguindo este mesmo raciocínio o trabalho está sendo desenvolvido. As figuras 1,2 e 3 foram baseadas em [V. Mezaris 2004b]. Na parte Figura 1. Descritores de baixo nivel, de nivel intermediario inferior da imagem 1, o vetor F representa as características da imagem (baixo nível), sendo elas: cor e textura (luminância - F 1, verde-vermelho - F 2, amarelo-azul - F 3), posição - F 4 e F 5, tamanho - F 6 e forma - F 7. Estas características da imagem são traduzidas em forma textual. Na figura 2, uma pequena parte da ontologia de objeto relacionado à característica de Figura 2. Estrutura da Ontologia de Objeto cor (luminância) pode ser observada. Este descritor representa a tradução de características de baixo nível para um nível mais alto, possibilitando uma maior semântica. Na figura 3 um exemplo de uma ontologia de objeto de um "Tigre"pode ser observado. Nesta figura, algumas características relevantes que representam mais especificamente a consulta relacionada a "Tigre"são elaboradas Recuperação de Imagens A criação de novos dispositivos para obtenção e armazenamento de imagens tem possibilitado a disseminação de grandes coleções de imagens. Neste cenário, verifica-se a demanda por sistemas de informação que possibilitem o gerenciamento de imagens de maneira eficiente. Bancos de imaḡens são uma resposta a esta demanda. Bancos de imagens são bancos de dados que gerenciam imagens, ou seja, lidam com o armazenamento, indexação e a recuperação de imagens [S. Sclaroff 1997]. Métodos de recuperação baseados em Metadados e em Conteúdo são abordados a seguir:

4 Figura 3. Exemplo de Ontologia de Objeto - Característica Cor A anotação de imagens baseada em palavras-chaves consiste, basicamente, na atribuição de uma lista de termos a uma determinada imagem. Já o sistema de busca procurará em um banco de dados as imagens que possuem em suas listas de palavras-chaves aquelas fornecidas pelo usuário. Por sua vez, a anotação de imagens baseada em ontologias consiste, geralmente, em atribuir a uma imagem um conceito pertencente a uma ontologia. A busca, por outro lado, consiste, basicamente, em procurar por imagens que estejam associadas ao conceito escolhido pelo usuário, dentre os disponibilizados pela ontologia. Recuperação de imagens baseada em conteúdo utiliza o conceito de busca de imagens baseados na similaridade de suas características, ou seja, quando um usuário submeter uma consulta (imagem exemplo), o sistema de recuperação deve recuperar o conjunto de imagens mais similares à imagem de referência, organizadas em ordem crescente de similaridade. As vantagens deste método dizem respeito à possibilidade de um processo de recuperação automático, em oposição ao esforço necessário para classificar ou anotar as imagens como na outra abordagem. 3. Trabalhos Relacionados Existem vários trabalhos que abordam sistemas de recuperação de imagem utilizando ontologia (itens 1 a 4)[Ying Liu 2006][Liu et al. 2007], entretando, poucos são os que trabalham utilizando a ontologia de objeto (como [V. Mezaris 2004a]). A seguir alguns trabalhos são descritos: 1. Em [S. Atnafu 2002], é apresentado um modelo para arquivos de imagem que suporta metadados e descrições de conteúdo (como cor, forma, textura). Este modelo possibilita a realização de buscas de imagens baseadas em conteúdo, ontologia, e texto. 2. Já em [M. Addis 2003], é proposto o SCULPTEUR, um sistema que integra metadados textuais, conteúdo e classificação ontológica em buscas de imagens. O SCULPTEUR também possibilita a navegação pela ontologia. No entanto, estes sistemas não definem nenhum modelo de anotação que use os mecanismos de busca apresentados. 3. Em [E. Hyvonen 2002], o autor propõe um sistema, OntoSAIA, que um ambiente que auxilia a busca e anotação de imagens, integrando as abordagens baseadas em conteúdo, em ontologia e em palavras chaves. Foi criado para buscar, visualizar, adicionar, remover ou anotar imagens de uma coleção. Neste sistema, a ontologia utilizada é dependente da descrição textual da imagem. 4. Nessas abordagens, a ontologia desempenha um papel importante e sua adequação ao domínio de interesse é essencial. Por exemplo, tanto em [I. J. PicHunter 2000] quanto em [V. E. Ogle 1995], os autores optaram por usar uma ontologia específica aos domínios de cada trabalho (espécies de primatas e cenas de crime, respectivamente).

5 5. Abordagem foi adotada por Mezaris [V. Mezaris 2004a], estabelece o uso de ontologia de objeto (novo termo que representa outra forma de se utilizar a ontologia) como descritor de nível intermediário, na tentativa de uma maior aproximação das características extraídas da imagem (cor e textura, forma, tamanho e posição) com o pensamento do usuário. Possibilita um maior nível de semântica entre as características da imagem e a consulta textual do usuário. O trabalho proposto se enquadra no contexto de recuperação de imagens baseado em conteúdo e metadados integrado ao uso de ontologia de objeto. 4. Metodologia Estudos sobre ontologia, imagem e principalmente a partir de Mezaris [V. Mezaris 2004a], [V. Mezaris 2003], que trata ontologia de objeto, como forma de interpretação das características extraídas da imagem foram imprescindíveis para o trabalho. A implementação de tal método faz parte do trabalho proposto, para possíveis melhorias, questionamentos e comparações. Além disso, a consulta do usuário no trabalho poderá ser feita tanto por palavras como por uma imagem, diferentemente de Mezaris [V. Mezaris 2003] que adota apenas palavras-chave, exigindo assim um maior esforço por parte do usuário na utilização de palavras que estejam previamente cadastradas na base de palavras do sistema. A construção de um protótipo incluindo funcionalidades como: Tratar a consulta (por palavra ou por imagem): Quando elaborada por imagem, caracterizá-la em relação à ontologia elaborada, quando elaborada por palavra-chave, buscar na ontologia os conceitos relacionados; Buscar na Base de Conceitos a melhor representação da consulta; Criar a Ontologia de Objeto; Mapear características de baixo nível para um nível intermediário (ontologia de objeto); Indexar as imagens aos conceitos de alto nível; Apresentar o resultado ao usuário das imagens resultantes. 5. Resultados Esperados Uma melhoria no método de Mezaris [V. Mezaris 2004a], como a expansão da ontologia de objeto utilizada e a utilização de imagens para a realização da consulta. Um protótipo de CBIR utilizando ontologia de objetos também será elaborado. Artigo científico a ser submetido em um dos congressos da área. 6. Cronograma de Atividades Algumas etapas do projeto que estão concluídas, como: Fundamentação teórica relacionada a recuperação e características da imagem; Definição de algorítmos utilizados para manipulação da imagem; Estudo das características de cor, textura, forma e posição, com suas respectivas técnicas de representação; Estudo de conceitos de ontologia de objeto. Segue abaixo o cronograma previsto para execução das atividades deste projeto: 1. Implementação de extratores de características; 2. Elaborar a ontologia de objeto de acordo com as características de baixo nível; 3. Mapear a ontologia de objeto - ligação entre os descritores de baixo e alto níveis; 4. Extender a consulta do usuário utilizando a ontologia de objeto elaborada; 5. Redação de artigos a serem submetidos a congressos científicos; 6. Redação do estado da arte; 7. Redação do corpo da dissertação, aplicação e conclusão; 8. Defesa da dissertação.

6 Atividade Nov Dez Jan Fev Mar Abr Mai Jun Jul X X X 2 X X X 3 X X X X X 4 X X X X X 5 X X X X X X X 6 X X X 7 X X X X 8 X Tabela 1. Cronograma de Atividades Referências E. Hyvonen, S. Saarela, A. S. (2002). Ontology-Based Image Retrieval. HIIT Publications. Gruber, T. R. (1993). Toward principles for the design of ontologies used for knowledge sharing. Int. J. Human-Comput. Stud. I. J. PicHunter, M. L. Miller, T.-P. M. T.-V. P. P.-N. Y. (2000). The Bayesian Image Retrieval System, PicHunter: Theory, Implementation, and Psychophysical Experiments. IEEE Transactions on Image Processing. Liu, Y., Zhang, D., Lu, G., and Ma, W. (2007). A survey of content-based image retrieval with high-level semantics. Pattern Recognition, 40: M. Addis, M. Boniface, S. G. P. G. S. K.-P. L. K. M. A. S. (2003). SCULPTEUR: Towards a New Paradigm for Multimedia Museum Information Handling. In Proc. Of Semantic Web ISWC R. Datta, D. Joshi, J. L. J. Z. W. (2008). Image Retrieval: Ideas, Influences, and Trends of the New Age. ACM Transactions on Computing Surveys, 40. S. Atnafu, R. Chbeir, L. B. (2002). Efficient Content-Based and Metadata Retrieval in Image Database. Journal of Universal Computer Science. S. Sclaroff, T. Taycher, M. L. (1997). ImageRover: A Content-Based Image Browser for the World Wide Web. Technical Report, Boston University. V. E. Ogle, M. S. (1995). Chabot: Retrieval from a Relational Database of Images. IEEE Computer. V. Mezaris, I. Kompatsiaris, M. S. (2002). A Framework for the efficiente segmentation of large-format color image. ICIP - IEEE. V. Mezaris, I. Kompatsiaris, M. S. (2003). An Ontology Approach to Object-Based Image Retrieval. IEEE. V. Mezaris, I. Kompatsiaris, M. S. (2004a). Region-Based Image Retrieval Using an Object Ontology and Relevance Feedback. EURASIP Journal on Applied Signal Processing Hindawi Publishing Corporation. V. Mezaris, I. Kompatsiaris, M. S. (2004b). Still Image Segmentation Tools for Object-based. Int. Journal of Pattern Recognition and Artificial Intelligence - Multimedia Applications. Ying Liu, Dengsheng Zhang, G. L. W.-Y. M. (2006). A survey of content-based image retrieval with high-level semantics. Pattern Recognition.