PROJECTOS DE INVESTIGAÇÃO CIENTÍFICA E DESENVOLVIMENTO TECNOLÓGICO

Transcrição

1 PROJECTOS DE INVESTIGAÇÃO CIENTÍFICA E DESENVOLVIMENTO TECNOLÓGICO Clip-art Retrieval using Sketches PTDC/EIA-EIA/108077/2008 Deliverable: D3 Feature Extraction Library (Vectors) Task: T3 Feature Extraction from Vectors Autores: Manuel J. Fonseca (INESC-ID) Alfredo Ferreira Jr. (INESC-ID) Gabriel Barata (INESC-ID) República Portuguesa União Europeia Fundos Estruturais

2 Índice 1 Solução Anterior (Topologia e Geometria separadas) Descritor Único (Topologia, Distância e Geometria) Inclusão da Distância Inclusão da Geometria Avaliação dos Algoritmos Procedimento Resultados Referências

3 Sumário Este documento descreve de forma sucinta o novo algoritmo desenvolvido para descrever o conteúdo de desenhos vectoriais, que permite juntar informação sobre a organização espacial dos elementos do desenho (topologia), a distância relativa entre eles e informação da sua geometria, tudo numa única representação (grafo de topologia). Esta representação unificada tem a vantagem de permitir o cálculo de um só descritor que agrega os vários tipos de informação, facilitando assim a pesquisa dos clip-arts. Começamos por descrever a solução anterior, que tratava a topologia e a geometria separadamente, e a seguir descrevemos as várias inovações que fomos introduzindo. No final apresentamos uma avaliação comparativa dos vários algoritmos desenvolvidos. 1 Solução Anterior (Topologia e Geometria separadas) Uma das lacunas na descrição do conteúdo de desenhos vetoriais, e que existia no nosso trabalho anterior, prende-se com a falta de um mecanismo que unifique os vários tipos de informação extraídos do desenho. No nosso trabalho anterior, usamos dois descritores separados para descrever o conteúdo dos desenhos, nomeadamente um descritor de topologia para descrever a organização espacial dos vários elementos do desenho, e um descritor de geometria por cada elemento do desenho para descrever a sua forma geométrica. Figura 1 Desenho e o respectivo grafo de topologia, descrevendo a organização espacial dos seus elementos. 2

4 A Figura 1 ilustra a representação da organização espacial de um desenho num grafo de topologia que posteriormente é convertido num descritor usando a teoria dos espectros dos grafos (ver Figura 2). Quanto à geometria, usamos as características usadas pelo reconhecedor de esboços CALI para descrever a geometria dos elementos que constituem o desenho (para mais detalhes consultar [1]). Figura 2 Calculo do descritor de topologia a partir do grafo de topologia usando o espectro do grafo. Esta solução apesar de ter esta limitação (exigir descritores diferentes para topologia e geometria) apresentava bons resultados ao nível da qualidade dos resultados, mas tornava-se um pouco pesado em termos computacionais, pois obrigava a comparar a geometria dos elementos visuais do desenho um a um com os elementos da interrogação submetida. Adicionalmente, a descrição da organização espacial não tinha em conta a distância entre os elementos do desenho. 2 Descritor Único (Topologia, Distância e Geometria) 2.1 Inclusão da Distância A fim de diferenciar entre um desenho com dois elementos que estão juntos e um desenho com dois elementos que estão distantes (ver Figura 3), introduzimos a noção de distância entre elementos que passou a ser codificada nas ligações de adjacência do grafo, passando agora estas a traduzir não a noção de adjacente ou não adjacente, mas sim a de distância relativa entre os elementos. Figura 3 Utilização dos pesos de adjacência para codificar a distância entre elementos do desenho. 3

5 Essa distância relativa é depois codificada sob a forma de pesos nos links de adjacência, afectando assim o cálculo do descritor de topologia (ver Figura 4). Figura 4 Representação dos pesos de adjacência no grafo e na matriz de adjacência, que posteriormente é usada para calcular o descritor de geometria. 2.2 Inclusão da Geometria Figura 5 Novo grafo de topologia que inclui informação sobre a organização dos elementos no desenho (nós verdes) e informação sobre a sua geometria (nós azuis). Para a combinação da geometria com a topologia e com a distância, tivemos que acrescentar nós adicionais ao grafo de topologia (nós azuis na Figura 5), correspondendo cada um deles a uma característica geométrica que fazia parte do descritor de geometria anteriormente usado, e sumariamente apresentadas na Figura 6. 4

6 Figura 6 Características geométricas usadas para descrever a geometria dos elementos visuais do desenho. Com esta abordagem, conseguimos juntar informação sobre topologia e geometria numa só representação o grafo de topologia. Assim, para calcular o descritor, basta aplicar a abordagem já usada do espectro do grafo e calcular o descritor. Esta solução tem a vantagem de produzir apenas um descritor que descreve simultaneamente a organização espacial do desenho, a distância entre os elementos visuais e a sua geometria. Como consequência, e ao contrário da abordagem que serviu de base a este trabalho, um só descritor descreve o desenho na sua totalidade, o que facilita a indexação e a posterior pesquisa. Uma variante desta abordagem foi utilizada no trabalho de mestrado realizado em colaboração com a Univ. de Uberlândia em que combinamos num mesmo descritor informação de topologia e de cor extraída de imagens. 3 Avaliação dos Algoritmos 3.1 Procedimento Para avaliar o novo algoritmo desenvolvido, comparamo-lo com a versão original (Topologia + geometria), com uma variante que usava apenas a topologia (sem informação sobre geometria) e outra variante que usava uma pista sobre a geometria do elemento do desenho codificada no nó do grafo. Para a avaliação, usamos um conjunto de 100 desenhos clip-art, organizados em 10 categorias, cada uma delas com 10 desenhos, que foram agrupados de modo a serem considerados iguais (ver Figura 7). Desta forma, tínhamos um ground truth para servir de referência na nossa avaliação. Como medida da qualidade dos resultados usamos o Mean Average Precision (MAP). 5

7 Figura 7 - Ground truth, composto por 10 categorias de desenhos. Adicionalmente, na avaliação verificamos também o comportamento dos vários algoritmos em função dos métodos e combinações de métodos de simplificação usados. 3.2 Resultados Olhando para a Figura 8, podemos ver que os algoritmos que usam só topologia ou topologia com a pista de geometria nos nós do grafo, são aqueles que apresentam os piores resultados, no geral. Por outro lado, o algoritmo original (que usa vários descritores) é o que apresenta melhores resultados em média para as várias combinações de simplificações (MAP = 17,42%), mas é acompanhado de muito perto pelo novo algoritmo que usa apenas um descritor (MAP = 17,32%) %& 18.50%& 18.00%& 17.50%& 17.00%& 16.50%& 16.00%& 15.50%& 15.00%& {0,0,0}&& {1,0,0}&& {2,0,0}&& {3,0,0}&& {1,2,0}&& {1,3,0}&& {2,1,0}&& {2,3,0}&& {3,1,0}&& {3,2,0}&& {1,2,3}&& {1,3,2}&& {2,1,3}&& {2,3,1}&& {3,1,2}&& {3,2,1}&& Topology+Geom& Topology& Topology&+&Hint& Topogeo& Figura 8 Valores do MAP para os diferentes algoritmos de calculo dos descritores testados, usando desenhos simplificados com as combinações dos vários métodos de simplificação. 6

8 Olhando para os casos em não aplicamos qualquer simplificação ({0,0,0}), ou em que aplicamos apenas um dos métodos de simplificação (ver Figura 9), podemos ver que em média o novo algoritmo é melhor (MAP = 17,65%) que o algoritmo original (MAP = 17,34%) %& 18.50%& 18.00%& 17.50%& 17.00%& 16.50%& 16.00%& 15.50%& 15.00%& {0,0,0}&& {1,0,0}&& {2,0,0}&& {3,0,0}&& Topology+Geom& Topology& Topology&+&Hint& Topogeo& Figura 9 Valores de MAP para os vários algoritmos, mas apenas para os casos em que não houve simplificação ou apenas se aplicou um dos métodos de simplificação. Se considerarmos apenas o caso em que não temos simplificação, podemos ver que o novo algoritmo apresenta um valor de MAP superior em 1,1% (ou seja houve uma melhoria de 6%, de 17,42% para 18,5%). Como conclusão, podemos dizer que o novo método de descrição do conteúdo de desenhos vectoriais consegue não só descrever informação da organização espacial, da distância entre elementos e da sua geometria num só descritor, como também consegue obter melhores valores de MAP, quando não temos simplificação e valores bastante próximos do algoritmo anterior, mas com a vantagem de usar apenas um descritor. 4 Referências [1] Sketch-Based Retrieval in Large Sets of Drawings, Manuel J. Fonseca, PhD Thesis, Instituto Superior Técnico, Jul