Warp Metric Distance: Aprimorando o Uso de Histogramas de Intensidade para Busca por Similaridade em Imagens Médicas

Transcrição

1 Warp Metric Distance: Aprimorando o Uso de Histogramas de Intensidade para Busca por Similaridade em Imagens Médicas Joaquim Cezar Felipe 1, Agma Juci Machado Traina 2 1 Departamento de Física e Matemática - Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto Universidade de São Paulo (USP), Brasil 2 Instituto de Ciências Matemáticas e de Computação (ICMC) Universidade de São Paulo (USP), Brasil Resumo Este trabalho apresenta uma nova medida de distância (Warp Metric Distance) para histogramas de intensidades utilizados no processo de busca por conteúdo em imagens. No uso de histogramas, os chamados Histogramas Métricos representam uma opção eficiente e computacionalmente barata, devido ao fato de aplicarem uma redução do número de bins sobre os histogramas tradicionais. O método Warp Metric Distance adapta e implementa a métrica Warp, proposta originalmente para a comparação entre séries temporais, como uma medida de distância para histogramas métricos. Os resultados obtidos com esse método, aplicado a busca por similaridade em imagens médicas, evidenciam que o mesmo mostra-se superior ao se manipular imagens com variações de brilho e contraste, dada a sua flexibilidade em relação a esse tipo de irregularidade, além de apresentar uma melhor compatibilidade com avaliações de similaridade realizadas com radiologistas. Palavras-chave: busca por conteúdo, imagens médicas, histograma de intensidade, distância warp Abstract This work presents a new distance measure for intensity histograms - Warp Metric Distance - used in content-based image retrieval. The so-called Metric Histograms represent an efficient and cheap alternative to the use of histograms, since they apply a reduction on the number of bins of traditional histograms. Warp Metric Distance method adapts and implements the Warp metric, originally proposed for the comparison of time series, as a distance measure between metric histograms. Results achieved by this method, when applied to similarity retrieval in medical images, demonstrate its superiority in analyzing images that present brightness and contrast disparities. This is a consequence of the flexibility of the developed method while dealing with this kind of irregularity. Moreover, these results match better with similarity evaluations performed by radiologists. Key-words: content-based retrieval, medical images, intensity histogram, warp distance Introdução Nas últimas décadas, com o surgimento dos sistemas PACS (Picture Archiving and Communication Systems) [1] [2], verifica-se um interesse crescente em integrar todas as informações relativas a pacientes (textos, imagens, gráficos, dados temporais, etc) em sistemas de informações hospitalares. A enorme quantidade de imagens digitais geradas em hospitais e centros de saúde exige o desenvolvimento de mecanismos automáticos para o seu armazenamento e para a sua recuperação em bases de dados. Por isso, um PACS necessita incorporar recursos para recuperar as imagens de forma a viabilizar o uso dos seus módulos de busca no ambiente do dia-a-dia. Além disso, para fornecer ajuda efetiva aos profissionais que analisam as imagens e geram diagnósticos, os mecanismos de recuperação devem retornar imagens compatíveis com os critérios estabelecidos pelos especialistas [3]. Devido ao fato de a recuperação baseada em anotações textuais ser imprecisa e trabalhosa, atualmente tem crescido o interesse pela recuperação de imagens baseada em conteúdo (Content-Based Image Retrieval CBIR). Técnicas de CBIR utilizam as características visuais intrínsecas das imagens, tais como cor, forma e textura, para a sua indexação e recuperação [4], por meio do uso de descritores. A incorporação de funcionalidades de CBIR aos sistemas PACS [5] empresta a estes maior poder de auxiliar nas tarefas de diagnóstico, uma vez que estas funcionalidades propiciam manipulação e organização mais eficientes das imagens médicas. Dentre as características de baixo nível das imagens médicas, as variações de cor (tons de cinza nas imagens monocromáticas) assumem

2 destacada importância, por permitirem a identificação de detalhes dos tecidos e regiões analisadas. Cor é uma propriedade relacionada com a capacidade dos objetos de refletir ondas eletromagnéticas de diferentes comprimentos, num espectro visível que varia aproximadamente de 400 nm até 700 nm. A fim de se mapear numericamente o conjunto de cores do espectro visível, diversos modelos (ou espaços de cores) RGB (red, green, blue), CMY (cyan, magenta, yellow), YIQ, HSI (hue, saturation, intensity), CIELab têm sido propostos e utilizados, cada qual com suas vantagens e aplicações específicas. A estrutura mais utilizada para a representação da distribuição global de cores de uma imagem é o chamado Histograma de Intensidades, que consiste na quantificação da freqüência com que ocorrem os diferentes valores de luminância apresentados pelos pixels da imagem. Dessa forma, o Histograma de Intensidades (juntamente com uma série de operações executadas sobre o mesmo) pode ser utilizado para representar o conteúdo intrínseco da imagem, baseando-se no seu atributo de cor. O presente trabalho está focado na busca por similaridade entre imagens médicas, baseada nas suas distribuições de cores. Uma nova medida de distância para histogramas Warp Metric Distance é apresentado, assim como alguns resultados obtidos com a sua utilização em "buscas aos vizinhos mais próximos" em uma base de imagens médicas gerais. A aquisição do histograma métrico, a partir de um histograma convencional, é realizada da seguinte forma: o contorno original do histograma convencional é reduzido a uma seqüência de segmentos de reta. O algoritmo utilizado identifica pontos de máximo, pontos de mínimo e pontos intermediários significativos, com base em valores de gradiente. Esses pontos são chamados de pontos de controle. Cada região definida por um segmento, entre dois pontos de controle, é chamada de bucket. Um bucket corresponderia, assim a um bin de um histograma normalizado, possuindo uma largura e valores de freqüência para os seus pontos inicial e final. A diferença é que a divisão de bins é pré-determinada e igual para todas as imagens, enquanto a quantidade e a divisão dos buckets depende de cada imagem. Um bucket normalmente engloba vários bins e, dessa forma, consegue-se manter o formato do histograma dentro de limites confiáveis e, ao mesmo tempo reduzir drasticamente sua dimensionalidade. A Figura 1, adaptada de [6], mostra um exemplo de histograma métrico. Bins Bucket pontos de controle 2 pontos de controle consecutivos delimitam 1 bucket Metodologia A seguir são discutidas as técnicas utilizadas neste trabalho para o processo de recuperação de imagens por similaridade. Histograma Métrico. Em [6] é apresentado um novo tratamento matemático aplicado aos histogramas de intensidade, chamado Histograma Métrico, que consiste de modificações sobre os histogramas tradicionais, acompanhadas de uma nova forma de cálculo da distância. Os histogramas métricos permitem comparar imagens de tamanhos variados e mapeadas em diferentes faixas de quantização, ou seja, além de serem como os histogramas normalizados invariantes a transformações geométricas nas imagens, os histogramas métricos são também invariantes com relação a transformações lineares de brilho. Para permitir consultas por similaridade a partir de estruturas de índices, foi necessário desenvolver uma nova métrica, que considera a diferença de área entre pares de histogramas métricos no cálculo da distância entre os mesmos. Figura 1. Exemplo de histograma métrico Uma conseqüência importante desse processo é que não existe uma dimensão prédefinida para o domínio do problema, já que cada imagem pode ter um número diferente de buckets. Dessa forma, as imagens não podem ser representadas como pontos em um espaço dimensional e isso conduz à necessidade de se definir também uma nova forma de cálculo da distância entre duas imagens, uma vez que tanto o número de buckets, quanto a sua distribuição em diferentes histogramas são variáveis. A distância proposta em [6] Distância Métrica - para comparar histogramas métricos efetua a comparação entre as áreas dos mesmos. Partindo do princípio de que a similaridade entre dois

3 histogramas pode ser definida pelo grau de sobreposição das áreas de suas distribuições de freqüência, a distância entre duas imagens é determinada pela diferença entre as suas áreas: bm d M(Q, C) = M H(C, x) M H (Q, x)dx 0 onde: bm é a largura máxima entre os dois histogramas; M H (imagem,x) é a função contínua que representa o histograma métrico da imagem. Experimentos realizados com bases de dados de imagens de tomografias mostraram que, para a maioria das imagens, o número de buckets ficou na faixa de 10-62, contrastando com os 256 bins que normalmente são utilizados em histogramas normalizados. Resultados semelhantes de conjuntos de imagens são obtidos usando histogramas métricos e histogramas convencionais associados à distância L 1. Porém o histograma métrico apresenta ganhos significativos de desempenho no processo de indexação. Dynamic Time Warping. Dentre as técnicas clássicas usadas para se comparar duas séries temporais, destaca-se a chamada Dynamic Time Warping (DTW), cujo principal benefício consiste na aproximação de séries que possuem desenvolvimentos semelhantes, porém defasados ou "deformados" um em relação ao outro, ao longo do eixo temporal [7]. A sensibilidade da técnica à deformação se deve ao fato de que as comparações entre os pontos não se fazem rigidamente entre os pares localizados nas mesmas coordenadas, mas com a flexibilidade de que um ponto de uma série possa ser comparado com pontos adjacentes da outra série, conforme mostrado na Figura 2. a) b) Figura 2. Comparação entre séries: a) convencional; b) com DTW (1) Suponhamos que temos duas séries Q=(q 1, q 2,..., q n ) e C=(c 1, c 2,..., c m ), de tamanho n e m respectivamente. Para compará-las usando DTW, construímos uma matriz nxm cujo elemento (i,j) contém a distância d(q i,c j ). Tipicamente é usada a distância Euclidiana. Cada elemento da matriz corresponde ao alinhamento entre os pontos nele representados. Um percurso de ajuste W=(w 1, w 2,..., w k ) é um conjunto de elementos contíguos da matriz que define um mapeamento entre Q e C. O percurso de ajuste deverá obedecer às seguintes regras [8]: Iniciar e terminar em células diagonalmente opostas da matriz, ou seja, w1=(1,1) e wk=(n,m); A seqüência entre os elementos do percurso deverá conter elementos adjacentes da matriz (incluindo elementos diagonalmente posicionados); A seqüência não poderá "voltar" no caminho dos elementos da matriz. Há muitos possíveis percursos de ajuste, porém o percurso a ser escolhido é aquele que minimiza o custo da deformação, ou seja, cuja distância acumulada ao longo do mesmo é mínima: DTW ( Q, C) = min( K k = 1 w k / K) (2) A DTW tem sido usada com sucesso em aplicações tais como: data mining, reconhecimento de gestos, robótica e processamento da fala [9]. Warp Metric Distance. A proposta deste trabalho é adaptar a DTW para se criar um método comparativo entre histogramas que seja menos sensível a distorções de brilho e contraste, problema comumente encontrado quando se manipulam imagens médicas, devido a imprecisões e a variações de ajuste dos aparelhos de captura das mesmas. Decidiu-se trabalhar com os histogramas métricos, uma vez que eles geram resultados próximos dos histogramas convencionais, com a vantagem de reduzir o esforço computacional. Utilizando um aplicativo que realiza buscas de vizinhança mais próxima, a partir do cálculo dos histogramas métricos, mostrando as imagens resultantes, foi implementada a Warp Metric Distance (WMD), como uma adaptação da técnica DTW sobre os histogramas métricos. A Figura 3 mostra dois histogramas métricos obtidos de imagens médicas, assim como a matriz de ajuste entre eles, na qual aparece em destaque o percurso de ajuste W.

4 A B B A Figura 3. Dois histogramas e a respectiva matriz de ajuste, com percurso de ajuste W em destaque. Resultados A fim de testar a precisão da WMD, foram realizados experimentos sobre uma base contendo 4242 imagens gerais de regiões do corpo humano, oriundas de exames de tomografia computadorizada e ressonância magnética. Utilizou-se um aplicativo que realiza consultas aos vizinhos mais próximos a partir de uma imagem de referência e apresenta na tela miniaturas das imagens encontradas. Os experimentos foram de dois tipos: 1) comparações visuais dos resultados obtidos com uso da distância métrica e com uso da WMD em consultas às 40 imagens mais próximas a imagens de referência diversas; 2) comparações através do cálculo de precision x recall dos resultados obtidos com uso da distância métrica e com uso da WMD em relação a testes de vizinhos mais próximos realizados com médicos radiologistas. Experimento 1. Foram tomadas como referência diversas imagens de regiões tais como: cérebro, pescoço, coluna cervical, abdome e tórax. Foram executadas consultas aos 40 vizinhos mais próximos para cada imagem de referência, com ambas a distância métrica e a WMD. A Figura 4 ilustra os resultados obtidos para uma imagem de abdome inferior. Nela podemos constatar que a WMD retornou um conjunto de imagens com grau de semelhança (em relação à imagem de busca) bem maior do que a distância métrica. Isso se deve ao fato de que várias das imagens capturadas com a WMD, embora bastante semelhantes à imagem de busca, possuíam distorções de brilho e contraste em relação a esta. Por causa disso, essas imagens acabaram sendo descartadas pela distância métrica. Por outro lado, a WMD não apresentou resultados melhores nas consultas em que a imagem de busca era muito escura (com quantidade de buckets abaixo de 10). Para essa situação, os poucos valores de níveis de cinza presentes fazem com que dois níveis vizinhos representem regiões distintas e específicas da imagem e, por isso, o efeito warp acaba por "confundir" essas regiões. Nesse caso, é melhor manter o uso da distância métrica nos cálculos de similaridade.

5 RADIOLOGISTA 1 MÉTRICO WARP (a) precision recall RADIOLOGISTA 2 MÉTRICO WARP (b) Figura 4. Resultados de consulta aos vizinhos mais próximos: a) com a WMD; b) com a distância métrica. A imagem do canto superior esquerdo da tela é a imagem de busca. A seqüência é para a direita e para baixo. Experimento 2. Foi apresentado a dois médicos radiologistas um conjunto de 15 imagens relativas a cortes sagitais de cabeças humanas. Solicitou-se a eles que colocassem essas imagens em ordem decrescente de similaridade com relação a uma imagem escolhida. Executou-se o aplicativo de consulta aos vizinhos mais próximos sobre as 15 imagens, com ambas as distâncias WMD e métrica. Tomando a seqüência de cada radiologista como referência, foram calculados valores de precision e recall para as sequências obtidas com as distâncias WMD e métrica: para cada possível quantidade de resultados (variando de 1 a 15) foi contabilizada a quantidade de imagens obtidas com a distância, que faziam parte do conjunto de imagens escolhidas pelo radiologista. A Figura 5 mostra os gráficos de precision x recall resultantes. precision recall Figura 5. Gráficos precision x recall obtidos com as distâncias métrica e WMD, tomando como referência as classificações de dois radiologistas. Podemos ver que, apesar de as sequências fornecidas pelos dois radiologistas serem diferentes, para ambas a WMD gerou curvas de precisão melhores (valores mais próximos de 1) do que a distância métrica. Discussão e Conclusões Dos resultados obtidos com o Experimento 1 podemos verificar a superioridade da Warp Metric Distance (WMD) como medida de similaridade entre imagens médicas, principalmente nos casos em que a base de dados possui imagens oriundas de diferentes equipamentos radiológicos, ou então que sofreram tratamentos por diferentes usuários. Em ambos os casos, as imagens provavelmente apresentarão variações de brilho e contraste e,

6 nesse caso, a WMD mostra-se mais flexível e menos sensível a essas variações. Para os casos em que os resultados da WMD não foram melhores do que os da distância métrica (imagens muito escuras), podemos implementar uma adaptação no aplicativo, que permita ao programa alternar entre o uso das duas distâncias, de acordo com a quantidade de buckets do histograma da imagem de busca. Com relação à comparação com as avaliações realizadas por radiologistas no Experimento 2, podemos concluir que a WMD apresenta resultados semanticamente mais precisos, sou seja, mais próximos daqueles que o usuário de um sistema PACS espera receber quando executar uma consulta baseada em similaridade. Uma observação interessante levantada durante o Experimento 2 é de que os dois radiologistas, ao explicar os critérios utilizados na avaliação, revelaram ter se baseado em parâmetros diferentes: enquanto o primeiro avaliou a similaridade focando na região mais importante das imagens, o segundo usou uma visão mais abrangente e generalizada como critério. Isto ilustra o alto grau de dificuldade enfrentado pelos sistemas automáticos quando tentam aproximar seus mecanismos de avaliação dos conceitos utilizados pelo analista humano. Agradecimentos Os autores agradecem aos médicos radiologistas Samuel Marcos G. Guacelli (CRM-SP 14746) e Maria Cristina R. Guacelli (CRM-MG 38507) pelas avaliações realizadas para o Experimento 2. Referências [1] Marsh, A. (1997), "EUROMED - The Creation of a Telemedical Information Society", Proceedings of the 10 th IEEE Symposium on Computer Based Medical Systems, Maribor - Slovenia. [2] Siegel, E.L. (1999), "Current State of the Art and Future Trends in Filmless Radiology", E.L. Siegel and R.M. Kolodner, Editors, Springer Verlag, New York City - USA, p [3] Korn, F., Sidiropoulos, N., Faloutosos, C., Siegel, E., Protopapas, Z. (1996), "Fast Nearest Neighbor Search in Medical Image Databases", Proceedings of the 22 th International Conference on Very Large Databases (VLDB), Bombay India, p [4] Rubner, Y. and C. Tomasi (2001), "Perceptual Metrics for Image Database Navigation", The Kluwer International Series in Engineering and Computer Science. [5] Bueno, J. M., F. Chino, A. J. M. Traina, J. C. Traina and P. M. A. Marques (2002), "How to Add Content-based Image Retrieval Capability in a PACS", Proceedings of the 15 th IEEE International Conference on Computer Based Medical Systems - CBMS, Maribor - Slovenia. [6] Bueno, J. M., (2002) "Suporte à Recuperação de Imagens Médicas Baseada em Conteúdo Através de Histogramas Métricos". Tese de Doutorado, Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos - Brasil. [7] Keogh, E. J. (2002), "A Tuturial on Indexing and Mining Time Series Data", Tutorial, XVII Simpósio Brasileiro de Banco de Dados, Gramado - Brasil, out. [8] Keogh, E. (2002), "Exact Indexing of Dynamic Time Warping", Proceedings of the 28 th VLDB Conference, Hong Kong - China. [9] Keogh, E. J., Pazzani, M. J. (2001), "Derivative Dynamic Time Warping", Proceedings of the First SIAM International Conference on Data Mining, Chicago - USA, 5-7 abr. Contato Joaquim Cezar Felipe Departamento de Física e Matemática - Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto - Universidade de São Paulo. Fone: (16) jfelipe@ffclrp.usp.br