Sistema de Recuperação de Imagens Baseada em Conteúdo Usando Mapas de Kohonen e Técnicas de Correlação Cruzada.

Transcrição

1 Sistema de Recuperação de Imagens aseada em Conteúdo Usando Mapas de Kohonen e Técnicas de Correlação Cruzada. T. C. S. Santos André *, P. M. de Azevedo Marques*, J. A. H. Rodrigues* and R. M. Rangayyan**. * USP_FMRP/Departamento de Clínica Médica, Ribeirão Preto, SP, rasil. ** University of Calgary/ Department of Electrical & Computer Engineering, Calgary, A, Canada. Resumo: Recuperação de imagens baseado em conteúdo (RIC) tem sido uma área de pesquisa intensamente estudada no campo da visão computacional nos últimos 0 anos. Na medicina, imagens, especialmente imagens digitais, são produzidas numa quantidade crescente e usadas tanto no diagnóstico quanto em terapias de tratamento de doenças. O Departamento de Radiologia do Hospital das Clínicas de Ribeirão Preto sozinho produziu mais de.000 imagens em 3. Neste trabalho apresentamos um sistema de recuperação de imagens baseado em conteúdo que utiliza uma rede neural do tipo de Kohonen para reduzir o tamanho das imagens e a técnica da correlação cruzada para recuperar imagens mamográficas similares àquela apresentada ao sistema. A avaliação da performance do sistema foi feita usando medidas de precisão (0,) e revocação (0,3) mostrando a necessidade de trabalhos futuros nesta área. Palavras Chaves: recuperação de imagens médicas, recuperação de imagens baseada em conteúdo, correlação cruzada, mamogramas, mapas de Kohonen. Abstract: Content-based image retrieval (CIR) has been one of the most vivid research areas in the field of computer vision over the last 0 years. In the medical field, images, especially digital images, are being produced in ever-increasing quantities and used for diagnostics and therapy. The Radiology Department of the University Hospital of the Faculty of Medicine of Ribeirão Preto alone produced more than,000 images in 3. We have been developing a CIR system using a Kohonen neural network to reduce the size of the images and a cross-correlation technique to retrieve similar mammographic images. Evaluation of the system s performance using measures of precision (0.) and recall (0.3) indicates the need for further work in this area. Key words: medical image retrieval, content-based image retrieval, cross correlation, mammograms, Kohonen maps. Introdução Os primeiros sistemas de recuperação de imagem baseado em conteúdo (RIC) foram desenvolvidos no início dos anos 80 [], sendo que a maioria das pesquisas nesta área se inspirou no sistema da IM ( Query y Image Content - QIC) como ponto de partida dos seus trabalhos []. Um sistema comercial de recuperação de imagens e vídeo que podemos citar é o Virage [3] que possui clientes bem conhecidos como a CNN. Porém a maioria dos sistemas conhecidos são da área acadêmica. Destes podemos citar dois exemplos bem conhecidos, o Photobook [4] e o Netra [5] que usam cores e características de textura para descreverem o conteúdo das imagens. No que diz respeito à características das imagens existe uma variedade maior de medidas de textura se comparada com medidas de cores, um pouco devido à imprecisão no entendimento e definição do que seja textura visual. Algumas das medidas mais comuns usadas para extrair características de textura de imagens são wavelets [6] e filtros de Gabor [7]; filtros de Gabor apresentam uma melhor performance e correspondem bem à propriedade do córtex visual humano no que diz respeito à detecção de borda [8]. Outros descritores de textura muito populares contém: características que derivam da matriz de co-ocorrência de níveis de cinza [9], características baseadas na transformada de Fourier [0], e as chamadas características de Wold []. asicamente todo sistema RIC usa a suposição de equivalência da imagem e sua representação no espaço de características. Alguns Sistemas RIC usam técnicas de medidas tais como modelo de vetores no espaço Euclidiano para medidas de distância entre uma imagem de

2 pesquisa e possíveis imagens semelhantes. Nestes casos as imagens são representadas como vetores de características em um espaço vetorial n-dimensional e as semelhanças estão associadas à menor distância Euclidiana entre tais vetores. Outros usam medidas de distâncias existentes nos espaços vetoriais tais como distancia city-block, distância Mahalanobis e intersecção de histogramas []. Algumas abordagens usam estruturas probabilísticas para medir a probabilidade de uma imagem ser relevante em relação à imagem de pesquisa. Vários sistemas usam métodos que são bem conhecidos no campo de recuperação de textos, ou busca por palavras, e os aplicam às características visuais onde as características visuais correspondem de forma aproximada às palavras nos textos [7]. Isto se baseia nos dois princípios a seguir: Uma característica que aparece com frequência numa imagem descreve bem esta imagem. Uma característica que aparece com frequência numa coleção de imagens é um forte indicador para se distinguir uma imagem em relação à outra. Estamos propondo um sistema RIC baseado em uma rede neural do tipo mapa autoorganizável (MAO) de Kohonen [3] para criar um vetor de características de cada imagem. Posteriormente usamos a técnica da correlação cruzada para estabelecer as semelhanças exixtentes. Apresentamos resultados da aplicação do sistema em imagens mamográficas e discutimos tais resultados no contexto de sistemas de auxílio computadorizado ao diagnóstico de câncer de mama. Materiais e Métodos Escolhemos a base de dados mini MIAS [4] para treinar e testar o sistema RIC proposto. A base de dados original conhecida como MIAS (cujas imagens foram digitalizadas com uma resolução de 50 microns de tamanho de pixel) foi reduzida para uma resolução de microns de tamanho de pixel, formando a base de dados mini MIAS, cujos mamogramas foram cortados e colados em uma moldura escura gerando imagens de 04 por 04 pixels e 8 bits de escala de quantização de cinza. Um conjunto de 3 imagens, contendo imagens mamográficas das mamas esquerda e direita, projeção médio lateral, de 6 pacientes foram usadas neste estudo. Um radiologista experiente classificou cada mamograma de acordo com quatro características: densidade ( a 4), tamanho da mama (pequeno, médio ou grande), lado (mama esquerda ou direita) e forma da mama (arredondada ou periforme). Esta classificação foi usada na tentativa de medir a performance do sistema RIC para cada pesquisa feita na base de dados. O primeiro passo na construção da rede neural foi a determinação da estrutura do MAO [5]. Para evitar um número excessivo de padrões no treinamento do MAO, apenas a parte central dos mamogramas foi selecionada (das colunas de pixel 80 a 840 e das linhas de pixel 70 a da matriz de pixel das imagens). O treinamento do MAO foi feito da seguinte forma, 4 mamogramas foram selecionados randomicamente de modo a representarem todas as categorias de anormalidades, os dois lados, as quatro densidades, as duas formas e os três tamanhos dos mamogramas da base de dados. Estes mamogramas foram divididos ou retalhados em 3458 quadros de 5 por 5 pixels. Estes quadros formavam os padrões de entrada do MAO que tinha 60 (5 vezes 5) neurônios na camada de entrada que foi alimentada com o valor de nível de cinza de cada pixel das regiões quadradas. A camada de saída do MAO foi empiricamente estabelecida e possuía 9 neurônios arranjados numa topologia plana de 3 por 3 neurônios. O MAO foi treinado com estes 3458 padrões um número suficiente de épocas de forma a garantir a convergência dos pesos dos neurônios da rede. Após a fase de treinamento o MAO foi usado para construir um mosaico de cada imagem porem usando os quadros 3 por 3 da saída da rede e não mais os quadros 5 por 5 da entrada. Cada mosaico foi montado com 36 (9x9) quadros de tamanho 3x3 pixel. Estes mosaicos foram usados como vetores de características para representar as imagens no sistema RIC. Usamos a técnica da correlação cruzada sobre os mosaicos descritos acima para comparar a imagem de pesquisa com as 3 imagens (incluindo a própria imagem de pesquisa) da base de dados na recuperação baseada em conteúdo. A medida da correlação cruzada C foi calculada para cada mosaico segundo a expressão: C = { A( m, A} ( m m= n= { } σ Aσ, onde A e σ A () são medidas da media e da variância dos valores de pixel de cada mosaico da base de dados respectivamente; e σ são medidas da media e da variância dos valores de pixel do mosaico da imagem de pesquisa; M e N representam o tamanho em pixel de cada mosaico (igual a 57 e 57 respectivamente). A média e a variância dos valores de pixel nos mosaicos A e são definidos pelas seguintes equações:

3 A = = M N m= n= M N m= n= (, ) A m n ( m, { A( m, A} () (3) σ = (4) A m= n= σ = { ( m, } (5) m= n= As grandezas usadas para avaliar o sistema de recuperação de imagem foram a precisão e a revocação, definidas por [6]: número de images relevantes recuperadas precisão =, número de imagens recuperadas número de imagens relevantes recuperadas revocação =. número de imagens relevantes Resultados Vinte imagens foram selecionadas aleatoriamente da base de dados para testar o sistema RIC proposto. Foram calculadas a precisão e a revocação de cada pesquisa considerando todas as quatro características e também foram calculadas tais grandezas para cada característica separadamente em cada pesquisa. A média dos valores obtidos para estas grandezas é apresentada na tabela. Tabela : Média dos resultados das 0 pesquisas. Todas Dens. Forma Tam. Lado Características Precisão Rev. Precisão Precisão Precisão Precisão O sistema gera automaticamente um gráfico após cada consulta mostrando os valores de correlação cruzada entre a imagem de pesquisa e as imagens da base de dados. Usando este gráfico podemos selecionar um valor de corte para a correlação cruzada e selecionar os casos que o sistema considerou mais relevantes a partir deste valor. O sistema mostra as imagens recuperadas em ordem descendente de valores de correlação cruzada. A Figura mostra a pesquisa feita com a imagem de nome, posição superior esquerda da figura, e as cinco imagens recuperadas em ordem de valores decrescentes de correlação cruzada, da esquerda para a direita e de cima para baixo (mdb007, mdb47, mdb03, mdb9 e mdb9). O sistema também é capaz de mostrar as imagens cujos valores de correlação cruzada foram os menores. Estas imagens são mostradas na Figura. Podemos notar que os valores de correlação obtidos são negativos. mdb mdb mdb mdb mdb Figura : Cinco imagens recuperadas pelo sistema RIC para a imagem de pesquisa (superior esquerdo). Os valores de C para as imagens recuperadas são, em ordem decrescente: , , , e Discussão A busca através de um sistema RIC que usa apenas características visuais se torna um problema relativamente difícil. Em nosso sistema usamos apenas análise de textura para a recuperação das imagens que são similares àquela imagem de pesquisa. De uma maneira geral o sistema RIHC desenvolvido apresentou resultados ruins, conforme apresentado na Tabela, entretanto olhando os resultados de cada característica separadamente vemos que com relação à forma, tamanho e lado das mamas os resultados são relativamente bons, demonstrando um potencial de aplicação [7]. Os resultados apresentados na Figura, que mostram as imagens menos correlacionadas, são visualmente interessantes e bons. Para resolver o problema da performance ruim com relação à categorização através da densidade da mama serão necessários alguns ajustes. Acreditamos que modificando a fase de treinamento do MAO podemos melhorar tal performance, uma vez que nesta fase o sistema, apesar de reter grande parte da informação da imagem original, acaba por perder alguma informação no que tange à densidade da mama. Acreditamos, portanto que melhores resultados poderão ser obtidos com um treinamento mais apurado do MAO bem como a utilização de

4 técnicas de realce. Podemos inclusive incluir técnicas adicionais em conjunto com a correlação cruzada para melhorar a performance do sistema no que diz respeito à densidade da mama, tal como a técnica de modelamento do disco fibro glandular através da mistura de Gaussianas [8]. Fizemos uma simulação de um sistema deste tipo, onde a busca é feita apenas nas imagens que possuem a mesma densidade da imagem de pesquisa, e não em toda a base de dados, e apresentamos os resultados na Figura 3. mdb54 Outro problema a ser resolvido diz respeito à definição do que seja similaridade entre imagens. Temos que apresentar os resultados da busca a potenciais usuários do sistema RIC proposto para que estes possam avalia-lo. Neste projeto caracterizamos os mamogramas usados de acordo com quatro grandezas fornecidas por apenas um radiologista experiente. Isto nos leva a outra questão, qual seja, a variabilidade entre observadores. Os resultados obtidos até o momento mostram que novos estudos serão necessários para melhorar a performance do sistema RIC proposto. Agradecimentos mdb mdb74 Este trabalho foi financiado pela FAPESP, processos números 99/ e 03/ Referências mdb mdb04 [] CHANG, N.-S. and FU K.-S. Query-bypictorial-example, IEEE Trans. Sofware Eng. SE 6 (6), pp , Figura : Cinco imagens menos correlacionadas em relação à imagem de pesquisa (superior esquerdo). Os valores de C para estas imagens são: -0,4043, -0,440, -0,94, -0,799 e 0,58. [] FLICKNER M., SAWHNEY H., NILACK W., ASHLEY J., HUANG Q., DOM., GORKANI M., HAFNER J., LEE D., PETROVIC D., STEELE D., AND YANKER P., Query by image and video content: the QIC system, IEEE Comput., 8 (9), pp. 3-3, 980. [3] Virage, Internet site address: accessed on 3/05/4. mdb9 [4] PENTLAND A., PICARD R. W., and SCLAROFF S., Photobook: tools for contentbased manipulation of image databases, Int. J. Comput. Vis. 8 (3) pp , 996. mdb mdb mdb mdb09 [5] MA W.Y., DENG Y., and MANJUNATH. S., Tools for texture-and-color-based search of images in: Rogowitz,. E. and Pappas, T. N. (Eds), Proc. of the Third Int. Conf. on Visual Inf. System (VISUAL 99), no. 64 in Lecture Notes in Computer Science, Springer-Verlag, Amsterdam, The Netherlands, pp , Figure 3: Cinco imagens recuperadas pelo sistema RIC para a imagem de pesquisa (superior esquerdo). Os valores de C para as imagens recuperadas são, em ordem decrescente: 0.944, , 0.939, 0.9 e 0.9. [6] ORTEGA M., RUI Y., CHAKRAARTI K., PORKAEW K., MEHROTRA S., and HUANG T. S., Supporting ranked oolean similarity queries in MARS, IEEE Trans. Knowledge Data Eng. 0 (6) pp , 998. [7] SQUIRE D. M., MÜLLER W., MÜLLER H., and PUN T., Content-based query of image databases: in-spirations from text retrieval

5 Pattern Recognition Letters, vol., pp , 0. [8] DAUGMAN J. G., An information theoretic view of analog representation in striate cortex, Computat. Neurosci. pp. 9-8, 990. [9] WESZKA J. S., DYER C. R., and ROSENFELD A., A comparative study of texture measures for terrain classification, IEEE Trans. Sys. Man Cybernetics 6 (4) pp , 976. [0] MILANESE R. and CHERULIEZ M., A rotation, translation and scale-invariant approach to content-based image retrieval, J. Visual Commun. Image Represent. 0 pp , 999. [] LU C. S. and CHUNG R. F., Wold features for unsupervised texture segmentation, in Proc. 4 th Int. Conf. on Pattern Recognition (ICPR 98), IEEE, risbane, Australia, pp , 998. [] SWAIN M. J. and ALLARD D. H., Color indexing, Int. J. Comput. Vis. 7 () pp. - 3, 99. [3] KOHONEN T. Self Organizing Maps, Spring-Verlag erlin Heidelberg New York, 997. [4] SUCKLING J., PARKER J., DANCE D., ASTLEY S., HUTT I., OGGIS C., RICKETTS I., STAMATAKIS E., CERNEAZ N., KOK S., TAYLOR P., ETAL D., and SAVAGE J., "The mammographic images analysis society digital mammogram database." Exerpta Medica. International Congress Series 069: pp , 994. [5] ANDRÉ T. C. S. S. and ROQUE A. C., Sistema de diagnóstico de câncer baseado em redes neurais, XVII Congresso rasileiro de Engenharia iomédica CE'0, Florianópolis, Santa Catarina, -3 Setembro, 0. [6] MÜLLER H., MICHOUX N., ANDON D., and GEISSUHLER A., A review of content-based image retrieval systems in medical applicationsclinical benefits and future directions, Int. Journal of Med. Inf. 73, pp. 3, 4. [7] OONE J. M., HURLOCK G., S., SEIERT A., and KENNEDY R. L., Automated recognition of lateral from PA chest radiographs: saving seconds in a PACS environment, Journal of Dig. Im. Vol. 6, No 4, pp , 3. [8] FERRARI R. J., RANGAYYAN R. M., ORGES R. A., and FRÈRE A. F., Segmentation of fibro-glandular disc in mammograms via Gaussian mixture modeling, Medical and iological Engineering and Computing, 4. In press. Contato Túlio César S. S. André - PhD - MsC - CQE Centro de Ciências da Imagem e Física Médica Faculdade de Medicina de Ribeirão Preto - USP Av. andeirantes, 3 - CEP Fone Fax tulio@cci.fmrp.usp.br