cbpacs: PACS com Suporte à Recuperação de Imagens Médicas Baseada em Conteúdo

Transcrição

1 cbpacs: PACS com Suporte à Recuperação de Imagens Médicas Baseada em Conteúdo Josiane M. Bueno 1, Agma J.M. Traina 1, Caetano Traina Jr. 1, Paulo M. Azevedo-Marques 2 1 Grupo de Bases de Dados e Imagens (GBDI), Instituto de Ciências Matemáticas e da Computação (ICMC) Departamento de Ciências de Computação e Estatística Universidade de São Paulo (USP), Brasil 2 Centro de Ciências de Imagens e Física Médica (CCIFM) Faculdade de Medicina de Ribeirão Preto (FMRP) Universidade de São Paulo (USP), Brasil Resumo - Este trabalho apresenta a arquitetura de um Sistema de Arquivamento e Comunicação de Imagens (Picture Archive and Communication System - PACS), chamado cbpacs, com recursos para recuperação de imagens baseada em conteúdo utilizando um novo método de etração de características de imagens chamado histograma métrico. Além disso, uma nova função de distância métrica foi desenvolvida para comparar dois histogramas métricos e incorporada a Slim-Tree, um MAM (Metric Access Method). Este sistema vem sendo desenvolvido de forma conjunta entre o Grupo de Bases de Dados e Imagens (GDBI) do Instituto de Ciências Matemáticas e de Computação da USP e o Centro de Ciências de Imagens e Física Médica (CCIFM) da Faculdade de Medicina de Ribeirão Preto da USP. Palavras-chave: Informática Médica, Recuperação de Imagens Baseada em Conteúdo, PACS, MAM. Abstract - This work presents the architecture of a PACS (Picture Archive and Communication System), called cbpacs, with content-based image retrieval resources based on a new image feature etractor called the metric histogram. In addition, a new metric distance function was developed to compare two metric histograms and was integrated to the Slim-tree, a MAM (Metric Access Method). This system has been developed by the Image Data Base Group of Instituto de Ciências Matemáticas e de Computação of USP and the Centro de Ciências de Imagens e Física Médica of Faculdade de Medicina de Ribeirão Preto of USP. Key-words: Medical Informatics, Content-Based Image Retrieval, PACS, MAM. Introdução A organização e recuperação rápida e descentralizada da informação de pacientes, incluindo seus eames, são um dos principais anseios da comunidade médica em geral [1] [2] [3]. O desenvolvimento de novas técnicas de obtenção de imagens digitais e o aumento de modalidades em imagens médicas que geram imagens na forma digital tem levado ao desenvolvimento de sistemas de gerenciamento de imagens digitais [4] [5]. Os sistemas de arquivamento e comunicação de imagem (Picture Archiving and Communication Systems - PACS) cuidam da captura, armazenamento, recuperação, distribuição e eibição de informações médicas relevantes ao bom funcionamento de um centro de aquisição de imagens médicas. Aplicados às imagens médicas, esses sistemas organizam todas as informações relevantes (tetuais e pictóricas) dos pacientes em análise [1] [3]. Tradicionalmente, os sistemas PACS associam as imagens ao prontuário de pacientes utilizando atributos tetuais previamente associados aos mesmos. Porém, técnicas para recuperação de imagens baseada em suas próprias informações pictóricas trazem um potencial de auílio muito maior ao diagnóstico. Com estes recursos, torna-se possível, por eemplo, solicitar de um banco de imagens todas as imagens que possuem um determinado objeto (que é representado por uma imagem de referência), ou mesmo solicitar imagens que sejam semelhantes entre si, dado um grau de semelhança, além de ser possível a utilização de chaves tetuais como um filtro de consultas adicional. Tais consultas permitem a construção de aplicativos para suporte a diagnósticos, possibilitando que o médico faça cruzamentos entre tratamentos realizados anteriormente em pacientes, cujos eames por imagens sejam parecidos. Observe que tais aplicativos são um suporte ao diagnóstico, porém não visam o desenvolvimento de um sistema especialista que possa prescindir de um profissional da área médica [6] [7]. O grupo de Bases de Dados e Imagens (GBDI), do Instituto de Ciências Matemáticas e de

2 Computação - ICMC-USP, vem pesquisando tais potencialidades, cujos resultados têm sido utilizados para desenvolver um sistema para recuperação de imagens baseada em conteúdo (content-based image retrieval) o qual vem sendo incorporado ao protótipo de um sistema PACS, chamado cbpacs, cujos módulos operacionais para o armazenamento e recuperação de imagens são apresentados na Figura 1 [7]. O desenvolvimento desse sistema vem sendo realizado através de pesquisa comum entre o GBDI e o e o Centro de Ciências das Imagens e Física Médica do ospital das Clínicas da Faculdade de Medicina de Ribeirão Preto (CCIFM- C/FMRP) - USP. REDE Sistema de Armazenamento de Dados e Imagens INTRANET SGBD Sistema de Gerenciamento de Estruturas Métricas Sistema de Recuperação de Imagens por Similaridade (SERVIDOR) INTERNET Sistema de Recuperação de Imagens por Similaridade (CLIENTE) CLIENTE Slim-Tree Figura 1 Módulos Operacionais do cbpacs. Como o CCIFM é um centro que gera eames por vários modos de aquisição e como as imagens geradas por cada modalidade possuem características distintas e que necessitam de técnicas específicas para processamento de imagens, decidiu-se focar inicialmente um domínio de aplicação: imagens de Tomografia por Ressonância Magnética (ToRM). Por ser um sistema aberto e descentralizado, futuramente, será possível epandir o cbpacs acrescentando módulos específicos de processamento de imagens para tratar outras modalidades. Além da proposta do próprio cbpacs, entre as principais contribuições deste trabalho encontra-se, também, o desenvolvimento de um novo método de etração de características chamado histograma métrico. Os histogramas métricos permitem comparar imagens de tamanhos variados e mapeadas em diferentes faias de quantização (se a alteração de brilho for linear). Para permitir consultas por similaridade a partir de estruturas de índices, como a Slim-tree, foi necessário desenvolver uma nova função de distância métrica, a qual utiliza a diferença de área entre pares de histogramas métricos, a fim de identificar o grau de dissimilaridade entre as imagens correspondentes [8] [9]. Metodologia As imagens são representadas como um conjunto de elementos (piels) colocados em uma grade regular. Os valores associados a cada piel são aqueles obtidos do processo de quantização e correspondem à luminosidade associada à imagem. Assim, formalmente uma imagem pode ser representada pela seguinte notação: Definição 1. Uma imagem A é uma função definida sobre uma faia bidimensional G[0, 0 ] [0,y 0 ] tomando valores do conjunto de possíveis de luminosidade V[0,v 0 ]. Isto é, A{(,y, v(,y))/(,y) G e v V}. Um histograma de imagem é composto por um número de recipientes que depende da resolução de quantização da imagem. Geralmente este valor é dado em eponencial de 2, isto é: 64, 128, 256 etc. Em imagens médicas, dentro de um mesmo domínio, geralmente este valor é fio. Formalmente um histograma pode ser eplicitado com a seguinte definição: Definição 2. O histograma A (z) de uma imagem A fornece a freqüência de cada valor de luminosidade z na imagem. O histograma de uma imagem com t-níveis de luminosidade é representado por um vetor com t-elementos, chamados bins. Definição 3. O histograma normalizado N A (z) de uma imagem A fornece a freqüência em porcentagem de cada valor de luminosidade z na imagem. O histograma normalizado de uma imagem, com t-níveis de luminosidade, é também representado por um vetor com t-elementos. Deve-se observar que o histograma normalizado é invariante em relação às transformações geométricas (escala, rotação e translação). Os histogramas normalizados permitem comparações de imagens de qualquer tamanho, assim transformações geométricas realizadas sobre as imagens fontes fornecerão o mesmo histograma. Entretanto, seria interessante conseguir um histograma que fosse também invariante com relação às transformações lineares de brilho. Tal fato será obtido com a proposta apresentada neste trabalho. O primeiro passo necessário para permitir a etração de características das imagens foi eliminar o fundo e trabalhar com a imagem em si. Isso é importante, pois permite o tratamento de operação de translação e escala sobre a imagem de forma natural. Note-se que a maior parte das imagens deste projeto, que foram obtidas por ToRM, possui uma característica interessante, que é a imagem estar rodeada pelo fundo. Eliminandose o fundo da imagem podemos também visualizar mais claramente os histogramas, pois com o fundo a densidade de piels para o tom preto é muito discrepante em relação às densidades para os demais tons.

3 A forma do histograma pode ser mantida utilizando uma curva de aproimação que pode ser representada por um conjunto de segmentos de retas. istogramas de diferentes imagens podem ser aproimados utilizando quantidades diferentes de segmentos de reta, tal que a aproimação seja otimizada para cada histograma. Portanto, estas aproimações não possuem um número pré-definido de retas, pois depende de cada imagem. Dessa forma, o domínio de representação para as aproimações não tem um número de dimensões definido. Isso significa que não podem ser vistos como pontos em algum espaço dimensional. Na realidade, as aproimações dos histogramas das imagens são, dessa forma, adimensionais. Para obtenção da curva (linear por partes) de aproimação de um dado histograma, foi proposto um algoritmo para identificação de pontos de controle baseado em gradiente. Em linhas gerais, na primeira parte do algoritmo definem-se alguns pontos de controle identificando os pontos de máimo e mínimo da função que define o histograma. Na segunda parte do algoritmo, seleciona-se alguns pontos intermediários, como pontos de controle, baseando-se na distância entre pontos adjacentes de máimos e mínimos, tentando manter a dimensão do conjunto de pontos de controle próima a 32. O conjunto de pontos de controle obtido a partir deste processo foi denominado histograma métrico. Formalmente: Definição 4. Um histograma métrico M A (z) de uma imagem A é definido como M (A){N A,<b k,h k > 0 k N A }, que é um conjunto de N A recipientes (buckets) formados por pares <b k,,h k > consecutivos, onde b k indica largura e h k altura. Um histograma normalizado é composto por um número de bins. Este número depende da resolução de luminosidade da imagem, assim é um número fio. Em um histograma métrico, o equivalente ao bin do histograma é chamado um bucket. Cada bucket corresponde a um segmento de linha aproimado e, conseqüentemente, representa um subconjunto de bins do histograma original. Os buckets não precisam ser regularmente espaçados. O número N A de buckets em um histograma métrico depende do erro de aceitação no processo de aproimação da curva linear por partes sobre o histograma. Cada bucket i é definido por dois pares consecutivos <b i-1, h i-1 > e <b i, h i >, para 1 i N A, onde <b i-1, h i-1 > é o bin mais à esquerda do histograma original representado no bucket i, e <b i, h i > é o bin mais à direita do histograma original representado no bucket i. A Figura 2 representa graficamente os bins e buckets de um histograma. Bins Buckets pares <bk,hk> Figura 2 istograma normalizado com pontos de controle <b k,h k > que definem os buckets correspondentes ao seu histograma métrico. Para obter um histograma métrico que melhor aproime o histograma original é preciso determinar o menor conjunto de segmentos de retas (buckets) da função que o representa. Como cada bucket é composto por pares <b k, h k > consecutivos, que correspondem a bins do histograma original, primeiramente, é necessário encontrar o subconjunto mais representativo de bins candidatos a pares <b k, h k >, os quais denominamos pontos de controle. O primeiro passo do algoritmo é identificar a(s) janela(s) (subconjunto(s) de bins consecutivos) com a maior concentração de piels do histograma original. Conforme é ilustrado na Figura 3, os pontos de controle P 2 e P 3 definem esta janela. Uma vez identificada a(s) janela(s) de interesse, procura-se pelos pontos de máimo e mínimo contidos nesta(s). Assim, obtém-se o conjunto de buckets que compõem o histograma métrico. freqüência de luminosidade (%) P 1 P 2 P 4 Já eistiam aplicações que utilizavam o algoritmo da Slim-tree para indeação e busca de palavras, além de dados espaciais e geográficos. Para possibilitar a indeação dos vetores de características baseados em histogramas métricos e, por conseguinte, suportar recuperação de imagens baseada em conteúdo, foi necessário desenvolver uma nova função de distância métrica. Isto foi necessário porque as distâncias P 3 Intensidade Figura 3 Identificação da janela de interesse.

4 mais comuns, como a Euclidiana ou qualquer métrica Lp 1 [Brunelli_1998] [Wilson_1997], não podiam mais ser utilizadas, pois cada vetor de características (histograma métrico) possui um número de elementos particular. istogramas tradicionais de imagens semelhantes possuem distribuições parecidas. Normalmente, o cálculo de dissimilaridade entre histogramas é dado pela somatória da diferença entre os bins de dois histogramas. Com relação aos histogramas métricos a questão é como compará-los, uma vez que o número de buckets e a distribuição dos buckets de diferentes histogramas são variáveis. Por eemplo, como calcular a distância euclidiana entre um histograma com 30 buckets de outro com 20? Isso porque, considerando os histogramas tradicionais como um conjunto de pares cartesianos, os valores em serão sempre os mesmos para todos os histogramas, o que não ocorre com os histogramas métricos. Portanto, para fazer o cálculo da distância entre histogramas métricos foi desenvolvido um novo algoritmo baseado no cálculo da diferença considerando que cada um deles ocupa uma área caracterizada pela distribuição de piels e que a diferença entre estas áreas indica quão dissimilares são os histogramas. Utilizando esta concepção pode-se concluir que quando dois histogramas similares são comparados a diferença entre suas áreas de distribuição é pequena. Definição 5. A distância métrica DM() entre dois histogramas métricos M (A) e M (B) é dada pela área não sobreposta entre as duas curvas que representam os histogramas métricos, isto é: bm DM(M(A),M (B)) M (A, ) M (B, )d 0 (1) onde bmmá(b NA-1, b NB-1 ) e M (Imagem, ) é a função contínua que representa o histograma métrico. A Figura 4 fornece um eemplo de como calcular a distância entre dois histogramas métricos. Para simplificar a notação, definimos a indicação de largura b i do histograma métrico da imagem A como A bi, e a indicação de altura h i do histograma métrico da imagem A como A hi. Na Figura 4(a), os dois histogramas são sobrepostos, e são mostrados os pontos de intersecção e aqueles que limitam os buckets. Em (b) até (d) é mostrado como tais pontos são utilizados para calcular a área dentro de cada região. Note que o número de passos é maior que ou igual ao número de buckets do histograma com mais buckets. Isto é devido ao fato de que como o 1 As distâncias L p são definidas da seguinte forma: L L p (( a )( )) p 1, K, ak, b1, K, bk k i 1 i p i a b k (( a1, K, ak ), ( b1, K, bk )) ma i ai bi 1 e comprimento dos buckets é variável, em algumas ocasiões eles devem ser divididos a fim de obter a área entre os dois histogramas considerados. Isto é eemplificado em (b). Em (c) e (d) são mostrados os próimos dois passos realizados para obter DM(), ajudando a compreender como o algoritmo funciona. Quando um dos histogramas métricos termina antes do outro, isto é, quando N A <N B, o cálculo da distância também pára. A distância DM() atende aos três requisitos para ser uma métrica: simetria, não negatividade e desigualdade triangular. Provando, formalmente: a) Simetria: Sejam dois histogramas métricos M (A) e M (B). A distância: DM DM ( M ( A), M ( B) ) M ( A) M ( B) M ( B) M ( A) d ( M ( B), M ( A) ) c. q. d. d (2) b) Não Negatividade: A distância DM() por definição é um somatório de valores absolutos, logo não pode resultar em valor negativo. DM 0 ( M ( A), M ( A) ) M ( A) M ( A) c. q. d. d (3) c) Desigualdade Triangular: Seja M (C) um terceiro histograma métrico. ( M ( A), M ( C )) M ( A), M ( C) d M ( A) M ( C) d + M ( B) M ( B) DM M M DM d ( A) M ( B) + M ( B) M ( C) ( A) M ( B) d + M ( B) M ( C) d ( M ( A), M ( B) ) + DM ( M ( B), M ( C )) c. q. d (a) (c) Figura 4 Distância Métrica entre dois histogramas métricos calculando a área entre eles. é igual a zero pela propriedad e b) d (b) (d) (4)

5 Os eperimentos mostram que o número de buckets no histograma métrico é muito menor que o número de bins dos histogramas normalizados, reduzindo de 256 bins para buckets nos histogramas métricos. É importante recordar que os histogramas métricos são obtidos de histogramas normalizados. Assim, mantêm-se as seguintes propriedades: Propriedade 1. Uma imagem original e a mesma escalada, transladada ou rotacionada terão o mesmo histograma métrico. Propriedade 2. Os histogramas métricos são curvas no espaço, assim estes podem ser ajustados no seu começo e fim. Portanto, os histogramas métricos também são invariantes ao brilho da imagem. Estas duas propriedades realçam que algumas restrições no uso de histogramas para recuperação de imagens são superadas pelo uso de histogramas métricos. Isto é, eles são invariantes a transformações geométricas, incluindo escala, e a brilho. Resultados Foram utilizados dois conjuntos de imagens nos eperimentos. O primeiro conjunto, nomeado RMCrânio500, tem 500 imagens de crânios humanos obtidos de tomografia por ressonância magnética (ToRM), e o segundo, chamado RMVariados4247, possui 4247 imagens de várias partes do corpo humano obtidas também por ToRM. Cada imagem possui 256 níveis de cinza e diferentes resoluções espaciais. Etraiu-se o histograma normalizado e gerou-se o histograma métrico para cada imagem, criando dois conjuntos de características para cada conjunto de dados. Cada conjunto de características foi indeado utilizando a estrutura Slim-Tree (quatro Slim-trees no total). Os histogramas normalizados foram indeados utilizando a função distância Manhattan sobre os vetores com 256 elementos, e os histogramas métricos foram indeados utilizando a função de distância DM com o número de buckets variando de 11 a 32. Para avaliar o método aqui proposto, os eperimentos compararam o conjunto de imagens resultante de consultas aos vizinhos mais próimos utilizando histogramas normalizados e histogramas métricos. Para isso, foi considerado que os resultados obtidos a partir dos histogramas normalizados são os corretos. A Figura 5 mostra a comparação destas consultas retornando as 5 imagens, do conjunto RMCrânio500, mais semelhantes a uma dada imagem de referência (k- Nearest Neighbor query, onde k5). Duas questões discutidas nesta seção são: (a) Qual é a diferença de tempo para indear as imagens dos bancos de dados pelos histogramas convencionais e métricos? (b) A diferença de tempo para responder consultas sobre histogramas normalizados e histogramas métricos é relevante? Imagem Original OID 287 Normalizados OID 287 OID 288 OID 286 OID 285 OID 284 OID 287 OID 286 OID 288 OID 285 OID 284 Métricos d d d d d d d d d d NN 2-NN 3-NN 4-NN 5-NN Figura 5 Resultado de uma consulta as 5 imagens mais semelhantes a uma dada imagem de referência, utilizando os histogramas normalizados e os métricos (OID é o identificador único de uma imagem na Base de Dados e d é a distância). A Tabela 1 apresenta os tempos para a construção da Slim-tree a fim de indear os histogramas normalizados e métricos. Pode-se ver que é muito mais rápido construí-la sobre os histogramas métricos (58% mais rápido para o conjunto de dados menor, e 690% mais rápido para o conjunto de dados maior). O tempo necessário para criar os histogramas métricos é equivalente ao tempo para construir a árvore de índices utilizando o histograma métrico, mas isto é feito somente uma vez e é menor ao comparar o tempo para responder às consultas. Tabela 1 Tempo para construir a Slim-tree utilizando histogramas métricos e normalizados a partir dos conjuntos de dados RMCrânio500 e RMVariados4247. Banco de dados istograma Tempo (s) RMCrânio500 RMVariados4247 Métrico 4,62 Convencional 7,31 Métrico 33,76 Convencional 266,79 Foi medido também o número de cálculos de distância realizados por segundo, e encontraram-se distâncias DM por segundo e distâncias Manhattan por segundo. Observe que os números são proporcionais ao tamanho do banco de dados e os resultados podem ser comparados a diferentes tamanhos de banco de dados, mas indica que o cálculo da distância DM é muito mais rápido do que a distância Manhattan que é considerada a mais simples entre as normas Lp.

6 Discussão e Conclusões Este trabalho apresentou a estrutura geral de um PACS, chamado cbpacs, com recursos para recuperação de imagens baseada em conteúdo, o qual está sendo desenvolvido de forma colaborativa entre o GBDI do ICMC-USP e o CCIFM da FMRP-USP. Para recuperar informações baseadas no conteúdo das mesmas, um processo de filtragem é utilizado para tentar reduzir o número de imagens a serem comparadas. O sistema permite a utilização de histogramas métricos como uma primeira técnica de etração de características de imagens. Tais histogramas suplantam a deficiência de histogramas tradicionais que não permitem a comparação de imagens de tamanhos diferentes e que foram obtidas em níveis de quantização distintos. Além, disso, para permitir o uso de histogramas métricos para responder consultas por similaridade através da Slim-tree, foi desenvolvida uma função de distância métrica, baseada na diferença entre as áreas das curvas dos dois histogramas. As técnicas desenvolvidas e implementadas no cbpacs trarão um avanço para o auílio ao diagnóstico médico através da recuperação de imagens médicas baseada em conteúdo em PACS. Agradecimentos O presente trabalho tem sido apoiado pela FAPESP, através dos processos 98/ e 01/ , e pela CNPq, através dos processos /96-0 e /98-6. Referências Cao, X.; uang,.k. "Current Status and Future Advances of Digital Radiography and PACS", IEEE Engineering in Medicine and Biology Magazine, v. 9, n. 5, p.80-88, Marques, P. M. A.; Santos, A. C.; Elias Junior, J.; Góes, W. M.; Castro, C. R.; Trad, C. S. Implantação de um Sistema de Informação em Radiologia (RIS) em ospital Universitário. Radiologia Brasileira, v.33, p , Furuie, S.S.; Gutierrez, M.A.; Bertozzo, N.B.; Figueiredo J.C.B.; Yamagutti, M. Archiving and Retrieving Long-Term Cineangiographic Images in a PACS. Computers in Cardiology, v.26, p , Caritá, E. C.; Marques, P. M. A. Vinculação de Imagens para Busca e Visualização a Partir do Sistema de Informação em Radiologia (RIS), Anais do VII Congresso Brasileiro de Informática em Saúde e do II Simpósio Internacional de Sistemas de Informação ospitalar, São Paulo (SP), Stasiu, R.K.; Bichinho, G.L. Components proposal for medical images and IS. Proceedings of the 14th IEEE Symposium on Computer-Based Medical Systems (CBMS 2001), Bethesda, Maryland, p , Smeulders, A.W.M.; Worring, M.; Santini, S.; Gupta, A.; Jain, R. "Content-Based Image Retrieval at the End of the Early Years," IEEE Transactions on Patterns Analysis and Machine Intelligence, v. 22, n. 12, Bueno, J. M., Chino, F., Traina, A. J. M., Traina Jr, C., Marques, P. M. A. ow to Add Contentbased Image Retrieval Capability in a PACS, Proceedings of the 15 th IEEE Intl. Conference on Computer-Based Medical Systems (CBMS 02), Maribor, Eslovênia, IEEE CS Press, p , Traina, A. J. M.; Traina Jr, C; Bueno, J. M.; Marques, P. M. A. The Metric istogram: A New and Efficient Approach for Content-based Image Retrieval. Proceedings of the Sith IFPI Working Conference on Visual Database Systems (VDB6), Brisbane, Austrália, Kluwer Academic Press, p , Traina Jr; C., Traina, A. J. M.; Faloutsos, C.; Seeger, B. Fast Indeing and Visualization of Metric Datasets Using Slim-trees. IEEE Transactions on Knowledge and Data Engineering, v.14, n.2, p , Contatos Josiane M. Bueno. Tel.: (016) josiane@icmc.sc.usp.br. Agma J. M. Traina. Tel.: (016) agma@icmc.sc.usp.br. Caetano Traina Jr. Tel.: (016) caetano@icmc.sc.usp.br Instituto de Ciências Matemáticas e de Computação USP. Grupo de Bases de Dados e Imagens, Avenida Trabalhador Sancarlense, 400 Centro C. Postal: 668. São Carlos/SP Brasil. CEP Paulo M. Azevedo-Marques. ospital das Clínicas da Faculdade de Medicina de Ribeirão Preto. Campus Universitário Monte Alegre. Ribeirão Preto SP, Caia Postal: Telefone: (016) pmarques@fmrp.usp.br.