BIRAM: Sistema para Recuperação de Imagens por Conteúdo

Transcrição

1 BIRAM: Sistema para Recuperação de Imagens por Conteúdo Ramon A. Moreno 1, Sérgio S. Furuie 1 1 Divisão de Informática, Instituto do Coração (InCor), Hospital das Clínicas - USP, Brasil Resumo As imagens digitais estão se tornando cada vez mais importantes, no campo da Medicina, para o diagnóstico e tratamento do paciente. Ao mesmo tempo, há um aumento no volume de imagens produzidas nos hospitais, causado pelo desenvolvimento de novas tecnologias e maior adoção de equipamentos digitais. Este crescimento torna necessário o desenvolvimento de novas técnicas para a recuperação das imagens que não sejam limitados a campos textuais, como nos si stemas PACS tradicionais, entre as quais a recuperação baseada em conteúdo. Neste artigo é apresentado o sistema BIRAM, protótipo desenvolvido em Java, que permite a utilização de diferentes algoritmos para a busca e recuperação de imagens por conteúdo. O BIRAM também oferece a possibilidade de codificação do laudo de acordo com um dicionário médico e a busca pelo laudo ou por palavras-chave do cabeçalho DICOM. Palavras-chave: CBIR, imagens médicas, recuperação de informação. Abstract In the Medical field, digital images are becoming increasingly important for the diagnosis and treatment of the patient. At the same time, the development of new technologies and its adoption caused the increase in the volume of digital images produced in the hospitals. This growth made necessary to develop new techniques for the retrieval of the information that are not limited to textual fields as traditional PACS. In this article, it is presented the BIRAM system, which allows the use of several algorithms for the search and retrieval of images using their content. The system also allows the search by textual information by means of a report associated with the study or by keywords from the DICOM header. Key-words: CBIR, medical images, information retrieval. Introdução As imagens médicas têm se tornado cada vez mais importantes para o diagnóstico e terapia dos pacientes [1,2]. Porém, a sua manipulação computacional tem se tornado cada vez mais difícil devido ao aumento do volume de imagens produzidas nos hospitais [3] (a produção anual de um departamento radiológico de médio porte representa dezenas Terabytes [4]) e devido às crescentes necessidades dos médicos no uso clínico das imagens [5]. Os si stemas PACS (Picture, Archiving and Communication Systems) existentes atualmente permitem somente a pesquisa por palavras chave, como o identificador do paciente, número do exame, data e modalidade, os quais são parâmetros relevantes para o médico, porém não em todos os casos [6,7]. Muitas vezes a recuperação de imagens baseado em características intrínsecas da imagem é benéfica para o médico, auxiliando-o na tomada de decisões, ensino e pesquisa [8,9]. Os sistemas de recuperação de imagens baseado em conteúdo (CBIR Content Based Image Retrieval) permitem a recuperação de imagens utilizando características como cor, textura e forma [10]. Devido a sua aplicação em treinamento e pesquisa em Medicina, os sistemas CBIR são interessantes para utilização em hospitais-escola, como o Instituto do Coração do Hospital das Clínicas (HCFMUSP). A pesquisa em CBIR pode ser classificada em três tipos: Recuperação por desenho (sketch): neste tipo de pesquisa, o usuário esboça uma imagem aproximada daquilo que ele deseja recuperar; Recuperação por exemplos (QBE Query By Example): é a forma mais comum nos sistemas atuais. Nela, o usuário fornece uma imagem de exemplo, similar à qual ele deseja recuperar; Busca Parametrizada: O usuário fornece parâmetros de busca que descrevem a imagem. Por exemplo, buscar imagens com 60% de vermelho e 40% de verde. Os si stemas de recuperação baseada em conteúdo são sempre compostos dos seguintes módulos [8]: interface gráfica de consulta, sistema de armazenamento e indexação de dados, medida de similaridade, extração de características e sistema de recuperação (retrieval engine). Parte da dificuldade em desenvolver sistemas CBIR é determinar algoritmos que caracterizem o conteúdo da imagem, diminuindo 554

2 o chamado gap semântico [8]. Dessa maneira, é necessário ter a possibilidade de desenvolver a testar algoritmos de uma maneira simples. Neste artigo é apresentado o BIRAM (Base de Imagens Relacional de Algoritmos e Métricas), o qual é um protótipo de um sistema CBIR capaz de suportar diversos algoritmos de extração de características. Metodologia O BIRAM foi implementado utilizando-se a linguagem Java e banco de dados MS Access 97. O BIRAM atualmente utiliza características especificas da linguagem Java como serialização, invocação de métodos remotos (RMI) e instanciação dinâmica. Suas principais funcionalidades são (Figura 1): Armazenamento de imagens; Armazenamento de algoritmos; Associação de laudos com imagens; Recuperação de algoritmos; Recuperação de imagens por semelhança; Associação de um laudo com as imagens. O armazenamento de algoritmos é feito através do envio de um (ou mais) arquivo(s) jar (Java Archive)para o servidor. Uma vez salvos os arquivos, é instanciada a classe principal do algoritmo (aquela que implementa a interface Algorithm, Figura 3). A partir dessa instância, são inseridas meta-informações sobre o algoritmo no banco de dados (Figura 2, tabela Algorithm). O armazenamento em banco permite a realização de consultas SQL que tragam somente as imagens apropriadas para um determinado algoritmo (no caso, imagens com modalidade, parte do corpo e número de bits iguais aos suportados pelo algoritmo). Dessa maneira, é possível limitar o processamento somente às imagens selecionadas. As imagens são processadas invocando-se o método processar() da classe Algorithm (Figura 3), o qual retorna um objeto do tipo Descriptor. O descritor é armazenado no banco de dados (Figura 2, tabela Alg_x_Img) na forma serializada. A partir deste momento a base pode ser pesquisada utilizando-se este algoritmo. A busca por imagens semelhantes é realizada da seguinte forma: a imagem fornecida como exemplo é processada por um dos algoritmos armazenados, gerando um descritor. Em seguida, o descritor é comparado com aqueles armazenados no banco de dados. A comparação é feita percorrendo-se os descritores um a um, deserializando-os e invocando o método calculatedistance(). Com o resultado das distâncias é possível ordenar as imagens por similaridade, usando o critério de medida de distância do algoritmo. O sistema ainda permite a associação de um laudo ao estudo (tabela Report, Figura 2). O laudo é composto de cinco itens: tipo de exame, histórico, procedimento, resultados encontrados e conclusões (tabela Conclusion, Figura 2). As conclusões são codificadas segundo um dicionário médico (tabela Dictionary, Figura 2). Atualmente, é suportado o CID-10 (Classificação Internacional de Doenças versão 10). Também foi prevista a possibilidade de associação de uma região de interesse (ROI) ao algoritmo (tabela ROI_Algorithm, Figura 2), apesar de a mesma ainda não ter sido implementada. As tabelas armazenam as imagens segundo o padrão DICOM (Digital Imaging and Communications in Medicine), no qual o paciente possui estudos, os quais possuem séries que possuem imagens (tabelas Patient, Study, Series e Image, Figura 2). Buscar Imagem Laudo Armazenar Laudo Medi co Usuario Buscar Imagem Similaridade Armazenar Imagem Buscar Algoritmo Armazenar Algoritmo Figura 1 Casos de uso do BIRAM Desenvolvedor 555

3 Figura 2 Diagrama de tabelas do BIRAM java.rmi.remote java.io.serializable Algorithm Server Descriptor calculatedistance() +produces getname() getdescription() getauthor() getversion() getbodypart() getmodality() getnumberofbits() process() +contains 0..* 1 storedicomimage() searchimage() listalgorithms() storealgorithm() applyalgorithm() savereport() listdictionaries() listdictionarycodes() Figura 3 Diagrama das classes principais do BIRAM Resultados O BIRAM foi implementado juntamente com um cliente standalone. O cliente permite a associação do laudo com um estudo (Figura 4). Também permite a atribuição da conclusão utilizando um dicionário médico (Figura 5). Atualmente é suportado o CID-10. O servidor é capaz de armazenar novos algoritmos e imagens no padrão DICOM. Permite a pesquisa por similaridade, utilizando os algoritmos armazenados. Atualmente, foram implementados algoritmos simples como momento, histograma, histograma métrico e centro de massa. Na Figura 4 é mostrada a tela de Laudo, que permite associação do laudo (composto de histórico, procedimentos, resultados e conclusões) com o estudo. O estudo é selecionado de uma lista de pacientes. Atualmente, o BIRAM torna anônimos os nomes dos pacientes inseridos no sistema. 556

4 Na Figura 5 pode ser vista a atribuição de uma conclusão ao laudo, utilizando para isso um dicionário médico selecionado em uma list box. seleciona o algoritmo que deseja utilizar para fazer a busca por similaridade (canto inferior esquerdo). Pressionando o botão Buscar imagens Semelhantes é recuperada uma lista de imagens, como mostrado na Figura 7. Os valores mostrados abaixo das imagens são o valor de distância retornado pelo método calculadistancia() conforme explicado na seção anterior. Figura 4 Visualização de laudos Figura 6 Tela de busca de imagens semelhantes A tela da Figura 6 também permite que sejam enviadas imagens para a base, as quais são indexadas automaticamente para pesquisa. Figura 5 Atribuição de uma conclusão ao laudo Na Figura 6 é mostrada a tela de pesquisa de imagens por similaridade. Nela, o usuário abre uma imagem local, a qual é exibida (canto superior esquerdo). Em seguida, o usuário Figura 7 Resultado de pesquisa utilizando histograma métrico 557

5 Discussão e Conclusões A implementação atual do BIRAM é promissora, porém, ainda tem alguns problemas a serem resolvidos: Embora o protocolo DICOM forneça dados textuais sobre a imagem e o paciente, existe uma imprecisão no preenchimento dos mesmos (por exemplo, os campos body part e study description [11]). Isso torna não confiável a utilização de tal informação para divisão dos algoritmos por tipo de imagem; A utilização de um sistema CBIR na prática clínica depende da existência de uma interface que permita pesquisas mais complexas, embutindo informações como localização relativa e aspecto morfológico [11]. A implementação atual não realiza a indexação das imagens armazenadas. Assim, é necessário percorrer todas as imagens do banco para encontrar aquelas mais similares. Isto pode ser evitado com o uso de árvores de indexação, como a slim-tree [12, 13] e métricas que satisfaçam as três regras do espaço métrico (simetria, não-negatividade e desigualdade triangular). O BIRAM apresenta as seguintes vantagens: (i) Pode receber diversos tipos de algoritmos para pesquisa por similaridade; (ii) Permite a codificação do laudo de acordo com um dicionário médico, melhorando a indexação das imagens e, consequentemente, sua recuperação; (iii) Os algoritmos podem ser seletivamente aplicados nas imagens utilizando metainformações sobre o mesmo (por exemplo, aplicar o algoritmo somente para imagens de ressonância magnética). O BIRAM ainda pode ser melhorado com o uso de regiões de interesse (ROI), indexação com métodos de acesso métricos (metric access methods - MAM) e integração com PACS (usando protocolo DICOM). Agradecimentos Este projeto foi suportado parcialmente pela FAPESP processos 1997/ e 2001/ , Fundação Zerbini e Escola Politécnica (EPUSP). Agradecemos também à Natalia Rosa e Agma Traina por cederem gentilmente o algoritmo de histograma métrico. Referências 1. Bruce I. Reiner, Eliot L. Siegel, Frank J. Hooper, Stephen Pomerantz, Andrew Dahlke, David Rallis (2001), Radiologists Productivity in the Interpretation of CT Scans: A Comparison of PACS with Conventional Film, American Journal of Roentgenology, 176(4): B. Kaplan, H.P. Lundsgaarde, (1996), Toward an evaluation of an integrated clinical imaging system: Identifying clinical benefits, Methods Inform. Med. 35, J. Brender; C. Nohr; P. McNair (2000). Researchs and priorities in health informatics, International Journal of Medical Informatics, vol.58-59, pp Tristan Glatard, Johan Montagnat, Isabelle E. Magnin (2004), Texture based medical image indexing and retrieval: application to cardiac imaging, International Multimedia Conference archive, Proceedings of the 6th ACM SIGMM international workshop on Multimedia information retrieval, New York, NY, USA, pp K. P. Andrioli, Addressing the Coming Radiology Crisis: The Society for Computer Applications in Radiology Transforming the Radiological Interpretation Process (TRIP ) Initiative, November Disponível em: 03.pdf. 6. Wesley W. Chu, Chih-Cheng Hsu, Alfonso F. Cárdenas, Rick K. Taira (1998), Knowledge- Based Image Retrieval with Spatial and Temporal Constructs, IEEE Transactions on Knowledge and Data Engineering, Vol. 10, No Thomas M. Lehmann, Mark O. Guld, Thomas Deselaers, Daniel Keysers,Henning Schubert, Klaus Spitzer, Hermann Ney, Berthold B. Wein (2005), "Automatic categorization of medical images for content-based retrieval and data mining", Computerized Medical Imaging and Graphics, 29, Henning Müller, Nicolas Michoux, David Bandon, Antoine Geissbuhler (2004), A review of content-based image retrieval systems in medical applications clinical benefits and future directions, International Journal of Medical Informatics 73, Mojsilovic, and J. Gomes, (2002), Semantic based categorization, browsing and retrieval in medical image databases, Proc. Int. Conf. Image Processing, ICIP 2002, Rochester, New York, Sept. 10. Arnold W.M. Smeulders, Marcel Worring, Simone Santini, Amarnath Gupta, and Ramesh Jain (2000). Content-Based Image Retrieval at the End of the Early Years, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no Daniel Keysers, Jörg Dahmen, Hermann Ney (2003), Statistical framework for modelbased image retrieval in medical applications, Journal of Electronic Imaging 12(1), Caetano Traina Jr, Agma Traina, Christos Faloutsos, Bernhard Seeger, (2002), Fast 558

6 indexing and Visualization of Metric Data Sets Using Slim-Trees, IEEE Transactions on Knowledge and Data Engineering, vol 14(2). 13. Caetano Traina Jr, Agma Traina, Bernhard Seeger, Christos Faloutsos, (2000) Slim- Trees: High Performance Metric Trees Minimizing Overlap Between Nodes, International Conference on Extending Database Technology, Contato Ramon A. Moreno. Endereço: Instituto do Coração Hospital das Clinicas da Faculdade de Medicina da USP (InCor - HCFMUSP), Av. Dr. Enéas de Carvalho Aguiar, 44, 2º. Andar, Unidade de Informática. ramon.moreno@incor.usp.br. Telefone: (0xx11)