Sistema de Recuperação de Imagens Similares em um Hospital Universitário

Sistema de Recuperação de Imagens Similares em um Hospital Universitário Natália Abdala Rosa 1,6, Roberto Figueira Santos Filho 2, Josiane M. Bueno 3, Agma J. M. Traina 4, Caetano Traina Junior 5 1,2,3,4,5 Grupo de Bases de Dados e Imagens do Instituto de Ciências Matemáticas e de Computação da Universidade de São Paulo, Brasil 6 Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo Resumo Esse trabalho apresenta o SRIS-HC - Sistema de Recuperação de Imagens Similares que foi desenvolvido com a finalidade de demonstrar a viabilidade de recuperação de imagens por conteúdo no Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (HCFMRP/USP). Essa funcionalidade, que atua como um recurso adicional de um sistema PACS, é um auxílio adicional ao diagnóstico por imagens. O SRIS-HC foi desenvolvido a partir do Sistema de Informação em Radiologia do Serviço de Radiodiagnóstico do HCFMRP/USP o Sistema de Laudo Eletrônico. Para possibilitar a recuperação e disponibilização das imagens consultadas de forma rápida e eficiente, o SRIS- HC faz uso da Slim-tree, que é um Método de Acesso Métrico (MAM) que possibilita a indexação e recuperação das características extraídas das imagens de forma otimizada. Palavras-chave: PACS, recuperação de imagens por conteúdo, DICOM, indexação de imagens. Abstract This paper presents the SRIS-HC Image Retrieval by Similarity System, developed aiming to demonstrate the ability to retrieve images based on their content at the Clinical Hospital of the Medical School of Ribeirao Preto of the University of Sao Paulo at Ribeirao Preto Brazil (HCFMRP/USP). This ability is an additional resource of a PACS system and enables to improve medical diagnosis by images. The SRIS-HC was developed based on the Radiology Information System of the Radiodiagnosis Services of the HCFMRP/USP the Electronic Report System. To enable an efficient and fast retrieval of images searching, the SRIS-HC works with Slim-tree, a Metric Access Method (MAM) that enables to index and retrieve image features which are extracted from the images in an optimized way. Key-words: PACS, image retrieval based content, DICOM, images index. Introdução Sistemas PACS (Picture Archiving and Communication System) referem-se a sistemas computacionais que são utilizados para capturar, armazenar, distribuir e exibir imagens médicas de forma descentralizada. Para aplicações de diagnóstico por imagens, a tecnologia PACS vem sendo utilizada para possibilitar radiologia sem filme (filmless). Radiologia sem filme refere-se a um hospital ou um amplo ambiente de rede no qual o filme tem sido substituído completamente ou amplamente, por um sistema eletrônico que adquire, armazena, comunica e exibe imagens[1]. A finalidade desse trabalho é apresentar o SRIS-HC - Sistema de Recuperação de Imagens Similares, desenvolvido com a finalidade de demonstrar sua viabilidade de uso no Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (HCFMRP/USP), e sua utilidade e importância como uma ferramenta adicional a um sistema PACS, uma vez que os PACS tradicionais não suportam busca de imagens baseadas no conteúdo. Em sistemas de suporte a diagnóstico, é importante permitir a comparação entre imagens, buscando as que são mais semelhantes (similares). A consulta exata por imagens não é utilizada nesse contexto, pois o médico está geralmente interessado em obter imagens que sejam similares àquela que encontra-se em análise. Encontrar a própria imagem dada é um processo de busca por chave textual ou numérica associada à imagem, o que já é suportado diretamente pelos gerenciadores de dados comerciais. A partir do Sistema de Laudo Eletrônico do Serviço de Radiodiagnóstico do HCFMRP/USP, desenvolvido em parceria com o Centro de Ciências das Imagens e Física Médica (CCIFM) da Faculdade de Medicina de Ribeirão Preto e o Centro de Informações e Análises do HCFMRP [2], o SRIS-HC foi desenvolvido mantendo totalmente sua integração com o mesmo, bem como com o padrão dos módulos de consultas do Sistema de Laudo Eletrônico. O SRIS-HC poderá atuar como uma ferramenta de apoio ao diagnóstico, permitindo a recuperação de imagens associadas a todas as

informações relacionadas ao exame do paciente, contidas no Sistema do Laudo Eletrônico, tais como informações do paciente, dados textuais dos exames (tais como data, local de realização, região, modalidade), o laudo médico e os diagnósticos. O intuito é disponibilizar o acesso ao sistema através das estações de trabalho localizadas em qualquer local do hospital, através de acesso direto ao SRIS-HC ou indireto (através do Sistema de Laudo Eletrônico), o que irá reduzir grandemente o tempo que um médico levaria para se dirigir ao Serviço de Arquivo Médico e consultar o prontuário do paciente (que é uma pasta contendo todas as informações do paciente, tais como laudos médicos, prescrições, fichas operatórias, entre outros), ou ao Serviço de Radiodiagnóstico e consultar as imagens referentes ao exame realizado. Além disso, com a redução do esforço necessário para recuperar essas informações, uma vez que os médicos não necessitarão se deslocar até o Serviço de Radiodiagnóstico para a visualização das imagens e resultados, e com todas as informações disponíveis de forma integrada, além da possibilidade de se fazer consultas de imagens semelhantes a uma dada imagem de referência, ocorrerá um aumento na freqüência com que os médicos pesquisarão imagens de outros estudos do paciente com o intuito de auxiliar na interpretação do estudo corrente, melhorando a qualidade do diagnóstico feito. Para tanto, é necessário que a recuperação e disponibilização das imagens consultadas seja rápida e eficiente, sendo necessário o uso de estruturas de indexação que possibilitem a indexação e recuperação das imagens de forma bem otimizada. Como as imagens são dados multidimensionais, de dimensão usualmente elevada, o processo de indexação de imagens é complexo. As imagens são indexadas e recuperadas através de características extraídas das mesmas. As principais características utilizadas são a distribuição de cor e/ou brilho da imagem, formas e texturas presentes na mesma. Essas informações são tipicamente valores de alta dimensionalidade ou até adimensionais. Portanto o sistema de indexação, responsável por permitir responder consultas efetuadas sobre as imagens, tem que suportar eficientemente esse tipo de dados. Duas técnicas de extração de características de imagens foram adotadas no SRIS-HC: o histograma tradicional e o histograma métrico, uma nova característica construída sobre os histogramas de intensidade tradicionais de imagens. O histograma métrico é invariante às transformações de escala e brilho das imagens sendo pelo menos seis vezes mais compacto que os tradicionais histogramas, demandando menos espaço de armazenamento e fornecendo acesso mais rápido [3]. Os histogramas métricos são uma nova e eficiente técnica para capturar características de brilho das imagens, permitindo um mais rápido acesso às imagens baseado em conteúdo [4]. Dentre os métodos de acessos existentes, os mais adequados para se indexar um vetor de característica multidimensional, estão os Métodos de Acesso Métricos (MAM), que organizam um amplo conjunto de dados métricos permitindo inserções, deleções e buscas e suportam consultas por similaridade. Consultas por similaridade utilizam técnicas de recuperação de imagens baseadas no conteúdo, ou seja, as imagens são indexadas e comparadas através dos vetores de características extraídos delas [3]. Range queries (que pesquisa os objetos que estão até uma dada distância de um objeto de referência, por exemplo, encontre as imagens que distam da imagem fornecida em até 10 unidades ) e k-nearest neighbor queries (que permitem solicitar as k imagens mais semelhantes da imagem dada, como por exemplo, selecione as 10 imagens de Tomografia Computadorizada que mais se assemelham à imagem dada ) são tipos de consultas por similaridade [5]. A árvore métrica utilizada no desenvolvimento do SRIS-HC foi a Slim-tree (proposta por Traina et. al [6]), que é um novo MAM dinâmico pois permite inserções posteriores à criação da estrutura, além de ser uma árvore balanceada que cresce de baixo para cima, das folhas (onde estão armazenados os dados) para a raiz. A Slim-tree tem-se apresentado como a mais eficiente estrutura métrica atual. Testes na indexação de um grande conjunto de imagens vêm sendo realizados no Laboratório de Banco de Dados e Imagens (LaBdI) do Instituto de Ciências Matemáticas da Universidade de São Paulo (ICMC-USP) utilizando um conjunto de imagens médicas de Ressonância Magnética, obtido junto ao Serviço de Radiodiagnóstico do HCFMRP e, com o SRIS-HC. Metodologia A ampla biblioteca utilizada na implementação do SRIS-HC vem sendo projetada pelo Grupo de Base de Dados e Imagens (GbdI) do ICMC-USP, de São Carlos, com a finalidade de estarem desenvolvendo, em conjunto com o Centro de Ciências das Imagens e Física Médica, o cbpacs [3], que é um PACS que permite Recuperação de Imagens Baseadas em Conteúdo. O SRIS-HC foi desenvolvido utilizando-se a ferramenta de desenvolvimento CBuilder 5 com Base de Dados Oracle 8i. O desenvolvimento do SRIS-HC consistiu das seguintes etapas: a) análise do conjunto de

imagens adotado como base e extensão da biblioteca utilizada; b) armazenamento das imagens no Servidor de Base de Dados Oracle 8i; c) desenvolvimento de um módulo de consulta de exames dos pacientes, associados aos respectivos laudos e às imagens pertencentes aos exames; d) desenvolvimento de um módulo de manutenção que permite criar a Slim-tree; e) desenvolvimento do módulo de pesquisa por imagens similares, núcleo do SRIS-HC. Resultados A primeira etapa no desenvolvimento do Sistema de Recuperação de Imagens Similares SRIS-HC, foi a análise do conjunto de imagens adotado como base. As imagens encontram-se armazenadas em arquivos no formato DICOM 3.0. O formato DICOM (Digital Imaging and Communications in Medicine) é o padrão para comunicação de imagens médicas e informações associadas, atualmente utilizado por diversas modalidades de equipamentos de imagens médicas [7]. Os arquivos DICOM são compostos por informações textuais armazenadas em tags e pela imagem. Devido ao trabalho de vinculação das imagens de Ressonância com o Sistema de Laudo Eletrônico [7], adotou-se um padrão na forma de trabalho dos técnicos do HCFMRP no momento da aquisição das imagens, que consistiu em inserir em uma das tags do DICOM, a tag (0008,0050) Accession Number, a chave do exame radiológico (composta pelo número do exame e um dígito de referência do ano), gerada pelo Sistema de Laudo Eletrônico. A partir desse momento, as novas imagens geradas possuíam no interior de seus arquivos a chave que permite vinculá-las com o exame radiológico. As imagens utilizadas nesse trabalho já fazem parte dessa nova geração de imagens obtidas com a nova forma de trabalho dos técnicos do HCFMRP. Portanto, na primeira etapa, a biblioteca utilizada foi estendida pelo GbdI para tratar a tag correspondente ao número do exame. O segundo passo foi desenvolver um módulo para armazenar as imagens em um Banco de Dados Relacional Oracle 8i (figura 1), já relacionadas com o exame. Os arquivos das imagens DICOM são abertos, processados, extraindo-se as imagens e as informações textuais relevantes, tais como o número do exame. A seguir, as informações textuais são armazenadas em seus respectivos campos e tabelas, e as imagens são armazenadas no Oracle no formato gbdi, que é interno do sistema, contendo a imagem e um cabeçalho. Pode-se também optar pelo armazenamento no Oracle das imagens em formato JPG, porém para o uso de todos os recursos da biblioteca, o armazenamento das imagens é feito no formato proprietário, o que não impede sua conversão. É possível armazenar somente as imagens, ou armazená-las juntamente com seus respectivos histogramas métricos ou tradicionais. Visando agilizar o processo de armazenamento das imagens, o SRIS-HC possibilita duas formas de execução desse processo: a forma parcial ou direta e a forma total. A forma parcial ou direta permite armazenar somente a imagem, sem o processo de extração e armazenamento das características. Esse processo pode ser executado posteriormente, no módulo que permite extrair e armazenar as características das imagens ainda não processadas. O armazenamento total consiste em armazenar a imagem, extrair as características suportadas pelo sistema e armazená-las na base. Figura 1 - tela de armazenamento de imagens na Base de Dados Foram armazenadas 3984 imagens e, extraído para cada imagem, o histograma tradicional e o histograma métrico (características suportadas pelo SRIS-HC), armazenando os resultados no Banco de Dados. O SRIS-HC também foi projetado para futuras inserções de outras características desejadas, como por exemplo, momentos, coeficientes de Fourier ou wavelets. Dessa forma, deve-se somente adicionar as novas características na tabela que as armazena e preparar a base para recebê-las. O próximo passo foi desenvolver um módulo de consulta de exames de pacientes, semelhante ao módulo existente no Sistema de Laudo Eletrônico. Porém, com a possibilidade adicional de, além de se visualizar todos os exames e respectivos laudos médicos do paciente pesquisado (figura 2), visualizar todas as imagens do exame selecionado, em pequenos thumbnails 1 (figura 3). Esse módulo foi 1 Imagens em miniaturas, foto minimizada, slides.

desenvolvido também com o objetivo de possibilitar selecionar a imagem de referência a ser utilizada nas buscas de imagens similares. Ao informar o nome-de-usuário e senha corretos, o usuário terá acesso à tela principal do sistema (figura 5). Figura 2 - consulta de exames de pacientes e respectivos laudos e imagens Figura 3 - imagens pertencentes ao exame selecionado Vale salientar que, referente às políticas de seguranças do sistema, o mesmo foi desenvolvido em conformidade com os demais sistemas do HCFMRP. É necessário que o usuário possua um nome-de-usuário e senha (figura 4), adquirido junto ao Centro de Informações e Análises do HCFMRP para estar utilizando os demais sistemas existentes no Hospital das Clínicas. Figura 5 - tela principal do SRIS-HC Na quarta etapa, foi desenvolvido um módulo de manutenção que permite criar a Slimtree com as informações extraídas das imagens, histogramas métricos ou tradicionais. O último módulo do sistema, o núcleo do SRIS-HC é o que permite fazer consultas por similaridades, tanto as consultas range queries, quanto as k-nearest Neighbor queries, e recuperar as imagens semelhantes à imagem de referência selecionada. A imagem de referência das consultas pode estar no formato gbdi (e portanto, armazenada no banco), ou no formato DICOM, localizada em uma pasta (em um CD-Rom ou winchester), existindo portanto, no SRIS-HC, duas formas de selecioná-la (figura 6). Figura 6 - tela de pesquisa de imagens similares Figura 4 - conexão do usuário no SRIS-HC Ao selecionar uma imagem de referência no formato gbdi, verifica-se se a mesma possui a característica selecionada (histograma tradicional ou métrico) extraída e armazenada no banco. Caso possua, a mesma será informada como o

vetor de característica a ser pesquisado na Slimtree; caso a imagem selecionada não possua a característica selecionada extraída e armazenada no banco, a imagem passará pelo processo de extração da característica, armazenando o resultado no banco (para evitar que, se selecionada novamente, tenha que passar por esse processo mais uma vez). A seguir, o vetor de característica será utilizado como objeto de busca a ser utilizado na Slim-tree. Se a imagem selecionada estiver no formato DICOM, ela passará pelo processo inicial no qual as imagens DICOM foram abertas, tendo sido extraído das tags do arquivo, as tags relevantes, sem porém, armazenar a imagem de busca no Banco, parando por aí. Nesse caso, a imagem de busca, após este processo. estará no formato gbdi, e já possuirá seu respectivo vetor de característica extraído a ser utilizado como base de pesquisa na Slim-Tree. Após a realização da pesquisa na Slimtree, serão retornados, caso existam objetos que satisfaçam os critérios de pesquisa, os objetos da árvore, contendo a identificação (Oid) da imagem que permite ir buscar no Banco as imagens detentoras desses Oids. Ou seja, através do Oid desses objetos retornados, é feito uma busca no Banco de Dados, para retornar as respectivas imagens associadas com as informações do Sistema de Laudo Eletrônico. As imagens serão então exibidas em pequenos thumbnails (figura 7), na ordem crescente de similaridade, com possibilidade de visualizá-las em seu formato original, e também com a possibilidade de visualizar as informações do paciente a quem pertencem, ou mesmo o laudo médico do exame a que pertence a imagem. Figura 7 resultado da consulta por similaridade (por k-nearest neighbor, com k = 14) As figuras 7 e 8 ilustram a consistência dos resultados obtidos utilizando-se uma mesma imagem de referência (figura 6), executando primeiro uma consulta k-nn, com k=14 (no exemplo ilustrado). No resultado das imagens obtidas, é possível visualizar o Oid da imagem, além do exame a que pertencem e a distância das mesmas à imagem de referência (ordenada da menor distância para a maior, ou seja, da mais semelhante para a menos semelhante figura 9). Figura 8 - resultado da consulta por range query, com range = 0,041 Figura 9 - zoom nas 3 primeiras imagens da figura 8 (observe o valor da distância da imagem resultante à imagem de referência e sua ordenação) Sendo assim, foi executado uma consulta range query, selecionando-se uma faixa que iria abranger algumas imagens resultantes da consulta k-nearest neighbor feita, como por exemplo, o valor 0,041. Com isso, verifica-se a coerência dos resultados obtidos, tendo sido obtido as mesmas imagens esperadas (obtidas na consulta k-nn). Uma vez que a imagem de referência pode ser selecionada de um arquivo DICOM localizado em um diretório, ou de uma imagem gbdi armazenada no Banco de Dados, foram feitos testes para validar as consultas quando a mesma imagem foi selecionada do arquivo original DICOM ou do Banco de Dados. Os resultados obtidos, tanto na consulta por range querie quanto na consulta k-nearest neighbor foram os mesmos. O SRIS-HC estará sendo submetido a mais testes, em uma base contendo um número maior de imagens e deverá, em breve, ser validado em operação.

Conclusões O suporte de consultas por similaridade onde o conteúdo das imagens é utilizado é uma poderosa ferramenta para suporte ao diagnóstico por imagens médicas. A integração do sistema SRIS-HC junto ao Sistema de Informação Hospitalar do HC através do Sistema de Laudo permite que os médicos avaliem e comparem diagnósticos anteriores com os casos em estudo, proporcionando uma melhoria no diagnóstico. Referências Siegel, E. L. Current State of the Art and Future Trends, in Filmless Radiology, E. L. Siegel and R. M. Kolodner, Eds. New York City, NY: Springer Verlag, 1999, pp. 3-20. Marques, P. M. A., Santos, A. C., Elias Junior, J., Góes, W. M., Castro, C. R., Trad, C. S. Implantação de um Sistema de Informação em Radiologia (RIS) em Hospital Universitário. Radiologia Brasileira, v.33, p.155-160, 2000. Bueno, J. M., Chino, F., Traina, A. J. M., Traina Jr, C., Marques, P. M. A. How to Add Content-based Image Retrieval Capability in a PACS, In: The 15 th IEEE Intl. Conference on Computer-Based Medical System CBMS 02, 2002, Maribor, Eslovênia. Proceedings of IEEE CBMS 02. Los Alamitos, CA: IEEE CS Press, 2002. p.6pgs. Traina, A. J. M., Traina Jr, C, Bueno, J. M., Marques, P. M. A. The Metric Histogram: A New and Efficient Approach for Content-based Image Retrieval In: The Sixth IFPI Working Conference on Visual Database Systems (VDB6), 2002, Brisbane. Advances in Visual Database Systens. USA: Kluwer Academic Press, 2002. p.15pgs. Contatos Natália Abdala Rosa. Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto. Campus Universitário Monte Alegre. Ribeirão Preto SP, Caixa Postal: 14048-900. Telefone: (016) 602-2245. E-mail: naty@hcrp.fmrp.usp.br. (http://www.natalinha.hpg.com.br) Roberto Figueira Santos Filho. Instituto de Ciências Matemáticas e de Computação USP. Grupo de Bases de Dados e Imagens. Avenida Trabalhador Sãocarlense, 400 Centro. Cx. Postal: 668. São Carlos/SP Brasil. CEP 13566-590. Telefone: (016) 273-9674. www.gbdi.icmc.sc.usp.br. E-mail: figueira@icmc.sc.usp.br. Josiane M. Bueno. Instituto de Ciências Matemáticas e de Computação USP. Grupo de Bases de Dados e Imagens. Avenida Trabalhador Sãocarlense, 400 Centro. Cx. Postal: 668. São Carlos/SP Brasil. CEP 13566-590. Telefone: (016) 273-9674. E-mail: josiane@icmc.sc.usp.br. Agma Juci Machado Traina. Instituto de Ciências Matemáticas e de Computação USP. Grupo de Bases de Dados e Imagens. Avenida Trabalhador Sãocarlense, 400 Centro. Cx. Postal: 668. São Carlos/SP Brasil. CEP 13566-590. Telefone: (016) 273-9674. www.icmc.sc.usp.br/~agma E-mail: agma@icmc.sc.usp.br. Caetano Traina Junior. Instituto de Ciências Matemáticas e de Computação USP. Grupo de Bases de Dados e Imagens. Avenida Trabalhador Sãocarlense, 400 Centro. Cx. Postal: 668. São Carlos/SP Brasil. CEP 13566-590. Telefone: (016) 273-9674. www.icmc.sc.usp.br/~caetano E-mail: caetano@icmc.sc.usp.br Traina Jr, C., Traina, A. J. M., Faloutsos, C., Seeger, B. Fast Indexing and Visualization of Metric Datasets Using Slim-trees. IEEE Transactions on Knowledge and Data Engineering. Los Alamitos, CA:, v.14, n.2, p.244-260, 2002. Caritá, E. C., Marques, P. M. A., Vinculação de Imagens para Busca e Visualização a Partir do Sistema de Informação em Radiologia (RIS), VII Congresso Brasileiro de Informática em Saúde e do II Simpósio Internacional de Sistemas de Informação Hospitalar, São Paulo-SP, 14 a 18 de outubro de 2000.