Flexibilizando Buscas por Conteúdo em ambientes PACS

Transcrição

1 Flexibilizando Buscas por Conteúdo em ambientes PACS Josiel M. Figueiredo, Caetano Traina Jr., Agma J. Traina, Paulo M. A. Marques 1 Departamento de Ciência da Computação (DCC), Instituto de Ciências Exatas e da Terra (ICET), Universidade Federal de Mato Grosso (UFMT), Brasil 1,2,3 Grupo de Bases de Dados e Imagens (GBDI), Instituto de Ciências Matemáticas e de Computação (ICMC), Universidade de São Paulo (USP), Brasil 4 Centro de Ciências das Imagens e Física Médica do Hospital das Clínicas (CCIFM-HC), Faculdade de Medicina de Ribeirão Preto (FMRP), Universidade de São Paulo (USP), Brasil Resumo: Este artigo apresenta uma nova arquitetura para Sistemas de Busca por Conteúdo em Imagens (CBIR) que torna esse tipo de sistema mais adequado para ser utilizado na área de imagens médica, mais especificamente na inclusão de suas funcionalidades em ambientes PACS (Picture Archiving and Communication Systems). Nessa arquitetura são incluídas fases de decisão que permitem a inclusão de processamento semântico que altera automaticamente o fluxo de execução. Todo processamento é gerenciado usando uma hierarquia de domínios das imagens. Nessa hierarquia, cada domínio representa uma abstração de uma seqüência de processamento. Os testes realizados mostram que as inovações apresentadas abrem novas perspectivas para o tratamento das imagens médicas, principalmente nos aspectos relativos ao processamento automatizado e à inclusão de novas funcionalidades. Palavras-chave: Imagem Médica, PACS, CBIR, Vetores de Características, Processamento Condicional Abstract: This paper shows a new architecture that turns Content Based Image Retrieval systems (CBIR) more suitable to be used in medical image field, more specifically to be integrated with PACS (Picture Archiving and Communication Systems) environment. Decision phases are included in this architecture which allow the inclusion of semantic processing that automatically changes the execution flow. The processing management is based on a image domain hierarchy. In this hierarchy, each domain represents an abstraction for a processing sequence. Experiments show that new perspectives for medical image field are open due to the automated processing and the facilities for inclusion of new functionalities. Keywords: Medical Image, PACS, CBIR, Feature Vector, Conditional Processing Introdução A difusão das imagens médicas usando o padrão DICOM (Digital Imaging and Communications in Medicine)[2] culminou no desenvolvimento dos PACS (Picture Archiving and Communication Systems) [1]. Com essa difusão a demanda por novas funcionalidades nesses sistemas é crescente, pois somente as funcionalidades básicas de armazenamento e distribuição das imagens não são suficientes. Novas funcionalidades envolvendo buscas voltadas ao tratamento do conteúdo das imagens são necessárias. Consequentemente, diversas formas de incorporar nos PACS as funcionalidades de busca por conteúdo estão sendo estudadas[3,4]. Nesse contexto, a forma mais comum é incorporar os conceitos implementados em Sistemas de Busca por Conteúdo em Imagens (CBIR) nos PACS. Porém, independente da forma de integração entre esses dois tipos de sistemas, algumas peculiaridades do ambiente PACS não são tratadas pelos sistemas CBIR. Entre as peculiaridades importantes, estão as informações contidas nos cabeçalhos dos arquivos DICOM. Essas informações são adicionais às informações pictóricas da imagem em si e são relevantes para o usuário especialista. Outra questão importante é a da falta de tratamento dos domínios das imagens que ocorre nos dois ambientes. Os sistemas CBIR normalmente tratam domínios muito específicos ou domínios muito genéricos. O domínio das imagens para o ambiente PACS está relacionado com as diversas modalidades médicas e suas respectivas técnicas de aquisição. Um exemplo da falta de tratamento de domínios nos PACS é que a inclusão de uma imagem de Tomografia Computadorizada (TC), em um conjunto de imagens de Ressonância Magnética (RM), é permitida pelo sistema sem que nenhum tipo de validação automática ocorra. Esse tipo de problema pode ser estendido para conjuntos mais específicos de imagens, como o caso

2 da inserção de uma imagem de pélvis em um conjunto contendo apenas imagens de crânio, ou no caso de imagens com câncer em um conjunto de imagens com órgãos sadios. Para entender adequadamente as razões desse problema é necessário compreender a manipulação que é feita sobre as imagens nos sistemas CBIR. A Figura 1, adaptada de [5], mostra que após a aquisição (etapa 1) a imagem passa por um processamento voltado para uniformizá-la (etapa 2), seguido por algoritmos de extração de características, que geram vetores que são processados (etapa 3) e indexados (etapa 4). Este artigo tem como enfoque principal o gerenciamento de domínios de imagens através de processamentos automatizados. O intuito principal é tornar os sistemas CBIR mais adequados para serem utilizados em ambientes PACS. Além dos aspectos aqui explicitados, outros detalhes a respeito das influências da arquitetura aqui apresentada podem ser encontrados em [7]. O trabalho aqui descrito faz parte de um projeto maior do qual participam os grupos de pesquisa: GBDI (Grupo de Bases de Dados e Imagens) do ICMC-USP (Instituto de Ciências Matemáticas e de Computação) e o CCIFM-HC (Centro de Ciências das Imagens e Física Médica do Hospital das Clínicas) da FMRP-USP (Faculdade de Medicina de Ribeirão Preto) [8]. Metodologia Figura 1 - Fluxo dos dados nas etapas de processamento de um sistema CBIR. A área destacada na figura ilustra que a fase de aquisição não é considerada pelos sistemas CBIR, ou seja, apenas a imagem em si é importante. Com isso, informações semânticas e embutidas relativas ao processo de aquisição e construção das imagens não são usadas no processamento. Porém, em ambientes como dos PACS, diversas formas de aquisição co-existem. Consequentemente, para cada forma de aquisição é preciso tratar aspectos específicos do processamento. Um exemplo relevante é o fato de que os valores de Hounsfield (HU) são determinantes para os valores de cinza na imagem gerada por Tomografia Computadorizada (TC). Sabe-se que órgãos e patologias podem ser identificados utilizando apenas os valores de HU [6]. O uso de propriedades específicas leva à necessidade de se criar diversos tipos de configurações de processamento, uma para cada domínio. O problema é que o gerenciamento dessas configurações tende a ficar complexo, visto que o número de domínios é grande. Isso ocorre porque cada domínio normalmente é dividido em sub-domínios mais específicos. Por exemplo, somente a Ressonância Magnética (RM) possui técnicas variadas de aquisição, como spin eco, ecos de gradiente, recuperação de inversão, entre outras, sendo necessário configurações específicas para cada uma delas. Devido à esse gerenciamento complexo, os sistemas atuais deixam a cargo do usuário o processo de validação das imagens processadas. Contudo, o tratamento adequado dos domínios da imagem deve ocorrer automaticamente e sua configuração ser feita nas diversas etapas de processamento dos sistemas CBIR. Para aplicações médicas a divisão de domínios em hierarquias é comum em diversas áreas, como o Código Internacional de Doenças (CID) e o Breast Imaging Reporting and Data Systems (BI-RADS) do Colégio Americano de Radiologia (ACR). A criação e organização de uma hierarquia de domínios demanda ao usuário possuir conhecimento a respeito dos aspectos semânticos envolvidos nas imagens. Para criação da hierarquia fornecida pelo BI-RADS foram utilizados como aspectos semânticos informações anatômicas e patológicas. Contudo, para sistemas CBIR os aspectos semânticos dos domínios envolvem propriedades relacionadas aos vetores de características obtidos das imagens. Além disso, com a identificação de seu domínio, a separação das imagens ocorrem em conjuntos que podem não ser disjuntos. Nesse sentido, a preocupação é descobrir o comportamento do vetor de característica em determinada situação. Por exemplo, as diferenças entre histogramas de crânio com histogramas de pélvis, ou a influência da presença de metal no histograma de uma imagem. O usuário especialista que trabalha diretamente com a manipulação das imagens tem conhecimento sobre o comportamento dos vetores de características utilizados. Contudo os sistemas disponíveis não permitem que esse conhecimento possa ser facilmente embutido no processamento. Torna-se necessário determinar qual processamento é mais adequado para um determinado domínio, ou seja, é preciso haver uma etapa que verifique se o vetor de característica analisado obedece ao comportamento definido para seu domínio. Essa verificação pode ser baseada nas propriedades dos vetores de características ou em qualquer outro parâmetro especificado. Com a verificação realizada, o sistema decide qual a próxima ação a ser processada.

3 A principal influência dessa etapa de decisão sobre os sistemas CBIR é que a seqüência de processamento é alterada para a apresentada na Figura 2. As inovações são destacadas pelas setas finas, que mostram que as fases 2 e 3 podem ser automaticamente repetidas e/ou alternadas. Sendo importante destacar que essa hierarquia é naturalmente construída de forma incremental. Além disso, mesmo com a hierarquia possuindo diversos níveis a complexidade do gerenciamento não é aumentada. Figura 2 - Setas finas representam alterações no fluxo dos dados nas etapas de processamento de um sistema CBIR. O fato de que a próxima etapa no processamento é determinada pelo resultado do processamento corrente, exige que toda a arquitetura do sistema seja alterada. A alternativa encontrada foi implementar todos os algoritmos em forma de componentes que se conectam dinamicamente em tempo de execução. Todo esse processo facilita também duas tarefas normalmente difíceis de serem executadas com sucesso. Uma é a integração de diversos tipos de processamento, e outra tarefa é o isolamento de problemas com o intuito de facilitar sua validação. A especificação de todo o processamento pode ser expressado através de uma álgebra na qual os operadores são os diversos algoritmos utilizados nos sistemas CBIR e os operandos são os vetores de características. Outros detalhes dos componentes que não são relevantes para o gerenciamento dos domínios podem ser encontrados em [6]. A Figura 3 ilustra o acoplamento de vários operadores (componentes), inclusive do operador de Decisão. Outra influência inovadora do operador de Decisão, é a possibilidade do processamento possuir diversas seqüências simultâneas ou não, conforme ilustrado na figura. As áreas tracejadas da Figura 3 ilustram o uso do operador Pipeline, que tem como principal característica agregar um conjunto de operadores. O fato de um Pipeline ser um operador permite que o mesmo seja reutilizado por outros operadores. Um exemplo de reuso é ilustrado na Figura 3, na qual o Pipeline I é baseado nos outros 3 pipelines. A grande vantagem do uso do operador Pipeline é que um conjunto de operações pode ser abstraída de forma a associá-las ao domínio da imagem a ser processada. Essa abstração e a facilidade de reuso dos pipelines permite que os domínios das imagens seja controlado hierarquicamente. Figura 3 - Acoplamento de Operadores (componentes), com destaque para os novos tipos: Decisor e Pipeline. Uma metodologia adequada para construção da hierarquia de domínios é o processo de Generalização / Especialização, no qual vários domínios podem ser generalizados em um único ou um domínio pode ser especializado em vários outros. Nesse aspecto, a hierarquia pode aumentar unindo duas hierarquias separadas em uma só, bem como incluir novas especificidades no processamento já existente estendendo um Pipeline. Um exemplo simples de generalização é mostrado na Figura 4, na qual os Pipelines A e B, que são independentes, são generalizados pelo Pipeline C. O Pipeline A foi construído com o intuito de indexar os histogramas das imagens completas. Já o Pipeline B, faz a indexação de dados de textura de regiões de interesse (ROI) previamente selecionadas pelo

4 usuário. Na construção do Pipeline C, adicionou-se um Decisor que utiliza como condição a contagem dos pixels da imagem, pois uma imagem com menor número de pixels é considerada ROI. Assim, o número de pixels é utilizado pelo Decisor para determinar se o processamento será continuado pelo Pipeline A ou B. tenham de ser feitas várias vezes, isto é, em cada uma das seqüências. Figura 4 - Exemplo de Generalização de Pipelines. Dois Pipelines (A e B) independentes são generalizados pelo Pipeline C. A influência principal, nesse exemplo de generalização, é que o usuário passa a ativar apenas um processamento com um custo computacional adicional muito baixo. Além disso, caso configurado, o Decisor (do Pipeline C) pode ativar os Pipelines A e B ao mesmo tempo, assim é garantido de forma automatizada que todas as imagens sejam processadas pelos dois Pipelines. O que poderia não ocorrer se os Pipelines A e B fossem independentes, pois o usuário seria o responsável por ativar os dois Pipelines. Para o caso de Especialização de Pipelines, um exemplo é representado na Figura 5. O Pipeline A, é especializado pelos Pipelines B e C. A principal função do Pipeline A é utilizar um operador de segmentação e armazenar a imagem segmentada em disco. Para sua especialização optou-se por armazenar, além da imagem, o Histograma (Pipeline B) ou informações de Textura (Pipeline C). Para decidir qual pipeline processar utiliza-se como condição informações sobre a anatomia da região segmentada. Nesse exemplo de especialização conseguese adicionar facilmente novas funcionalidades ao processamento sem nenhuma alteração das funcionalidades iniciais. Essa é uma tarefa bastante complexa nos sistemas atuais, pois normalmente novas funcionalidades implicam em criação de novas seqüências de processamento que são independentes uma da outra. Isso faz com que modificações em partes de processamentos comuns Figura 5 - Exemplo de Especialização de Pipelines. O Pipeline A é especializado em dois outros Pipelines (B e C), sendo que suas funcionalidades permanecem inalteradas. Resultados Para realização dos testes e validação dos conceitos apresentados, o seguinte ambiente foi implantado: - servidor com sistema operacional GNU/Linux distribuição RedHat 8; - armazenamento das imagens no SGBD Oracle 9i; - implementação na linguagem Java; - controle dos componentes feito pelo ambiente Apache Cocoon [9] hospedado no Apache TomCat [10]; - manipulação das imagens usando as funcionalidades da biblioteca ImageJ [11]; Inicialmente, os esforços se concentraram no uso de imagens de TC. Dessa maneira, um Pipeline foi implementado buscando obter o máximo de resultados com todas as propriedades desse domínio. Para isso, foi utilizado principalmente o comportamento das Unidades de Hounsfield como parâmetros das decisões. Esse Pipeline foi dividido em três fases atendendo a detalhes de três subdomínios. Na primeira fase é feita a identificação anatômica da imagem, a segunda segmenta os órgãos de interesse e, a terceira faz a identificação patológica do órgão segmentado.

5 O Pipeline foi executado sobre uma base de imagens de TC (~20GBytes) envolvendo exames variados e diversas anatomias. Entre os ganhos obtidos, um relevante é que o tempo de resposta foi diminuído em média em 5 vezes, em comparação com o processamento sem Pipeline. Para validar o gerenciamento dos domínios criou-se outro Pipeline, este relacionado com imagens de RM, que foi especializado por algumas de suas técnicas. Além disso, os Pipelines de TC e de RM foram generalizados em um comum denominado Pipeline de Imagens Médicas. Nesse Pipeline mais abrangente, as informações contidas no cabeçalho DICOM são utilizadas para realizar a separação dos domínios. A Figura 6 ilustra a hierarquia de domínios utilizada nos experimentos. Figura 6 - Hierarquia de Domínios usada nos experimentos. Devido à grande quantidade de níveis e elementos que podem ser gerados a partir dessa hierarquia, optou-se por se concentrar nos domínios apresentados. Contudo, é importante ressaltar que outros (sub)domínios estão sendo modelados com o intuito de identificar quais de suas propriedades que se encaixam nas necessárias para inclusão na hierarquia. Esse refinamento está sendo feito visando atender também a domínios mais específicos, como é o caso de patologias de crânio em imagens de TC, bem como de outras patologias de pulmão. Um ganho obtido somente pela divisão das técnicas foi a facilidade de indexação das em conjuntos distintos, pois em qualquer ponto da hierarquia pode ser gerado um índice. Com isso, a manipulação desse domínio fica mais adequada para ambientes com alta demanda de dados. Discussão e Conclusões Este artigo apresenta aspectos relacionados com o gerenciamento de imagens médicas utilizando hierarquias de domínio. Com esse tipo de gerenciamento a arquitetura proposta permite que a maneira mais intuitiva de divisão de domínios seja realizada em PACS. A inclusão de novos domínios em uma determinada hierarquia permite que a adição de novas funcionalidade se torne uma atividade independente, no sentido de não afetar as configurações existentes. Nessa tarefa, diversos tipos de processamento podem coexistir e serem executados simultaneamente sem a intervenção do usuário. O uso dos operadores de Decisão permitem a inclusão de informações de contexto com processamento automatizado. Esse fato possibilita uma aproximação maior entre os aspectos semânticos existentes nas imagens e o processamento automatizado. Outro fato importante é que ocorre naturalmente uma divisão das responsabilidades dos usuários do ambiente PACS. Assim, cada tipo de usuário se preocupa com tarefa que mais combina com seus conhecimentos e atividades. O médico define a hierarquia de domínios que deseja trabalhar, o técnico em imagens faz a configuração do sistema e o programador se preocupa somente com os algoritmos a serem implementados. A possibilidade de separar (indexar) individualmente os diferentes domínios criados na hierarquia, permite otimizar o processamento das consultas mais utilizadas no ambiente sem influenciar o processamento usual das imagens. Toda essa gama de novas funcionalidades abrem novas perspectivas que permitem que as funcionalidades de busca por conteúdo nas imagens fiquem mais propensas de serem usadas atendendo aos requisitos existentes nos ambientes PACS. Agradecimentos Os autores agradecem ao CNPq e à FAPESP pelo suporte financeiro para a realização deste trabalho.

6 Referências [1] Huang, H.K. (1999), PACS: Basic Principles and Applications, New York: Wiley Computer Publishing. [2] American College of Radiology, National Electrical Manufacturers Association (1993), Digital Imaging and Communications in Medicine (DICOM) Part 1: Introduction and Overview., ACR-NEMA Commitee, Washington, DC. [3] Müller H., Michoux N., Bandon D., Geissbuhler A. (2004), A review of content-based image retrieval systems in medical applications - clinical benefits and future directions, International Journal of Medical Informatics, v.73, p [4] Bueno J.M., Araujo M.R.B., Chino F.J.T., Traina A.J.M., Traina C., Marques P.M.A. (2002), How to Add Content-based Image Retrieval Capability in a PACS. Proceedings of CBMS - IEEE International Conference on Computer Based Medical Systems, Maribor, Slovenia: IEEE, p [11] ImageJ - Image Processing and Analysis in Java (2004), Disponível na URL: Contato 1,2, 3 Instituto de Ciências Matemáticas e de Computação Universidade de São Paulo ICMC/USP Av. Trabalhador São-Carlense, CEP: São Carlos (SP) [josiel caetano agma]@icmc.usp.br 4 Centro de Ciências das Imagens e Física Médica FMRP/USP Rua Marechal Deodoro, 2253 CEP: Ribeirão Preto (SP) pmarques@fmrp.usp.br [5] Smeulders A.W.M., W orring M., Santini S., Gupta A., Jain R. (2000), Content-Based Image Retrieval at the End of the Early Years, IEEE Transactions on Patterns Analysis and Machine Intelligence, v 22, n. 12, p [6] Sperber, M. (2001), Computed tomography of the thorax: Lungs and mediastinum. In Radiologic Diagnosis of Chest Disease, London :Springer Verlag, 2th edition, p [7] Traina C., Traina A.J.M., Figueiredo J.M.,(2004) Including Conditional Operators in Content-Based Image Retrieval in Large Sets of Medical Exams. Proceedings of 17th CBMS - IEEE Conference on Computer Based Medical Systems, Bethesda, MD: IEEE; July. [8] Araujo M.R.B., Traina C., Traina A., Marques P.M.A. (2002), Recuperação de Exames em Sistemas de Informação Hospitalar com Suporte a Busca de Imagens Baseada em Conteúdo, Anais do CBIS VIII Congresso Brasileiro de Informática em Saúde, Natal - RN: Sociedade Brasileira de Informática em Saúde. [9] Apache Cocoon (2004), Disponível na URL: [10] Apache TomCat (2004), Disponível na URL: