Avaliação de técnicas de processamento de imagem e extração de características em imagens de pulmão e de coluna vertebral

Transcrição

1 Avaliação de técnicas de processamento de imagem e extração de características em imagens de pulmão e de coluna vertebral Luis Fernando Milano Oliveira 1, Daniel dos Santos Kaster 1 1 Departamento de Computação Universidade Estadual de Londrina (UEL) Caixa Postal CEP Londrina PR Brasil luismilanooliveira@gmail.com, dskaster@uel.br Abstract. The use of images in medicine is increasingly important in decisionmaking, as in diagnosis and the following of treatments of various kinds. However, some tasks can be unfeasible to be done by humans, such as retrieving images similar to a reference image withing a database of millions of images. Content based image retrieval systems have been developed to, among other things, solve that problem. Within this context, this work seeks to evaluate various solutions that have been proposed for pre-processing and feature extraction imaging, which are the initial tasks inside this kind of system. The goal of this research is to analyse the impact of using different techniques and of their combination when applied to diagnosis images of lung and spine. Resumo. A utilização de imagens dentro da medicina é cada vez mais essencial na tomada de decisões, como na realização de diagnósticos e acompanhamento de tratamentos dos mais diversos tipos. Contudo, algumas tarefas podem ser invíaveis para serem feitas por humanos, como a recuperação de imagens similares a uma de referência dentro de uma banco com milhões de imagens. Sistemas de recuperação de imagens com base em conteúdo tem sido desenvolvidos para, entre outras coisas, solucionar esse tipo de problema. Dentro do contexto desses sistemas, este trabalho busca avaliar diversas soluções que tem sido propostas para o pré-processamento de imagens e de extração de características de imagens médicas, que são as etapas iniciais desse tipo de sistema. O objetivo desta pesquisa é analisar o impacto do uso de diferentes técnicas e de combinação delas quando aplicadas à imagens de diagnóstico de pulmão e de coluna vertebral. 1. Introdução O avanço da tecnologia digital tornou praticamente universal a possibilidade de se registrar eventos dos mais variados por meio de imagens. Alguns dos equipamentos que diariamente registram uma infinidade delas que podem ser citados são as câmeras digitais, celulares, satélites, radares rodoviários e equipamentos médicos. Dentro da área médica as imagens são registradas por meio de radiografias, ressonâncias magnéticas, tomografias computadorizadas e ultrassonografias [11]. A grande quantidade de imagens pode dificultar o trabalho de um indivíduo em acessar apenas aquelas que lhe são relevantes no momento. Isso afeta desde usuários que utilizam motores de busca para encontrar imagens a partir de uma descrição de seu conteúdo até pesquisadores que desejam detectar padrões de atividade solar através da

2 similaridade existente entre as cerca de setenta mil imagens registradas diariamente [3] Essa dificuldade decorre do fato de que recuperar imagens com base em seu conteúdo é uma tarefa não trivial para computadores. A recuperação de imagens com base em conteúdo (Content Based Image Retrieval CBIR) desperta interesse na ciência da computação há muitos anos [13], [17], [20], [21] e são várias as áreas do conhecimento humano que se valem dos avanços já conquistados, incluindo: astronomia [3], oceanografia [18], medicina [5], entre outras. Esses avanços em CBIR foram possíveis devido ao desenvolvimento de técnicas de processamento de imagens, visão computacional, banco de dados e outras áreas da ciência da computação. Uma das áreas onde a aplicação de sistemas com suporte à CBIR tem potencial para trazer grandes benefícios é a médica, onde geralmente eles são utilizados como auxílio na tomada de decisões relacionadas a diagnósticos [17], [23]. Um exemplo de aplicação pode ser encontrado em [19], onde o sistema Higiia [4] é utilizado para auxiliar em diagnósticos de câncer de mama. Contudo, a complexidade do processo faz com que muitos desafios ainda estejam em aberto. O principal desses desafios diz respeito à dificuldade em se aproximar a interpretação que um ser humano(e.g. um médico) um computador tem da mesma imagem. Esse problema recebe o nome de descontinuidade semântica [10] e pode ser amenizado através do desenvolvimento das técnicas computacionais envolvidas nas etapas da recuperação de imagens com base no conteúdo. O processo de recuperação de imagens com base em conteúdo pode ser dividido nas seguintes etapas (que não necessariamente seguem essa ordem): pré-processamento das imagens; extração de suas características e representação de seu conteúdo; seleção das características mais relevantes; comparação das representações através de funções de distância; indexação das imagens num banco de dados; realização de consultas ao banco de imagens; O intuito deste trabalho é investigar técnicas de pré-processamento e de extração de características de imagens, que posteriormente são utilizadas em outras fases de um sistema de CBIR. O estudo será feito com base num banco de imagens de pulmão e de coluna vertebral destinado à pesquisas do grupo CROSS(Critical and Complex Systems research group) 1 2. Fundamentação Teórico-Metodológica e Estado da Arte Alguns conceitos que são base para o desenvolvimento deste trabalho são apresentados a seguir Recuperação de Imagens com Base em Conteúdo Sistemas de recuperação de imagens com base em conteúdo (Content Based Image Retrieval CBIR) tem recebido muita atenção dentro da ciência da computação nas duas 1

3 últimas décadas [21], [6]. Através de suas técnicas, pode-se, por exemplo, recuperar de maneira ágil imagens cujo conteúdo seja similar a uma imagem de referência. Isso é possível porque a indexação de imagens dentro do banco de dados passa a ser feita com base na similaridade existente entre elas. Entre as aplicações de CBIR está o suporte à tomada de decisões em diagnósticos médicos com base no conteúdo de exames realizados previamente [5]. A utilização de sistemas CBIR para apoio à diagnósticos médicos tem crescido [17], [2], [9] e, apesar de a decisão final em um diagnóstico ser integralmente do médico, o fato de que os sistemas podem oferecer alguma ajuda justifica a intensa busca por avanços na área [24], [8], [16], [22], [5], [19]. Apesar desse crescente interesse na área e de seu potencial para resolver problemas muito complexos, ainda não existe uma solução geral para a recuperação de imagens com base em conteúdo [8]. Isso exige que as técnicas sejam escolhidas com base nas particularidades existentes no domínio do problema em consideração [12]. Dois dos principais componentes de um sistema CBIR genérico são: a) um conjunto de representações do conteúdo das imagens(e.g. vetores de características); b) uma maneira de avaliar a similaridade entre as imagens(e.g. funções de distância) [5]. Vale também notar que, para ser útil na prática, esse processo depende da utilização de soluções em armazenamento e indexação de dados que sejam apropriadas para recuperação com base em similaridade. Algumas soluções bastante conhecidas são os Métodos de Acesso Espaciais (MAEs), para dados multidimensionais, e Métodos de Acesso Métricos (MAMs), para dados com dimensionalidade alta ou adimensionais [14]. Este trabalho se ocupará apenas com algoritmos responsáveis pelo primeiro desses componentes: a construção da representação das imagens que servirá de base para as etapas posteriores do sistema A Descontinuidade Semântica O maior problema enfrentado por sistemas de CBIR é conhecido na literatura como descontinuidade semântica, que pode ser definida como a discrepância que existe entre a interpretação cognitiva que um ser humano dá a uma imagem (alto nível de abstração) e a estrutura simples de pixels discretos, que é a maneira utilizada por programas de computador para representar imagens [9]. Por causa dessa descontinuidade a análise computacional de uma imagem médica pode conflitar com a interpretação que um especialista humano lhe daria, o que limita a utilidade desses sistemas à um mero suporte. Isso significa que eliminar ou ao menos diminuir essa descontinuidade representa um desafio muito importante dentro da pesquisa em visão computacional, e técnicas com sucesso em outras áreas também tem sido experimentadas, como o uso de redes neurais profundas [1]. A falta de uma solução genérica para a descontinuidade semântica exige que abordagens mais específicas sejam investigadas [17]. A linha que este trabalho segue é buscar otimizar uma das etapas do processo de recuperação de imagens dentro de um domínio bem definido e, para isso, vai limitar-se à investigação de técnicas de pré-processamento e de extração de características de imagens aplicando-as a imagens de pulmão e de coluna vertebral.

4 2.3. Processamento de imagens médicas A medicina moderna utiliza imagens de vários tipos na realização de diagnósticos. Entre eles podem ser citadas: raios X, ressonâncias magnéticas, ultrassonografias e tomografias computadorizadas [11], [9]. A utilização de sensores diversos para gerar as imagens, e o registro de diferentes regiões do corpo humano através deles, fazem com que cada tipo de imagem possua particularidades que devem ser levadas em conta quando da realização de seu processamento. Em muitos casos, é preferível que essas imagens sejam submetidas a uma etapa de tratamento anterior à extração de suas características, o que possibilita que uma representação mais expressiva seja construída[9]. Essa etapa de pré-processamento tem por finalidade ressaltar detalhes da imagem que sejam relevantes ao domínio do problema em questão, ou ainda tentar minimizar a influência de características irrelevantes. As técnicas que realizam esse tratamento nas imagens também recebem os nomes de técnicas de melhoramento ou técnicas de realce. Não existe uma teoria geral que sugira quais técnicas de pré-processamento devem ser utilizada para todos os tipos de imagens. Isso exige que emprego delas seja orientado de acordo com o problema que se deseja resolver [12]. Alguns exemplos de técnicas de processamento utilizadas em imagens médicas são apresentados a seguir, com base em [9] são: a) ajuste de janela e de nível; b) melhoramento de borda e de contraste; c) redução de ruído codificação de cores; d) registro e segmentação; e) compressão e gerenciamento de imagens; A aplicação dessas técnicas tem como meta auxiliar os extratores de características a construírem uma descrição do conteúdo da imagem que seja semanticamente fiel à percepção que um ser humano tem ao analisá-la Extração de características de imagens médicas Imagens digitais são compostas por um número finito de elementos, cada um com sua posição e valor, que são chamados pixels [12]. É possível que uma comparação trivial entre duas imagens seja feita puramente com base neles, mas esse tipo de comparação dificilmente traria resultados expressivos, uma vez que a similaridade entre duas imagens geralmente depende mais de suas descrições em alto nível do que do valor bruto de seus pixels. Uma maneira mais adequada de avaliar a similaridade entre imagens é fazê-la a partir de uma representação que privilegie características que sejam relevantes para o domínio do problema. A construção dessa representação, que geralmente tem a forma de um vetor de características, é feita por extratores de características. Os tipos básicos de extração levam em conta uma ou mais das seguintes características das imagens: a) escala de cinza e de cores; b) textura; c) conjuntos de pontos; d) contornos ou curvas; e) superfícies; f) regiões específicas; Alguns trabalhos feitos recententemente apresentam os extratores que mais tem sido utilizados dentro do domínio de imagens médicas [7], [5], [9], [23]. Com base nesses trabalhos, um conjunto inicial de extratores que serão usados neste trabalho é listado a seguir.

5 Baseados em escalas de cinza e de cor: Baseados em textura: histogramas; momentos; baseados em blocos. coocorrência de textura; espectro de potência de Fourier; características de Gabor; baseados em wavelets; características estatísticas de Harallick; características de Tamura; modelo de multirresolução autorregressivo. Baseados em contornos/curvas: aproximação poligonal; histogramas de borda; baseados em Fourier; espaço de curvatura de escala. Baseados em superfícies : conjuntos de nível/transformadas de distância; campos aleatórios Gaussianos; Baseados em regiões e partes : modelo estatístico de partes anatômicas; descritores de região baseados em wavelets; distribuição espacial de regiões de interesse. Baseados em outras características: espaços de forma; forma global; morfológicas; relacionamentos de localização e espaço. 3. Objetivos O objetivo geral desta pesquisa é classificar diferentes métodos de pré-processamento de imagens e de extração de características de acordo com sua adequação para uso na recuperação de imagens de pulmão e de coluna vertebral. Também podem ser considerados objetivos: demonstrar que comparações de algoritmos devem ser feitas com respeito a um tipo específico de imagem. encontrar as características mais relevantes para a representação de imagens de pulmão e de coluna vertebral; avaliar o impacto causado pela adoção de diferentes técnicas dentro de um CBIR;

6 4. Procedimentos metodológicos/métodos e técnicas De maneira a atingir o objetivo deste trabalho, será realizado um estudo comparativo de diferentes implementações de técnicas de pré-processamento e de extração de características de imagens médicas, aplicando-os a um banco de imagens existente no grupo de pesquisas CROSS, além de outros conjunto de dados que forem encontrados no decorrer do desenvolvimento do trabalho. Inicialmente, será feito um levantamento das técnicas de pré-processamento e extração de características recentes, juntamente com um levantamento de implementações já realizadas dessas técnicas e de conjuntos de dados adicionais que podem ser utilizados nos experimentos. Em seguida serão realizados experimentos com os algoritmos aplicados às imagens dos conjuntos de dados. Esses experimentos serão avaliados através de técnicas de classificação como Revocação x Precisão e Curvas ROC, com auxílio do módulo MedFMI-SiR [15]. Através dessas representações gráficas será possível avaliar o impacto da utilização dos diferentes algoritmos utilizados, especialmente em relação à quanto varia o número de falsospositivos retornados, bem como o de verdeiros-positivos não retornados, numa consulta por similaridade, quando existe uma variação na combinação de técnicas de préprocessamento e extratores de características aplicadas às imagens do conjunto de dados. 5. Cronograma de Execução As atividades descritas na seção 4 seguirão o cronograma de execução apresentado na Tabela 1. Atividades: 1. levantamento de algoritmos, implementações e conjuntos de dados para testes; 2. aplicação inicial dos algoritmos aos conjunto de testes; 3. análise da eficiência dos diferentes algoritmos quando aplicados à base de dados; 4. combinação de algoritmos buscando melhorar resultados da análise; 5. redação do TCC. Tabela 1. Cronograma de Execução ago set out nov dez jan fev mar Atividade 1 X X Atividade 2 X Atividade 3 X X Atividade 4 X X Atividade 5 X X X Atividade 6 X X X X X X 6. Contribuições e/ou Resultados esperados Espera-se que a pesquisa realizada ajude a apontar quais técnicas de processamento de imagem e de extração de características são mais apropriadas ou desapropriadas para serem aplicadas ao tipo de imagem escolhida para testes. Também espera-se contribuir para o entendimento de características presentes nessas imagens que expliquem o porquê de algumas técnicas serem mais eficiente do que outras.

7 Referências [1] Vibhu Agarwal and Clayton Carson. Using Deep Convolutional Neural Networks to Predict Semantic Features of Lesions in Mammograms [2] Wan Siti Halimatul Munirah Wan Ahmad and Mohammad Faizal Ahmad Fauzi. Comparison of different feature extraction techniques in content-based image retrieval for CT brain images. In 2008 IEEE 10th Workshop on Multimedia Signal Processing, pages IEEE, October [3] JuanM. Banda, MichaelA. Schuh, Tim Wylie, Patrick McInerney, and RafalA. Angryk. When too similar is bad: A practical example of the solar dynamics observatory content-based image-retrieval system. In Barbara Catania, Tania Cerquitelli, Silvia Chiusano, Giovanna Guerrini, Mirko Kämpf, Alfons Kemper, Boris Novikov, Themis Palpanas, Jaroslav Pokorný, and Athena Vakali, editors, New Trends in Databases and Information Systems, volume 241 of Advances in Intelligent Systems and Computing, pages Springer International Publishing, [4] M V N Bedo, M Ponciano-Silva, D S Kaster, P H Bugatti, A J M Traina, and C Traina Jr. Higiia: A Perceptual Medical CBIR System Applied to Mammography Classification. In Demo and Applications Session of the XXVII Brazilian Symposium on Databases (SBBD), pages 13 18, São Paulo, SP, [5] Ceyhun Burak Akgül, Daniel L. Rubin, Sandy Napel, Christopher F. Beaulieu, Hayit Greenspan, and Burak Acar. Content-based image retrieval in radiology: Current status and future directions. Journal of Digital Imaging, 24: , [6] Ritendra Datta, Dhiraj Joshi, Jia Li, and James Z. Wang. Image retrieval. ACM Computing Surveys, 40(2):1 60, April [7] Jeremiah D. Deng. Improving feature extraction for automatic medical image categorization th International Conference Image and Vision Computing New Zealand, IVCNZ Conference Proceedings, (Ivcnz): , [8] Thomas Deselaers, Daniel Keysers, and Hermann Ney. Features for image retrieval: an experimental comparison. Information Retrieval, 11(2):77 107, [9] Thomas M. Deserno. Biomedical Image Processing [10] Thomas M. Deserno, Sameer Antani, and Rodney Long. Ontology of gaps in contentbased image retrieval. Journal of Digital Imaging, 22: , [11] Atam P Dhawan. Medical Image Analysis. Wiley-IEEE Press, 2 edition, [12] Rafael C Gonzalez, Richard E Woods, and Barry R Masters. Digital image processing. Journal of Biomedical Optics, 14(2):9901, [13] Venkat N Gudivada and Vijay V Raghavan. Content based image retrieval systems. Computer, 28(9):18 22, [14] D Dos Santos Kaster and Ct Junior. Inclusão de Consultas por Similaridade em SGBDs: Teoria e Prática. Data.Ime.Usp.Br, pages 31 60, [15] D S Kaster, P H Bugatti, M Ponciano-Silva, A J M Traina, P M A Marques, A C Santos, and C Traina Jr. MedFMI-SiR: A Powerful DBMS Solution for Large-Scale Medical Image Retrieval. In International Conference on Information Technology in Bio- and

8 Medical Informatics, volume 6865 of Lecture Notes in Computer Science, pages 16 30, Berlin/Heidelberg, Springer. [16] Lr Rodney Long, Sameer Antani, Thomas Martin Tm Deserno, and Gr George R Thoma. Content-Based Image Retrieval in Medicine: Retrospective Assessment, State of the Art, and Future Directions. International Journal of Healthcare Information Systems and Informatics, 4(1):1 16, [17] Henning Müller, Nicolas Michoux, David Bandon, and Antoine Geissbuhler. A review of content-based image retrieval systems in medical applications-clinical benefits and future directions. International journal of medical informatics, 73:1 23, [18] J.A. Piedra-Fernandez, G. Ortega, J.Z. Wang, and M. Canton-Garbin. Fuzzy contentbased image retrieval for oceanic remote sensing. Geoscience and Remote Sensing, IEEE Transactions on, 52(9): , Sept [19] Marcelo Ponciano-Silva, Juliana P. Souza, Pedro H. Bugatti, Marcos V N Bedo, Daniel S. Kaster, Rosana T V Braga, Ângela D. Bellucci, Paulo M. Azevedo-Marques, Caetano Traina, and Agma J M Traina. Does a CBIR system really impact decisions of physicians in a clinical environment? Proceedings of CBMS th IEEE International Symposium on Computer-Based Medical Systems, pages 41 46, [20] Yong Rui, Thomas S Huang, Michael Ortega, and Sharad Mehrotra. Relevance feedback: a power tool for interactive content-based image retrieval. Circuits and Systems for Video Technology, IEEE Transactions on, 8(5): , [21] Arnold W M Smeulders, Marcel Worring, Simone Santini, Amarnath Gupta, and Ramesh Jain. Content-Based Image Retrieval at the End of the Early Years. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 22(12): , [22] Agma J M Traina, Caetano Traina Jr, Cristina Dutra, De Aguiar Ciferri, Elaine Parros, Machado De Sousa, Jose Fernando, and Rodrigues Jr. The Images and Data Bases Group at University of São Paulo. 1(4):1 14, [23] Agma J M Traina, Caetano Traina Jr, Marcela X Ribeiro, Pedro H Bugatti, Carolina Y V Watanabe, and Paulo M Azevedo-marques. Feature Extraction and Selection for Decision Making, [24] Caetano Traina, Agma J M Traina, Myrian R B Araújo, Josiane M. Bueno, Fabio J T Chino, Humberto Razente, and Paulo M. Azevedo-Marques. Using an imageextended relational database to support content-based image retrieval in a PACS. Computer Methods and Programs in Biomedicine, 80, 2005.