CAROLINA MASSAE KITA USO DE PARÂMETRO DE PERCEPÇÃO PARA MELHORIA DE QUALIDADE DE RESULTADOS DE BUSCAS DE IMAGENS POR CONTEÚDO

Transcrição

1 CAROLINA MASSAE KITA USO DE PARÂMETRO DE PERCEPÇÃO PARA MELHORIA DE QUALIDADE DE RESULTADOS DE BUSCAS DE IMAGENS POR CONTEÚDO LONDRINA PR 2013

2

3 CAROLINA MASSAE KITA USO DE PARÂMETRO DE PERCEPÇÃO PARA MELHORIA DE QUALIDADE DE RESULTADOS DE BUSCAS DE IMAGENS POR CONTEÚDO Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. Orientador: Prof. Dr. Daniel dos Santos Kaster LONDRINA PR 2013

4 Carolina Massae Kita Uso de parâmetro de percepção para melhoria de qualidade de resultados de buscas de imagens por conteúdo/ Carolina Massae Kita. Londrina PR, p. : il. (algumas color.) ; 30 cm. Orientador: Prof. Dr. Daniel dos Santos Kaster Universidade Estadual de Londrina, Parâmetro de percepção. 2. Realimentação de relevância. I. Daniel dos Santos Kaster. II. Universidade Estadual de Londrina. III. Faculdade de Ciência da Computação. IV. Uso de parâmetro de percepção para melhoria de qualidade de resultados de buscas de imagens por conteúdo CDU 02:141:005.7

5 CAROLINA MASSAE KITA USO DE PARÂMETRO DE PERCEPÇÃO PARA MELHORIA DE QUALIDADE DE RESULTADOS DE BUSCAS DE IMAGENS POR CONTEÚDO Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. BANCA EXAMINADORA Prof. Dr. Daniel dos Santos Kaster Universidade Estadual de Londrina Orientador Prof. Dr. Evandro Bacarin Universidade Estadual de Londrina Prof. Dr. Alan Salvany Felinto Universidade Estadual de Londrina Londrina PR, 21 de novembrode 2013 LONDRINA PR 2013

6

7 AGRADECIMENTOS Os agradecimentos principais são direcionados aos pais, Afonso e Sueli, por todo os apoios que me deram durante minha vida, pois sem eles eu não poderia estar aqui fazendo este trabalho. Ao Pedro Sena Tanaka por estar sempre presente neste ano, tanto nas horas de necessidade quanto nas horas em que nem precisava do auxílio dele. E por ter me auxiliado na revisão deste trabalho também. Agradeço ao Daniel Kaster, por ajudar na escrita, revisão e além disso por dar auxílio que foram além do âmbito acadêmico, tanto para mim quanto para minha família. Agradeço ao meu filho Daniel, pois ele mesmo sem poder expressar seu sentimentos através de palavras me deu muita motivação para concluir este trabalho. Agradeço também aos meus irmãos Yuussuke e Lika por ter me dado muito amor e carinho.agradeço também o meu sogro Pedro Takashi por me ajudar a cuidar do Daniel durante este ano.

8

9 KITA, C. M.. Uso de parâmetro de percepção para melhoria de qualidade de resultados de buscas de imagens por conteúdo. 42 p. Trabalho de Conclusão de Curso (Graduação). Bacharelado em Ciência da Computação Universidade Estadual de Londrina, RESUMO A hora trabalhada de um médico custa muito caro para hospitais e governos. Para os médicos especializados como radiologista precisa-se de um tempo para a classificações das imagens radiografadas para diagnosticar problemas dos pacientes. Essas horas poderiam ser utilizadas no atendimento aos pacientes. O objetivo deste trabalho é verificar se busca de imagens por conteúdo auxilia no diagnósticos de laudos e treinamento de residente. A aplicação dicomweb foi desenvolvida para auxiliar na classificações das imagens médicas, retornando imagens semelhantes com suas respectivas classificações. Esta aplicação utiliza também o método de realimentação de relevância para melhorar os resultados das consultas por imagens similares, assim aumentando o grau de certeza da classificações dos usuários. A aplicação também pode ser utilizada nos cursos de medicina para auxiliar nas classificações dos graduandos, apoiando as aulas e especializando ainda mais o conhecimento adquirido pela visualização e classificações das imagens. Palavras-chave: busca de imagens por conteúdo. parâmetro de percepção. imagem médica. realimentação de relevância

10

11 KITA, C. M.. Use of perceptual parameter to improve the result quality of content based image retrieval. 42 p. Final Project (Undergraduation). Bachelor of Science in Computer Science State University of Londrina, ABSTRACT The time of a doctor cost lots of money to hospitals and the government. A medic specialized in radiology devotes a portion of its time to analyze and classify diagnose images in order to diagnose problems of its patients. This time spent doing this kind of classification could be dedicated to meet his/her patients. The goal of this papel is to verify if CBIR helps to diagnose medical reports or training resident. The application dicomweb was developed to help the classification of the medical images, returning similar images and their respective correct classifications. The application also uses the concept of relevance feedback which improves the results of the retrieval of the similar images, this way the increasing the sureness level of the users classifications. The application discussed can also be used in medicine courses to help undergraduate students classify images, supporting classes and helping to specialize knowledge acquired by further visualization and classifications of images. Keywords: cbir. perceptual parameter. medical images. relevance feedback

12

13 LISTA DE ILUSTRAÇÕES Figura 1 Exemplo de imagens que têm o mesmo histograma de cor Figura 2 Processo de extração do vetor de características Figura 3 Figura da esquerda mostra uma mamografia sem tumor, e da direita com tumor [1] Figura 4 Um exemplo de matriz co-ocorrência com angulação de θ = 0 o, 45 o, 90 o, 135 o 23 Figura 5 Figura (a) mostra uma consulta sem utilizar a realimentação de relevância e (b) com a utilização da mesma Figura 6 Diagrama ER do banco de dados da aplicação Figura 7 A tela da classificação da ferramenta dicomweb Figura 8 Gráfico da mudança do grau de certeza da classificação sem CBIR para com CBIR Figura 9 Gráfico das imagens selecionadas como relevantes e irrelevantes pelo o usuário Figura 10 Gráfico da mudança do grau de certeza da classificação sem realimentação de relevância para com realimentação Figura 11 Gráfico das imagens selecionadas como relevantes e irrelevantes pelo o usuário depois da utilização de realimentação de relevância Figura 12 Gráfico das imagens selecionadas como relevantes e irrelevantes pelo o usuário na aplicação geral

14

15 LISTA DE ABREVIATURAS E SIGLAS ACR CBIR DICOM ER FMI-SiR American College of Radiology Content-Based Image Retrieval Digital Imaging and Communication in Medicine Entidade Relacionamento user-defined Features, Metrics and Indexes for Similarity Retrieval HC-FMRP-USP Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo k-nnq NEMA PACS Rq SGBD k-nearest Neighbor query National Electrical Manufacturers Association Picture Archiving and Communication System Range query Sistemas de Gerenciamento de Banco de Dados

16

17 SUMÁRIO 1 Introdução Conceitos Sistemas de Arquivamento e Comunicação de Imagens Médicas O Padrão DICOM Recuperação de Imagens Baseada em Conteúdo Extratores de características Extratores baseada em cor Extratores baseada em textura Extratores baseados em forma Função de distância Parâmetro de percepção FMI-SiR Realimentação de relevância Revisão de Literatura Metodologia Modelagem de banco de dados A implementação da ferramenta dicomweb Integração dos módulos FMI-SiR com o JAVA Resultados Conclusão Contribuições Trabalhos futuros Referências

18

19 17 1 INTRODUÇÃO Com o crescimento da população brasileira e do mundo, aumenta também a procura por tratamentos nos hospitais. Os profissionais da área de saúde precisam atender com eficácia e rapidez para suprir a demanda por atendimento dos pacientes. Este crescimento motivou o uso mais extensivo da tecnologia nos meios hospitalares e então as imagens geradas pelos equipamentos de diagnóstico por imagem começou a ser gravada em formato digital [2, 3]. Porém, em hospitais de grande escala, este armazenamento toma proporções que vão além do controle humano, principalmente devido a leis como a estabelecida pelos conselhos de medicina pelo mundo que obrigam hospitais a guardar imagens de prontuários por 20 a 30 anos. Na radiologia, as imagens de prontuários são essenciais para o aprofundamento dos estudos, onde se deseja identificar mais ocorrência de casos raros e estudar com detalhes os mesmos, e também para treinamento de estudantes e médicos residentes [3]. Além disso a identificação dos problemas de saúde como câncer de mama, hérnia de disco é preciso fazer diagnósticos através destas imagens médicas. Objetivo deste trabalho é verificar se a busca de imagens por conteúdo auxilia nos diagnósticos de laudos e treinamento de resisdente em ambiente real. Para analisar e alcançar este objetivo junto com o Ponciano- Silva[4] realizará os testes os residentes e médicos do Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo. Para colaborar nesses estudos, neste trabalho foi desenvolvida uma aplicação que busca por imagens semelhantes dentro de bases de imagens médicas, dada uma imagem específica passada como parâmetro. Nesta aplicação, o parâmetro de percepção possui um papel importante, o qual é o de identificar quais são as características mais relevantes da imagem para então realizar a busca utilizando como filtro da pesquisa este parâmetros e obtendo resultados mais relevantes. O parâmetro de percepção é conjunto de características que o observador da imagem julga ser mais importante da seleção da mesma. Em testes realizados em um hospital, profissionais da saúde que utilizaram a ferramenta atestaram que em 77,3% dos casos a ferramenta retornava imagens que eram relevantes, ou seja, similares com as imagens a serem classificadas. Estes resultados mostram a solidez da aplicação que foi construída usando ferramentas de código aberto em sua maioria. O trabalho está organizado da seguinte forma, no Capítulo 2 são abordados alguns conceitos para o entendimento dos métodos utilizados na construção da aplicação. A revisão da literatura, bem como os trabalhos correlatos estão descritos no Capítulo 3. O funcionamento e a implementação da aplicação é explicado no Capítulo 4. Os resultados obtidos estão descritos no Capítulo 5. No capítulo 6 estão descritas a conclusão e a

20 18 Capítulo 1. Introdução contribuição deste trabalho.

21 19 2 CONCEITOS Para entender melhor os métodos utilizados na construção da ferramenta de recuperação de imagens médicas proposta neste trabalho e como são feitas as etapas de recuperação, análise e comparação de imagens é preciso discorrer alguns conceitos básicos, o que será feito a nas próximas seções. 2.1 Sistemas de Arquivamento e Comunicação de Imagens Médicas A quantidade e variedade de máquinas para diagnóstico por imagem é grande em hospitais de grande porte, e é difícil ter o controle das imagens geradas por este maquinário, este desafio foi percebido na década de 80 por Duerinckx e Pisa[5]. Para atender esta deficiência no gerenciamento de imagens, foram criados os sistemas de arquivamento e comunicação de imagens (Picture Archiving and Communication System PACS). Os PACS têm responsabilidade de gerenciar as imagens geradas pelo maquinário além dos dados dos pacientes associados às imagens. Um PACS é composto por diferentes camadas funcionais, podendo-se destacar protocolos de comunicação, padrões de imagens e formatos de dados. Nos PACS, o formato de imagens mais comumente usado é o DICOM, o qual se firmou como formato padrão para imagens médicas, além de servir como protocolo de comunicação interno dos PACS [6]. A Seção 2.2 introduz o padrão DICOM. 2.2 O Padrão DICOM As imagens médicas digitalizadas atendem ao padrão DICOM (Digital Imaging and Communication in Medicine). O padrão DICOM foi desenvolvido a partir da cooperação do American College of Radiology (ACR) com a National Electrical Manufacturers Association (NEMA) [7] para poder padronizar imagens de diagnósticos como: ressonâncias magnéticas, ultrassonografias, tomografias e outras imagens médicas. Em 1985 foi criada a sua primeira versão onde aceitava arquivar dados de mídia e se comunicar de forma não-proprietária. Com o sucesso da primeira versão, foi publicado a versão 2.0, em 1988, que já incluem as principais definições de terminologia, estrutura de dados e codificações. Em 1993 nomeou como DICOM 3.0, com o diferencial do uso do TCP/IP. As imagens DICOM não guardam somente a imagem do exame em si, mas trazem consigo informações detalhadas sobre o paciente, maquinário usado para a obtenção das

22 20 Capítulo 2. Conceitos imagens, assim como o médico responsável pelo exame. Tudo isso é guardado no cabeçalho da imagem, sendo que cada atributo é denominado uma tag DICOM [8]. 2.3 Recuperação de Imagens Baseada em Conteúdo Para se fazer buscas de imagem considerando suas características visuais utilizase a Recuperação de Imagens Baseada em Conteúdo (Content-Based Image Retrieval CBIR). As imagens não são dados ordenáveis, desta forma, elas não podem ser comparadas usando operadores de ordem total( >, <,, ). Além disso, comparações de igualdade (=, ) são praticamente inúteis, pois se um pixel de uma imagem for alterado estas são consideradas diferentes. Para solucionar este problema, as consultas de imagens por conteúdo são usadas buscas por similaridade, onde se encontra uma imagem similar dependendo das características desejada. A CBIR utiliza técnicas de extração das características, que produzem vetores de características que contêm valores para propriedades visuais identificadas nas imagens, e funções para calcular a (dis)similaridade entre vetores de características para encontrar imagens similares, que usualmente são funções de distância [9]. Existem várias formas de se fazer buscas por similaridade. Dentre elas pode-se citar a consulta aos k-vizinhos mais próximos (k-nearest Neighbor query k-nnq) e a consulta por abrangência (Range query Rq). A consulta aos k-vizinhos mais próximos retorna os k vizinhos mais próximos ao elemento de consulta no espaço de similaridade. A consulta por abrangência recupera todos os elementos dentro de um área do espaço de similaridade definida pela bola centrada no elemento de consulta e cujo raio de abrangência é fornecido na consulta. 2.4 Extratores de características As imagens são representadas como pontos no espaço de similaridade definido pelos vetores de características. Para obter um vetor de características de imagens extraise características da imagem, sendo que o processo de extração pode exigir um préprocessamento (remoção de ruídos, por exemplo). A extração de características de imagens leva em conta 3 tipos aspectos: cor, textura e forma Extratores baseada em cor Um extrator de cor muito primitivo ainda assim amplamente utilizada é o histograma normalizada de cores, que calcula as frequências de pixeis para cada intensidade

23 2.4. Extratores de características 21 de cor. Porém esses extratores não relacionam a rotação e traslação das imagens, pois no histograma não apresenta a distribuição espacial de cores. Por isso imagens diferentes pode resultar em mesmo histograma de cor, como mostra a Figura 1. Figura 1 Exemplo de imagens que têm o mesmo histograma de cor As imagens médicas são geralmente representadas em modo de cor preto e branco. Normalmente essas imagens são armazenados com resoluções altas, para melhor precisão de diagnósticos médicos. Os extratores de cores tem uma elevada dimensão dos vetores de características, pois existem 256 tons de cinzas. A Figura 2 mostra o processamento de extração do vetor de características Figura 2 Processo de extração do vetor de características Extratores baseada em textura As características percebidas pelo sistema humano como a textura de objetos em imagens, seja ela áspera, lisa, homogênea ou heterogênea são características que o extrator de textura deve extrair. A extração é feita pela busca de padrões repetitivos na variação de cor, ou seja pela distribuições de cores nos pixeis da imagem. Nas imagens médicas a

24 22 Capítulo 2. Conceitos extração é feita pela distribuição de níveis de cinzas, pois normalmente elas são preto e branco. A extração de textura é boa nas imagens médicas, pois consegue encontrar mais rapidamente as anomalias como nódulos ou tumores. Esta facilidade vem do fato que os tumores normalmente tem uma textura mais homogênea do que outras partes do corpo, como mostra a Figura 3. Figura 3 Figura da esquerda mostra uma mamografia sem tumor, e da direita com tumor [1] O vetor de característica de textura da imagem pode ser extraído usando diferente técnicas entre elas estão: matriz de co-ocorrência Essa matriz é calculada a partir da ocorrência de tons de cinzas em pixeis que tem seus vizinhos com o mesmo tom de cinza, se isto acontece é somado valores a matriz de co-ocorrência. Sendo que os vizinhos comparados estão a uma distância determinada d e são verificados nas direções com a angulação com θ = 0 o, 45 o, 90 o, 135 o ; Na Figura 4 mostra um exemplo de matriz de co-ocorrência utilizando 4 tons de cinzas, com uma distância igual a 2. filtro de Gabor São filtros baseados na função de Gabor, que consegue resolver de forma razoável a extração de textura. A função de Gabor é um oscilador harmônico, o qual é uma onda sinusoidal plana [10];

25 2.5. Função de distância º 90º 45º º d Figura 4 Um exemplo de matriz co-ocorrência com angulação de θ = 0 o, 45 o, 90 o, 135 o descritores de Haralick estes descritores são baseados em matrizes de co-ocorrência a partir de onde são calculados valores numéricos e depois são usados os descritores para definir que tipo de distribuição de pixel [11] Extratores baseados em forma As características de forma são menos desenvolvidas que as outras características, pois a uma complexidade muita alta em representar formas. Em particular, há casos onde para descrever a forma de um objeto é necessário encontrar as regiões da imagem que contém este objeto, para isso é utilizado um conjunto de técnicas de segmentação que combina a detecção de níveis baixas de cores e texturas específicas para aquela imagem. Dentre as técnicas utilizadas para a extração de forma estão: transformada discreta de Fourier; baseadas em contornos; momentos Zernike. 2.5 Função de distância Para responder às consultas por similaridade, os vetores de características são comparados usando funções de (dis)similaridade, estas funções são geralmente que tipicamente são funções de distância. Há várias funções de distância na literatura, dentre as

26 24 Capítulo 2. Conceitos quais as mais utilizadas são a distância Euclideana e a distância Manhattan. A distância Euclideana calcula a distância pelo teorema de Pitágoras e sua área de cobertura é um círculo de raio r, considerando-se o espaço R 2. A função Manhattan é definida como a soma das diferenças absolutas entre os dois pontos, e tem como área de cobertura um losango de lado r 2 [12]. 2.6 Parâmetro de percepção Parâmetro de percepção é o indicador que uma pessoa mais observa como relevante no objeto, variando de acordo com o observador [4]. No contexto da busca por imagem o parâmetro de percepção capta algumas características físicas, como cor ou forma da imagem para servir de atributos na busca a ser feita pelas imagens semelhantes. Com essas características de imagem mais adequadas à concepção de similaridade do observador, as buscas por imagens semelhantes tendem a ter maior eficácia. Se tomar como exemplo uma foto de um rosto, onde se observar várias características, por exemplo presença de olhos, boca, nariz. Porém essas características ainda não são o que chamamos de parâmetro de percepção. Para se discutir sobre os parâmetro de percepção, precisamos se aprofundar mais. Então iremos comparar só os olhos, ainda há problemas semânticos, porém menos que o rosto. Uma pessoa pode dizer que a cor dos olhos é o aspecto mais relevantes para a comparação das imagens, já a outra pode dizer que é o formato. Este conjunto de características combinadas e/ou isoladas que mais se destacam para o observador é chamado de parâmetro de percepção. 2.7 FMI-SiR Um problema atual em Sistemas de Gerenciamento de Banco de Dados (SGBD) é a falta de ferramentas para recuperação de dados complexos por similaridade. E apesar das pesquisas desenvolvidas para tentar dar fim a este problema, tem se conseguido soluções que não são ligadas às funções nativas dos SGBD s, isto limita o desempenho destes sistemas. Para resolver este problema foi proposto o FMI-Sir (user-defined Features, Metrics and Indexes for Similarity Retrieval características, métricas e índices definidos pelo usuário a para recuperação por similaridade) que é um módulo roda ligado ao SGBD, arquitetado para ser um subsistema especializado para recuperação por similaridade. Este módulo fica disponível ao processador de consulta do SGBD, fornece operadores, extratores de características, funções de distância e um conjuntos de índices para responder as consultas de modo mais eficiente [13].

27 2.8. Realimentação de relevância Realimentação de relevância O método de realimentação de relevância modifica o vetor de característica da imagem para melhorar o resultado das imagens semelhantes, fazendo com o vetor de características se assemelhe as demais imagens. Para isso é necessário ter algumas imagens selecionadas como semelhantes, para o vetor de características da imagem a ser modificado. A conversão desse vetor é realizada a partir da média dos vetores de características, fazendo com que se aproxime mais das imagens desejadas. Na Figura 5 exemplifica uma consulta por similaridade onde os círculos azuis são as imagens da coluna normal, os roxos são da coluna fraturada e o preto é o vetor de característica que serve como parâmetro para medir a dissimilaridade. Os circulos com bordas pontilhadas são as imagens selecionadas pelo usuário como imagens semelhantes. Na figura 5(a) foi utilizado o vetor de características extraido da imagem a ser consultada, já na Figura 5(b) utiliza o vetor de características modificado pela função de realimentação de relevância. (a) (b) Figura 5 Figura (a) mostra uma consulta sem utilizar a realimentação de relevância e (b) com a utilização da mesma

28

29 27 3 REVISÃO DE LITERATURA No trabalho de [4] faz uma busca das imagens similares, usando parâmetro de percepção, guiada pelo usuário. Cada usuário apresenta quais são as características principais observado na imagem, podendo assim fazer uma busca mais desejada a cada usuário. Através do pré-processamento da imagem, foi possível observar que um extrator comum como o histograma pode apresentar o melhor desempenho. Já com um extrator específico, sem pré-processamento, foi possível obter um melhor desempenho que um extrator comum. No trabalho de [14] implementa um algoritmo baseado em análise de discriminante que através de um pequeno conjunto treinamento consegue identificar as características mais relevantes para fazer a busca de imagens. No trabalho ele utiliza um modelo de seleção de características fuzzy para calcular a similaridade entre os conjuntos classificados como relevantes e irrelevantes. Com a técnica aplicada obteve resultados melhores em relação a trabalhos analisados no estado da arte. O objetivo principal do trabalho de Lee et al.[15] é a extração das características das imagens de raio-x da coluna digitalizada. Essas características são utilizados para recuperação de imagens desse tipo. O teste com 3 características extraídas da imagem, as quais são: as características simétricas de acordo com a angulação e outros dados do disco da coluna, utilizando o mecanismo de votação e sem esse mecanismo. No trabalho [15] mais 3 características, que são as inercias normalizada, as formas da coluna superior e inferior, utilizando o mecanismo de votação e sem o mesmo mecanismo. Já em trabalho anterior [16] do mesmo autor a recuperação de imagens da coluna utilizando 3 características de extração e sem a votação, obteve um desempenho de 77% de precisão. Utilizando as mesmas características e com o mecanismo de votação, obteve um desempenho de 82,25% de precisão. Adicionando mais 3 características de extração, além das características utilizadas em testes anteriores, sem utilizar o mecanismo de votação, obteve-se 80% de desempenho. Já utilizando o mecanismo de votação com 6 características da imagem da coluna, obteve-se 85,5% de precisão. O trabalho de Huijsmans e Sebe[17] ressalta a importância da classificação automatizada de imagens de exames médicos, e a implementação de categorização automática usando recursos globais nas imagens médicas. No artigo é utilizado classificadores automatizados do tipo k-nn que escolhem as características através de votos que são computados através da distância entre os vetores de características, por exemplo, se o vetor de textura apresenta menor distância este é escolhido. Com o uso deste classificadores automatizados, Huijsmans e Sebe[17] conseguiu uma taxa de precisão de 85% usando estes classificadores k-nn, mas obteve até 98% quando a característica correta era selecionada.

30

31 29 4 METODOLOGIA A ferramenta dicomweb que é fruto de labor de desenvolvimento neste trabalho é uma aplicação para classificação de imagens médicas, foi desenvolvida utilizando a plataforma JAVA e banco de dados Oracle. Para a implementação da aplicação foi necessário fazer a modelagem de banco de dados, fazer design e implementar a interface com o usuário, implementar os métodos para a classificação das imagens médicas, além disso teve que ser feita a integração dos módulos do FMISIR implementado em C++ com o JAVA. Os detalhes da implementação da ferramenta são descritos nas próximas seções. 4.1 Modelagem de banco de dados Para guardar os dados médicos como as imagens dos exames além de informações sobre o uso do sistema como a resposta do usuário frente a algumas ações do sistema foi utilizada a tecnologia DICOM presente no Oracle Database além de várias relações presentes na modelagem descrita nesta seção. Os conjuntos de dados são separados pelos tipo de exame e/ou partes do corpo, e para cada um destes conjuntos de dados existem várias possibilidade de atributos para serem classificados. Um exemplo é a mamografia em que uma lesão pode ser classificada como calcificação ou massa, e a densidade como alta, baixa, heterogênea ou homogênea. Enquanto na base de coluna vertebral uma imagem pode ser classificada como a representação de uma coluna fraturada ou normal e os tipos de fratura são benigna ou maligna. Como cada conjunto de dados pode ser classificado com opções diferentes, o banco de dados dessa ferramenta foi modelado para que a aplicação tivesse um comportamento dinâmico, assim podendo suportar diferentes conjuntos de dados com várias opções de classificações diferentes. A Figura 6 mostra o diagrama entidade relacionamento (ER) do banco de dados da aplicação dicomweb. Cada conjunto de dados foi armazenado na relação data_set, que tem o nome e o identificador de cada conjunto. Cada conjunto de dados pode ter n atributos de classificação, que são armazenados então em atr_classification. Os atributos da classificação, tem m opções de classificação, que são relacionadas com a entidade op_atr_classification. As imagens também foram relacionadas com um conjunto de dados, além disso cada imagem possui as informações da série, estudo e dados da imagens que são dados inerentes ao PACS. Outro atributo armazenado na entidade image são os vetores de características usadas para cada conjunto de dados. As imagens a serem classificadas foram armazenados na entidade image_classification, só com os identificador da entidade image.

32 30 Capítulo 4. Metodologia Data_Set 1 N Atr_Classification 1 N Op_Atr_Classification 1 N Image N Returned_Image N N Classification N 1 1 Image_Classification 1 N Query N 1 User N N N 1 Perceptual_Parameter N 1 RF_Method 1 Extractor 1 Function Figura 6 Diagrama ER do banco de dados da aplicação Nas entidades user, perceptual_parameter, extractor, function e rf_method estão armazenados respectivamente as informações do usuário, os tipos de parâmetro de percepção, os tipos de extrator, os tipos de função e os métodos de realimentação de relevância. Para cada parâmetro de percepção existe um tipo de extrator e um tipo de função, podendo haver várias combinações entre eles. A entidade query guarda dados do usuário, a identificador da imagem que foi classificada, o número de iteração da classificação, o número de imagens semelhantes que foram retornadas, o parâmetro de percepção e método de realimentação de relevância que foi utilizado para busca de imagens similares. As imagens retornadas pela busca estão armazenadas na entidade returned_image, que tem também o identificador da entidade query para saber os dados do usuário que classificou ou a imagem que foi classificada. Nesta entidade também armazenada a ordem em que essas imagens foram retornadas, e a ordem de relevância ou irrelevância das imagens, classificadas pelo usuário. As imagens selecionadas como relevante são aquelas imagens que o usuário classificou como imagem semelhante com a imagem a ser classificada. E as irrelevantes são as imagens que o usuário julga não ter nenhuma semelhança com a imagem a ser classificada. Como as classificações das imagens variam de acordo

33 4.2. A implementação da ferramenta dicomweb 31 com o conjunto de dados, foi necessário guardar as mesmas na entidade classication que suporta todo tipo de conjunto de dados. Esta entidade relaciona uma opção da classificação com uma determinada consulta por imagem semelhante referenciada pela entidade query, além de armazenar o grau de certeza daquela classificação. 4.2 A implementação da ferramenta dicomweb A implementação da ferramenta dicomweb foi dividida entre a implementação do back-end e front-end. Para a implementação da interface (front-end) foi utilizado a plataforma JAVA Enterprise Edition (JSP s) e o framework CSS Bootstrap 1, em conjunto com a linguagem JavaScript utilizando a biblioteca jquery 2. A interface principal foi desenhada tanto para buscar as imagem a serem classificadas, para buscar classificações relacionadas a um dado conjunto de imagens similares, para buscar as imagens similares e utilizar os parâmetros de percepção e função de realimentação de relevância em banco de dados. Além da inserção das classificações feitas pelo usuário em cada iterações. A Figura 7 mostra a aplicação e suas funcionalidades já citadas, na parte superior é possível ver um formulário para a classificação da imagem atual e na parte de baixo é possível ver tanto o formulário de parâmetro de percepção quanto as imagens similares e suas classificações. 1 Disponível em 2 Disponível em

34 32 Capítulo 4. Metodologia Figura 7 A tela da classificação da ferramenta dicomweb 4.3 Integração dos módulos FMI-SiR com o JAVA FMI-SiR é conjunto de funções escrita em C e C++ para SGBD Oracle, essas funções são carregadas no banco através de arquivos de biblioteca dinâmicas. A integração do módulo FMISIR com a linguagem Java foi feita através dos procedimentos pré-carregados no Oracle, os quais executam os códigos do módulo. Boa parte das funcionalidades de análise e processamento das imagens é feita através deste módulo, daí a importância de se ter disponível as funções para o total funcionamento da aplicação. O Código 1 utiliza as funções implementadas no módulo FMI-SiR para gerar um novo centro de consulta a partir das imagens que o usuário classificou como relevante.

35 4.3. Integração dos módulos FMI-SiR com o JAVA 33 1 CREATE OR REPLACE 2 PROCEDURE rocchio_method_forma_ponciano 3 (array_relevant IN array_int, 4 new_sign_dicom OUT BLOB) 5 IS 6 VET BLOB; 7 SIGN BLOB; 8 idx pls_integer; 9 BEGIN 10 idx := 0; 11 DBMS_LOB.CREATETEMPORARY(VET, TRUE); 12 IF (allocateconcatarray(vet, 1050, array_relevant.count) = 0) THEN 13 DBMS_OUTPUT.PUT_LINE( Sucesso allocateconcatarray ); 14 END IF; FOR c in (SELECT id, forma_ponciano from bk_image where id in 17 (SELECT COLUMN_VALUE FROM TABLE (array_relevant)) 18 ) LOOP 19 IF (concatsign(c.forma_ponciano, VET, idx) = 0) THEN 20 DBMS_OUTPUT.PUT_LINE( Sucesso concatsign idx); 21 END IF; 22 idx:= idx + 1; 23 END LOOP; DBMS_LOB.CREATETEMPORARY(SIGN, TRUE); 26 IF (getrocchiocenter(vet, SIGN) = 0) THEN 27 DBMS_OUTPUT.PUT_LINE( Sucesso Rocchio ); 28 new_sign_dicom := SIGN; 29 END IF; 30 END; Código 1: Exemplo de código usando o módulo FMI-SiR

36

37 35 5 RESULTADOS Os resultados apresentados neste Capítulo são referentes a testes realizados no Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (HC-FMRP-USP). Neste primeiro teste a aplicação foi usada em uma versão preliminar e foram detectados erros na mesma. Foram utilizadas duas imagens, uma imagem de uma coluna normal e a outra de uma coluna fraturada. Foram coletadas 45 classificações geradas por seis usuários diferentes. A primeira classificação feita pelo usuário não utiliza a CBIR, já na segunda classificação é utilizada a CBIR. Para a imagem 1, a qual representa uma coluna normal obteve-se um aumento no grau de certeza em 33% das classificações. O grau de certeza se manteve em 58,3% dos casos, e houve decréscimo em 8,3% dos casos. Na imagem 2, a coluna fraturada, obteve-se um aumento no grau de certeza em 66,6% dos casos e não foi alterado em 33,3% dos casos. As diferenças entre os níveis de certeza são mostrados no gráfico mostrado na Figura 8. Grau de certeza Variação em classificações com CBIR para classificações sem CBIR % Imagem Aumento Sem variação Decréscimo Figura 8 Gráfico da mudança do grau de certeza da classificação sem CBIR para com CBIR Dentre as imagens retornadas pela busca por similaridade, o usuário classificou como irrelevantes 10,75%. Já entre as imagens selecionadas pelo o usuário, 26,13% das imagens foram selecionadas como irrelevantes, como mostra na Figura 9.

38 36 Capítulo 5. Resultados Classificação do usuário 26,13 Imagens Relevantes Irrelevantes 73,87 Figura 9 Gráfico das imagens selecionadas como relevantes e irrelevantes pelo o usuário Da segunda classificação onde é utilizada a CBIR, mas não a realimentação de relevância para a terceira classificação, onde se utiliza a realimentação de relevância, não houve um aumento no grau de certeza para nenhuma das imagens, o que é possível notar no gráfico mostrado na Figura 10. Grau de certeza Variação de classificação com relimentação para classificação sem realimentação % Aumento Sem variação Decréscimo Imagem Figura 10 Gráfico da mudança do grau de certeza da classificação sem realimentação de relevância para com realimentação Dentre as imagens retornadas pela busca por similaridade depois da utilização de realimentação de relevância, o usuário classificou como irrelevantes 5%. Já entre as imagens selecionadas pelo o usuário, 10% das imagens foram selecionadas como irrelevantes, como mostra na Figura 11.

39 37 Classificação do usuário 10 Relevantes Irrelevantes 90 Figura 11 Gráfico das imagens selecionadas como relevantes e irrelevantes pelo o usuário depois da utilização de realimentação de relevância Quando observado todos os testes nota-se que a aplicação obteve um alcanço 77,3% das imagens selecionadas como relevante, para realimentação de relevância, e 22,7% foram selecionadas como irrelevantes, como mostra na Figura 12. Classificação do usuário 22,70 Imagens Relevantes Irrelevantes 77,30 Figura 12 Gráfico das imagens selecionadas como relevantes e irrelevantes pelo o usuário na aplicação geral

40

41 39 6 CONCLUSÃO O grau de certeza das classificações se manteve estável, pois as imagens escolhidas para a classificação eram imagens de fáceis de se fazer análise e logo na primeira classificação, o usuário classificou a imagem corretamente com o grau de certeza relativamente alto. Posteriormente o sistema retornou imagens semelhantes com a imagem ser classificada, com isso o usuário manteve ou aumentou o seu grau de certeza. Foi possível observar também que a maioria das imagens classificadas foram selecionadas como relevantes, o que mostra a consistência e precisão do sistema. 6.1 Contribuições As contribuições deste trabalho estão inseridas no contexto de uma pesquisa com foco na recuperação de imagens usando parâmetros perceptuais guiada pelo usuário [4]. Entretanto a principal contribuição deste trabalho está na ferramenta dicomweb em si. A implementação na plataforma Web confere à aplicação caráter de alta disponibilidade, pois pode ser acessada em qualquer lugar e em quase qualquer dispositivo com conexão à rede, podendo ser acessada até mesmo de dispositivos móveis, sem precisar de um programa e/ou configuração específica. Essa ferramenta também pode ser integrada a qualquer tipos de exames por imagem, como a mamografia e ressonância magnética, uma vez que se adapta aos novos conjuntos de dados (caráter dinâmico). Assim podendo auxiliar nas classificações de outros exames, e podendo ampliar a aplicação para o ambiente acadêmico e hospitalar. 6.2 Trabalhos futuros A automação da escolha do parâmetro de percepção faz com que os resultados da busca por imagens semelhantes retorne imagens com um grau maior de similaridade. Por exemplo, um usuário leigo que não possui conhecimento necessário para julgar qual parâmetro de percepção é mais correto de ser utilizado pode levar o sistema a retornar resultados não relevantes. Por isso a proposta do trabalho futuro de automatização da escolha do parâmetro de percepção utilizando o mesmo módulo de Oracle DB e métodos descrito neste trabalho.

42

43 41 REFERÊNCIAS 1 NUNES, M. O que é uma biópsia? Disponível em: < 2 OOSTERWIJK, H. PACS fundamentals. [S.l.]: OTech Incorporated, CHEN, Y.; LAN, Y.; REN, H. A feature selection method base on ga for cbir mammography cad. In: IEEE. Intelligent Human-Machine Systems and Cybernetics (IHMSC), th International Conference on. [S.l.], v. 2, p PONCIANO-SILVA, M. Processamento de Consultas por Similaridade em Imagens Médicas Visando à Recuperação Perceptual Guiada pelo Usuário. Dissertação (Mestrado) ICMC - Instituto de Ciências Matemáticas e Computação, DUERINCKX, A. J.; PISA, E. Filmless picture archiving and communication in diagnostic radiology. In: INTERNATIONAL SOCIETY FOR OPTICS AND PHOTONICS. Picture Archiving and Communications Systems for Medical Applications. [S.l.], p HUANG, H. PACS and imaging informatics: basic principles and applications. [S.l.]: Wiley. com, MILDENBERGER, P.; EICHELBERG, M.; MARTIN, E. Introduction to the dicom standard. European radiology, Springer, v. 12, n. 4, p , BIDGOOD, W. D. et al. Understanding and using dicom, the data interchange standard for biomedical imaging. Journal of the American Medical Informatics Association, BMJ Publishing Group Ltd, v. 4, n. 3, p , DATTA, R. et al. Image retrieval: Ideas, influences, and trends of the new age. ACM Computing Surveys (CSUR), ACM, v. 40, n. 2, p. 5, FOGEL, I.; SAGI, D. Gabor filters as texture discriminator. Biological cybernetics, Springer, v. 61, n. 2, p , HARALICK, R. M.; SHANMUGAM, K.; DINSTEIN, I. H. Textural features for image classification. Systems, Man and Cybernetics, IEEE Transactions on, IEEE, n. 6, p , SILVA, S. Sergio Francisco da. Seleção de características por meio de algoritmos genéticos para aprimoramento de rankings e de modelos de classificação f. Tese (Doutorado) Tese (Doutorado em Estatística) Instituto de Matemática e Estatística, Universidade de São Paulo, São Paulo, KASTER, D. d. S. Tratamento de Condições Especiais para Busca por Similaridade em Bancos de Dados Complexos. Tese (Doutorado) Ph. D. thesis, University of São Paulo, Brazil, JIANG, W. et al. Similarity-based online feature selection in content-based image retrieval. Image Processing, IEEE Transactions on, IEEE, v. 15, n. 3, p , 2006.

44 42 Referências 15 LEE, D.-J. et al. Cbir of spine x-ray images on inter-vertebral disc space and shape profiles using feature ranking and voting consensus. Data & Knowledge Engineering, Elsevier, v. 68, n. 12, p , LEHMANN, T. M. et al. Automatic categorization of medical images for contentbased retrieval and data mining. Computerized Medical Imaging and Graphics, Elsevier, v. 29, n. 2, p , HUIJSMANS, D. P.; SEBE, N. How to complete performance graphs in content-based image retrieval: Add generality and normalize scope. Pattern Analysis and Machine Intelligence, IEEE Transactions on, IEEE, v. 27, n. 2, p , 2005.