Avaliação de classificadores na classificação de radiografias de tórax para o diagnóstico de pneumonia infantil

Transcrição

1 UNIVERSIDADE FEDERAL DE GOIÁS INSTITUTO DE INFORMÁTICA RAFAEL TEIXEIRA SOUSA Avaliação de classificadores na classificação de radiografias de tórax para o diagnóstico de pneumonia infantil Goiânia 2013

2 UNIVERSIDADE FEDERAL DE GOIÁS INSTITUTO DE INFORMÁTICA AUTORIZAÇÃO PARA PUBLICAÇÃO DE DISSERTAÇÃO EM FORMATO ELETRÔNICO Na qualidade de titular dos direitos de autor, AUTORIZO o Instituto de Informática da Universidade Federal de Goiás UFG a reproduzir, inclusive em outro formato ou mídia e através de armazenamento permanente ou temporário, bem como a publicar na rede mundial de computadores (Internet) e na biblioteca virtual da UFG, entendendo-se os termos reproduzir e publicar conforme definições dos incisos VI e I, respectivamente, do artigo 5 o da Lei n o 9610/98 de 10/02/1998, a obra abaixo especificada, sem que me seja devido pagamento a título de direitos autorais, desde que a reprodução e/ou publicação tenham a finalidade exclusiva de uso por quem a consulta, e a título de divulgação da produção acadêmica gerada pela Universidade, a partir desta data. Título: Avaliação de classificadores na classificação de radiografias de tórax para o diagnóstico de pneumonia infantil Autor(a): Rafael Teixeira Sousa Goiânia, 20 de Setembro de Rafael Teixeira Sousa Autor Leandro Luís Galdino de Oliveira Orientador

3 RAFAEL TEIXEIRA SOUSA Avaliação de classificadores na classificação de radiografias de tórax para o diagnóstico de pneumonia infantil Dissertação apresentada ao Programa de Pós Graduação do Instituto de Informática da Universidade Federal de Goiás, como requisito parcial para obtenção do título de Mestre em Ciência da Computação. Área de concentração: Visão Computacional. Orientador: Prof. Leandro Luís Galdino de Oliveira Goiânia 2013

4 RAFAEL TEIXEIRA SOUSA Avaliação de classificadores na classificação de radiografias de tórax para o diagnóstico de pneumonia infantil Dissertação defendida no Programa de Pós Graduação do Instituto de Informática da Universidade Federal de Goiás como requisito parcial para obtenção do título de Mestre em Ciência da Computação, aprovada em 20 de Setembro de 2013, pela Banca Examinadora constituída pelos professores: Prof. Leandro Luís Galdino de Oliveira Instituto de Informática UFG Presidente da Banca Prof. Ronaldo Martins da Costa Instituto de Informática UFG Profa. Márcia Ito IBM Research Brasil

5 Todos os direitos reservados. É proibida a reprodução total ou parcial do trabalho sem autorização da universidade, do autor e do orientador(a). Rafael Teixeira Sousa Graduou-se em Ciência da Computação na UFMT - Universidade Federal de Mato Grosso, campus de Barra do Garças. Durante sua graduação, foi monitor no curso de Ciência da Computação da UFMT e pesquisador do CNPq em dois trabalhos de iniciação científica. Durante o Mestrado, na UFG - Universidade Federal de Goiás, foi bolsista da CAPES e desenvolveu um trabalho de aprimoramento do sistema de auxílio a diagnóstico que vem sendo projetado no Instituto de Informática com a coordenação de Leandro Oliveira.

6 A simplicidade é o último grau de sofisticação. Leonardo da Vinci,.

7 Resumo Sousa, Rafael T.. Avaliação de classificadores na classificação de radiografias de tórax para o diagnóstico de pneumonia infantil. Goiânia, p. Dissertação de Mestrado. Instituto de Informática, Universidade Federal de Goiás. Avaliação de classificadores na classificação de radiografias de tórax para o diagnóstico de pneumonia infantil Este trabalho dá continuidade ao Sistema de Auxílio a Diagnóstico chamado de PneumoCAD para a detecção de pneumonia infantil por meio de imagens radiográficas, com o objetivo de aprimorar a acurácia, robustez e testar as características extraídas anteriormente. Nós implementamos cinco classificadores contemporâneos, sendo estes: Naïve Bayes, K-Nearest Neighbor (KNN), Support Vector Machines (SVM), Multi-Layer Perceptron (MLP) e Árvore de decisão. Combinamos os classificadores com três algoritmos de redução de dimensionalidade: o wrapper Sequential Forward Elimination (SFE) e dois filtros: Principal Component Analysis (PCA) e Kernel Principal Component Analysis (KPCA). Os resultados atuais mostram que o Naïve Bayes combinado com o KPCA produzem o melhor resultado (96% de acurácia). Também confirmando a eficiência das características. Palavras chave Sistemas de Auxílio a Diagnóstico, Classificadores, Aprendizagem de máquina.

8 Abstract Sousa, Rafael T.. Avaliação de classificadores na classificação de radiografias de tórax para o diagnóstico de pneumonia infantil. Goiânia, p. MSc. Dissertation. Instituto de Informática, Universidade Federal de Goiás. This work extends a Computer-Aided Diagnosis system called PneumoCAD for detecting pneumonia in infants using radiographic images, with the aim of improving the system s accuracy, robustness and test the features previously extracted. We implement and compare five contemporary machine learning classifiers, namely: Naïve Bayes, K-Nearest Neighbor (KNN), Support Vector Machines (SVM), Multi-Layer Perceptron (MLP) and Decision Tree, combined with three dimensionality reduction algorithms: the feature selection wrapper Sequential Forward Elimination (SFE), and two feature filter algotithms: Principal Component Analysis (PCA) and Kernel Principal Component Analysis (KPCA). Current Results of demonstrate that the Naïve Bayes classifier combined with KPCA produces the best overall results. Also confirming the efficiency os features. Keywords Computer-aided Diagnosis, Classifiers, Machine Learning.

9 Sumário Lista de Figuras 8 Lista de Tabelas 10 1 Introdução Pneumonia Computer-aided Diagnosis (CAD) PneumoCAD 12 2 Classificação de Imagens Classificadores K-nearest neighbors Naïve Bayes Support Vector Machine Multi-layer Perceptron Árvore de decisão Redutores de dimensionalidade 23 3 Materiais e Métodos Calibração dos classificadores Rotina de testes Avaliação dos classificadores 29 4 Resultados 31 5 Discussão 39 6 Conclusão 41 Referências Bibliográficas 42 A Apêndice I 47

10 Lista de Figuras 1.1 Tela de diagnóstico do PneumoCAD usando uma imagem submetida Visualização gráfica de um conjunto de amostras com dois descritores (X 1 e X 2 ) e distribuídas em duas classes (vermelhas e azuis) Exemplo de classificação por meio do KNN com k = 3. No exemplo temos duas classes (vermelha e azul), a nova amostra (preta) é classificada como azul por ter 3 vizinhos azuis mais próximos, e 2 vermelhos. Porém se o k escolhido fosse 2 a amostra seria classificada como vermelha Exemplo da criação de hiperplanos lineares em um conjunto de dados bidimensional. Os hiperplanos da margem são representados por linhas tracejadas Exemplo de diferentes possibilidades de classificação geradas por kernels. No exemplo (a) temos um caso de overfitting que classifica todas as amostras do conjunto, mas pode gerar erros em testes futuros. O exemplo (b) mostra uma classificação linear que não satisfaz o problema e no caso (c) temos um método balanceado que consegue generalizar a classificação Exemplo de uma árvore de decisão para definir o valor a ser pago em um cinema onde menores de 10 anos e estudantes pagam meia, as características são: idade e estudante. As classes são: meia entrada e entrada completa Ranking gerado pela avaliação das características a partir do test-t, calculando o valor-p de cada uma como uma medida do quão eficiente é para separar as classes (a) Três radiografias de tórax positivas para pneumonia. (b)três radiografias de ciranças saudáveis Resultado da aplicação da decomposição com 3 níveis de resolução. Quadrante superior esquerdo representa os coeficientes de aproximação (baixa freqüência) e os demais representam os coeficientes wavelets de detalhes (alta freqüência) Ilustração da validação cruzada Acurácia resultante dos testes com classificadores e todas as características Acurácia resultante dos testes com classificadores combinados com o SFE Acurácia resultante dos testes com classificadores combinados com o PCA Acurácia resultante dos testes com classificadores combinados com o KPCA Curvas ROC com todas as características Curvas ROC com SFE Curvas ROC com PCA. 35

11 4.8 Curvas ROC com KPCA AUC resultante dos testes com classificadores e todas as característica AUC resultante dos testes com classificadores combinados com o SFE AUC resultante dos testes com classificadores combinados com o PCA AUC resultante dos testes com classificadores combinados com o KPCA 38

12 Lista de Tabelas 3.1 Intervalo de parâmetros Parâmetros ótimos para cada classificador usando todas as características Parâmetros ótimos para cada classificador combinado com SFE Parâmetros ótimos para cada classificador combinado com PCA Parâmetros ótimos para cada classificador combinado com KPCA Sensibilidade, Especificidade e AUC para cada combinação de classificador com e sem algoritmo de redução de dimensionalidade Acurácia no diagnóstico. 40

13 Introdução CAPÍTULO Pneumonia A Pneumonia é uma doença epidêmica caracterizada por infecção grave no sistema respiratório, usualmente causada por vírus ou bactérias e, raramente, outros microrganismos. De acordo com a Organização Mundial de Saúde (OMS) a pneumonia é a principal causa da mortalidade infantil no mundo, matando aproximadamente 1,2 milhões de crianças, sendo assim responsável por 18% de todas as mortes de crianças com até cinco anos. A grande maioria das mortes acontecem no sul da Ásia e na África subsaariana. A pneumonia atualmente causa mais mortes que outras doenças graves, como AIDS, malária e tuberculose juntas [56]. Segundo a OMS: Atualmente, o melhor método disponível para auxiliar o diagnóstico de pneumonia é a radiografia. Mundialmente é aceito que no momento não existe definições radiológicas rigorosas da pneumonia em crianças. Ao invés disso, existe um espectro de aparências que são consistentes com o diagnóstico clinico e patológico da pneumonia [55](tradução nossa). Os estudos sobre variação inter-observador são comuns em todas as áreas da medicina, no entanto, predominam nos estudos de imagens, haja visto que, nessa área, a performance do observador representa a parte suscetível a erros, contrapondo-se ao avanço tecnológico, obtido na última década [42]. As interpretações que diferem de um consenso obtido por um comitê de especialistas podem ser chamadas de erro. A variação entre observadores ocorre quando existe erro por parte de um observador, mas, também, inclui casos em que existe uma diferença de opinião geral sobre o que representa uma interpretação correta. Erros e variações têm sido estudados notadamente na interpretação de radiografias [42] [58]. Devido a está imprecisão nos diagnósticos por parte dos especialistas, surge uma forte possibilidade de desenvolver um software que seja capaz de apoiar o diagnóstico

14 1.2 Computer-aided Diagnosis (CAD) 12 com o objetivo de aprimorar sua precisão. Este tipo de operação é chamado de Computeraided diagnosis (CAD), que pode ser traduzido como um sistema de auxilio a diagnóstico. O uso de um sistema CAD pode auxiliar o diagnóstico da radiografia para, consequentemente, aprimorar o diagnóstico médico da pneumonia infantil. 1.2 Computer-aided Diagnosis (CAD) Um software CAD pode ser definido como uma segunda opinião no diagnóstico [12]. Esse tipo de software é utilizado para aprimorar a acurácia do diagnóstico, não substituindo o especialista, mas trabalhando como um segundo. Sendo o software invariante a diversos fatores que podem afetar o diagnóstico de um especialista humano, como fadiga ocular, distração, estresse e outros. Dentre os sistemas de auxílio médico, podemos definir dois principais tipos: Computer-Aided Detection (CADe), que é usado para detectar e marcar elementos suspeitos nas imagens, como indicar a presença de nódulos. Já os sistemas de Computer- Aided Diagnosis (CADx), são voltados para a realização do diagnóstico, gerando uma decisão, como positivo ou negativo para alguma enfermidade a qual foi treinado para diagnosticar. Os sistemas de auxílio a diagnóstico vêm sendo largamente pesquisados nos últimos anos, tendo como principais aplicações, a detecção do câncer de mama em estágio inicial por meio de mamografia [11] e o diagnóstico de câncer de pulmão, também em estágio inicial, por meio de tomografia computadorizada. Em ambos os casos citados anteriormente, o uso do CAD é para auxiliar o diagnóstico de pacientes em estágio onde a detecção da enfermidade ainda é bastante difícil, mas que se diagnosticada previamente, aumenta de forma significativa as chances de sobrevivência através do tratamento em estágio inicial. A abordagem de desenvolver e implementar um sistema CAD, consiste em imitar a visão e percepção do especialista. Esse método pode ser resumido em dois principais passos: primeiro, os olhos observam uma imagem e procura quais aspectos podem ser utilizados para diagnósticar o paciente; em seguida, o cortéx visual faz uma decisão baseada na informação obtida pelos olhos. Na visão computacional, esses passos podem ser relacionados às operações de extração de características e classificação por aprendizagem supervisionada, respectivamente. 1.3 PneumoCAD Utilizamos neste trabalho as características e banco de imagens utilizados nos estudos anteriores [38] [32], que produziram um sistema CAD completo para detecção de

15 1.3 PneumoCAD 13 pneumonia chamado PneumoCAD. O PneumoCAD atualmente está em fase de protótipo. A Figura 1.1 mostra um protótipo de tela de diagnóstico. O principal objetivo por trás do PneumoCAD é criar um website que possa prover diagnósticos remotos por meio da análise de radiografias enviadas, sendo o diagnóstico feito com algoritmos de processamento de imagens e aprendizagem de máquina. Figura 1.1: Tela de diagnóstico do PneumoCAD usando uma imagem submetida. Neste trabalho temos o objetivo de comparar e avaliar diversos classificadores e algoritmos de seleção de características aplicados no diagnóstico de pneumonia infantil, a fim de encontrar a melhor e mais precisa forma de classificar os dados extraídos das imagens de radiografias de tórax, também validando a eficiência do método de extração e descrição elaborado anteriormente. Alguns trabalhos semelhantes, que também buscam avaliar descritores a partir de testes com classificadores, podem ser encontrados na literatura, como Depeursinge et al. em [10] que comparou cinco diferentes classificadores no contexto da classificação multiclasse de cinco diferentes tipos de condições no tecido pulmonar usando tomografia computadorizada de alta resolução. As características usadas compõem um espaço com 39 descritores de textura extraídos com o uso da wavelet quincunx [51]. Uma busca em grid foi feita para calibrar os classificadores. O SVM teve o melhor resultado compensando a taxa de erro com a generalização, produzindo bons resultados, que poderiam ser otimizados com o uso da seleção de características. Yao et al. [57] também desenvolveu um sistema de detecção para a identificação e analise de anormalidades pulmonares causadas por infecções como a gripe H1N1. Quarenta tomografias computadorizadas de tórax foram classificadas usando analise da

16 1.3 PneumoCAD 14 textura combinada com o SVM para distinguir entre saudável e não saudável. A abordagem baseada no SVM obteve bons resultados na distinção entre áreas de anormalidade, que demonstraram a eficiência do SVM combinado com descritores de textura. Noor [37] apresentou um método estatístico para a detecção da pneumonia lombar com o uso de radiografias digitalizadas. Cada região de interesse foi representada com um vetor de características de textura com o uso de wavelet multiplicado por uma matriz ortogonal. Seus resultados recomenda a construção de elipsoides de probabilidade ou funções discriminantes com o uso dos descritores: energia máxima e soma máxima de energia, onde a probabilidade de erro na classificação é menor que Assim, temos que diversos trabalhos vem sendo desenvolvidos com o objetivo do uso da visão computacional para o auxílio ao diagnostico de imagens médicas. Esta dissertação está dividida em cinco capítulos. No capítulo 2 temos uma introdução sobre o uso da Aprendizagem de Máquina na classificação de imagens e uma descrição breve dos classificadores e métodos utilizados na comparação. O capítulo 3 detalha a metodologia aplicada nos testes executados. Os resultados estão expostos no capítulo 4 e a discussão gerada pelos mesmos no capítulo 5. O capítulo 6 expõe as conclusões geradas a partir das discussões.

17 Classificação de Imagens CAPÍTULO Classificadores Como foi descrito anteriormente, o processo de classificação de imagens pode ser descrito em duas principais etapas, extração de características e classificação por aprendizagem supervisionada. Como a primeira etapa já foi desenvolvida nos trabalhos anteriores [38] [32], iremos focar somente nos conceitos relacionados à classificação. A classificação é uma operação realizada com base na ideia da aprendizagem de máquina, uma area da inteligência artificial que é definida por Mitchell [35] como: "A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E." O que basicamente diz que um programa de computador aprende com a realização de uma tarefa, desde que se use uma função de avaliação para avaliar as soluções anteriores e propor melhorias. A aprendizagem de máquina é usada em diversas areas da computação, como por exemplo: Classificação de textos para a detecção de spam, processamento de linguagem natural, reconhecimento de fala, reconhecimento ótico de caracteres (OCR), reconhecimento de imagens, detecção de faces, sistemas de busca e outros. Podemos agrupar as soluções em alguns grupos de soluções: Classificação: Atribuir uma categoria a cada item. Por exemplo, a classificação de documentos pode ser usada para atribuir documentos em categorias como política, esportes ou negócios, enquanto imagens podem ser categorizadas como paisagens, retratos ou animais. Regressão: Prever o valor real de um item. Um exemplo de regressão é a previsão de variação de variáveis na economia. Diferente da classificação onde o erro não é mensurado, na regressão o erro pode ser medido de acordo com a distância do valor suposto ao valor esperado.

18 2.1 Classificadores 16 Ranking: Ordenar elementos de acordo com algum critério. Na busca de documentos pela internet é necessário ordena-los de acordo com a relevância em relação a busca, esse é um exemplo clássico do uso de rankings. Clusterização: Agrupar items em regiões homogêneas. A clusterização é usada na análise de grandes conjuntos de dados. Como por exemplo, na identificação de comunidades existentes de forma implícita em redes sociais. Algumas definições são importantes para o estudo da aprendizagem de máquina, algumas das mais relevantes são: Amostras: Items ou instâncias de dados que são usado para treino ou para a avaliação dos algoritmos. As amostras são os dados os quais queremos que o algoritmo interprete. Como por exemplo alguns textos, que podem ser as amostra de um classificador de documentos. Características: Estas são os atributos usados para representar cada amostra. No caso dos documentos podemos usar como características o título do texto, seu autor e o texto do documento. As características podem ser descritas de diversas formas, como: quantitativas, qualitativas ou em forma de textos. Classes: São as categorias as quais as amostras pertencem. Podemos ter como citado anteriormente, documentos sobre política, esportes ou negócios. Conjunto de Treino: As amostras são divididas em dois conjuntos, um deles é o conjunto de treino, o qual será utilizado para treinar o algoritmo para aprender a solucionar o problema. Conjunto de Teste: O outro conjunto é o de teste, que é usado para avaliar a performance do algoritmo. É importante lembrar que os conjuntos de treino e testes devem ser diferentes, para que o teste possa ser valido. Treinar e testar com as mesmas amostras pode gerar uma avaliação falsa, que não irá garantir o funcionamento do algoritmo ao receber amostras desconhecidas. Existem também algumas formas conhecidas de se treinar um algoritmo, as duas principais formas são: Aprendizagem supervisionada: O algoritmo recebe um conjunto de treino com amostra já categorizadas, para que o algoritmo a partir das características das amostras consiga aprender a reconhecer cada classe. Esse é o tipo mais comum de aprendizagem para a solução de problemas de classificação, regressão e rankings. Aprendizagem não-supervisionada: Neste método o algoritmo realiza a categorização das amostras de forma completamente cega. Esse tipo de algoritmo funciona a partir de técnicas de dedução de padrões, que são usadas por exemplo, na clusterização. Na solução do problema da classificação de radiografias utilizamos classificadores, onde as amostras são as imagens, as características são descritores de texturas e o

19 2.1 Classificadores 17 treinamento é feito de forma supervisionada. As imagens utilizadas são classificadas manualmente por especialistas humanos. As características, como já citamos anteriormente, foram propostas em trabalhos anteriores e serão especificadas no capítulo seguinte. Os classificadores usam os chamados vetores de características para armazenar as características obtidas de cada amostra. Os vetores de características são representados da seguinte forma: x 1 x x = 2. x n (2-1) onde cada componente x i, representa o i-ésimo descritor e n é o total de descritores. Ao analisar os vetores associados as amostras do conjunto de treino, o classificador irá gerar uma função de decisão, que pode ser descrita de diversas formas dependendo do classificador utilizado. Cada classe possui uma função de decisão, a função calcula as chances de uma nova amostra desconhecida pertencer a essa classe [14]. Figura 2.1: Visualização gráfica de um conjunto de amostras com dois descritores (X 1 e X 2 ) e distribuídas em duas classes (vermelhas e azuis). Apesar de chamarmos os algoritmos de treinamento de classificadores, nem

20 2.1 Classificadores 18 sempre são eles que realizam a classificação, pois alguns são utilizados somente para gerar uma função de decisão. As funções de decisão podem ser tanto uma função matemática, quanto uma árvore ou outro tipo de estrutura, dependendo do classificador. Uma função de decisão pode calcular a probabilidade de uma amostra pertencer a uma classe, ou também pode decidir a qual classe pertence. Para obtermos a função de decisão, podemos usar os diversos classificadores existentes na literatura, onde cada um aplica um diferente método de analisar as amostras de treino, resultando em desempenho diferente de acordo com os dados utilizados. Assim, realizaremos a comparação utilizando-se de diversos classificadores que utilizem de métodos diferentes para obter as funções de classificação, a fim de alcançarmos o classificador que melhor se adapta ao problema do diagnóstico de pneumonia infantil por meio de radiografias de tórax. A seguir temos a descrição de cada um dos classificadores utilizados na comparação, e logo após uma introdução sobre os algoritmos de redução de dimensionalidade K-nearest neighbors O K-nearest Neighbors (KNN) é um tipo de classificador "lazy onde não é computada uma função de classificação, aplicando a chamada "aprendizagem baseada em instância". Esse método de aprendizagem funciona basicamente com o armazenamento das amostras do conjunto de treino, sendo esse conjunto a chamada "instância"do problema. Quando uma nova amostra é submetida ao classificador, ele irá gerar uma resposta baseada no relacionamento da nova amostra com o conjunto de treino [35]. O KNN é o classificador mais simples dentre os classificadores de aprendizagem baseada em instância. Ele assume que todas as amostram correspondem a pontos em um espaço n-dimensional, onde n é o número de descritores utilizados para representar as amostras. Para classificar ele reconhece a chamada "vizinhança"da nova amostra, isso quer dizer, os pontos já conhecidos mais próximos. Para calcular a proximidade das amostra podemos usar medidas de distância, dentre elas a mais simples e também usada neste trabalho é a distância euclidiana. Considerando uma instância x descrita por um vetores de características (a 1 (x),a 2 (x),...,a n (x)) (2-2) onde a r (x) define o valor do r-ésimo atributo da instância x. Então a distância euclidiana entre duas instâncias x i e x j é definida por d(x i,x j ), onde d(x i,x j ) n (a r (x i ) a r (x j )) 2 (2-3) r=1

21 2.1 Classificadores 19 Após calcular a distância entre a nova amostra e a outras já conhecidas, o algoritmo classifica a nova amostra como sendo pertencente à classe a qual ela tenha k vizinhos mais próximos. Então se definirmos um k = 3 e a nova amostra possuir um vizinho próximo da classe 0, mas dentre os quatro mais próximos os outros três forem da classe 1, a amostra será classificada como pertencente a classe 1 [9]. Figura 2.2: Exemplo de classificação por meio do KNN com k = 3. No exemplo temos duas classes (vermelha e azul), a nova amostra (preta) é classificada como azul por ter 3 vizinhos azuis mais próximos, e 2 vermelhos. Porém se o k escolhido fosse 2 a amostra seria classificada como vermelha. O KNN é eficiente computacionalmente, mas bastante sensível ao número de dimensões utilizadas nos vetores de características, que pode aumentar de forma significativa o tempo de execução. A escolha do k também influência no resultado geral, para otimizar basta uma busca pelo melhor valor Naïve Bayes O Naïve Bayes é um classificador probabilístico que define a classificação pela probabilidade posteriori de uma nova amostra pertencer a uma das classes conhecidas[14].

22 2.1 Classificadores 20 A probabilidade P(c i v) da classe c i, dado um vetor de característica v, é determinada utilizando o teorema de Bayes, definido como: P(c i v) = P( v c i)p(c i ) P( v) (2-4) Considerando que a probabilidade de ambas as classes são igual, temos que P(c i ) = 0,5 tanto para c 0 quanto para c 1. Porém ainda temos que calcular as probabilidades P( v c i ) que não são conhecidas. O método mais utilizado para calcular computacionalmente a probabilidade é supor que as amostram possuem uma função de densidade gaussiana, definida da seguinte forma: P(x) = 1 / σ 2 2π e (x µ) 2σ 2 (2-5) Assim, quanto mais próxima a distribuição das amostram forem da distribuição normal, melhor o resultado da classificação com o Naïve Bayes. Esse método geralmente possui uma boa eficiência computacional e robustez. Porém depende muito da distribuição das informações extraídas pelos descritores, pois o classificador elabora sua função de decisão a partir da suposição de que os dados possuem distribuição normal, então, quanto mais próxima a distribuição for da normal, melhor o desempenho do classificador Support Vector Machine Já no Support Vector Machine, SVM, um hiperplano linear é criado para separar as amostras positivas das negativas. Dois outros hiperplanos são criados de cada lado do primeiro, com o objetivo de maximizar a distância (margem) entre os dois novos hiperplanos [6]. Os hiperplanos criados são usados para definir as regiões onde ocorrem cada uma das classes, sendo assim, quando recebemos uma nova amostra, ela será classificada de acordo com o posicionamento da mesma em relação ao hiperplano divisor. Podemos aprimorar o SVM com o usa das funções kernel para gerarmos hiperplanos não-lineares. Uma função kernel faz o mapeamento das amostras da sua posição original para o seu produto interno das suas coordenadas da seguinte forma, K( v i, v j ) = φ( v i ),φ( v j ). Foram usadas duas funções kernel diferentes, o kernel polinomial e o Gaussiano. O kernel polinomial com grau d é definido da seguinte forma: K(x i,x j ) = (x i x j + 1) d, i, j = 1,...,m (2-6)

23 2.1 Classificadores 21 Figura 2.3: Exemplo da criação de hiperplanos lineares em um conjunto de dados bidimensional. Os hiperplanos da margem são representados por linhas tracejadas. Quando d = 1 temos o SVM linear e quando o valor cresce geramos hiperplanos curvos aumentando a capacidade de classificação. O kernel Gaussiano é definido da seguinte forma: K( v i, v j ) = e v i v j 2 2σ (2-7) O parâmetro σ controla o raio da curva gaussiana usada. Diferente dos outros classificadores, o SVM não tem o objetivo de maximizar o desempenho para o conjunto de treino utilizado e sim para maximizar a generalização da classificação, evitando o overfitting e permitindo o uso de conjuntos de treino limitados [1]. Atualmente o SVM é considerado um dos algoritmos de classificação mais eficiente da aprendizagem de máquina [35] Multi-layer Perceptron O Multi-layer Perceptron é inspirado no sistema nervoso humano, onde as informações são processadas através de neurônios interconectados. MLP é um tipo de rede feed-foward, que significa que a informação se propaga da entrada para a saída, passando por múltiplas camadas intermediárias.

24 2.1 Classificadores 22 Figura 2.4: Exemplo de diferentes possibilidades de classificação geradas por kernels. No exemplo (a) temos um caso de overfitting que classifica todas as amostras do conjunto, mas pode gerar erros em testes futuros. O exemplo (b) mostra uma classificação linear que não satisfaz o problema e no caso (c) temos um método balanceado que consegue generalizar a classificação. Exceto a camada de entrada, cada nó do MLP é um neurônio com uma função de ativação não-linear, que é treinada com a técnica de retropropagação, fazendo uma otimização iterativa dos pesos que conectam os neurônios minimizando a taxa média de erro quadrático da classificação [43]. A retropropagação faz com que após a rede ser submetida a um novo padrão, é gerada uma resposta, que é comparada com a resposta esperada e se estiver errada o erro é calculado. Os valores do erro são propagados da saída para a entrada ajustando os pesos até que se obtenha a resposta desejada. Sendo assim, o MLP é uma rede neural que utiliza da aprendizagem supervisionada para aprimorar seus resultados Árvore de decisão Árvores de decisão são similares a regras if-then. É uma estrutura muito usada na implementação de sistemas especialistas e em problemas de classificação. As árvores de decisão tomam como entrada uma situação descrita por um conjunto de atributos e retorna uma decisão, que é o valor previsto para o valor de entrada [44]. Safavian et al. define as árvores de decisão como uma especificação em níveis, onde a cada nível que descemos a população participante é menor e assim estamos mais perto de classificarmos o nó como classe A ou B [46]. Podemos definir uma árvore de decisão como uma hierarquia de nós internos e externos que são conectados por ramos. Os nós internos são os nós-decisórios, que através de um teste lógico feito a partir de uma característica extraída das amostras, decide qual filho continuará a execução. Sendo assim, os nós folhas são as decisões, onde cada folha

25 2.2 Redutores de dimensionalidade 23 representa alguma classe existente no problema. No geral podemos descrever o processo de classificação por árvore de decisão da seguinte forma: O vetor de características de uma nova amostra é submetido à árvore, na raiz da árvore é feito um teste lógico baseado nas características, como por exemplo, se cor média < 120 executa recursivamente o algoritmo no filho esquerdo, se cor média 120, executa no filho direito. Assim o algoritmo executa recursivamente até chegar em uma folha, que representa uma classe, como positivo para pneumonia ou negativo. Figura 2.5: Exemplo de uma árvore de decisão para definir o valor a ser pago em um cinema onde menores de 10 anos e estudantes pagam meia, as características são: idade e estudante. As classes são: meia entrada e entrada completa. Dentre as árvores de decisão usadas para classificação temos a C4.5, que foi desenvolvida por Ross Quinlan [41], como uma extensão do trabalho anterior de Quinlan, ID3 [40]. Nós usamos o J48, que é uma implementação do C4.5 e que realiza divisões sucessivas no espaço de características, encolhendo a cada passo a com maior capacidade de discriminação, usando-a como um novo nível na árvore. Esse método é robusto, mas necessita de uma seleção previa das características e é incapaz de reconhecer interações entre características, devido a classificação ser feita a cada nível por meio de apenas uma característica. 2.2 Redutores de dimensionalidade Baseado na análise das características extraídas, podemos concluir que nem todas as características definidas por Haralick [19] extraídas no trabalho anterior são úteis

26 2.2 Redutores de dimensionalidade 24 para a classificação. Assim, se torna necessário selecionar ou modificar os descritores utilizados, para isso, aplicamos os algoritmos de redução de dimensionalidade para realizar a eliminação das características que não contribuem para a classificação. Figura 2.6: Ranking gerado pela avaliação das características a partir do test-t, calculando o valor-p de cada uma como uma medida do quão eficiente é para separar as classes Existem dois tipos de redutores de dimensionalidade, os wrappers e os filtros. Os wrappers consistem em algoritmos com técnicas de seleção de características, reduzindo o conjunto de características em possíveis subconjuntos que são avaliados a partir de um treinamento de teste, onde são avaliados pela taxa de acerto do subconjunto selecionado. Esse tipo de algoritmo possui execução bastante demorada dependendo do número de subconjuntos possíveis a serem analisados [25]. Os filtros possuem abordagem diferente, não são realizados testes e sim uma tentativa de prever a eficiência de um subconjunto de características a partir da avaliação das mesmas. Alguns algoritmos após avaliar as características geram um novo espaço de características na tentativa de obter maior taxa de acerto. Dentre os algoritmos testados usamos o wrapper Sequential Foward Elimination (SFE), o qual é um algoritmo guloso simples, que tenta encontrar o melhor subconjunto de características selecionando-as uma a uma. O uso da técnica de algoritmos gulosos se deve a complexidade exponencial de se testar todos os possíveis subconjuntos [29] [16].

27 2.2 Redutores de dimensionalidade 25 Outros dois algoritmos filtros também foram testados, o Principal Componente Analysis (PCA) e o Kernel Principal Component Analysis (KPCA), onde ambos realizam uma transformação linear das amostras para um novo espaço dimensional menor que o anterior realizando a extração da maioria das características discriminatórias. O KPCA combina o mapeamento das amostras com uso de uma função kernel com a execução do PCA logo em seguida [20] [52] [45].

28 Materiais e Métodos CAPÍTULO 3 Neste capitulo descreveremos toda a metodologia utilizada para realizar os testes. Primeiro abordaremos alguns detalhes sobre a configuração dos classificadores, passando para os detalhes dos testes executados e por fim as medidas de avaliação de desempenho. 3.1 Calibração dos classificadores Alguns classificadores possuem parâmetros a serem modificados, os quais influenciam diretamente no resultado da classificação, pois existem justamente para adequar o classificador aos dados que serão classificados. Os classificadores testados foram calibrados de acordo com a Tabela 3.1. No KNN estaremos testando diversos valores de k, o número de vizinhos próximos da mesma classe c necessários para classificar uma nova amostra a como pertencente a c. Os valores testados foram somente os ímpares, para não causar empate na classificação. Com o SVM iremos testar duas diferentes funções kernel, a Radial Basis Function (RBF) e a polynomial (Poly). Na função RBF devemos calibrar a largura da curva gaussiana (σ) e o custo (c), que define a suavização das margens do hiperplano divisor. No SVM polinomial basta ajustar a ordem do polinômio usado. No MLP temos a taxa de treino R, que ajusta os pesos durante o treino. Esse parâmetro varia entre 0.00 e 1.00, quanto mais próximo de zero, menor o impacto que uma nova observação terá sob a rede. Tabela 3.1: Intervalo de parâmetros. Classificador Parâmetro Variação Passo KNN k [0; 100] lin(2) RBF - SVM C,σ [1; 30], [2 ( 5); 2 ( 5)] lin(1), log Poly - SVM Ordem do polinômio [1; 7] lin(1) MLP R [0.01; 1] lin(0.3) J48 N,C [1; 5], [0.01; 0.25] lin(1), lin(0.05) Naïve Bayes - - -

29 3.2 Rotina de testes 27 Na árvore J48 temos o N, que indica o número mínimo de elementos permitidos em cada folha e o C, que é o confidence e escolhe o fator de confiança inicial para podar a árvore. Já o Naïve Bayes não necessita de calibração. 3.2 Rotina de testes O banco de imagens utilizado consiste em 156 imagens em tons de cinza com 8-bit obtidas com uma câmera digital, que capturou a imagem das radiografias com uma resolução de pixels. O uso da camera digital pode ser justificado pelo baixo custo de sua realização, facilitando o uso do sistema e contribuindo para a redução dos casos de pneumonia infantil em países subdesenvolvidos. Dentre as imagens, 78 são positivas para pneumonia e outras 78 são negativas. A Figura 3.1 mostra exemplos do banco de imagens. Essas imagens foram analisadas e diagnosticadas por dois radiologistas especialistas treinados de acordo com os padrões da OMS [8] [31], assim produzindo a ground truth necessária para treinar e testar os classificadores. O diagnóstico dos radiologistas somente foi considerado quando houve concordância entre eles. Figura 3.1: (a) Três radiografias de tórax positivas para pneumonia. (b)três radiografias de ciranças saudáveis. Todas as características extraídas são baseadas em texturas, que são consideradas por diversos estudos a melhor forma de se descrever radiografias. As características usadas são: Coeficiente de variação, contraste, correlação, energia, energia média, entropia, desvio médio, diferença da variância, diferença da entropia, momentos de diferenças

30 3.2 Rotina de testes 28 inversas, resíduo médio, soma média, somatório da entropia, somatório da variância, suavidade, variância, desvio padrão [19] [22] [26] [7] [2] [27]. Todas as características foram extraídas em nove subespaços da wavelet de Haar. Os classificadores foram executados com uso de quatro conjuntos de características diferentes, um contendo todas as 17 características extraídas nos 9 subespaços da Wavelet de Haar, totalizando 154 descritores. Outro conjunto com características selecionadas com o SFE, a partir da avaliação dos subconjuntos específicos para cada classificador e outros dois gerados pelo PCA e KPCA. Sendo que nos dois últimos foram geradas 13 características, o número de características foi escolhido manualmente como o melhor baseado em testes realizados e na avaliação das características com o teste-t. Estudos sobre pneumonia infantil mostram que a pneumonia tende a acometer mais o pulmão direito do que o esquerdo [28]. Devido a essa característica, foram criados dois vetores de características para cada imagem. O vetor final foi obtido realizando a média ponderada entre os vetores de cada lado, sendo o direito com peso 0,60 e o esquerdo 0,40 [38]. Todos os testes foram implementados usando o Matlab, seus toolboxes [53] e o aplicativo Weka [17]. Antes dos testes serem executados foram removidos os outliers que estavam fora do intervalo x σ x x + σ, onde x é uma amostra, x a média da característica e σ o desvio padrão. Na maior parte dos testes usamos foram removidas cerca de 9 imagens. No teste com todas as características, usamos o desvio multiplicado por 4 para não reduzir muito o número de imagens, retirando assim, 30 imagens que apresentaram um desvio muito grande em alguma das características. Segundo estudos do autor Kohavi [24], para testar a capacidade de generalização dos classificadores e permitir uma comparação justa e imparcial, é recomendado o uso da validação cruzada na definição dos conjuntos de teste e treino. Assim, utilizamos da validação cruzada com 10 folds, fazendo com que o banco de imagens seja dividido em 10 subconjuntos. A partir destes subconjuntos são executadas dez iterações, sendo que em cada iteração um subconjunto diferente é usado como teste e todos outros nove como treino. O resultado considerado para cada classificador é a média entre os 10 testes executados. Com o uso dessa técnica podemos usar cada imagem tanto como treino, quanto como teste, evitando a imparcialidade que pode acontecer em testes com subconjuntos fixos e definidos.

31 3.3 Avaliação dos classificadores 29 Figura 3.2: Resultado da aplicação da decomposição com 3 níveis de resolução. Quadrante superior esquerdo representa os coeficientes de aproximação (baixa freqüência) e os demais representam os coeficientes wavelets de detalhes (alta freqüência). 3.3 Avaliação dos classificadores forma: Todos os testes foram avaliados com a Acurácia, que é calculada da seguinte ACC = T P + T N TotaldeAmostras (3-1) Onde TP é o número de verdadeiros positivo, TN é o número de verdadeiros negativo e Total de amostras é o número total de amostras utilizadas no teste uma medida tradicional na avaliação de algoritmos de classificação. Também utilizamos a AUC (Area Under ROC Curve, que é a área sob a curva ROC, Receiver operating characteristic) [18] [33] [34]. A curva ROC teve origem na avaliação de qualidade em sinais com ruídos [13], mas vem sendo muito utilizado na medicina para avaliar a qualidade de um teste clinico [47] [59]. Já outros estudos avaliaram o uso da curva ROC na avaliação de classificadores e demonstraram sua

32 3.3 Avaliação dos classificadores 30 Figura 3.3: Ilustração da validação cruzada. eficiência e qualidade superior, indicando a substituição da acurácia pela AUC [4] [21] [39]. A curva ROC é uma representação gráfica para os valores de sensibilidade (eixo Y) e 1-especificidade (eixo X). Usualmente o uso das curvas ROC na medicina é construída a partir de um conjunto de pontos, que indicam diversos resultados dependentes de alguma variável que influencie no resultado. Mas no caso de classificadores binários (que possuem somente duas classes) testados neste trabalho, usamos apenas um ponto, resultante da média entre as 10 iterações com o classificador otimizado. Como a acurácia também é uma medida comum neste tipo de análise, decidimos por considerar ambas as avaliações.

33 Resultados CAPÍTULO A calibração ótima encontrada pode ser visualizada nas tabelas 4.1, 4.2, 4.3 e Tabela 4.1: Parâmetros ótimos para cada classificador usando todas as características. Classificador Parâmetro Valor ótimo KNN k 21 RBF - SVM C,σ 15, -3 Poly - SVM Ordem do polinômio 1 MLP R 1 J48 N,C 0.5, 2 Naïve Bayes - - Tabela 4.2: Parâmetros ótimos para cada classificador combinado com SFE. Classificador Parâmetro Valor ótimo KNN k 15 RBF - SVM C,σ 11.42, 1.14 Poly - SVM Ordem do polinômio 3 MLP R 0.3 J48 N,C 0.25, 2 Naïve Bayes - - Tabela 4.3: Parâmetros ótimos para cada classificador combinado com PCA. Classificador Parâmetro Valor ótimo KNN k 31 RBF - SVM C,σ 16.00, 0.62 Poly - SVM Ordem do polinômio 3 MLP R 0.67 J48 N,C 0.05, 1 Naïve Bayes - -

34 32 Tabela 4.4: Parâmetros ótimos para cada classificador combinado com KPCA. Classificador Parâmetro Valor ótimo KNN k 1 RBF - SVM C,σ 1.00, 1.42 Poly - SVM Ordem do polinômio 2 MLP R 0.67 J48 N,C 0.01, 4 Naïve Bayes - - A acurácia mensurada em cada teste pode ser observada nas imagens 4.1, 4.2, 4.3 e 4.4, onde temos o resultado da combinação de cada classificador com todas as características e com cada um dos método de redução de dimensionalidade. Figura 4.1: Acurácia resultante dos testes com classificadores e todas as características As Figuras seguintes, Figura 4.5, Figura 4.6, Figura 4.7 e Figura 4.8, mostram a curva ROC obtida em cada combinação. Temos também a Tabela 4.5 onde encontramos os dados referentes a sensibilidade, especificidade e AUC das mesmas combinações. A AUC de cada combinação pode ser melhor observada nos gráficos presentes nas figuras 4.9, 4.10, 4.11, e 4.12.

35 33 Figura 4.2: Acurácia resultante dos testes com classificadores combinados com o SFE Figura 4.3: Acurácia resultante dos testes com classificadores combinados com o PCA

36 34 Figura 4.4: Acurácia resultante dos testes com classificadores combinados com o KPCA Figura 4.5: Curvas ROC com todas as características.

37 35 Figura 4.6: Curvas ROC com SFE. Figura 4.7: Curvas ROC com PCA.

38 36 Figura 4.8: Curvas ROC com KPCA. Tabela 4.5: Sensibilidade, Especificidade e AUC para cada combinação de classificador com e sem algoritmo de redução de dimensionalidade. NB RBF-SVM Poly-SVM KNN J48 MLP Sensibilidade Especificidade AUC Sensibilidade SFE 1 - Especificidade AUC Sensibilidade PCA 1 - Especificidade AUC Sensibilidade KPCA 1 - Especificidade AUC

39 37 Figura 4.9: AUC resultante dos testes com classificadores e todas as característica Figura 4.10: AUC resultante dos testes com classificadores combinados com o SFE

40 38 Figura 4.11: AUC resultante dos testes com classificadores combinados com o PCA Figura 4.12: AUC resultante dos testes com classificadores combinados com o KPCA

41 Discussão CAPÍTULO 5 Os gráficos e tabelas expõem claramente a superioridade do KPCA aplicado com qualquer um dos classificadores testados, obtendo ótimos resultados tanto em acurácia quanto em AUC. Os bons resultados foram obtidos especialmente com o KNN e o NB, alcançando resultados com AUC acima de O PCA não produziu bons resultados, 67% com o KNN e SVM, sendo assim insuficiente para solucionar a classificação. O SFS apresentou resultados razoáveis de acurácia e AUC (80% e 0.798) combinado com o SVM com kernel RBF, o desempenho razoável provavelmente se deve a baixa capacidade de discriminação das características, fazendo com que um seletor wrapper não seja suficiente para classificar as imagens. Todos os classificadores tiveram resultados que claramente dependem de qual método está sendo utilizado na redução da dimensionalidade. O KNN e SVM se mostraram mais adaptáveis as características utilizadas, tendo resultados melhores que os outros em boa parte dos testes. O MLP e J48 tiveram resultados medianos. O NB não teve bons resultados combinado com o PCA e SFS, mas com o KPCA se mostrou bastante eficiente. A eficiência do NB combinado com KPCA se deve as características geradas, pois as mesmas possuem distribuição muito próxima a Gaussiana, fazendo com que a classificação probabilista do NB baseada na suposição das classes serem Gaussianas seja bastante eficiente. Comparando os testes com todas as características e os testes com o uso dos redutores de dimensionalidade, podemos concluir que algumas das características não contribuem para a classificação. Como somente uma pequena parte das características possuem capacidade de discriminação, é necessário a aplicação dos algoritmos de redução de dimensionalidade para tratar o conjunto de características excluindo as desnecessárias. Sendo assim, podemos concluir que as características definidas e utilizadas nos estudos anteriores são suficientes para realizar a classificação. Os estudos anteriores relacionados ao PneumoCAD também tiveram resultados com acurácia acima de 95%, mas nenhum deles realizaram testes com uso da validação cruzada. Os bons resultados ao usar um número maior de imagens testadas com validação cruzada, confirma as conclusões anteriores de que wavelets na extração de características

42 40 de texturas são invariantes a escala, rotação e posição [36][14]. Essa invariância é importante, pois as radiografias muitas vezes possuem variações que não podem ser previstas, assim sendo necessário classificar pela textura extraída com uso de wavelets. O uso dos descritores de textura basicamente permite que encontremos um padrão de textura nas imagens de crianças negativas para pneumonia, para caso houver alguma mudança nesse padrão, como um conjuntos de pixels claros agrupados, possamos classificar essa variação como a presença da pneumonia. Então até o momento a melhor combinação encontrada para solucionar o problema é o Naïve Bayes, ou o K-Nearest Neighbor, aplicados em um espaço dimensional de 13 dimensões, geradas pelo Gaussian Kernel PCA, a partir de 17 descritores definidos por Haralick extraídos em 9 subespaços da wavelet de Haar. Assim gerando uma curva ROC com AUC de 0.95 e uma acurácia de 96% (NB) ou 93% (KNN). O que é um resultado melhor do que o de radiologistas [58], como podemos observar na Tabela 5.1 Tabela 5.1: Acurácia no diagnóstico. Médico residente Radiologista NB com KPCA

43 Conclusão CAPÍTULO 6 Neste trabalho, cinco classificadores de aprendizagem de maquina (Support Vector Machine, K-Nearest Neighbors, Naïve Bayes, Multi-Layer Perceptron e Árvore de Decisão) foram testado para identificar e classificar imagens de radiografias digitalizadas. Os classificadores foram utilizados para detectar e diagnosticar pneumonia infantil, com o objetivo de avaliar o método de extração elaborado nos trabalhos anteriores, e definir o melhor classificador para o problema. Para otimizar a eficiência das características extraídas, foram utilizados três diferentes algoritmos de redução de dimensionalidade, a fim de obtermos a melhor descrição das imagens. Os classificadores foram avaliados com um banco de imagens diagnosticadas anteriormente por radiologistas, e foram otimizados e testados usando o método de validação cruzada para assegurar a imparcialidade da comparação. Ao fim dos testes podemos constatar que o Naïve Bayes, combinado com o Kernel Principal Component Analysis, produziu os melhores resultados e se mostrou mais estável para solucionar o problema em questão. Superando assim, tanto os resultados obtidos em trabalhos anteriores, quanto a acurácia do diagnostico de radiologistas. Os resultados atuais podem ser considerados ótimos e suficientes para a realização de testes práticos para a analise da influência do sistema no diagnostico médico. Consequentemente podemos dizer que o método de extração das características proposto anteriormente é apropriado e eficaz. Futuramente poderemos desenvolver alguns detalhes em relação ao Pneumo- CAD em geral, como: Concluir a implementação do protótipo com servidores web para que passe a estar disponível abertamente e testar e observar a influência do sistema em um ambiente real.

44 Referências Bibliográficas [1] ABE, S. Support Vector Machines for Pattern Classification. Springer, [2] BASHAR, M. K.; MATSUMOTO, T.; OHNISHI, N. Wavelet transform-based locally orderless images for texture segmentation. Pattern Recogn. Lett., 24(15): , Nov [3] BISHOP, C. M. Neural Networks for Pattern Recognition. Oxford University Press, USA, 1 edition, Jan [4] BRADLEY, A. P. The use of the area under the {ROC} curve in the evaluation of machine learning algorithms. Pattern Recognition, 30(7): , [5] BROWN, G.; POCOCK, A.; ZHAO, M.-J.; LUJÁN, M. Conditional likelihood maximisation: A unifying framework for information theoretic feature selection. The Journal of Machine Learning Research, 13:27 66, [6] BURGES, C. J. C. A tutorial on support vector machines for pattern recognition. Data Min. Knowl. Discov., 2(2): , June [7] CHENG, S.-C. Content-based image retrieval using moment-preserving edge detection. Image and Vision Computing, 21(9): , [8] CHERIAN, T.; MULHOLLAND, E.; CARLIN, J.; OSTENSEN, H.; AMIN, R.; DE CAMPO, M.; GREENBERG, D.; LAGOS, R.; LUCERO, M.; MADHI, S.; O BRIEN, K.; OBARO, S.; STEINHOFF, M. Standardized interpretation of paediatric chest radiographs for the diagnosis of pneumonia in epidemiological studies. Bull. World Health Organ., 83(5): , [9] COVER, T.; HART, P. Nearest neighbor pattern classification. Information Theory, IEEE Transactions on, 13(1):21 27, Jan [10] DEPEURSINGE, A.; IAVINDRASANA, J.; HIDKI, A.; COHEN, G.; GEISSBUHLER, A.; PLATON, A.; POLETTI, P.-A.; MÜLLER, H. Comparative performance analysis of state-of-the-art classification algorithms applied to lung tissue categorization. Journal Digit Imaging, 23(1):18 30, 2012.

45 Referências Bibliográficas 43 [11] DOI, K.; GIGER, M.; NISHIKAWA, R.; RA., S. Computer-aided diagnosis of breast cancer on mammograms. Breast CAncer, 4(4):: , [12] DOI, K.; MACMAHON, H.; KATSURAGAWA, S.; NISHIKAWA, R. M.; JIANG, Y. Computer-aided diagnosis in radiology: potential and pitfalls. European Journal of Radiology, 31(2):97 109, [13] EGAN, J. P. Signal detection theory and ROC analysis. Series in Cognition and Perception. Academic Press, New York, NY, [14] GONZALEZ, R.; WOODS, R. Pocessamento Digital De Imagens. Pearson, [15] GOPINATH, R. A.; GOPINATH, R. A.; BURRUS, C.; BURRUS, C. S.; GOPINATH, R. A. Wavelets and filter banks. In: In Wavelets: A Tutorial in Theory and Applications, p Academic Press, [16] GUYON, I.; ELISSEEFF, A. An introduction to variable and feature selection. J. Mach. Learn. Res., 3: , Mar [17] HALL, M.; FRANK, E.; HOLMES, G.; PFAHRINGER, B.; REUTEMANN, P.; WITTEN, I. H. The weka data mining software: an update. SIGKDD Explor. Newsl., 11(1):10 18, Nov [18] HANLEY, J.; MCNEIL, B. The meaning and use of the area under a receiver operating characteristic (roc) curve. Radiology, 143(1):29 36, [19] HARALICK, R. M.; SHANMUGAM, K.; DINSTEIN, I. Textural Features for Image Classification. Systems, Man and Cybernetics, IEEE Transactions on, SMC- 3(6): , Nov [20] HOTELLING, H. Analysis of complex statistical variables into principal components. Journal of Educational Psychology, 24(6): , Sept [21] HUANG, J.; LING, C. Using auc and accuracy in evaluating learning algorithms. Knowledge and Data Engineering, IEEE Transactions on, 17(3): , [22] HUANG, P. W.; DAI, S. K. Design of a two-stage content-based image retrieval system using texture similarity. Inf. Process. Manage., 40(1):81 96, Jan [23] KATSURAGAWA, S.; DOI, K. Computer-aided diagnosis in chest radiography. Computerized Medical Imaging and Graphics, 31: , <ce:title>computer-aided Diagnosis (CAD) and Image-guided Decision Support</ce:title>.

46 Referências Bibliográficas 44 [24] KOHAVI, R. A study of cross-validation and bootstrap for accuracy estimation and model selection. In: Proceedings of the 14th international joint conference on Artificial intelligence, volume 2, p Morgan Kaufmann, [25] KOHAVI, R.; JOHN, G. H. Wrappers for feature subset selection. ARTIFICIAL INTELLIGENCE, 97(1): , [26] KOKARE, M.; BISWAS, P. K.; CHATTERJI, B. N. Texture image retrieval using new rotated complex wavelet filters. Trans. Sys. Man Cyber. Part B, 35(6): , Dec [27] KOKARE, M.; CHATTERJI, B. N.; BISWAS, P. K. Cosine-modulated wavelet based texture features for content-based image retrieval. Pattern Recogn. Lett., 25(4): , Mar [28] KUNYOSHI, V.; CATANEO, D.; CATANEO, A. Complicated pneumonias with empyema and/or pneumatocele in children. Pediatr Surg Int, 22(2):186 90, [29] LADHA, L.; DEEPA, T. feature selection methods and algorithms. International Journal on Computer Science and Engineering, 3(5): , [30] LEONDES, C. Image Processing and Pattern Recognition. Neural Network Systems Techniques And Applications. Academic Press, [31] LEVINE, O. S.; LAGOS, R.; MUNOZ, A.; VILLAROEL, J.; ALVAREZ, A. M.; ABREGO, P.; LEVINE, M. M. Defining the burden of pneumonia in children preventable by vaccination against haemophilus influenzae type b. Pediatr. Infect. Dis. J., 18(12): , [32] MACEDO, S. O. D.; OLIVEIRA, L. L. G. D. Desenvolvimento de um sistema de auxílio ao diagnóstico de pneumonia na infância utilizando visão computacional. In: Workshop de Visão Computacional, [33] METZ, C. Roc methodology in radiologic imaging. Invest Radiol, 21(9): , [34] METZ, C.; HERMAN, B.; ROE, C. Statistical comparison of two roc-curve estimates obtained from partially-paired datasets. Med Decis Making, 18(1): , [35] MITCHELL, T. M. Machine Learning. McGraw-Hill, Inc., New York, NY, USA, 1 edition, [36] NIXON, M.; AGUADO, A. Feature extraction and image processing. Newnes, 2002.

47 Referências Bibliográficas 45 [37] NOOR, N. M.; RIJAL, O. M.; YUNUS, A.; BAKAR, S. A. R. S. A. A discrimination method for the detection of pneumonia using chest radiograph. Comp. Med. Imag. and Graph., 34(2): , [38] OLIVEIRA, L. L. G.; E SILVA, S. A.; RIBEIRO, L. H. V.; DE OLIVEIRA, R. M.; COELHO, C. J.; ANDRADE, A. L. S. S. Computer-aided diagnosis in chest radiography for detection of childhood pneumonia. I. J. Medical Informatics, 77(8): , [39] PRATI, R. C.; BATISTA, G. E. A. P. A.; MONARD, M. C. Curvas roc para a avaliação de classificadores. IEEE Latin America, 6(2): , [40] QUINLAN, J. R. Induction of decision trees. Mach. Learn, p , [41] QUINLAN, J. R. C4.5: programs for machine learning. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, [42] ROBINSON, P. J. Radiology s Achilles heel: error and variation in the interpretation of the Roentgen image. Br J Radiol, 70(839): , Nov [43] RUMELHART, D. E.; HINTON, G. E.; WILLIAMS, R. J. Parallel distributed processing: explorations in the microstructure of cognition, vol. 1. chapter Learning internal representations by error propagation, p MIT Press, Cambridge, MA, USA, [44] RUSSELL, S.; NORVIG, P. Artificial Intelligence: A Modern Approach. Prentice Hall, third edition, Dec [45] SCHÖLKOPF, B.; SMOLA, A.; MÜLLER, K.-R. Nonlinear component analysis as a kernel eigenvalue problem. Neural Comput., 10(5): , July [46] SFAVIAN, R. S.; LANDGREBE, D. A survey of decision tree classifier methodology. Technical report, Purdue University, [47] SILVA, A. C.; GATTASS, M.; CARVALHO, P. C. P. Diagnosis of solitary lung nodule using texture and geometry in computerized tomography images: Preliminary results. In: IEEE Latin America Transactions, volume 2, p , [48] SOUSA, R. T.; MARQUES, O.; SOARES, F. A. A. M. N.; JR., I. I. G. S.; DE OLIVEIRA, L. L. G.; SPOTO, E. S. Comparative performance analysis of machine learning classifiers in detection of childhood pneumonia using chest radiographs. In: ICCS, p , [49] STRANG, G.; NGUYEN, T. Wavelets and filter banks. Wellesley-Cambridge Press, 1997.

48 Referências Bibliográficas 46 [50] TOURASSI, G. D. Journey toward computer-aided diagnosis: role of image texture analysis. Radiology, 213(2): , [51] UNSER, M. Texture classification and segmentation using wavelet frames. Image Processing, IEEE Transactions on, 4(11): , Nov [52] VAN DER MAATEN, L. J. P.; POSTMA, E. O.; VAN DEN HERIK, H. J. Dimensionality Reduction: A Comparative Review. Technical report, Tilburg University, [53] VAN DER MAATEN, L. Matlab toolbox for dimensionality reduction, v [54] WAY, T. W. Computer-aided Diagnosis of Pulmonary Nodules in Thoracic Computed Tomography. PhD thesis, University of Michigan, [55] WHO. Standardization of interpretation of chest radiographs for the diagnosis of pneumonia in children. Technical report, World Health Organization: Department of Vaccines and Biologicals, [56] WHO. Pneumonia, fact sheet n 331. Technical report, World Health Organization, [57] YAO, J.; DWYER, A.; SUMMERS, R. M.; MOLLURA, D. J. Computer-aided diagnosis of pulmonary infections using texture analysis and support vector machine classification. Academic Radiology, 18(3):306 14, [58] YOUNG, M.; MARRIE, T. J. Interobserver variability in the interpretation of chest roentgenograms of patients with possible pneumonia. Arch Intern Med, 154: , [59] ZHOU, X.-H.; MCCLISH, D. K.; A, N. Statistical Methods in Diagnostic Medicine. John Wiley & Sons Inc, 2002.

49 Apêndice I APÊNDICE A Artigos produzidos durante a pesquisa: Comparative performance analysis of machine learning classifiers in detection of childhood pneumonia using chest radiographs. Publicado em Junho de 2013 na International Conference on Computacional Science em Barcelona - Espanha. Comparative performance analysis of machine learning classifiers and dimensionality reduction algorithms in detection of childhood pneumonia. Publicado em Julho de 2013 no XIII Workshop de Informática Médica em Maceió - Brasil.

50 Available online at Procedia Computer Science 00 (2013) International Conference on Computational Science, ICCS 2013 Comparative performance analysis of machine learning classifiers in detection of childhood pneumonia using chest radiographs Rafael T. Sousa a,, Oge Marques b, Fabrizzio Alphonsus A. M. N. Soares a, Iwens I. G. Sene Jr a, Leandro L. G. de Oliveira a, Edmundo S. Spoto a a Instituto de Informática Universidade Federal de Goiás (UFG) Goiânia, GO - Caixa Postal Brazil b Department of Computer & Electrical Engineering and Computer Science Florida Atlantic University (FAU) - Boca Raton, FL 777 Glades Road USA Abstract This work extends PneumoCAD, a Computer-Aided Diagnosis system for detecting pneumonia in infants using radiographic images [1], with the aim of improving the system s accuracy and robustness. We implement and compare three contemporary machine learning classifiers, namely: Naïve Bayes, K-Nearest Neighbor (KNN), and Support Vector Machines (SVM). Results of our experiments demonstrate that the SVM classifier produces the best overall results. Keywords: Machine Learning; Computer-Aided Diagnosis (CAD); Childhood pneumonia; 1. Introduction Pneumonia is an epidemic disease characterized by acute lower respiratory infection, usually caused by viruses or bacteria and, less commonly, other microorganisms. According to the World Health Organization (WHO), pneumonia is the leading cause of death in children worldwide, killing an estimated 1.2 million children under five years old every year, most in South Asia and sub-saharan Africa. This number is higher than the mortality rate for several other diseases, such as AIDS, malaria and tuberculosis, combined [2]. Currently the best and most widely accepted imaging modality for detecting pneumonia is chest radiographs [3]. However, some studies have shown that errors are common in the interpretation of chest radiographs, due to inter-observer variation [4]. This limitation of human expert-based diagnosis has provided a strong motivation for the use of computer technology to improve the speed and accuracy of the detection process. A Computer-Aided Diagnosis (CAD) software can be defined as a second opinion in a diagnostic [5]. This kind of software is utilized to improve diagnostic accuracy, not as a means of replacing the specialist, but instead working like a second one. Using feature extraction and supervised learning classifiers a CAD system can mimic the specialist s vision and ability to diagnose. In this work we use the same features and dataset employed in previous studies [1] [6], which have resulted in a full CAD system for pneumonia detection called PneumoCAD, which has been applied to assist in diagnostics, as well as to train and improve radiologists expertise in childhood pneumonia detection using chest radiographs Corresponding author. Tel.: address: rafaelsousa@inf.ufg.br.

51 Rafael T. Sousa et al. / Procedia Computer Science 00 (2013) [6]. PneumoCAD is currently in prototype stage. The ultimate goal behind PneumoCAD is to create a website that will provide remote diagnosis functionality by analyzing uploaded chest radiographs and processing them using image processing and machine learning algorithms. This work was geared towards performing a comparative performance analysis of state-of-art machine learning classifiers combined with feature selection algorithms, to improve PneumoCAD accuracy and find out the best classifier for childhood pneumonia detection. 2. Methods The image dataset used in PneumoCAD consists of bit grayscale images obtained with a digital camera, that captured the chest X-rays images at a resolution of pixels. Out of these images, 78 show pneumonia while the remaining 78 do not. Figure 1 shows examples of the images in the dataset. These images were analyzed by two trained radiologists according to WHO guidelines [7] [8] which produced the ground truth needed to test the machine learning classifiers used in this work. Fig. 1. (a) Three chest radiographs labeled as positive for pneumonia. (b) Three healthy children radiographs. The following texture-based features were selected, implemented, and tested: coefficient of variation, contrast, correlation, energy, average energy, entropy, average deviation, difference variance, difference entropy, inverse difference moment, residual mean, sum average, sum entropy, sum variance, suavity, variance, standard deviation [9] [10] [11] [12]. All features have been extracted in nine subspaces of Haar wavelet. Method 1 First each feature was tested with three classifiers, KNN, SVM and Naïve Bayes. In order to compare with previous results [6], we used three random sets of 40 images each and then, from each set, a random subset of 15 images. We then perform three tests alternating the subsets, two as training set and the other as test. All the three tests are performed only with difference variance feature and with k parameter in KNN defined as 9. For SVM we used standards Gaussian kernel parameters (C = 1, σ = 1). Method 2 In order to test the robustness of each classifier applied in pneumonia detection and to avoid overfitting, we applied a second methodology with no randomization of the training set. Outliers which are out of the interval x σ x x + σ, where x is a sample, x the feature mean and σ the standard deviation, were removed. We then performed a 10-fold cross-validation test with each classifier using every feature in 9 subspaces of wavelet. After identifying and selecting the three best possible features for each classifier, we performed with these an exhaustive search, testing many possible values for each parameter, according to Table 1.

52 Rafael T. Sousa et al. / Procedia Computer Science 00 (2013) Table 1. Parameters and intervals. Classifier Parameter Ranges Step(step size) KNN k [0; 50] lin(1) SVM C, σ [1; 50],[0;10] lin(2), lin(0.1) Naïve Bayes Method 3 Finally we tested another approach for feature selection, which takes the full feature vector, with all 17 texture features, and uses a Sequential Forward Elimination (SFE) test, which is a simple greedy search algorithm, to find the best feature set for each classifier [13] [14]. 3. Results Method 1 With the first methodology good accuracy results were obtained, and these are the best figures: 82% with KNN, 80% with SVM and 60% with Naïve Bayes. SVM and KNN classifiers obtained good results, but also bad results in other runs, e.g., 50% with KNN and SVM. So a second methodology is important to evaluate the problem using all data set with cross-validation tests, because the random set selection may lead to biases that favor one classifier over another and make the overall comparison less meaningful. Method 2 Feature tests were performed with the three classifiers. Several features have shown overall good results, namely: entropy, difference variance, sum entropy, and suavity. Fig. 2. Optimized SVM and KNN accuracies with each three selected feature. After obtaining the three best features for KNN and SVM, we performed a calibration test, to improve the accuracy results, as shown on Figure 2. In SVM tests the best values for the parameters were: {C = 1.2; σ = 1} for entropy, {C = 5.7; σ = 0.5} for difference variance and {C = 0.6; σ = 0.6} for sum entropy. For KNN the best calibration led to k=11 for suavity, k=7 for sum entropy and k=9 for entropy. Method 3 Table 2. Classifiers result accuracies with each features set selected by SFE. SVM KNN PNB Our third method, using a feature selection algorithm, produced some good results (Table 2). With SVM the selected features were: correlation, average deviation, difference variance and standard deviation, one wavelet