CLASSIFICAÇÃO DOS RESULTADOS DOS CAD PARA DETECÇÃO DE MICROCALCIFICAÇÕES MAMÁRIAS CONTEMPLANDO TRÊS CATEGORIAS

Transcrição

1 CLASSIFICAÇÃO DOS RESULTADOS DOS CAD PARA DETECÇÃO DE MICROCALCIFICAÇÕES MAMÁRIAS CONTEMPLANDO TRÊS CATEGORIAS Silvia Cristina Martini Rodrigues 1, Annie France Frere 2,1 1 Depto. de Engenharia Elétrica, Escola de Engenharia de São Carlos, Universidade de São Paulo (USP), Brasil, Fone (0XX16) R. 226, Fax (0XX16) Centro de Pesquisas Tecnológicas, Universidade de Mogi das Cruzes (UMC), Brasil, Fone (0XX11) , Fax (0XX11) silviamr@sel.eesc.sc.usp.br, annie@npt.umc.br RESUMO Atualmente a maneira como os resultados dos sistemas CADs são avaliados é incoerente com o que se espera deles. De fato, se por um lado se considera que eles devem apenas fornecer uma segunda opinião, por outro lado se espera que os pesquisadores comparem os resultados dos algoritmos que eles desenvolveram com os resultados da biopsia para saber casos malígnos e casos benígnos. Nossa proposta é que as imagens submetidas ao CAD sejam aquelas apresentadas ao médico e que os resultados sejam comparados com os dele, fornecendo três tipos de classificação: os casos benignos, os casos malignos e os casos indeterminados. O método de avaliação que implementamos considera primeiro o número total de casos, utilizando o teste do χ 2. Depois, os casos indeterminados são descartados e a análise dos resultados realizada com as curvas ROC e com o teste de concordância. Este método possibilita apresentar de forma clara e objetiva as relações entre verdadeiros positivos e falsos positivos, verdadeiros negativos e falsos negativos, sensibilidade e especificidade dos algoritmos desenvolvidos. Palavras-chave: Método Estatístico, Processamento de Imagens e Curva ROC. 1. INTRODUÇÃO A detecção precoce, que é uma das armas mais eficaz contra o câncer, pode ser feita pelo exame clínico e pela análise das mamografias. Entretanto, no seu estado inicial o câncer de mama provoca poucas alterações dos tecidos e o diagnóstico muitas vezes deve ser auxiliado pela análise das microcalcificações associadas às lesões mamárias, que podem ser índices de malignidade. Estas microcalcificações só podem ser detectadas pela mamografia, que nos casos de detecção precoce, pode ter dificuldades para evidenciá-las e muitas vezes não permite uma análise de suas formas ou de seu número. Estas dificuldades podem ser amenizadas através da utilização de sistemas computadorizados de auxílio ao diagnóstico (CAD) que conseguem detectar microcalcificações não muito maiores que ruídos e indicar se elas estão associadas a tumores malignos ou benignos [1]. Entretanto atualmente a maneira como os resultados destes sistemas são avaliados é incoerente com o que se espera deles. De fato, se por um lado se considera que os CADs devem apenas fornecer uma segunda opinião a respeito das mamografias examinadas por um ou dois especialistas ou no máximo indicar a região suspeita que deve merecer maiores cuidados na análise diagnóstica, por outro lado se espera que os pesquisadores comparem os resultados dos algoritmos que eles desenvolveram com os resultados da biopsia. Atualmente as imagens oferecidas para testar o desempenho dos CAD apresentam, casos de pacientes que se submeteram à biopsia. Mas se o CAD deve ser considerado apenas como uma segunda opinião diagnóstica, seus resultados devem ser comparados com os resultados de um médico experiente e não com os resultados de biopsias. As imagens que são acompanhadas de laudos de biopsia são as de casos que geraram dúvidas no diagnóstico e são, portanto, os casos mais difíceis de serem avaliados. Nossa proposta é que as imagens submetidas ao CAD sejam aquelas apresentadas ao médico e que os resultados sejam comparados com os dele. Neste caso o sistema CAD deve ser autorizado a fornecer três tipos de classificação: os casos benignos, os casos malignos e os casos indeterminados. Sendo que os casos indeterminados são oriundos de imagens de difícil interpretação, para os quais o médico precisaria, para fornecer o diagnóstico, de mais informações, como por exemplo, as contidas no prontuário da paciente ou de um outro tipo de exame. A terceira classe agruparia portanto as imagens que o algoritmo tem dificuldade em classificar e as classes benignas e malignas poderiam ser detectadas com mais segurança. Principalmente, pelo custo social que um resultado falso positivo traz, a primeira categoria deve ser detectada sem erro. Esta classificação certamente amenizaria os problemas que afetam a apresentação dos resultados dos CADs e as disparidades contatadas quando eles devem processar imagens de origens diferentes [2]. Entretanto, esta proposta inviabiliza a aplicação do método de avaliação mais utilizado pelos pesquisadores, o das curvas ROC (Receiver Operating Characteristic), porque ele somente pode considerar duas classes de resultados. Portanto desenvolvemos um método de avaliação que analisa as três classes e onde os resultados devem ser analisados em duas etapas. Na primeira, os resultados do CAD devem ser comparados com os do médico, utilizando testes que permitem a avaliação das três classes. Na segunda, os resultados do CAD e do médico são comparados com os resultados da biopsia após descartar as imagens que foram classificadas na forma de casos indeterminados.

2 Em trabalho anterior [3] apresentamos um método alternativo para avaliação baseado somente no teste do χ 2 (Qui-quadrado). O método apresentado agora é mais completo já que ele permite a avaliação dos falsos positivos e falsos negativos de três classes além de possibilitar a concordância entre os diagnósticos. 2. METODOLOGIA Para avaliar os algoritmos considerando três classes de resultados nosso método utilizou-se das curvas ROC, do teste do χ 2 e do teste de concordância. A precisão diagnóstica pode ser caracterizada em um ambiente operacional. A curva ROC é uma das técnicas conhecidas para comprovar um índice de precisão desejado, em termos de custo benefício[3]. As curvas ROC são obtidas com base nos resultados dados por aparelhos médicos ou nas imagens que eles produzem, levando-se em conta a eficiência do observador. Elas auxiliam a compreensão da exatidão do diagnóstico, porque indicam todas as combinações de sensibilidade (Verdadeiro Positivo), ou seja, o número de decisões verdadeiras positivas pelo número de casos realmente positivos. Elas indicam também a especificidade (Verdadeiro Negativo), o número de decisões verdadeiras negativas pelo número de casos realmente negativos [4]. Outro método utilizado foi o teste do χ 2 (Qui-quadrado) que é bastante conhecido por médicos e biólogos para avaliar seus resultados. O método tem a vantagem de não necessitar de uma grande amostra de imagens e é baseado na seguinte afirmação: Quando os dados de uma pesquisa consistem de freqüências em categorias discretas, pode-se usar a prova do χ 2 para determinar a significância das diferenças entre k grupos independentes [5]. O teste estatístico do χ 2 na Equação (1) é o somatório das razões do quadrado da diferença entre freqüências observadas e esperadas pela freqüência esperada ou seja: χ 2 = k j= 1 ( o j e j) sendo: o j = representa o número de casos observados. e j = representa o número de casos esperados. e j O número de graus de liberdade (v) é expresso pela Equação (2): v = (h 1) (k - 1) (2) sendo que h representa as linhas e k as colunas das tabelas, quando as freqüências esperadas podem ser calculadas, sem que se façam estimativas de parâmetros populacionais a partir de estatísticas amostrais. A hipótese nula é que a proporção de benignas, malignas e indeterminadas é independente do observador. Beiguelman [4] diz que em estatística um resultado com probabilidade de ocorrência igual ou inferior a 5 % é considerado como tendo pouca probabilidade de acontecer. 2 (1) Adotamos portanto o risco, denominado nível de significância (α), conforme este critério. Após o teste do χ 2, o teste de concordância se faz necessário porque permite verificar se cada imagem diagnosticada como positiva, negativa ou indeterminada por cada pesquisador foi também classificada do mesmo modo pela biopsia. As imagens de mamas com microcalcificações associadas a tumores, utilizadas nesta pesquisa, foram cedidas pelo Hospital das Clínicas de Ribeirão Preto. 3. RESULTADOS E DISCUSSÕES Consideramos um banco de dados com 300 imagens das quais 200 foram submetidas à biopsia e 100 foram consideradas benignas. Essas imagens foram analisadas por três pesquisadores (, e ) que utilizaram algoritmos de processamento diferentes mudando o valor do threshold. Neste primeiro exemplo os classificadores foram forçados a expressar seus resultados em função de apenas duas classes a dos casos malignos e a dos casos benignos como é feito até agora. A tabela 1 apresenta esses dados junto com o resultado da biopsia. Tabela 1 Resultados obtidos pela biopsia e pelos pesquisadores com 4 valores de threshold diferentes para os classificadores. Biop Mali 141/ / / / / /98 FN 9/21/ 18/26/ 24/40/ 0 27/41 41/48 48/52 Beni 111/ / / / / /144 F9/24/ 20/18 21/ /12 12/9 9/6 Total Baseado nestes dados construímos o gráfico da curva ROC, apresentado na Fig. 1. Razão Verdadeiro Positivo 1,0 0,8 0,6 0,4 0,2 P1 Az=0,90 P2 Az=0,89 P3 Az=0,88 0,0 0,0 0,2 0,4 0,6 0,8 1,0 Razão Falso Positivo Fig. 1. Curva ROC com relação aos três pesquisadores. Calculando as áreas (Az) correspondentes a, e, deduzimos que possui a maior área. Por este motivo alguns avaliadores considerariam seu algoritmo como o melhor. Entretanto todos os pesquisadores geraram muitos falsos positivos e considerando que o custo social de um diagnóstico falso negativo onde a paciente que possui a

3 doença é declarada sadia, é muito grande solicitamos que eles desenvolvessem algoritmos que processassem com confiabilidade os detalhes importantes presentes nas mamografias e deixassem de procurar alcançar resultados parecidos com os da biopsia já que nesta é possível obter informações que não são mostradas pelos aparelhos de raios X. A seguir os três pesquisadores (, e ) e o médico (M) analisaram as mesmas imagens tendo a possibilidade de gerar uma terceira classe. Eles utilizaram diferentes algoritmos de processamento com diversos threshold. Baseados nas respostas do médico (M) e na média dos resultados obtidos pelos pesquisadores construímos a tabela 2. Tabela 2 Média dos resultados obtidos pelo médico e pelos pesquisadores utilizando algoritmos diferentes. M Malig Benig Indeter Total Com a tabela 2 estabelecemos três tabelas de contingências entre os três pesquisadores e o médico. Calculamos os valores dos χ 2 para cada pesquisador e observamos se a hipótese nula é válida. Sendo que os valores obtidos são os encontrados pelos pesquisadores e os valores esperados correspondem aos do médico. O grau de liberdade é dois e foi calculado pela Equação (2). Utilizando a Equação (1) analisamos os valores dos χ 2 separadamente: χ 2 (2) = 2, < P < 0.2 χ 2 (2) = 10, < P < 0.50 χ 2 (2) = 13, < P < 0.01 Concluímos, portanto que para o pesquisador, a hipótese nula deve ser aceita porque as proporções observadas não se desviam significativamente das esperadas. Já para os pesquisadores e a hipótese nula deve ser rejeitada, já que os desvios entre as proporções observadas e esperadas são significativos. Entretanto não se deve ainda concluir que o desenvolveu um bom algoritmo de classificação, sem levar em conta as classes de falso positivo e falso negativo como é feito pelas curvas ROC. Para esta etapa as imagens classificadas como indeterminadas devem ser retiradas da amostra já que o sistema computadorizado não tem acesso às informações suplementares. A análise deve, portanto ser realizada primeiro pelo χ 2 para determinar se o volume dos casos indeterminados está dentro das expectativas e depois pelas curvas ROC sem os indeterminados. Para comparar pela curva ROC, em função da biopsia, os resultados encontrados pelos três pesquisadores e pelo médico desprezamos as 100 imagens classificadas por este último como indeterminadas. Dessas 200 imagens, a biopsia confirmou que 100 eram malignas e o tempo provou que 100 realmente eram benignas. Cada pesquisador, mudando os valores do threshod utilizado pelo seu classificador obteve os valores de benignos, malignos, falsos positivos e falsos negativos, mostrados na tabela 3. Tabela 3 Resultados obtidos pela biopsia, pelo médico e pelos pesquisadores, mudando os valores de threshold dos classificadores. Méd Biop./T Malig 89/94/ 82/91/ 93/96/ /97 97/98 98/97 FN 11/6/ 18/9/ 7/4/ 0 0 4/3 3/2 2/3 Benig. 92/93/ 84/76/ 74/63/ /88 72/60 58/65 FP 8/7/ 16/24/ 26/37/ /12 28/40 42/35 Total Traçando esses pontos no gráfico obtivemos curvas ROC mostradas na Fig. 2. Razão Verdadeiro Positivo 1,0 0,8 0,6 0,4 0,2 P1 Az=0,93 P2 Az=0,88 P3 Az=0,84 M Az=0,97 0,0 0,0 0,2 0,4 0,6 0,8 1,0 Razão Falso Positivo Fig. 2. Curvas ROC dos pesquisadores e do médico. Pelo cálculo da área podemos ver que o pesquisador se manteve mais próximo das respostas dadas tanto pelo médico quanto pela biopsia. Após essa análise é necessário fazer uma comparação analisando se todas as imagens diagnosticadas como sendo de casos positivos ou negativos são as mesmas que cada pesquisador classificou como de casos positivos ou negativos. Para aplicar o teste de concordância, levantamos a tabela 4 com os valores médios encontrados pelos três pesquisadores, pelo médico e pela biopsia ou tempo. Tabela 4. Valor médio encontrado pelo médico, pela biopsia e pelos pesquisadores. Méd. Biop./T Malig FN Benig F Total

4 Malig. Total Benig Com base nesses resultados foi feita a concordância entre os Pesquisadores e a Biopsia/Tempo obtendo a Tabela 5, mostrando a taxa de acerto. Tabela 5 Concordância entre os Pesquisadores, Médico com a Biopsia. Pesquisadores Benignos Malignos P1 89% 94% P2 73% 92% P3 65% 96% Médico 95% 100% Analisando a Tabela 5 podemos constatar que o pesquisador P1obteve também a melhor taxa de concordância. 4. CONCLUSÃO Quando os pesquisadores consideraram a categoria de indeterminados, as taxas de falsos negativos apresentadas pelos algoritmos diminuíram significativamente. O teste do novo método de avaliação é completo, muito usado na área médica e de fácil entendimento pelos radiologistas. As curvas ROC são tradicionalmente utilizadas pelos pesquisadores e possibilitam apresentar de forma clara e objetiva as relações entre verdadeiros positivos e falsos positivos, verdadeiros negativos e falsos negativos dos algoritmos desenvolvidos. AGRADECIMENTOS Os autores agradecem o apoio financeiro proporcionado pela FAPESP (Fundação de Amparo à Pesquisa do Estado de São Paulo). REFERÊNCIAS [1] K. Doi, S. Katsuragawa, R.M.Nishikawa and Y. Jiang, Computeraided diagnosis in radiology: potencial and pitfalls, European Journal of Radiology, vol. 31, pp , [2] M. Kallergi, G. M. Carney, J. Gaviria, Evaluating the performance of detection algorithms in digital mammography, Med. Phys., vol.26,n.2, pp , [3] S.C.M. Rodrigues, A F. F. Slaets Method for Evaluating of Processing Algorithms for Mammary Microcalcifications Diagnoses, Medical &Biological & Engineering & Computing, vol. 37, supl.2, pp , November, Áustria, [4] C. E. Metz, ROC Methodology in Radiologic Imaging Investigative Radiology, vol. 21, n.9, pp , [5] B. Beiguelman, Curso prático de bioestatística, Revista Brasileira de Genética, Ribeirão Preto, 254 p., 1996.

5 RESULTS CLASSIFICATION OF CAD SYSTEMS FOR MICROCALCIFICATION DETECTION CONSIDERING THREE CATHEGORIES Nowadays, the way of results evaluation found by the CAD systems is inconsistent with what it is waited of them. In fact, if on the one hand it is considered that they should just supply a second opinion, on the other hand it is waited that the researchers compare the results found by the algorithms that they developed with the results of the biopsy to know the malign and benign cases. We propose that the images submitted to CAD are those presented to the doctor and that the results found by the CAD system are compared with those of the doctor, supplying three classification types: the benign cases, the malign cases and the uncertain cases. We implemented an evaluation method that considers all the cases first, by using the test of the X-2 (Qui-square). Afterwards, the uncertain cases are removed and the results of the others are analyzed by ROC curves (Receiver Operating Characteristic) and by an agreement test. This method allows presenting in a clear and objective way the relationships among true positive and false positive, true negative and false negative, sensibility and specificity of the developed algorithms.