María Xosé Rodríguez Álvarez maria.jose.rodriguez.alvarez2@sergas.es Unidade de Epidemioloxía Clínica e Bioestatística (CHUS)
Pódome fiar do resultado dunha proba diagnóstica? Medidas da exactitude dunha proba diagnóstica: Sensibilidade, Especificidade e curva ROC
Índice 1. Probas diagnósticas en medicina 2. Avaliación da exactitude de probas diagnósticas 3. Medidas da exactitude diagnóstica Sensibilidade e Especificidade Curva de Características Operacionais do Receptor (Receiver Operating Characteristic ROC curve). 4. Conclusión/Resumen 5. Software 6. Bibliografía 3
1. Probas diagnósticas en medicina 4
1. Probas diagnósticas en medicina Unha proba diagnóstica é calquera tipo de procedemento médico realizado co fin de axudar no diagnóstico ou detección dunha enfermidade.?? 5
1. Probas diagnósticas en medicina Segundo o resultado da proba diagnóstica, estas se clasifican en: Binarias: só dous resultados (positivo e negativo). Continuas: valor numérico. Para as probas binarias, o resultado da proba proporciona a regra de clasificación. No caso das probas con resposta continua, a regra de clasificación, porén, émáis complicada. 6
2. Avaliación da exactitude dunha proba diagnóstica 7
2. Avaliación da exactitude dunha proba diagnóstica A clasificación dun individuo non está, polo xeral, exenta de erro. É necesario cuantificar os erros que se cometen na clasificación, co fin de avaliar a validez ou invalidez dunha proba diagnóstica na práctica. Debemos medir a exactitude dunha proba diagnóstica ou a súa capacidade para discriminar entre estados alternativos de saúde (enfermo/san) 8
3. Medidas da exactitude diagnóstica 9
3. Medidas da exactitude diagnóstica Probas Binarias: Sensibilidade e Especificidade Resultado da proba Verdadeiro estado Enfermo San Positivo Verdadeiro Positivo (VP) Falso Positivo (FP) Negativo Falso Negativo (FN) Verdadeiro Negativo (VN) Total VP + FN FP + VN Sensibilidade = Fracción Verdadeiros Positivos = (FVP) Especificidade = Fracción Verdadeiros Negativos = (FVN) VP VP + FN VN VN + FP 10
3. Medidas da exactitude diagnóstica Sensibilidade e Especificidade: Exemplo Tacto rectal Biopsia prostática Enfermo San Total Positivo 634 269 903 Negativo 487 1251 1738 Total 1121 1520 2641 VP VP + FN 634 634 + 487 634 1121 Sensibilidade = = = = 0. 5656 VN VN + FP 1251 1251+ 269 1251 1520 Especificidade = = = = 0. 8230 11
3. Medidas da exactitude diagnóstica A sensibilidade éa habilidade da proba para detectar a enfermidade cando está presente. A especificidade éa habilidade da proba para excluír a enfermidade cando está ausente. Indican a validez da proba Non dependen da prevalencia da enfermidade. Existen outras medidas da exactitude: Valores predictivos positivos e negativos (fiabilidade) Razón de probabilidades positivas e negativas 12
3. Medidas da exactitude diagnóstica Probas continuas: Curva de Características Operacionais do Receptor (curva ROC) No caso de probas diagnósticas con resultado continuo: Cómo podemos clasificar a un individuo como san ou enfermo? 13
3. Medidas da exactitude diagnóstica Probas continuas: Curva ROC Cada elección dun valor de corte dá lugar a unha proba binaria. Poderemos calcular a súa exactitude en termos da Sensibilidade e a Especificidade (ou 1 Especificidade). 14
3. Medidas da exactitude diagnóstica Exemplo: Cancro de páncreas Marcador CA 19 9 Pancreatite (san) 51 individuos VALOR DE CORTE: ENFERMOS SANS 15 3.4, 3.65, 3.7, 4, 4, 4.6, 4.9, 5, 5.1, 5.3, 5.3, 5.7, 6.5, 6.5, 6.5, 6.6, 6.9, 6.9, 7.6, 7.8, 7.8, 8.2, 8.2, 8.8, 8.9, 10, 10.2, 10.4, 11.1, 11.5, 14.4, 15.2, 15.4, 15.5, 16.2, 17.3, 18, 21.6, 21.8, 22.1, 25.6, 28, 31.2, 32.5, 32.6, 32.9, 44.2, 55.6, 59.2, 87.5, 107.9 Cancro de páncreas (enfermo) 90 individuos 2.4, 3.6, 3.9, 4.1, 5.6, 5.8, 6.6, 6.9, 7.8, 8.45, 10.4, 12.8, 12.8, 14.7, 15.6, 15.7, 15.7, 18, 21.8, 23.7, 27.3, 28.6, 39.3, 43.5, 45.6, 45.8, 50, 55.7, 58.7, 60.2, 70.9, 79.4, 83.3, 85.4, 90.1, 100.5, 109.7, 113.1, 162, 222, 225, 227, 235, 239, 247.6, 251, 255, 336, 361, 361, 369, 454, 464, 479, 508, 521.5, 542, 555, 592, 682, 719, 770, 900, 1021, 1079, 1090, 1490, 1520, 1600, 1630, 1715, 1810, 2106.6, 2500, 2540, 3100, 3160, 3190, 3275, 3560, 4070, 6160, 8230, 9590, 9810, 9820, 10290, 11630, 12320, 24000 15
3. Medidas da exactitude diagnóstica CA 19 9 Estado real Corte: 15 Cancro Pancreatite Positivo 76 20 Negativo 14 31 Total 90 51 Sensibilidade = 76 = 90 0.8444 Especificidade = 31 = 0.6078 1 Especificidade = 51 0.3922 16
3. Medidas da exactitude diagnóstica Probas continuas: Curva ROC Por qué escoller un valor de corte a priori? Por qué non avaliar a exactitude diagnóstica para tódolos posibles valores de corte, e logo decidir cal éo mellor? 17
3. Medidas da exactitude diagnóstica CA 19 9 Estado real Corte: 8 Cancro Pancreatite Positivo 81 30 Negativo 9 21 Total 90 51 Sensibilidade = 0.90 1 Especificidade = 0. 5882 18
3. Medidas da exactitude diagnóstica CA 19 9 Estado real Corte: 15 Cancro Pancreatite Positivo 76 20 Negativo 14 31 Total 90 51 Sensibilidade = 0.8444 1 Especificidade = 0. 3922 19
3. Medidas da exactitude diagnóstica CA 19 9 Estado real Corte: 60 Cancro Pancreatite Positivo 61 2 Negativo 29 49 Total 90 51 Sensibilidade = 0.6778 1 Especificidade = 0.0392 20
3. Medidas da exactitude diagnóstica Probas continuas: Curva ROC {( 1-Especificidade( c), Sensibilidade( c) ), c (, ) } 21
3. Medidas da exactitude diagnóstica Curva ROC: proba diagnóstica non perfecta informativa 22
3. Medidas da exactitude diagnóstica Cómo avaliamos a exactitude diagnóstica? 23
3. Medidas da exactitude diagnóstica Éhabitual resumir a información que proporciona a curva ROC en índices numéricos. O máis común éo Area Baixo a Curva (AUC) ROC. O AUC toma valores entre 0.5 (proba non informativa) e 1 (proba perfecta). 24
25 4. Conclusión/Resumen
4. Conclusión/Resumen Importancia de avaliar a exactitude dunha proba diagnóstica: válida? En función do resultado da proba diagnóstica: Binaria: Sensibilidade e Especificidade Continua: Curva ROC e área baixo a curva (AUC) 26
27 5. Software
5. Software SPSS Permite o cálculo da curva ROC e o AUC. No software de libre distribución R (www.rproject.org) existen varios paquetes que permiten o cálculo da Sensibilidade, Especificidade, VPP e VPN, LR+ e LR (DiagnosisMed), así como da curva ROC e o AUC (ROCR e proc). No software epidemiolóxico de libre distribución Epidat (www.sergas.es). 28
29 6. Referencias bibliográficas
5. Referencias bibliográficas www.fisterra.com Formación Metodología de la investigación Pepe, MS. The Statistical Evaluation of Medical Tests for Classification and Prediction, 2003. Oxford University Press. Burgueño MJ, García Bastos JL, González Buitrago JM. Las curvas ROC en la evaluación de las pruebas diagnósticas. Med Clin (Barc) 1995; 104: 661 670. 30