Validação de métodos diagnósticos

Validação de métodos diagnósticos Medicina é a arte da incerteza e a ciência da probabilidade William Osler George Luiz Lins Machado Coelho

Validação (Tornar válido, legítimo; legitimar). A validade de um teste pode ser descrita em termos do grau com que as amostras (ou indivíduos) são corretamente categorizados. Parâmetros para validar um teste Validação intrínseca: qualidade do teste Validação extrínseca: fases da doença

DIAGNÓSTICO Processo de decisão clínica que baseia-se, conscientemente ou não, em probabilidade Uso dos testes diagnósticos Identificar/confirmar a presença de doença ou situação relacionada à saúde Avaliar a gravidade do quadro clínico Estimar o prognóstico Monitorar a resposta a uma intervenção

AS APARÊNCIAS PARA A MENTE SÃO DE QUATRO TIPOS As coisas são o que parecem ser, ou são e não parecem ser; ou não são, mas parecem ser, ou não são, nem parecem ser. Epictetus, Séc. II D.C.

A Relação entre Parecer e Ser Ser Parecer + - + - As coisas são o que parecem ser São mas não parecem ser Não são mas parecem ser Não são e nem parecem ser

A Relação entre Teste e Doença Doença Teste + Verdadeiro positivo - Falso negativo + - Falso positivo Verdadeiro negativo

O Teste Padrão ( Padrão Ouro): Características: Conseqüência de padrões imperfeitos: Teste novo X Padrão imperfeito

Sensibilidade e Epecificidade Sensibilidade (S): é a probabilidade de um teste dar positivo na presença da doença, isto é, avalia a capacidade do teste detectar a doença quando ela está presente. S = a / a + c Especificidade (E): é probabilidade de um teste dar negativo na ausência da doença, isto é, avalia a capacidade do teste afastar a doença quando ela está ausente. E = d / b + d

Sensibilidade e Especificidade Doença Presente Ausente Total Teste Positivo Negativo a verdadeiro positivo c falso negativo b falso positivo d verdadeiro negativo a + b c + d Total a + c b + d a + b + c + d Sensibilidade = a / (a + c) Especificidade = d / (b + d)

Distribuição dos valores sangüíneos de glicose em uma população normal e diabética

Efeito da definição de diferentes níveis de glicemia nos resultados falso positivo e falso negativo

Ponto de corte com o mínimo erro possível

APLICAÇÃO DE TESTES DIAGNÓSTICOS: Limiar de Reatividade (cut off): Curva de distribuição da freqüência de títulos normalmente observada na população. Curva de distribuição da freqüência de títulos, mostrando regiões de corte para obtenção de máxima sensibilidade e/ou máxima especificidade.

Uso dos testes Sensíveis Necessário para o diagnóstico de doença potencialmente grave Afastar doenças em fase inicial do diagnóstico O resultado negativo é mais útil: melhor VPN Específicos Particularmente necessário quando um resultado falso positivo pode ser muito lesivo Confirmar um diagnóstico sugerido por outros dados O resultado positivo é mais útil: melhor VPP Obs: os testes sensíveis também são úteis no rastreamento (screening) de doenças em grupos populacionais

Sensibilidade Relativa ou Co-positividade. Especificidade Relativa ou Co-negatividade. Quando a seleção de uma amostragem confiável para a definição dos parâmetros de sensibilidade e especificidade mostra-se dificultada, relaciona-se os resultados com os de um teste referência.

Trade-off entre sensibilidade e especificidade no diagnóstico de diabetes Glicemia pós-prandial (2h) mg / 100 ml Sensibilidade (%) Especificidade (%) 70 98,6 8,8 80 97,1 25,5 90 94,3 47,6 100 88,6 69,8 110 85,7 84,1 120 71,4 92,2 130 64,3 96,9 140 57,1 99,4 150 50,0 99,6 160 47,1 99,8 170 42,9 100,0 180 38,6 100,0 190 34,3 100,0 200 27,1 100,0

Curva ROC da glicemia pós-prandial(2h) mg/100ml

Balanço entre sensibilidade e especificidade:

DETERMINAÇÃO DA VALIDADE ERROS MAIS COMUNS PADRÃO IMPRÓPRIO DE VALIDADE SELEÇÃO PACIENTES DOENTES E NÃO DOENTES ESPECTRO DE PACIENTES (PREVALÊNCIA x SENSIBILIDADE E ESPECIFIDADE) VÍCIO NO JULGAMENTO DO DESEMPENHO DO TESTE (NEGATIVO x POSITIVO) ACASO

Intervalo de confiança da sensibilidade

Valor preditivo Valor preditivo positivo (VPP): é a proporção de verdadeiros positivos entre todos os indivíduos com teste positivo. Expressa a probabilidade de um paciente com o teste positivo ter a doença. VPP = a / a + b Valor preditivo negativo (VPN): é a proporção de verdadeiros negativos entre todos os indivíduos com teste negativo. Expressa a probabilidade de um paciente com o teste negativo não ter a doença. VPP = d / c + d

Valor preditivo Doença Presente Ausente Total Teste Positivo Negativo a verdadeiro positivo c falso negativo b falso positivo d verdadeiro negativo a + b c + d Total a + c b + d a + b + c + d VPP = a / (a + b) VPN = d / (c + d)

Valor Preditivo Varia com a prevalência (probabilidade préteste) da doença Para um mesmo teste, quanto maior a prevalência maior o VPP e menor o VPN Faixa ideal de uso do teste: prevalência intermediária (entre 25% e 65%) Quanto mais sensível, melhor o VPN Quanto mais específico, melhor o VPP

Determinantes do Valor Preditivo Sensibilidade Especificidade Prevalência da doença na população Valores preditivos positivo e negativo probabilidade pré-teste probabilidade pós-teste VPP = (S x P) + S x P (1- E) x (1- P) VPN = [(1- S) x P] E x (1- P) + [E x (1- P)]

Variação dos valores preditivos de um teste com sensibilidade e especificidade de 90%, segundo a prevalência da doença Prevalência Valor Preditivo % Positivo Negativo 1,0 8,3 99,9 10,0 50,0 98,8 50,0 90,0 90,0 70,0 95,5 80,0 90,0 98,8 50,0 99,0 99,9 50,0

Exemplo: Prevalência da toxoplasmose França - 80% EUA - 40% Inglaterra - 20% Uma reação hipotética: Se = 96% Es = 91% Teremos: VPP (França) = 97% VPP (EUA) = 87% VPP (Inglaterra) = 72%

Aplicação de um teste x para uma prevalência de 1%: TESTE DOENÇA DIAGNÓSTICO VERDADEIRO PRESENTE AUSENTE TOTAL POSITIVO 19 99 118 NEGATIVO 1 1881 1882 TOTAL 20 1980 2000 VPP = 19 /118 = 0,16 (16%). VPN = 1881 / 1882 = 0,999 (99,9%) Aplicação de um teste x para uma prevalência de 20%: TESTE DOENÇA DIAGNÓSTICO PRESENTE VERDADEIRO AUSENTE TOTAL POSITIVO 380 80 460 NEGATIVO 20 1520 1540 TOTAL 400 1600 2000 VPP = 380 /460 = 0,82 (82%). VPN = 1520 / 1540 = 0,98 (98%) Taxa global de concordâncias VP + VN (EFICIÊNCIA) = ---------------------------- VP + VN + FP + FN

Teste de Esforço para diagnóstico DC, meta-análise: sensibilidade = 70% e especificidade = 80% Clínica Fem, jovem dor atípica Masc, 40 anos dor atípica Masc, 45-55 anos angina típica Probabilidade pré-teste VP positivo VP negativo 5% 16% 98% 50% 78% 73% 90% 97% 23% Gianrossi et al, 1989

Probabilidade pré-teste (%) para diferentes tipos de dor torácica em diversos grupos populacionais* Sexo Idade (anos) Dor torácica não anginosa Angina atípica Angina pectoris típica Mulher 30-39 1 4 26 Mulher 60-69 19 54 91 Homem 30-39 5 22 70 Homem 60-69 28 67 94 Adaptado de Sackett et al. 5

Razão de Verossimilhança É definida como a razão entre a probabilidade de um determinado resultado de um teste diagnóstico em indivíduos portadores da doença e a probabilidade do mesmo resultado em indivíduos sem a doença. Para um teste dicotômico (positivo/negativo): Razão de verossimilhança para o teste positivo (RV+): expressa quantas vezes é mais provável encontrar um resultado positivo em pessoas doentes quando comparado com pessoas não doentes RV + = S 1 - E Razão de verossimilhança para o teste negativo (RV-): expressa quantas vezes é mais provável encontrar um resultado negativo em pessoas doentes quando comparado com pessoas não doentes 1 - S RV - = E

Razão de Verossimilhança (RV) Chance ou Odds = p / 1 - p Doença Presente Ausente Total Teste Positivo Negativo a verdadeiro positivo c falso negativo b falso positivo d verdadeiro negativo a + b c + d Total a + c b + d a + b + c + d RV pos = [a / (a + c)] / [(b / b + d)] RV neg = [c / (a + c)] / [(d / b + d)]

TESTES MÚLTIPLOS TESTES EM SÉRIE Aumento especificidade Aumento VPP Diminui sensibilidade Diminui VPN TESTES EM PARALELO Aumento sensibilidade Aumento VPN Diminui especificidade Dimunui VPP

S p = S A + S B (S A x S B ) PROBABILIDADES E p = E A x E B S s = S A x S B E s = E A + E B (E A x E B )

Testes em Paralelo Diagnóstico rápido. Ex: situações de emergência O resultado positivo é considerado se um dos dois testes resultar positivo onde, Tp+ = teste em paralelo positivo A+ = resultado positivo do teste A B+ = resultado positivo do teste B T = p + A + B + Sensibilidade combinada dos testes em paralelo pode ser calculada utilizando-se as regras para o cálculo da probabilidade para a união de dois eventos independentes: S p = S A + S B S A x S B onde, Sp = sensibilidade combinada dos testes em paralelo SA = sensibilidade do teste A SB = sensibilidade do teste B O resultado negativo dos testes em paralelo somente será considerado se os dois testes resultarem negativos. Assim, utilizando-se as regras para o cálculo da probabilidade condicional, a especificidade combinada dos testes em paralelo pode ser calculada como: E p = E A x E B onde, Ep = especificidade combinada dos testes em paralelo EA = especificidade do teste AEB = especificidade do teste B

Sensibilidade, especificidade e valores preditivo positivo e negativo dos testes A, B e da combinação em paralelo de A e B Teste S (%) E (%) VP+ (%) VP- (%) A 80 70 22,86 96,92 B 90 90 50 98,78 A e B 98 63 22,74 99,65

Testes em série Processos diagnósticos que não requerem urgência. Ex: pacientes deambulatórios ou internados para investigação diagnóstica Usados também em casos de testes que são muito caros ou que oferecem risco para o paciente Os testes são aplicados seqüencialmente e o segundo teste somente será aplicado se o primeiro resultar positivo onde, Tp+ = teste em série positivo A+ = resultado positivo do teste A B+ = resultado positivo do teste B T p + = A + B + A sensibilidade combinada dos testes em série pode ser calculada utilizando-se as regras para o cálculo da probabilidade para a interseção de dois eventos: S s = S A x S B onde, Ss = sensibilidade combinada dos testes em série SA = sensibilidade do teste A SB = sensibilidade do teste B A especificidade combinada dos testes em série pode ser calculada, utilizando-se as regras para o cálculo da probabilidade, da seguinte forma: E s = E A + E B - E A x E B onde, Es = especificidade combinada dos testes em série EA = especificidade do teste A EB = especificidade do teste

Sensibilidade, especificidade e valores preditivo positivo e negativo dos testes A, B e da combinação em série de A e B Teste S (%) E (%) VP+ (%) VP- (%) A 80 70 22,86 96,92 B 90 90 50 98,78 A e B 72 97 72,73 96,89

Outras medidas Doença Presente Ausente Total Teste Positivo Negativo a verdadeiro positivo c falso negativo b falso positivo d verdadeiro negativo a + b c + d Total a + c b + d a + b + c + d Prevalência = (a + c) / (a + b + c + d) Positividade = (a + b) / (a + b + c + d) Acurácia = (a + d) / (a + b + c + d)

Distribuição de títulos na IFI de 500 soros positivos e 500 soros negativos para doença de Chagas: TÍTULO (INVERSA) Nº DE SOROS NEGATIVOS Nº DE SOROS POSITIVOS TOTAL PERCENTAGEM DE SOROS POSITIVOS <10 428 0 428 0,0% 10 60 0 60 0,0% 20 6 0 6 0,0% 40 4 4 8 50,0% 80 1 5 6 83,0% 160 1 44 45 97,8% 320 0 95 95 100,0% 640 0 167 167 100,0% 1280 0 90 90 100,0% 2560 0 60 60 100,0% 5120 0 30 30 100,0% >10240 0 5 5 100,0% TOTAL 500 500 1000 Negativos: HAI < 1/8 E ELISA com DO < 0,9. Positivos: Antecedentes epidemiológicos + marcador clínico + HAI > 1/8 e ELISA com DO > 1,1.

Freqüência Distribuição de títulos no teste de IFI em 500 soros negativos e 500 soros positivos para doença de Chagas 450 400 350 300 250 200 150 100 50 0 <10 10 20 40 80 160 320 640 1280 2560 5120 >10240 Inversa dos títulos Negativo Positivo

Percentual de concordância Acurácia Observação 1 Teste + Teste - Observação 2 Teste + a b Teste - c d Observações concordantes Percentual concordância ou Acurácia = (a + d) x 100 a + b + c + d

Concordância entre Primeiro e Segundo exame de carótida por ultrasom bimodal - estudo ARIC Exame 1 Exame 2 Placa+ Placa Normal Total Calcificação Placa+ 17 14 6 37 Calcificação Placa 5 104 46 155 Normal 5 64 725 794 Total 27 182 777 986 Percentual concordância ou Acurácia = 17+104+725 / 986 = 0,858 ou 85,8%

Concordância de Youden (J) Baseia-se na premissa que deve-se optar pelo teste que apresentar a menor soma das proporções de erros de classificação J= sensibilidade +especificidade 1 J=ad-bc/(a+b)(c+d) Prevalência real Prevalência aparente α= Falsos positivos β= Falsos negativos

Coeficiente Kappa As medidas anteriores não levam em consideração a concordância esperada ao acaso Kappa: Fração da concordância observada em relação ao máximo de concordância esperada ao acaso Fleiss JL, Statistical methods for rates and proportions, II edition, Chapter 13, 1985

Kappa Primeiro e Segundo exame de carótida por ultrasom bimodal - estudo ARIC [(27 37) + (182 155) + (777 794)] Pe = = 0,665 (986)2 = (0,858-0,665) (1-0,665) = 0,576

Pontos de corte Kappa

Kappa ponderado I dosagem II dosagem total 0-19 20-39 40-59 0-19 14 (peso 1) 2 (0.5) 0 (0) 16 20-39 6 (peso 0.5) 5 (1 ) 3 (0.5) 14 40-59 0 (peso 0) 3 (0.5) 5 (1) 8 total 20 10 8 38 Concordância ponderada observada (POW) POW = 1(14+5+5) + 0,5( 2+6+3) + 0(0+0) = 31/38 = 0,816 38

Cálculo do Kappa ponderado Concordância ponderada observada (POW) POW = 1(14+5+5) + 0,5( 2+6+3) + 0(0+0) = 31/38 = 0,816 38 Concordância ponderada esperada (PEW) A pew é igual a soma do produto das colunas e linhas onde o peso 1 aparece, multiplicada por este peso; a soma dos produtos e linhas onde o peso 0,5 aparece, multiplicado por este peso dividido pelo número total ao quadrado PEW = 1(16*20+14*10 +8*8) + 0,5(16*10+14*20+14*8 + 8*10) 38*38 Pew= 1(524) +0,5(632)/1444=840/1440 = 0,582 Interpretação 0,75 1 = excelente 0,40 <0,75 = razoável <0,40 =baixa concordância Kappa ponderado Kw= pow pew / 1-pew = (0,816-0,582) / (1 0,582) = 0,56

MÉTODOS ESTATÍSTICOS I. UNIDADE DE MEDIDA - TÍTULO - ABSORBÂNCIA - LOG II. TRANSFORMAÇÃO LOGARÍTMICA DAS UNIDADES DE MEDIDA - POR QUE? 1º) DILUIÇÃO DO SORO - SÉRIE GEOMÉTRICA ---------------------------------------------------------------------------- RECÍPROCA DA DILUIÇÃO TÍTULO CODIFICADO (X) (log10x) --------------------------------------------------------------------------- 1* 0 2 0.3 4 0.6 8 0.9 16 1.2 32 1.5 64 1.8 128 2.1 --------------------------------------------------------------------------- * Soro não diluído 2º) DISTRIBUIÇÃO LOG-NORMAL Frequência de anticorpos inibidores da hemaglutinação antirubeola em 277 meninas de 15 a 19 anos de idade, que tinham sido imunizadas com vacina contra rubeola tipo Cendehill -------------------------------------- TÍTULO (log2) FREQÜÊNCIA --------------------------------------- 2 3 3 4 4 26 5 72 6 90 7 57 8 15 9 4 10 1 11 5 TOTAL 277 ----------------------------------------

MÉTODOS ESTATÍSTICOS III. MÉDIA GEOMÉTRICA DA RECÍPROCA DO TÍTULO TÍTULO ---> Log 10 X ---> TOTAL ---> MÉDIA ---> MGRT (X) (L) õl L AntiLog L IV. COMPARAÇÃO DE TÍTULOS - EM DUAS AMOSTRAS INDEPENDENTES - EM DUAS AMOSTRAS PAREADAS (REMOVER DIFERENÇAS INTER-PESSOAIS) VARIÁVEL CONTÍNUA ou DISCRETA -------> TESTE DE STUDENT "t Ho: MGRT vacinados = MGRT não vacinados VARIÁVEL CATEGÓRICA -------> X 2 Mc Nemar c/ CORREÇÃO DE YATES X 2 = ( r - s - 1 ) 2 / r + s H o : f r = f s

Comparação das reações ELISA e RIFI no diagnóstico da toxoplasmose RIFI - título 1:16 Positivo Negativo Total X 2 = ( r - s - 1 ) 2 / r + s ELISA Positivo 42 0 42 0,303nm Negativo 20 88 108 Total 62 88 150 X 2 1gl = 18,05 RIFI - título 1:64 Positivo Negativo Total ELISA Positivo 37 05 42 0,303nm Negativo 01 107 108 X 2 1gl = 1,5 Total 38 112 150

EXERCÍCIOS

Questão 1 Observe a tabela abaixo e responda as questões a seguir: Infecção pelo HIV Gold standard (Western Blot) Com anticorpos Sem anticorpos ELISA positivo 1960 7984 ELISA negativo 40 990.016 a) Qual é a prevalência do HIV; b) Qual é a prevalência dos ELISA positivos; c) Qual é a prevalência dos ELISA negativos; d) Qual é a sensibilidade do ELISA; e) Qual é a especificidade do ELISA; f) Calcule o valor preditivo positivo (VPP) e o valor preditivo negativo (VPN) para o Elisa, para a prevalência considerada na tabela, e responda: Nestas condições, o Elisa é um teste adequado para triagem em um Banco de Sangue? g) Calcule a razão de verossimilhança positiva e negativa do ELISA. Que informação estes valores nos fornece?

Questão 2 Curvas ROC O exame laboratorial mais comumente utilizado para triagem de diabetes mellitus é a glicemia de jejum. Suponha que o padrão diagnóstico para diabetes seja uma glicemia igual ou maior que 170 mg/100 ml na segunda hora após sobrecarga de 75 g de glicose. Tendo como base esse padrão diagnóstico, podese determinar a sensibilidade e a especificidade tanto da glicemia de jejum como da glicemia colhida uma hora após sobrecarga de 75 g de glicose, utilizando vários pontos críticos, conforme mostrado nas Tabelas 1 e 2, a seguir. Tabela 1 - Sensibilidade e especificidade da glicemia de jejum para o diagnóstico do diabetes mellitus, de acordo com o ponto crítico escolhido mg/100 ml Sensibilidade (%) Especificidade (%) 70 100.0 8.2 80 97.1 22.4 90 97.1 39.0 100 95.7 57.3 110 92.9 70.6 120 88.6 83.3 130 78.6 90.6 140 68.6 95.1 150 57.1 97.8 160 52.9 99.4 170 47.1 99.6 180 40.0 99.8 190 34.3 100.0 200 28.6 100.0 Tabela 2 - Sensibilidade e especificidade da glicemia colhida uma hora após sobrecarga de 75 g de glicose, de acordo com o ponto crítico escolhido mg/100 ml Sensibilidade (%) Especificidade (%) 70 95.7 11.0 80 91.4 36.3 90 82.9 65.7 100 65.7 84.7 110 54.3 92.7 120 50.0 96.7 130 44.3 99.0 140 37.1 99.6 150 30.0 99.8 160 25.7 99.8 170 25.7 99.8 180 22.9 99.8 190 21.4 100.0 200 17.1 100.0 Exercício: Com os dados acima plote num único gráfico as curvas ROC (Receiver Operating Characteristic) para Glicemia de Jejum e de Sobrecarga. Responda: Qual o melhor teste para o diagnóstico de diabetes mellitus? Justifique.

Próximo Assunto Precisão: Mede o erro acidental do método. Acurácia ou Exatidão: Determina erros sistemáticos e tendências de desvio em relação ao valor real. Reprodutibilidade Intrateste. Reprodutibilidade Interteste.