Validação de métodos diagnósticos

Transcrição

1 Validação de métodos diagnósticos Medicina é a arte da incerteza e a ciência da probabilidade William Osler George Luiz Lins Machado Coelho

2 Validação (Tornar válido, legítimo; legitimar). A validade de um teste pode ser descrita em termos do grau com que as amostras (ou indivíduos) são corretamente categorizados. Parâmetros para validar um teste Validação intrínseca: qualidade do teste Validação extrínseca: fases da doença

3

4 DIAGNÓSTICO Processo de decisão clínica que baseia-se, conscientemente ou não, em probabilidade Uso dos testes diagnósticos Identificar/confirmar a presença de doença ou situação relacionada à saúde Avaliar a gravidade do quadro clínico Estimar o prognóstico Monitorar a resposta a uma intervenção

5 AS APARÊNCIAS PARA A MENTE SÃO DE QUATRO TIPOS As coisas são o que parecem ser, ou são e não parecem ser; ou não são, mas parecem ser, ou não são, nem parecem ser. Epictetus, Séc. II D.C.

6 A Relação entre Parecer e Ser Ser Parecer As coisas são o que parecem ser São mas não parecem ser Não são mas parecem ser Não são e nem parecem ser

7 A Relação entre Teste e Doença Doença Teste + Verdadeiro positivo - Falso negativo + - Falso positivo Verdadeiro negativo

8 O Teste Padrão ( Padrão Ouro): Características: Conseqüência de padrões imperfeitos: Teste novo X Padrão imperfeito

9 Sensibilidade e Epecificidade Sensibilidade (S): é a probabilidade de um teste dar positivo na presença da doença, isto é, avalia a capacidade do teste detectar a doença quando ela está presente. S = a / a + c Especificidade (E): é probabilidade de um teste dar negativo na ausência da doença, isto é, avalia a capacidade do teste afastar a doença quando ela está ausente. E = d / b + d

10 Sensibilidade e Especificidade Doença Presente Ausente Total Teste Positivo Negativo a verdadeiro positivo c falso negativo b falso positivo d verdadeiro negativo a + b c + d Total a + c b + d a + b + c + d Sensibilidade = a / (a + c) Especificidade = d / (b + d)

11 Distribuição dos valores sangüíneos de glicose em uma população normal e diabética

12 Efeito da definição de diferentes níveis de glicemia nos resultados falso positivo e falso negativo

13 Ponto de corte com o mínimo erro possível

14 APLICAÇÃO DE TESTES DIAGNÓSTICOS: Limiar de Reatividade (cut off): Curva de distribuição da freqüência de títulos normalmente observada na população. Curva de distribuição da freqüência de títulos, mostrando regiões de corte para obtenção de máxima sensibilidade e/ou máxima especificidade.

15 Uso dos testes Sensíveis Necessário para o diagnóstico de doença potencialmente grave Afastar doenças em fase inicial do diagnóstico O resultado negativo é mais útil: melhor VPN Específicos Particularmente necessário quando um resultado falso positivo pode ser muito lesivo Confirmar um diagnóstico sugerido por outros dados O resultado positivo é mais útil: melhor VPP Obs: os testes sensíveis também são úteis no rastreamento (screening) de doenças em grupos populacionais

16 Sensibilidade Relativa ou Co-positividade. Especificidade Relativa ou Co-negatividade. Quando a seleção de uma amostragem confiável para a definição dos parâmetros de sensibilidade e especificidade mostra-se dificultada, relaciona-se os resultados com os de um teste referência.

17 Trade-off entre sensibilidade e especificidade no diagnóstico de diabetes Glicemia pós-prandial (2h) mg / 100 ml Sensibilidade (%) Especificidade (%) 70 98,6 8, ,1 25, ,3 47, ,6 69, ,7 84, ,4 92, ,3 96, ,1 99, ,0 99, ,1 99, ,9 100, ,6 100, ,3 100, ,1 100,0

18

19 Curva ROC da glicemia pós-prandial(2h) mg/100ml

20 Balanço entre sensibilidade e especificidade:

21

22

23 DETERMINAÇÃO DA VALIDADE ERROS MAIS COMUNS PADRÃO IMPRÓPRIO DE VALIDADE SELEÇÃO PACIENTES DOENTES E NÃO DOENTES ESPECTRO DE PACIENTES (PREVALÊNCIA x SENSIBILIDADE E ESPECIFIDADE) VÍCIO NO JULGAMENTO DO DESEMPENHO DO TESTE (NEGATIVO x POSITIVO) ACASO

24 Intervalo de confiança da sensibilidade

25 Valor preditivo Valor preditivo positivo (VPP): é a proporção de verdadeiros positivos entre todos os indivíduos com teste positivo. Expressa a probabilidade de um paciente com o teste positivo ter a doença. VPP = a / a + b Valor preditivo negativo (VPN): é a proporção de verdadeiros negativos entre todos os indivíduos com teste negativo. Expressa a probabilidade de um paciente com o teste negativo não ter a doença. VPP = d / c + d

26 Valor preditivo Doença Presente Ausente Total Teste Positivo Negativo a verdadeiro positivo c falso negativo b falso positivo d verdadeiro negativo a + b c + d Total a + c b + d a + b + c + d VPP = a / (a + b) VPN = d / (c + d)

27 Valor Preditivo Varia com a prevalência (probabilidade préteste) da doença Para um mesmo teste, quanto maior a prevalência maior o VPP e menor o VPN Faixa ideal de uso do teste: prevalência intermediária (entre 25% e 65%) Quanto mais sensível, melhor o VPN Quanto mais específico, melhor o VPP

28

29

30 Determinantes do Valor Preditivo Sensibilidade Especificidade Prevalência da doença na população Valores preditivos positivo e negativo probabilidade pré-teste probabilidade pós-teste VPP = (S x P) + S x P (1- E) x (1- P) VPN = [(1- S) x P] E x (1- P) + [E x (1- P)]

31 Variação dos valores preditivos de um teste com sensibilidade e especificidade de 90%, segundo a prevalência da doença Prevalência Valor Preditivo % Positivo Negativo 1,0 8,3 99,9 10,0 50,0 98,8 50,0 90,0 90,0 70,0 95,5 80,0 90,0 98,8 50,0 99,0 99,9 50,0

32 Exemplo: Prevalência da toxoplasmose França - 80% EUA - 40% Inglaterra - 20% Uma reação hipotética: Se = 96% Es = 91% Teremos: VPP (França) = 97% VPP (EUA) = 87% VPP (Inglaterra) = 72%

33 Aplicação de um teste x para uma prevalência de 1%: TESTE DOENÇA DIAGNÓSTICO VERDADEIRO PRESENTE AUSENTE TOTAL POSITIVO NEGATIVO TOTAL VPP = 19 /118 = 0,16 (16%). VPN = 1881 / 1882 = 0,999 (99,9%) Aplicação de um teste x para uma prevalência de 20%: TESTE DOENÇA DIAGNÓSTICO PRESENTE VERDADEIRO AUSENTE TOTAL POSITIVO NEGATIVO TOTAL VPP = 380 /460 = 0,82 (82%). VPN = 1520 / 1540 = 0,98 (98%) Taxa global de concordâncias VP + VN (EFICIÊNCIA) = VP + VN + FP + FN

34 Teste de Esforço para diagnóstico DC, meta-análise: sensibilidade = 70% e especificidade = 80% Clínica Fem, jovem dor atípica Masc, 40 anos dor atípica Masc, anos angina típica Probabilidade pré-teste VP positivo VP negativo 5% 16% 98% 50% 78% 73% 90% 97% 23% Gianrossi et al, 1989

35 Probabilidade pré-teste (%) para diferentes tipos de dor torácica em diversos grupos populacionais* Sexo Idade (anos) Dor torácica não anginosa Angina atípica Angina pectoris típica Mulher Mulher Homem Homem Adaptado de Sackett et al. 5

36 Razão de Verossimilhança É definida como a razão entre a probabilidade de um determinado resultado de um teste diagnóstico em indivíduos portadores da doença e a probabilidade do mesmo resultado em indivíduos sem a doença. Para um teste dicotômico (positivo/negativo): Razão de verossimilhança para o teste positivo (RV+): expressa quantas vezes é mais provável encontrar um resultado positivo em pessoas doentes quando comparado com pessoas não doentes RV + = S 1 - E Razão de verossimilhança para o teste negativo (RV-): expressa quantas vezes é mais provável encontrar um resultado negativo em pessoas doentes quando comparado com pessoas não doentes 1 - S RV - = E

37 Razão de Verossimilhança (RV) Chance ou Odds = p / 1 - p Doença Presente Ausente Total Teste Positivo Negativo a verdadeiro positivo c falso negativo b falso positivo d verdadeiro negativo a + b c + d Total a + c b + d a + b + c + d RV pos = [a / (a + c)] / [(b / b + d)] RV neg = [c / (a + c)] / [(d / b + d)]

38

39 TESTES MÚLTIPLOS TESTES EM SÉRIE Aumento especificidade Aumento VPP Diminui sensibilidade Diminui VPN TESTES EM PARALELO Aumento sensibilidade Aumento VPN Diminui especificidade Dimunui VPP

40

41 S p = S A + S B (S A x S B ) PROBABILIDADES E p = E A x E B S s = S A x S B E s = E A + E B (E A x E B )

42 Testes em Paralelo Diagnóstico rápido. Ex: situações de emergência O resultado positivo é considerado se um dos dois testes resultar positivo onde, Tp+ = teste em paralelo positivo A+ = resultado positivo do teste A B+ = resultado positivo do teste B T = p + A + B + Sensibilidade combinada dos testes em paralelo pode ser calculada utilizando-se as regras para o cálculo da probabilidade para a união de dois eventos independentes: S p = S A + S B S A x S B onde, Sp = sensibilidade combinada dos testes em paralelo SA = sensibilidade do teste A SB = sensibilidade do teste B O resultado negativo dos testes em paralelo somente será considerado se os dois testes resultarem negativos. Assim, utilizando-se as regras para o cálculo da probabilidade condicional, a especificidade combinada dos testes em paralelo pode ser calculada como: E p = E A x E B onde, Ep = especificidade combinada dos testes em paralelo EA = especificidade do teste AEB = especificidade do teste B

43 Sensibilidade, especificidade e valores preditivo positivo e negativo dos testes A, B e da combinação em paralelo de A e B Teste S (%) E (%) VP+ (%) VP- (%) A ,86 96,92 B ,78 A e B ,74 99,65

44 Testes em série Processos diagnósticos que não requerem urgência. Ex: pacientes deambulatórios ou internados para investigação diagnóstica Usados também em casos de testes que são muito caros ou que oferecem risco para o paciente Os testes são aplicados seqüencialmente e o segundo teste somente será aplicado se o primeiro resultar positivo onde, Tp+ = teste em série positivo A+ = resultado positivo do teste A B+ = resultado positivo do teste B T p + = A + B + A sensibilidade combinada dos testes em série pode ser calculada utilizando-se as regras para o cálculo da probabilidade para a interseção de dois eventos: S s = S A x S B onde, Ss = sensibilidade combinada dos testes em série SA = sensibilidade do teste A SB = sensibilidade do teste B A especificidade combinada dos testes em série pode ser calculada, utilizando-se as regras para o cálculo da probabilidade, da seguinte forma: E s = E A + E B - E A x E B onde, Es = especificidade combinada dos testes em série EA = especificidade do teste A EB = especificidade do teste

45 Sensibilidade, especificidade e valores preditivo positivo e negativo dos testes A, B e da combinação em série de A e B Teste S (%) E (%) VP+ (%) VP- (%) A ,86 96,92 B ,78 A e B ,73 96,89

46 Outras medidas Doença Presente Ausente Total Teste Positivo Negativo a verdadeiro positivo c falso negativo b falso positivo d verdadeiro negativo a + b c + d Total a + c b + d a + b + c + d Prevalência = (a + c) / (a + b + c + d) Positividade = (a + b) / (a + b + c + d) Acurácia = (a + d) / (a + b + c + d)

47 Distribuição de títulos na IFI de 500 soros positivos e 500 soros negativos para doença de Chagas: TÍTULO (INVERSA) Nº DE SOROS NEGATIVOS Nº DE SOROS POSITIVOS TOTAL PERCENTAGEM DE SOROS POSITIVOS < ,0% ,0% ,0% ,0% ,0% ,8% ,0% ,0% ,0% ,0% ,0% > ,0% TOTAL Negativos: HAI < 1/8 E ELISA com DO < 0,9. Positivos: Antecedentes epidemiológicos + marcador clínico + HAI > 1/8 e ELISA com DO > 1,1.

48 Freqüência Distribuição de títulos no teste de IFI em 500 soros negativos e 500 soros positivos para doença de Chagas < >10240 Inversa dos títulos Negativo Positivo

49 Percentual de concordância Acurácia Observação 1 Teste + Teste - Observação 2 Teste + a b Teste - c d Observações concordantes Percentual concordância ou Acurácia = (a + d) x 100 a + b + c + d

50 Concordância entre Primeiro e Segundo exame de carótida por ultrasom bimodal - estudo ARIC Exame 1 Exame 2 Placa+ Placa Normal Total Calcificação Placa Calcificação Placa Normal Total Percentual concordância ou Acurácia = / 986 = 0,858 ou 85,8%

51 Concordância de Youden (J) Baseia-se na premissa que deve-se optar pelo teste que apresentar a menor soma das proporções de erros de classificação J= sensibilidade +especificidade 1 J=ad-bc/(a+b)(c+d) Prevalência real Prevalência aparente α= Falsos positivos β= Falsos negativos

52 Coeficiente Kappa As medidas anteriores não levam em consideração a concordância esperada ao acaso Kappa: Fração da concordância observada em relação ao máximo de concordância esperada ao acaso Fleiss JL, Statistical methods for rates and proportions, II edition, Chapter 13, 1985

53

54 Kappa Primeiro e Segundo exame de carótida por ultrasom bimodal - estudo ARIC [(27 37) + ( ) + ( )] Pe = = 0,665 (986)2 = (0,858-0,665) (1-0,665) = 0,576

55 Pontos de corte Kappa

56 Kappa ponderado I dosagem II dosagem total (peso 1) 2 (0.5) 0 (0) (peso 0.5) 5 (1 ) 3 (0.5) (peso 0) 3 (0.5) 5 (1) 8 total Concordância ponderada observada (POW) POW = 1(14+5+5) + 0,5( 2+6+3) + 0(0+0) = 31/38 = 0,816 38

57 Cálculo do Kappa ponderado Concordância ponderada observada (POW) POW = 1(14+5+5) + 0,5( 2+6+3) + 0(0+0) = 31/38 = 0, Concordância ponderada esperada (PEW) A pew é igual a soma do produto das colunas e linhas onde o peso 1 aparece, multiplicada por este peso; a soma dos produtos e linhas onde o peso 0,5 aparece, multiplicado por este peso dividido pelo número total ao quadrado PEW = 1(16*20+14*10 +8*8) + 0,5(16*10+14*20+14*8 + 8*10) 38*38 Pew= 1(524) +0,5(632)/1444=840/1440 = 0,582 Interpretação 0,75 1 = excelente 0,40 <0,75 = razoável <0,40 =baixa concordância Kappa ponderado Kw= pow pew / 1-pew = (0,816-0,582) / (1 0,582) = 0,56

58 MÉTODOS ESTATÍSTICOS I. UNIDADE DE MEDIDA - TÍTULO - ABSORBÂNCIA - LOG II. TRANSFORMAÇÃO LOGARÍTMICA DAS UNIDADES DE MEDIDA - POR QUE? 1º) DILUIÇÃO DO SORO - SÉRIE GEOMÉTRICA RECÍPROCA DA DILUIÇÃO TÍTULO CODIFICADO (X) (log10x) * * Soro não diluído 2º) DISTRIBUIÇÃO LOG-NORMAL Frequência de anticorpos inibidores da hemaglutinação antirubeola em 277 meninas de 15 a 19 anos de idade, que tinham sido imunizadas com vacina contra rubeola tipo Cendehill TÍTULO (log2) FREQÜÊNCIA TOTAL

59 MÉTODOS ESTATÍSTICOS III. MÉDIA GEOMÉTRICA DA RECÍPROCA DO TÍTULO TÍTULO ---> Log 10 X ---> TOTAL ---> MÉDIA ---> MGRT (X) (L) õl L AntiLog L IV. COMPARAÇÃO DE TÍTULOS - EM DUAS AMOSTRAS INDEPENDENTES - EM DUAS AMOSTRAS PAREADAS (REMOVER DIFERENÇAS INTER-PESSOAIS) VARIÁVEL CONTÍNUA ou DISCRETA > TESTE DE STUDENT "t Ho: MGRT vacinados = MGRT não vacinados VARIÁVEL CATEGÓRICA > X 2 Mc Nemar c/ CORREÇÃO DE YATES X 2 = ( r - s - 1 ) 2 / r + s H o : f r = f s

60 Comparação das reações ELISA e RIFI no diagnóstico da toxoplasmose RIFI - título 1:16 Positivo Negativo Total X 2 = ( r - s - 1 ) 2 / r + s ELISA Positivo ,303nm Negativo Total X 2 1gl = 18,05 RIFI - título 1:64 Positivo Negativo Total ELISA Positivo ,303nm Negativo X 2 1gl = 1,5 Total

61 EXERCÍCIOS

62 Questão 1 Observe a tabela abaixo e responda as questões a seguir: Infecção pelo HIV Gold standard (Western Blot) Com anticorpos Sem anticorpos ELISA positivo ELISA negativo a) Qual é a prevalência do HIV; b) Qual é a prevalência dos ELISA positivos; c) Qual é a prevalência dos ELISA negativos; d) Qual é a sensibilidade do ELISA; e) Qual é a especificidade do ELISA; f) Calcule o valor preditivo positivo (VPP) e o valor preditivo negativo (VPN) para o Elisa, para a prevalência considerada na tabela, e responda: Nestas condições, o Elisa é um teste adequado para triagem em um Banco de Sangue? g) Calcule a razão de verossimilhança positiva e negativa do ELISA. Que informação estes valores nos fornece?

63 Questão 2 Curvas ROC O exame laboratorial mais comumente utilizado para triagem de diabetes mellitus é a glicemia de jejum. Suponha que o padrão diagnóstico para diabetes seja uma glicemia igual ou maior que 170 mg/100 ml na segunda hora após sobrecarga de 75 g de glicose. Tendo como base esse padrão diagnóstico, podese determinar a sensibilidade e a especificidade tanto da glicemia de jejum como da glicemia colhida uma hora após sobrecarga de 75 g de glicose, utilizando vários pontos críticos, conforme mostrado nas Tabelas 1 e 2, a seguir. Tabela 1 - Sensibilidade e especificidade da glicemia de jejum para o diagnóstico do diabetes mellitus, de acordo com o ponto crítico escolhido mg/100 ml Sensibilidade (%) Especificidade (%) Tabela 2 - Sensibilidade e especificidade da glicemia colhida uma hora após sobrecarga de 75 g de glicose, de acordo com o ponto crítico escolhido mg/100 ml Sensibilidade (%) Especificidade (%) Exercício: Com os dados acima plote num único gráfico as curvas ROC (Receiver Operating Characteristic) para Glicemia de Jejum e de Sobrecarga. Responda: Qual o melhor teste para o diagnóstico de diabetes mellitus? Justifique.

64 Próximo Assunto Precisão: Mede o erro acidental do método. Acurácia ou Exatidão: Determina erros sistemáticos e tendências de desvio em relação ao valor real. Reprodutibilidade Intrateste. Reprodutibilidade Interteste.