Tópicos. Definição. Ensaios de diagnóstico 27/11/2013. Critérios de Validação de Ensaios de Diagnóstico Imunológico e Molecular

Transcrição

1 Tópicos Critérios de Validação de Ensaios de Diagnóstico Imunológico e Molecular Prof. Alan McBride Rastreabilidade Molecular Biotecnologia, CDTec, UFPel Ensaios diagnósticos. Fatores a considerar em uma validação. Avaliação do teste. Análises estatísticas Sensibilidade e especificidade. Intervalos de confiança. Benefícios da validação. Exemplo real. Ensaios de diagnóstico Definição Ensaios imunológicos Imunoblot Teste rápido Látex Ensaios moleculares PCR PCR em tempo real (qpcr) 16S rrna Microarranjo Todos ensaios diagnósticos (humano e animal) devem ser validados antes de serem aprovados pelas autoridades governamentais relevantes: Os critérios de validação fornecem as questões que devem ser respondidas pelo ensaio diagnóstico sendo avaliado, seja este um ensaio novo, modificado ou antigo. Por quê necessitamos de testes melhores? Diagnóstico precoce. Identificação de resultados inconclusivos. Testes mais baratos. Testes simples e de fácil execução. Testes de combinação múltipla. Detecção de tipos e variantes virais. Diferenciação de infecção prévia e infecção ativa em áreas endêmicas. Desenvolvimento e Aplicações de Novos Ensaios Comercialização Treinamento Auditoria para consistência Distribuição para laboratórios Validação Regulamentação para aprovação do teste Refinamento do ensaio Descoberta Validação clínica dos candidatos usando o ensaio Desenvolvimento de um protótipo Identificação de biomarcadores candidatos Produção de uma hipótese 1

2 Para que validar um teste? Fatores a considerar Confirmar dados publicados; Comparar com técnicas já existentes; Garantir precisão dentro do sistema laboratorial: Controle de qualidade de laboratórios de referência. Confirmar o valor clínico do resultado gerado: O indivíduo positivo está realmente infectado? Ter razões documentadas para o aceite do teste; Determinar o desempenho do teste em determinada população. Sensibilidade e Especificidade Reprodutibilidade Intervalos de confiança Facilidade de uso/treinamento necessário Equipamento necessário Tempo até o resultado Custo Valor diagnóstico Como validar um teste? Preparar um painel de amostras bem caracterizadas. Geralmente ao redor de amostras. Produzir ou obter kits suficientes para validação. Elaborar os protocolos necessários para validação. Organizar e treinar a equipe de avaliação. Painel de amostras Amostras positivas bem caracterizadas. Amostras negativas bem caracterizadas. Amostras de difícil diagnóstico: Início da fase aguda. Amostras de áreas endêmicas. Amostras de potenciais falso-positivos: De doenças de quadro clínico semelhantes. Amostras de baixa qualidade. Amostras devem : Escolha das amostras representar a população onde o teste será aplicado. Ser todas do mesmo tipo (e.x. soro). Preencher as recomendações do fabricante do ensaio Evitar congelamento/descongelamento, etc. Ser limpas. Ser conservadas em várias alíquotas, se possível. Ser bem caracterizadas. Desempenho dos ensaios O que medir: Sensibilidade Especificidade Variabilidade entre ensaios (diferentes) Variabilidade entre laboratórios (mesmo ensaio) 2

3 Realizando a avaliação Protocolo de avaliação Preparar protocolo de avaliação Revisar, analisar, identificar e repetir resultados discordantes Revisar, analisar, identificar e repetir resultados discordantes Realizar 1ª avaliação com amostras do painel A. Realizar 2ª avaliação com amostras do painel B. Preparar relatório final Regulamentação para aprovação (ou não) É essencial estabelecer um protocolo para cada ensaio a ser validado. Deve ser seguido exatamente. Deve salientar todas as características das amostras e os procedimentos. Deve descrever detalhadamente o procedimento a ser realizado no caso de resultados discordantes. Deve incluir sessão de Controle de Qualidade. Testes de Referência São necessários para uma completa caracterização das amostras. A escolha depende do objetivo do teste. Concordância contra um teste referência em triagem. Precisão contra um teste confirmatório. Devem ser testes reconhecidos pela comunidade científica. Condições de teste Testes devem ser realizados sob condições idênticas. (ex. mesmo lab, equipamento, dia, técnico). Usar kits dentro da data de validade que tenham sido mantidos adequadamente armazenados. Seguir as recomendações do fabricante. Integridade das amostras. Testar de forma cega. Resultados discordantes Verificar integridade da amostra, identificação, e procedimentos. Repetição pelo mesmo técnico. Repetição cega por outro técnico. Repetição cega do teste de referência. Repetição em laboratório diferente. Determinação por outros métodos. Erros mais comuns Transcrição de resultados Falta de cuidado Procedimento Amostras e reagentes Condições ambientais Pipetas e pipetagem 3

4 Problemas nas amostras Volume insuficiente para repetição Hemólise, lipemia, e contaminação bacteriana. Identificação insuficiente ou inadequada Amostras trocadas Congelamento / Descongelamento (múltiplos) Outros tipos de erros Problemas dependentes do Kit. Erros dependentes do técnico. Variações entre-lotes. Resultados sem reprodutibilidade. Variações entre-laboratórios. Problemas com equipamentos. Problemas com Equipamento Calibração de Pipetas Essencial para precisão Frequência Pelo menos a cada 6 meses Por quê? ± 1 l = 10% erro (volume total de 10 l) Controles o.k. Amostras inconclusivas perda de sensibilidade. Análises estatísticas Sensibilidade diagnóstica Especificidade diagnóstica Intervalos de confiança 95% (IC 95) Valor preditivo positivo (PPV) Valor preditivo negativo (NPV) O que é sensibilidade? O que é especificidade? Sensibilidade analítica: a menor quantidade de substância em uma amostra que pode ser medida precisamente pelo teste. Sensibilidade diagnóstica: a porcentagem de indivíduos com determinada doença que são identificados pelo teste como positivos para a doença. Especificidade analítica: a capacidade de um teste de detectar uma substância em particular, ao invés de outras, em uma amostra. Especificidade diagnóstica: a porcentagem de indivíduos que não tem uma doença e que são identificados pelo teste como negativos para a doença. 4

5 = Cálculos (Positivos Verdadeiros / (Positivos Verdadeiros + Falso Negativos)) 100 % Especificidade = (Negativos Verdadeiros / (Negativos Verdadeiros + Falso Positivos)) 100 Intervalo de confiança 95% - o que é? Se o teste diagnóstico usado para calcular um intervalo de confiança 95% for utilizado diversas vezes, em 95% das vezes o resultado do teste estará contido dentro deste intervalo. Determina se o número de amostras utilizada na validação foi suficiente: Se a faixa é estreita amostras suficientes foram testadas. Se a faixa é ampla necessita de mais amostras. Valor preditivo positivo (PPV) é a probabilidade de que uma pessoa cujo resultado do teste seja positivo tenha a doença de interesse. Valor preditivo negativo (NPV) é a probabilidade de que uma pessoa cujo resultado do teste seja negativo não tenha a doença de interesse. Pressupõe sensibilidade do teste de 100%, especificidade de 99.5% População #1 onde a prevalência da infecção é alta (5%) População: 1000 soros testados 50 soros de indivíduos infectados 950 soros de indivíduos não-infectados Resultado do Teste: 50 positivos: 45 do grupo infectado (PV) 5 falso-positivos do grupo nãoinfectado (FP) Portanto, o valor preditivo positivo é: PPV = PV/(PV+FP) PPV = (45/(45+5)) 100 = 90% 9 de 10 resultados positivos serão de indivíduos infectados. Pressupõe sensibilidade do teste de 100%, especificidade de 99.5% População #2, onde a prevalência da infecção é baixa (0.7%) População: 1000 soros testados 7 soros de indivíduos infectados 993 soros de indivíduos não-infectados Resultado do teste: 7 positivos: 2 do grupo infectado (PV) 5 falso-positivos do grupo nãoinfectado (FP) Valor preditivo negativo (NPV) NPV = NV/(NV+FN) Exemplo 1: = 950/(950+5) = 99,5% Exemplo 2: = 993/(993+5) = 99,5% Portanto, o valor preditivo positivo é: PPV = (2/(2+5)) 100 = 28.6% 5

6 Portanto, o mesmo teste que produz o mesmo número de falso-positivos leva a diferentes valores preditivos positivos quando testando duas populações diferentes. Portanto, o mesmo teste que produz o mesmo número de falso-positivos leva a diferentes valores preditivos positivos quando testando duas populações diferentes. A chance de um resultado positivo ser de um indivíduo verdadeiramente infectado em uma população de baixa prevalência é de somente 28.6% (2 positivos verdadeiros detectados pelo teste e 5 falso-positivos). Portanto, o mesmo teste que produz o mesmo número de falso-positivos leva a diferentes valores preditivos positivos quando testando duas populações diferentes. A chance de um resultado positivo ser de um indivíduo verdadeiramente infectado em uma população de baixa prevalência é de somente 28.6% (2 positivos verdadeiros detectados pelo teste e 5 falso-positivos). Isto indica que um resultado positivo pelo teste será de um indivíduo infectado em somente um de quatro casos (um palpite pode ter melhor chance de acerto!). Benefícios da Validação de testes Origina confiança que um teste validado funciona bem em seu laboratório e com suas amostras. Produz consciência das limitações do teste. Produz padrões de desempenho para um futuro controle de qualidade. Revisa o impacto clínico do teste. Permite automação do teste. Exemplo Seleção dos soros de pacientes Soro de pacientes (jan 2000 até julho 2005) Agudo (aleatoriamente): 100 Agudo (<7 dias): 39 Convalescente: 50 Soro negativo HEMOBA: 80 n= 269 6

7 Validação de testes diagnósticos contra Leptospirose Validação de testes diagnósticos contra Leptospirose BM IgM Panbio IgM Panbio Dip-S-tick BioM DriDot Zephyr Lateral flow BM IgM Panbio IgM Panbio Dip-S-tick BioM DriDot Zephyr Lateral flow (<7 dias) ( 7 dais) Convalescente Soro negativo % Especificidade 54,3 (39/72) 66,7 (48/72) 42,9 (30/70) 50 (35/70) 71,4 (50/70) 95% CI 42,0-66,1 54,5-77,1 31,3-55,2 37,9-62,1 59,2-81,3 92,4 (61/66) 95,4 (63/66) 93,7 (59/63) 92,2 (59/64) 89,1 (57/64) 95% CI 82,5-97,2 86,4-98,8 83,7-97,9 82,0-97,1 78,2-95,1 96 (48/50) 92 (46/50) 88 (44/50) 84,3 (43/51) 82,4 (42/51) 95% CI 85,1-99,3 79,9-97,4 75,0-95,0 70,9-92,5 68,6-91,1 95 (76/80) 87,5 (70/80) 98,8 (79/80) 95 (4/80) 95 (4/80) 95% CI 87,0-98,4 77,8-93,5 92,3-99,9 87,0-98,4 87,0-98,4 (<7 dias) ( 7 dais) Convalescente Soro negativo % Especificidade 54,3 (39/72) 66,7 (48/72) 42,9 (30/70) 50 (35/70) 71,4 (50/70) 95% CI 42,0-66,1 54,5-77,1 31,3-55,2 37,9-62,1 59,2-81,3 92,4 (61/66) 95,4 (63/66) 93,7 (59/63) 92,2 (59/64) 89,1 (57/64) 95% CI 82,5-97,2 86,4-98,8 83,7-97,9 82,0-97,1 78,2-95,1 96 (48/50) 92 (46/50) 88 (44/50) 84,3 (43/51) 82,4 (42/51) 95% CI 85,1-99,3 79,9-97,4 75,0-95,0 70,9-92,5 68,6-91,1 95 (76/80) 87,5 (70/80) 98,8 (79/80) 95 (4/80) 95 (4/80) 95% CI 87,0-98,4 77,8-93,5 92,3-99,9 87,0-98,4 87,0-98,4 Perguntas? 7