Pre-assessment Question 1

Transcrição

1 Verificação de especificações de desempenho Versão 3.0, março de Pharmaceutical Product Development, Inc. Todos os direitos reservados Pharmaceutical Product Development, Inc. Todos os direitos reservados. Financiado total ou parcialmente com recursos federais oriundos do National Institute of Allergy and Infectious Diseases, do National Institutes of Health e do Department of Health and Human Services, nos termos do convênio n. HHSN C and N01-AI Pre-assessment Question 1 A rapid HIV test would likely be classified as a: High complexity, modified assay Moderate complexity, unmodified assay FDA-approved, modified assay Waived, FDA-approved, unmodified assay Pre-assessment Question 2 The precision of a test method gives information related to the method s: Systematic error Comparison of results to a reference method Reproducibility Likelihood of being effected by hemolysis, lipemia, and icterus. Both 1 and 2 above 1

2 Pre-assessment Question 3 The accuracy of a test method gives information related to the method s: Systematic error Comparison of results to a reference method Reproducibility Likelihood of being effected by hemolysis, lipemia, and icterus. Both 1 and 2 above Pre-assessment Question 4 The analytical measurement range: Allows for additional pretreatment of sample (e.g., dilution) beyond the routine procedure Gives information related to reference intervals (normal ranges) Is typically measured using a minimum of three solutions of known concentration, and plotted to determine linearity None of the above Visão geral da verificação de especificações de desempenho A verificação assegura que o teste: Quando usado em seu laboratório Por seu pessoal de testes Para a sua população de pacientes esteja se desempenhando como esperado pelo fabricante na sua instituição com seus instrumentos. 2

3 Visão geral Elementos da verificação Exatidão Precisão Sensibilidade analítica Especificidade analítica Intervalo reportável Intervalos de referência Visão geral Validação de método é simplesmente uma avaliação de erro e tendência. Visão geral Quando eu devo verificar? Antes de informar os resultados do paciente! 3

4 Visão geral Critérios para validação: Introdução de uma nova substância em análise ao repertório de testes Alteração ou reformulação da metodologia analítica Alteração na população de pacientes (Intervalos de referência) Visão geral Quais testes eu devo verificar? Testes dispensados Como exigido pelo patrocinador 42 CFR Visão geral Quais testes eu devo verificar? Testes não-dispensados Requerem verificação/validação Testes não-modificados, aprovados pela FDA (p. ex., sódio no analisador Dade Dimension Max Suite) Testes modificados, aprovados pela FDA (método alterado, diferente indicação clínica, etc.) Testes aprovados por terceiros que não a FDA (p. ex., ELISPOT) 4

5 Visão geral Quais testes eu devo verificar? Testes não-modificados, não-dispensados e aprovados pela FDA devem ter os seguintes itens verificados: Exatidão Precisão Intervalo reportável (linearidade, AMR, CRR) Intervalos de referência Visão geral Quais testes eu devo verificar? Testes modificados e aprovados pela FDA, ou testes aprovados por terceiros que não a FDA, devem ter os seguintes itens verificados: Todos os componentes do teste não-modificado e aprovado pela FDA Exatidão Precisão Intervalo reportável (linearidade, AMR, CRR) Estabelecer intervalos de referência Sensibilidade analítica Especificidade analítica Visão geral É crucial consultar guias de referência apropriados: Website da Westgard Clinical and Laboratory Standards Institute (CLSI, antes NCCLS) Literatura do fabricante Folhetos informativos fornecidos na embalagem Manuais de avaliação e de validação 5

6 Visão geral O software de avaliação disponível na Internet inclui: (compra) (compra) Ferramentas on-line disponíveis em: (gratuito!) Visão geral Elementos da verificação Exatidão Precisão Sensibilidade analítica Especificidade analítica Intervalo reportável Intervalos de referência 1. Exatidão Os resultados de seus testes estão corretos? Quão próximo do valor "verdadeiro" fica o valor do sistema de testes Fornece informações sobre o erro sistemático médio (tendência) 6

7 Estimativas de exatidão Erros sistemáticos (ES) ocorrem em uma direção e são previsíveis produzem um resultado que difere do real por um valor relativamente fixo resultam de tendências introduzidas pelo método instrumental ou por fatores humanos Estimativas de exatidão Comparação de métodos de execução Métodos de teste Novo método (teste) vs. método estabelecido (referência, comparativo) Calibradores disponíveis comercialmente com valores conhecidos Amostras de proficiência com valores estabelecidos Mínimo de 40 amostras, realizadas em duplicat Realizar testes de 5 a 20 dias Estimativas de exatidão Comparação de métodos de execução Comparações devem ser realizadas no máximo dentro de 2 horas do teste original Os pacientes devem cobrir todo o intervalo de estados da doença para a aplicação de rotina 7

8 Estimativas de exatidão Análise dos dados da comparação de métodos Coloque os dados em um gráfico Inspecione os dados visualmente Calcule as estatísticas Apresentar os dados graficamente Gráficos sempre são necessários! Os gráficos revelam: Grau de dispersão Divergência Não-linearidade Erros grosseiros A avaliação estatística sozinha não é suficiente Novo método Inspeção visual de exatidão Este método parece que se compara! Método de referência 8

9 Novo método Inspeção visual de exatidão Isso parece ser uma comparação deficiente de métodos Método de referência Exatidão significa: 1. A reprodutibilidade de um sistema de testes 2. O quão próximo do valor verdadeiro o valor do sistema de testes consegue chegar Calcule as estatísticas apropriadas Westgard e Hunt avaliaram os testes estatísticos normalmente realizados Inclinação Intersecção Erro padrão Coeficiente de correlação A análise de regressão linear está disponível na maioria dos programas e calculadoras estatísticas Y=mX + b 9

10 Eu gosto deste sistema de resposta da audiência. 1. Verdadeiro 2. Falso Calcule as estatísticas apropriadas Comparação qualitativa de métodos Compare dois métodos que fornecem resultados como Positivos ou Negativos. A estatística principal é a concordância Os dois métodos fornecem o mesmo diagnóstico? Percentual do total de casos nos quais os dois métodos fornecem o mesmo resultado 10

11 Comparação qualitativa de métodos Assuma que o método de referência é exato: Verdadeiro positivo: Espécime cujo teste é positivo por ambos os métodos Verdadeiro negativo: Espécime cujo teste é negativo por ambos os métodos Comparação qualitativa de métodos Assuma que o método de referência é exato: Falso positivo: Espécime que é positivo pelo método de teste, mas negativo pelo método de referência Falso negativo: Espécime que é negativo pelo método de teste, mas positivo pelo método de referência 2. Precisão Você consegue obter o mesmo resultado do teste seguidamente? A concordância entre medições replicadas Fornece mais informações sobre erro aleatório 11

12 Precisão Erro aleatório Pode ser positivo ou negativo e a direção não é previsível A distribuição de erros aleatórios segue uma curva gaussiana em forma de sino Medição da precisão Teste replicado Duas fases de experimento da precisão Precisão na corrida Precisão entre corridas Medição da precisão Método mais fácil: Materiais de controle Em duas ou mais concentrações Preferencialmente próximos de pontos de decisão Analisados pelo menos 2 vezes diariamente por 10 dias sucessivos São calculados coeficientes de variação e os DP médios na corrida e entre corridas. Gráficos de Levy Jennings (LJ) são preparados e analisados. 12

13 Precisão representa: 1. A concordância entre medições replicadas 2. A informação referente a erro aleatório 3. Ambas as respostas acima são corretas Valores Precisão Gráficos LJ Boa precisão Corrida Valores Precisão Gráficos LJ Precisão não tão boa! Corrida 13

14 Cálculos de precisão Média X = Xi / n Desvio padrão DP= (Xi X)2 (n-1) Coeficiente de variação CV= DP / X Critérios de precisão O julgamento sobre a aceitabilidade depende do total de erros analíticos que são permitidos sem afetar ou limitar o uso e a interpretação do resultado de um teste. Compare com os dados de precisão do fabricante Use os critérios CLIA como um guia para definir a quantidade permitida de erros. Critérios de precisão 14

15 3. Sensibilidade analítica A mais baixa concentração que pode ser medida confiavelmente Fornece informações sobre o limite inferior de detecção do ensaio Pode ser obtida do fabricante para os testes aprovados pela FDA Sensibilidade analítica 4. Especificidade analítica Relaciona a capacidade do ensaio de discriminar entre a substância em análise e as substâncias interferentes Pode ser obtida do fabricante para os testes aprovados pela FDA Verificar o efeito de hemólise, lipemia e icterícia é uma boa prática de laboratório 15

16 Especificidade analítica Especificidade analítica Se o seu laboratório precisa avaliar a especificidade analítica, considere: O número de drogas em uso comum Pessoas seriamente doentes recebem de 8 a 12 drogas diferentes! Verification of Performance Specifications 16

17 5. Intervalos reportáveis Realize experimentos de intervalo reportável (linearidade) Também conhecido como Determinação de linearidade Soluções padrão com valores conhecidos Cobre o intervalo inteiro Replica Intervalos reportáveis A validação de intervalo reportável consiste em dois componentes: Intervalo de Medição Analítica (IMA) Intervalo Clinicamente Reportável (ICR) O ICR depende do IMA Intervalos reportáveis Intervalo de Medição Analítica (IMA) O intervalo de valores da substância em análise que um método pode medir diretamente sem Diluição Concentração Outros pré-tratamentos (que não fazem parte do processo usual do ensaio) 17

18 Intervalos reportáveis Intervalo de Medição Analítica (IMA) Requisitos mínimos Estabeleça o IMA inicialmente Mínimo de 3 pontos Cubra a faixa do intervalo linear publicado pelo fabricante (p. ex., valores da faixa inferior, da faixa média e da faixa alta) Avalie os resultados segundo critérios de aceitação predeterminados Valor do instrumento Intervalos reportáveis Valor atribuído Valor do instrumento Intervalos reportáveis Vê como a linearidade cai? Valor atribuído 18

19 Intervalos reportáveis Intervalo Clinicamente Reportável (ICR) O intervalo de valores da substância em análise que um método pode reportar como um resultado quantitativo que permite: Diluição do espécime Concentração Outros pré-tratamentos (que não fazem parte do processo usual do ensaio) Utilizado para estender o IMA direto Intervalos reportáveis Intervalo Clinicamente Reportável (ICR) Requisitos mínimos Documente o ICR no procedimento Protocolos de diluição Mais alta diluição aceitável Diluente a ser usado Quando relatar > ou < 6. Intervalos de referência Definidos como os intervalos dentro dos quais se situam 95% (o intervalo de +2 desvios padrão até -2 desvios padrão) da população saudável Usados para auxiliar na interpretação dos resultados de participantes 19

20 Intervalos de referência Geralmente estudados por último Não entram de decisão sobre a aceitabilidade do método Desnecessários se o desempenho do método for inaceitável Pode variar de laboratório para laboratório Afetados por população, clima, altitude, etc. Que componente da verificação do intervalo aferível (Measurable Range) leva em conta a capacidade de realizar diluição ou concentração de amostras, ou outras etapas de pré-tratamento? 1. Intervalo de medição analítica (Analytical Measurement Range AMR) 2. Intervalo clinicamente reportável (Clinically Reportable Range CRR) Intervalos de referência Estabelecimento de intervalos de referência Demandam muitos recursos Definem a população normal utilizando protocolos, como os desenvolvidos pelo CLSI (NCCLS) Mínimo de 120 indivíduos normais de cada grupo (p. ex., indivíduos de referência independentes de sexo 2 x 120 = 240) Metodologia não aprovada pela FDA, ou aprovada pela FDA e modificada 20

21 Intervalos de referência Transferência de intervalos de referência Medição da mesma substância em análise pelo mesmo método analítico para o qual estão disponíveis estudos de valores de referência de outro laboratório ou do fabricante -CLSI Métodos Verificação com 20 amostras Estimativa com 60 amostras (mínimo de 40) Métodos aprovados pela FDA não modificados Intervalos de referência Transferência de intervalos de referência De 20 amostras de indivíduos saudáveis Se 2 ou menos ficarem fora do intervalo de referência informado considera-se verificado Se mais de 2 ficarem fora do intervalo de referência informado, é necessário analisar 20 ou mais Passos iniciais Como eu faço isso tudo? 21

22 Passos iniciais Etapas da validação do método: 1. Período de familiarização 2. Validação preliminar 3. Validação final 4. Implementação Período de familiarização Configurar o instrumento Preparar os reagentes Aprender como executar o método corretamente Período de familiarização Estabeleça um procedimento de trabalho Consulte o folheto informativo fornecido na embalagem do fabricante Assegure que a validação siga um formato padronizado Verifique a calibração Etapa crítica! Assegura que o método esteja funcionando corretamente Caso contrário, erros afetarão adversamente todos os experimentos de validação 22

23 Validação preliminar Realize experimentos de intervalo reportável (linearidade) Verifique o limite de detecção (sensibilidade), caso aplicável Desnecessário para métodos aprovados pela FDA não modificados Validação preliminar Realize a precisão na corrida Realize experimentos de especificidade (substâncias interferentes) se aplicável Desnecessário para métodos aprovados pela FDA não modificados Validação final Realize a precisão entre corridas Realize a comparação de métodos Verifique o intervalo de referência (faixa normal) 23

24 Validação final Documente os estudos Compile os resultados estatísticos brutos e calculados para cada experimento precisão, exatidão, etc. Verifique os registros de datas de desempenho Obtenha assinaturas de aprovação Pergunta É aceitável levar seus reagentes e amostras para outro laboratório e analisá-los para qualquer parte da validação do método? Pergunta NÃO! A validação do método deve ser realizada utilizando o seu instrumento, os seus reagentes e as suas amostras de pacientes para que ela seja válida. 24

25 Implementação Escreva o protocolo / procedimento de operação Com base na sua experiência em experimentos de validação. Implementação Apresente o método para o serviço Notifique os indivíduos e os grupos apropriados Médicos Órgão regulamentados (se exigido) DAIDS Documente a notificação! Implementação Monitore o desempenho da rotina pelo menos nos primeiros 30 dias do uso Identifique / corrija fontes de problemas Integridade do espécime Estabilidade do reagente Aprimore os procedimentos e a documentação da manutenção preventiva Atualize os dados de controle de qualidade; informe aos analistas 25

26 Freqüência da validação Qual a freqüência da validação? Freqüência da validação Valide antes de informar o resultado dos testes do paciente quando iniciar um novo procedimento ou instrumento Valide em intervalos periódicos para avaliar o desempenho contínuo do sistema p. ex. intervalos reportáveis, intervalos de referência Valide quando estiver pesquisando problemas de desempenho questionável do sistema Freqüência da validação Valide logo após uma IMPORTANTE reformulação pelo fabricante de um reagente Normalmente notificado pelo fabricante Carta de certificação Aviso altamente visível na embalagem 26

27 Materiais de referência Como posso aprender mais? Materiais de referência Existem vários websites muito bons que estão disponíveis para uso como referências. Elementos desta apresentação foram baseados em informações disponíveis em: Materiais de referência O software de avaliação disponível na Internet inclui: (compra) (compra) Ferramentas on-line disponíveis em: (gratuito!) 27

28 A ciência é um sistema de afirmativas baseado na experiência direta, controlado por verificação experimental. A verificação na ciência não é, todavia, realizada para uma única afirmativa, mas em todo um sistema ou subsistema de tais afirmativas. Rudolf Carnap ( ), filósofo austríacoamericano, transcrito por Max Black, K. Paul, Trench, Trubner & Co. (1934). Unity of Science, pág. 42. Referências Burtis, C.A., & Ashwood E.R. (Eds.).(1999). Tietz Textbook of Clinical Chemistry, 3a Edição. Snyder, J. R., & Wilkinson, D.S. (Eds.). (1998). Laboratory Management, 3a Edição. Pre-assessment Question 1 A rapid HIV test would likely be classified as a: High complexity, modified assay Moderate complexity, unmodified assay FDA-approved, modified assay Waived, FDA-approved, unmodified assay 28

29 Pre-assessment Question 2 The precision of a test method gives information related to the method s: Systematic error Comparison of results to a reference method Reproducibility Likelihood of being effected by hemolysis, lipemia, and icterus. Both 1 and 2 above Pre-assessment Question 3 The accuracy of a test method gives information related to the method s: Systematic error Comparison of results to a reference method Reproducibility Likelihood of being effected by hemolysis, lipemia, and icterus. Both 1 and 2 above Pre-assessment Question 4 The analytical measurement range: Allows for additional pretreatment of sample (e.g., dilution) beyond the routine procedure Gives information related to reference intervals (normal ranges) Is typically measured using a minimum of three solutions of known concentration, and plotted to determine linearity None of the above 29

30 Conclusão 30