Avaliação de Desempenho de Métodos Quantitativos e Qualitativos Prof. Dr. Marco Antonio Stephano Laboratório de Imunobiológicos e Biofármacos Departamento de Tecnologia Bioquímico Farmacêutica Faculdade de Ciências Farmacêuticas Universidade de São Paulo stephano@usp.br
O QUE É DESEMPENHO???? Desempenho (ou performance) é um conjunto de características ou capacidades de comportamento e rendimento de um indivíduo, de uma organização ou grupo de seres humanos, de animais ou de outros seres vivos, de máquinas ou equipamentos, de produtos, sistemas, empreendimentos ou processos, em especial quando comparados com metas, requisitos ou expectativas previamente definidos.
O QUE É DESEMPENHO???? A partir de um modelo matemático aceitável e representativo deste ente sob avaliação de desempenho, e utilizando a abordagem da teoria de controle e otimização de sistemas dinâmicos, pode se até mesmo, em determinadas situações, calcular matematicamente qual deva ser seu comportamento para que atinja o máximo desempenho almejado.
SÃO AS MESMAS COISAS?? VALIDAÇÃO QUALIFICAÇÃO AVALIAÇÃO
FASES DA VALIDAÇÃO Design Instalação Preparação Implantação Avaliação o Desenpenho Definição de Qualificação de Qualificação Qualificação de Sistemas e Instalação Operacional Performance Subsistemas (IQ) (OQ) Prospectiva Calibrações (PQ) Tempo Revisões Anuais de Produto Change Control Fase IQ / OQ Fase PQ Treinamento Validação
Por que fazemos a avaliação do desempenho???? Tudo tende ao desgaste, material, il equipamentos e pessoas. A avaliação desempenho vai ser a ferramenta que mostrará quando devemos trocar de material, consertar ou trocar de equipamento ou submeter as pessoas a um novo treinamento ou até mesmo a um novo desafio. O impacto da avaliação de desempenho é direto sobre: 1º A comparaçãoentre operadores; 2º A característica dos reagentes; 3º A estabilidade dos padrões de referência; 4º O desgaste do equipamento
Quantos ensaios são necessários para determinar uma nãoconformidade? d Quantos culpados vamos ter para que o teste volte a ser satisfatório? Quanto tempo vamos esperar para consertar um equipamento? Quanto lotes de referência vamos usar paraatender osrequisitos? Qual será o custo de se resolver muitas vezes um único problema.?
Como dito no início A partir de um modelo matemático aceitável e representativo logo todas as relações expressas podem ser avaliadas por mecanismos matemáticos e estatísticos. Sendo assim a através de modelos podemos Sendo assim a através de modelos podemos ter uma previsão ou até mesmo estipular um índice de desempenho.
Avaliação de Desempenho em Métodos Quantitativos Seos resultados do padrãodede referência têm distribuição NORMAL pode se usar parâmetros relacionados em torno da média aritmética ou média geométrica. Média Aritmética quando as diferentes concentrações do padrão de referência são analisados em progressão aritmética (p.ex. 5, 10, 15, 20, 25 e 30g/mL PA = 5). Média Geométrica quando as diferentes concentrações do padrão de referência são analisadas em progressão geométrica (p.ex. 2, 4, 8, 16, 32, 64 g/ml PG = 2).
Pad.Ref. a 500g Pad. Ref. a 250g Pad. Ref a125mg 505 251 126 512 253 127 499 254 125 508 255 125 504 250 126 502 248 124 503 253 126 503 257 125 504 253 124 505 256 123 510 255 127 505 255 125 502 254 125 498 254 126 507 251 123 503 252 126
Descrição Analito 500g Analito 250g Analito125g Média 504,375 253,1875 125,1875 Erro padrão 0,90772 0,58608 0,30576 Mediana 504 253,5 125 Modo 505 253 126 Desvio padrão 3,63089 2,34432 1,22304 Variância da amostra 13,18333 5,49583 1,49583 Curtose 0,39740 0,19254 0,43405 Assimetria 0,37992 0,57644 0,40507 Intervalo 14 9 4 Mínimo 498 248 123 Máximo 512 257 127 Soma 8070 4051 2003 Contagem 16 16 16 Maior(1) 512 257 127 Menor(1) 498 248 123 Nível de confiança(95,0%) 1,934763 1,249200 0,651713
Com os dados acima é possível calcular os Limites de Confiança pela formula t de student, onde G.L. é igual a 15 para um N = 16, para um nível de significância ( = 0,05). t 0,0515 =2,131 Logo: X P t 0,05 15 t 0,05 15 0, 95 sx 504,375 P 2,131 2,131 0,95 496,6376 512,1124 1124 3,63089 253,1875 P 2,131 2,131 0,95 248,1918 258,1832 2,34432 125,1875 P 2,131 2,131 0,95 127,7938 122,5812 1,22304
514 Limites de Confiança para Padrão de Referência para 500g 512 510 508 506 504 502 500 498 496 494 0 2 4 6 8 10 12 14 16 18 Pad. Ref. 500 micrograma Limite Superior Limite Inferior
Análises de Métodos Qualitativos Um método é considerado qualitativos quando não apresenta uma das seguintes características: Expressão vetorial: sentido, direção e tamanho Relação numérica mensurável Geralmente são ensaios do tipo: Tudo ou nada (quantal) positivo/negativo mortos/totais vivos/totais Ensaio que envolva os sentidos olfato sabor visão tato ruído
Análise Comparativa de métodos Tabela bl de contigência iê i 2 X 2 com descrição da sensibilidade, especificidade, valor preditivo e testes estimados de eficiência. Método em Estudo Diagnóstico Verdadeiro Positivo Negativo Totais Positivo A B A + B Negativo C D C + D Totais A + C B + D N Sensibilidade estimada (sens%) = [A/(A+C)]*100 Especificidade estimada (esp %) = [D/(B+D)]*100 Prevalência % = [(A+C)/N]*100 Estudo do valor preditivo para um resultado de esnasio positivo (PVP%) = [A/(A+B)]*100 Estudo do valor preditivo para um resultado de ensaio negativo (PVN%) = [D/(C+D)]*100 Eficiência estimada % = [A+D)/N]*100
Análise Comparativa de métodos Limites de confiança Método de Clopper Pearson Score confidence interval EP 12 A Intervalo de confiança 95% para sensibilidade e especificidade [((Q1 Q2)/Q3)*100, ((Q1 + Q2)/Q3)*100))] Para sensibilidade Q1 2A 1,96 Q2 1.96 Q 3 2 2 1,96 2A 3,84 2 4AC( A C) 1,96 2 B D 1,96 2( B D ) 7, 68 Para A Especificidade Q 1 2 D 1,96 Q2 1,96 2 1,96 2 2 D 3,84 4BD /( B D) 1,96 2 Q 3 2( B D 1,96 ) 2( B D ) 7,68 3,84 4AC /( A C) 3,84 4BD /( B D)
Requisito Mínimo Interesse Amostras Grande quantidade Possibilitar a comparação Número de Amostras 50 positivas e 50 negativas Resultados falso positivos (1) resultados fl falso negativos (1) Duração Diária durante 10 a 20 dias Obtenção de número representativo de amostras, avaliação sob condições de rotina Inspeção de dados durante a colheta Registro e exame imediatos Possibilitar a detecção precoce de quaisquer fontes de erros pré analíticos tal como o humano Resultados discrepantes Ensaio por gold standard Fornecimento de resultados que possam ser úteis à clarificação de discrepâncias Painéis de amostras de referência Amostras previamente ensaiadas ou referenciadas por métodos bem definidos Fornecer crédito significativo ao processo de avaliação Diagnóstico Avaliação da exatidão Sensibilidade e especificidade
Os métodos estatísticos empregados nos ensaios quantais são: Spearman Karber Probitos Logit Todos os testes transformam as frequências em probabilidade, levando a linearidade dos resultados. A comparabilidade é por meio de análise de 2.
Métodos Qualitativos Sensoriais Difícil de padronizar; Os procedimentos devem estar muito detalhado; A validação se dá por método de normalização; Muito importante descrever o impacto da diferença em relação a qualidade da amostras; O treinamento é fundamental e deve ser sempre reavaliado; Na área de alimentos (vinho, cerveja, café, chá, chocolates, yogurts, etc... São especialistas que conseguem diferenciar pequenas alterações do flavor (gosto, cheiro e textura ao mesmo tempo)
OBRIGADO Marco Antonio Stephano stephano@usp.br