Análise Decisional: integridade e validação

Transcrição

1 Faculdade de Ciências e Tecnologia da Universidade de Coimbra Mestrado Integrado em Engenharia Biomédica Análise Decisional: integridade e validação Trabalho realizado por: Lionel Morgado Susana Silva Algoritmos de Diagnóstico e de Auto-Regulação 2007/2008

2 ÌNDICE INTRODUÇÃO 3 INTEGRIDADE 4 Teste KAPPA 4 VALIDAÇÃO 6 Especificidade 7 Sensibilidade 7 Valores Predictivos 7 Teorema de Bayes 8 BIBLIOGRAFIA 11 2

3 INTRODUÇÃO Em medicina o diagnóstico é o processo analítico, de que se vale o especialista no exame de uma doença ou de um quadro clínico, para chegar a uma conclusão. É também o nome dado à conclusão em si mesma. O diagnóstico é importante porque: permite intervenção terapêutica mais eficaz; evita a exposição desnecessária do paciente a terapêuticas muitas vezes penosas; evita desperdício de recursos; reduz o erro médico. A utilidade de um teste é julgada pela eficiência com que faz um diagnóstico na presença ou ausência de doença. A análise decisional ou análise de apoio à decisão é fundamental para que se possa quantificar a qualidade do teste e deste modo assegurar que o diagnóstico seja efectuado correctamente. Existem três potenciais áreas de incerteza num diagnóstico, seguindo a regra: se A & B então C Incerteza nos dados (quão verdadeiros são A e B); Incerteza na regra (com que frequência A & B implicam C); Imprecisão em geral. As duas primeiras áreas podem ser tratadas usando Probabilidades e a terceira usando Lógica Difusa. Iremos abordar apenas as áreas que usam a probabilidade. O raciocinio com incerteza exige: Quantificação de Incerteza; Método de combinação dos valores de Incerteza. A Integridade e a Validação são parâmetros utilizados na avaliação do desempenho de testes de diagnóstico. 3

4 INTEGRIDADE A integridade prende-se com o modo como um ou mais observadores classificam o mesmo indivíduo sob diferentes circunstâncias e é análoga à precisão. Podemos definir dois tipos de integridade: Integridade intraobservador - as avaliações são feitas pelo mesmo observador em diferentes períodos de tempo e devem conduzir ao mesmo resultado; Integridade interobservador as avaliações são feitas por observadores diferentes ao mesmo tempo e devem conduzir ao mesmo resultado. A Integridade presume que todas as provas e observadores sejam iguais. Figura 1: Imagem alusiva ao conceito de precisão, onde é visivel uma certa coerência nas respostas, independentemente de serem correctas. Teste KAPPA A integridade é frequentemente avaliada pelo teste KAPPA. Este corrige por concordancia o acaso que se possa verificar nas respostas (diagnóstico efectuado). Através do teste KAPPA obtém-se um coeficiente com o mesmo nome, ao qual corresponde a seguinte expressão matemática: KAPPA = C. observada C. esperada = 2(AD BC) 1 Concordância esperada N 1 N 4 + N 2 N 3, cujos parâmetros, para o caso de dois observadores, podem ser resumidos na tabela seguinte: 4

5 Tabela 1: Relação dos diagnósticos dos medicos MD1 e MD2, em que N n, n=1,2,3,4 são os totais marginais MD1 SIM NÃO MD2 SIM A B N 1 NÃO C D N 2 N 3 N 4 Total O coeficiente KAPPA varia entre -1 (discordância total) e 1 (concordância total). Para os valores intermédios, há uma classificação qualitativa tal que: KAPPA > 0,80 -> é considerado excelente; 0,6 < KAPPA 0,80 -> é considerado bom; 0,4 < KAPPA 0,60 -> é considerado regular; KAPPA 0,40 -> é considerado mau. 5

6 VALIDAÇÃO A validação diz respeito à forma como uma prova reproduz um resultado quando comparado à prova de maior segurança conhecida. É análoga à segurança da exactidão. A validação presume que haja uma regra de ouro à qual a prova e o observador são comparados. Figura 2: Imagem alusiva ao conceito de exactidão, onde é visivel uma coincidência das respostas com o objectivo pretendido. A validação pode ser quantificada através de três parâmetros-chave: Especificidade; Sensibilidade; Valores predictivos. Para o cálculo dos mesmos, é necessário ter em conta os conceitos: verdadeiro positivo, falso positivo, falso negativo e verdadeiro negativo. Estes estabelecem a relação entre o resultado obtido com um teste e a verdadeira presença ou ausência da mesma no indivíduo. Tabela 2: avaliação da relação teste-doença. 6

7 Da análise da tabela pode-se ainda definir que: a + c = todas as pessoas com doença b + d = todas as pessoas sem a doença; a + d = todos os casos correctamente classificados pelo teste; b + c = todos os casos incorrectamente classificados pelo teste; Especificidade A especificidade corresponde à fração dos não-doentes que deram testes negativos, e pode ser expressa pela relação: Sensibilidade especificidade = (d / (b + d)) Por outro lado a sensibilidade é a fração dos doentes com resultados positivos nos testes. sensibilidade = (a / (a + c)) A especificidade e a sensibilidade são atributos intrínsecos do teste, apresentando uma independência da prevalência. Assim, em casos de doenças raras os diagnósticos tendem a ser errados, já que os falsos positivos se escondem em verdadeiros positivos. Desta forma, torna-se necessário ter em conta a prevalência, ou seja, a proporção de casos da doença na população, para obtenção de um diagnóstico com um maior grau de certeza. De acordo com a tabela da relação testedoença, a prevalência pode ser descrita por: prevalência =(a + c) / (a + b + c + d) Muitas vezes, surge alternativamente na literatura, o conceito de taxa de incidência, que se pode obter pela divisão da prevalência pelo intervalo de tempo considerado para o estudo (T): 7

8 Taxa de incidência = prevalência/ T Valores Predictivos Neste tipo de abordagem, devem ser utilizados os valores preditivos, que podem ser de dois tipos: valor predictivo positivo e valor predictivo negativo. Valor Predictivo Positivo O valor predictivo positivo é definido como a probabilidade de um resultado positivo obtido ser de facto positivo, correspondendo-lhe a fórmula matemática: Valor Predictivo Negativo Valor predictivo positivo= (a / (a + b)) O valor predictivo negativo é definido como a probabilidade de um resultado negativo obtido ser de facto negativo, sendo menos usado que o valor predictivo positivo. Valor predictivo negativo= (d / (c + d)) Nos casos em que a prevalência no estudo é igual à prevalência na população, o valor predictivo positivo pode ser obtido através da fórmula de Bayes. Teorema de Bayes Não faria sentido falar de teorema de Bayes sem mencionar a probabilidade condicionada. Esta usa-se quando os eventos não são mutuamente exclusivos. Probabilidade Condicionada A probabilidade condicionada permite obter a probabilidade de um evento D sabendo que o evento h (anterior a D) ocorreu, e é dada pela expressão que se segue: Probabilidade a posteriori P(D h) = P(D h) / P(h) 8

9 Análise Decisional: Integridade e Validação No entanto, muitas vezes estamos interessados na situação inversa. Por exemplo, no diagnóstico médico pretendemos saber a probabilidade de uma doença estar presente com base na detecção de sintomas, sendo estes posteriores à doença. Deste modo, o que se quer determinar é a probabilidade condicionada a posteriori. Este problema foi solucionado por Thomas Bayes, originando o teorema de Bayes. A fórmula geral do teorema de Bayes é a seguinte: P(h D) = P ( D h) P ( h) P( D), em que: P(h D): probabilidade à posteriori de h dado D (reflecte a confiança da hipótese h depois de se observar D) P(D h): probabilidade de D dado h P(h): probabilidade a priori da hipótese h (representa o conhecimento de domínio, se este conhecimento prévio não existir pode ser atribuída a mesma probabilidade a cada hipótese candidata) P(D): probabilidade a priori de D Tabela 3: Variáveis consideradas para determinar o valor preditivo positivo através da fórmula de Bayes e as suas declarações alternativas. 9

10 Análise Decisional: Integridade e Validação O teorema de Bayes permite então calcular a probabilidade da doença estar presente quando o teste dá um resultado negativo (PDTN) ou quando o teste dá um resultado positivo (PDTP). Levando em consideração a tabela 3, estas probabilidades são dadas respectivamente por: Aplicação do Teorema de Bayes: Diagnóstico Médico Contudo a abordagem Bayesiana apresenta alguns inconvenientes: Só é matematicamente correcta se os eventos respeitarem a independência estatística Requer a existência de valores difíceis de obter Probabilidades à Priori Não admite incerteza associada às evidências Alguns problemas em que os dados ou a informação está continuamente a ser alterada é necessário recalcular as probabilidades 10

11 Em bases de conhecimento de dimensão apreciável, torna-se difícil efectuar alterações dado que se tem de verificar P(H 1 ) + P(H 2 ) P(H n ) = 1 BIBLIOGRAFIA Paneth, N., Validação, Integridade e Monitoramento das doenças Coentro, L., Raciocínio e decisão em Clínica Geral, Abramson J., Making sense of data self-instruction manual on the interpretacion of epidemiological data, Oxford University Press,