Princípios estatísticos básicos na condução de ensaios clínicos. Ensaios clínicos

Transcrição

1 Princípios estatísticos básicos na condução de ensaios clínicos Edson Zangiacomi Martinez CEMEQ Centro de Métodos Quantitativos Faculdade de Medicina de Ribeirão Preto USP Ensaios clínicos Um ensaio clínico controlado aleatorizado envolve ao menos um tratamento sob investigação e um tratamento controle, onde a alocação dos indivíduos aos tratamentos utiliza um processo aleatório. Amostra aleatorização Tratamento sob investigação Tratamento controle Resposta Resposta Prof. Dr. Edson Zangiacomi Martinez 1

2 Ensaios clínicos aleatorizados Os indivíduos elegíveis ao estudo são alocados nos diferentes grupos de tratamentos de maneira casual, segundo, por exemplo, a geração de uma sequência de números aleatórios em um programa de computador. Amostra Aleatorização Ensaios clínicos aleatorizados Amostra Tratamento sob investigação Tratamento controle População Respostas Respostas Inferência estatística Prof. Dr. Edson Zangiacomi Martinez 2

3 Itens essenciais em testes de hipóteses Hipóteses nula e alternativa Erros tipo I e II Nível de significância Poder P valor, valor-p, p-value O que um p valor? (a) É a probabilidade da hipótese nula de um teste ser verdadeira. (b) É a probabilidade de um dado resultado, como a diferença entre dois grupos, ter sido obtido de um "acaso". (c) É a probabilidade da hipótese nula ter sido enganosamente rejeitada. (d) É a significância de um efeito observado. (e) É a probabilidade de se obter uma estatística de teste igual ou mais extrema quanto aquela observada em uma amostra, assumindo verdadeira a hipótese nula. Prof. Dr. Edson Zangiacomi Martinez 3

4 p valores Muita gente usa pouca gente entende! Neyman e Pearson (1933) 1-) Estabelecemos a nossa hipótese, baseada em nossa crença. A % de respostas (θ T ) do grupo de tratamento é superior à % de respostas (θ C ) do grupo controle/placebo. 2-) Esta hipótese é a hipótese alternativa (H A ) H A : θ T > θ C 3-) Busco a negação de minha hipótese alternativa, que será a hipótese nula (H ) H : θ T θ C 4-) Tenho a hipótese nula como a verdadeira, e busco em uma amostra evidências favoráveis a esta hipótese. 5-) Se encontro uma contradição, rejeito H e tenho H A como a verdadeira. Prof. Dr. Edson Zangiacomi Martinez 4

5 Testes de hipóteses Hipóteses H : θ T = θ C H A : θ T θ C Rejeito H : evidência de efeito de tratamento Não rejeito H : ausência de evidência de efeito de tratamento Ausência de evidência de efeito de tratamento Evidência de ausência de efeito de tratamento Testes de hipóteses Hipóteses H : θ T = θ C H A : θ T θ C Rejeito H : evidência de efeito de tratamento Não rejeito H : ausência de evidência de efeito de tratamento Nível de significância: α = P(rejeitar H H verdadeira) = P(evidência de efeito tratamento = controle) Prof. Dr. Edson Zangiacomi Martinez 5

6 Testes de hipóteses Hipóteses H : θ T = θ C H A : θ T θ C Nível de significância: α = P(rejeitar H H verdadeira) = P(evidência de efeito tratamento = controle) p valor: menor valor que deveríamos ter escolhido para α, de modo que o teste trouxesse uma evidência de efeito de tratamento. p valor x tamanho amostral p valores: efeito de tamanho amostral Quanto maior o tamanho amostral, menor o p valor Quanto menor o tamanho amostral, maior o p valor Tratamento Controle Tratamento Controle n 5 5 n 1 1 n Respostas 12 (24%) 7 (14%) Respostas 24 (24%) 14 (14%) Respostas p valor,2 p valor,7 p valor Tratamento Controle (24%) 21 (14%),3 Prof. Dr. Edson Zangiacomi Martinez 6

7 Itens essenciais em testes de hipóteses Erro tipo I: rejeitamos H, mas H é verdadeira. Erro tipo II: não rejeitamos H, mas H é falsa. Nível de significância: é a probabilidade de cometermos um erro tipo I, denotada por α geralmente fixada em 5%. Poder: é a probabilidade de não cometermos um erro tipo II, denotada por 1 β, geralmente fixada em 5%, 1% ou 2%. Leituras Altman DG, Bland JM. Absence of evidence is not evidence of absence. BMJ. 1995;311(73): 485. Altman D, Bland JM. Confidence intervals illuminate absence of evidence. BMJ. 24;328(7446): Prof. Dr. Edson Zangiacomi Martinez 7

8 We discourage the use of P-values or dependence on statistical significance. Epidemiology, instructions for authors. The results should be quantified and presented with appropriate indicators of measurement error or uncertainty (eg confidence intervals). The mean and standard deviation (SD) should be given at a minimum; a sole reliance on the use of P values is not acceptable. Annals of Medicine, instructions for authors. P values alone do not convey the magnitude of the effect or difference, nor its precision. Therefore, we will recommend the use of estimates of strength (eg, coefficients, odds ratios, hazard ratios) and confidence limits (intervals), tolerance intervals, or credibility intervals to convey this information. Use of these intervals is particularly important when the conclusion is that no effect or association was observed (equivalence). The Journal of Thoracic and Cardiovascular Surgery, 2. Prof. Dr. Edson Zangiacomi Martinez 8

9 Measures of association, such as relative risk or odds ratio, are the preferred way of expressing results of dichotomous outcomes, eg, sick versus healthy. Confidence intervals around these measures indicate the precision of these results. Measures of association with confidence intervals reveal the strength, direction, and a plausible range of an effect as well as the likelihood of chance occurrence. By contrast, p values address only chance. Testing null hypotheses at a p value of.5 has no basis in medicine and should be discouraged. Grimes DA, Schulz KF. An overview of clinical research: the lay of the land. The Lancet 22; 359: Medidas de efeito de tratamentos Redução absoluta de risco (RAR) RAR = θ C θ T Risco relativo (RR) RR = θ T θ C Redução relativa de risco (RRR) RRR = (1 RR) 1% Número necessário para tratar (NNT) NNT = 1 RAR Prof. Dr. Edson Zangiacomi Martinez 9

10 Risco com Tratamento Risco sem Tratamento Risco Relativo Redução Relativa de Risco Redução Absoluta de Risco Número Necessário Para Tratar θ T θ C RR RRR RAR NNT,2,5,4,6,3 3,3,2,5,4,6,3 33,,2,5,4,6,3 333, CONSORT 21 CONsolidated Standards of Reporting Trials. Conjunto mínimo de recomendações para a apresentação dos resultados de ensaios clínicos controlados aleatorizados. Check-list de 25 itens Fluxograma. Prof. Dr. Edson Zangiacomi Martinez 1

11 CONSORT 21 Almost all methods of analysis yield an estimate of the treatment effect, which is a contrast between the outcomes in the comparison groups. Authors should accompany this by a confidence interval for the estimated effect, which indicates a central range of uncertainty for the true treatment effect. The confidence interval may be interpreted as the range of values for the treatment effect that is compatible with the observed data. It is customary to present a 95% confidence interval, which gives the range expected to include the true value in 95 of 1 similar studies. Prof. Dr. Edson Zangiacomi Martinez 11

12 O que significa o intervalo de confiança 95% apresentado no artigo? (a) Há uma probabilidade de 95% do RR populacional estar entre,46 e,91. (b) A cada 1 amostras de mesmo tamanho retiradas da mesma população, pelo mesmo processo de amostragem, 95 amostras gerariam intervalos de confiança que conteriam o RR populacional. (c) Há uma probabilidade de 65% da aspirina ser superior ao placebo, sendo que esta probabilidade varia de 46% a 91% para os indivíduos do estudo. (d) O RR,65 está dentro do intervalo, portanto, é significativo. Interpretação frequentista: se retirássemos da população um número grande de amostras tamanho n, 95% destas amostras iriam gerar intervalos de confiança que contém o parâmetro (populacional). Amostra 1 Amostra 3 Amostra 5 Amostra 11 Amostra 13 Amostra 4 Amostra 6 Amostra 8 Amostra 1 Amostra 2 Amostra 7 Amostra 9 Amostra Amostra 1 θ Prof. Dr. Edson Zangiacomi Martinez 12

13 θ T < θ C θ T = θ C θ T > θ C p <,5 θ T θ C p <,5 p <,5 p <,5 p >,5 p >,5 A B C θ T < θ C θ θ T > θ T = θ C C p <,5 p <,5 p <,5 D E F 1% p <,5 p >,5 p >,5 Prof. Dr. Edson Zangiacomi Martinez 13

14 Leituras Turk DC. "Statistical significance and clinical significance are not synonyms!". Clin J Pain. 2;16(3): Houle TT, Stump DA. Statistical significance versus clinical significance. Semin Cardiothorac Vasc Anesth. 28;12(1):5-6. Braitman LE. Confidence intervals assess both clinical significance and statistical significance. Ann Intern Med. 1991; 114(6): Recomendações Os p-valores, se empregados, devem ser utilizados como complementos às medidas de tamanho de efeito de tratamento, que por sua vez, devem ser acompanhadas de seus intervalos de confiança. Evitar o rótulo estatisticamente significante, privilegiar a significância clínica. As relações entre tamanho amostral e evidência devem ser adequadamente exploradas. Prof. Dr. Edson Zangiacomi Martinez 14

15 Determinação do tamanho da amostra É importante quando o estudo está sendo delineado. Post hoc power analysis Prof. Dr. Edson Zangiacomi Martinez 15

16 Post hoc power analysis Prof. Dr. Edson Zangiacomi Martinez 16

17 Determinação do tamanho da amostra Questões relevantes: 1. Qual é o principal objetivo do ensaio? 2. Qual é a principal medida de desfecho (outcome)? 3. Como os dados serão analisados para que seja detectada uma diferença de tratamento? 4. Que tipos de resultados são antecipados com o tratamento padrão? 5. Qual a menor diferença de tratamento considerada importante para ser detectada e com que grau de precisão? Determinação do tamanho da amostra Qual é a principal medida de desfecho (outcome)? O desfecho pode ser um evento binário, como morte/sobrevida, cura/não cura, apresentou/não apresentou uma reação adversa ao tratamento, ou uma resposta contínua, como níveis séricos de colesterol ou pressão arterial sanguínea. Prof. Dr. Edson Zangiacomi Martinez 17

18 Determinação do tamanho da amostra Como os dados serão analisados para que seja detectada uma diferença de tratamento? Deve haver uma compatibilidade entre a ferramenta estatística a ser utilizada na análise dos dados e a estratégia de determinação do tamanho amostral. Determinação do tamanho da amostra Que tipos de resultados são antecipados com o tratamento padrão? Para determinar o tamanho amostral, precisamos de uma idéia prévia à coleta dos dados do resultado que seria encontrado para os pacientes que recebem o placebo ou o tratamento padrão. Prof. Dr. Edson Zangiacomi Martinez 18

19 Determinação do tamanho da amostra Qual a menor diferença de tratamento considerada importante para ser detectada e com que grau de precisão? P.ex., com base em estudos prévios, é esperado que 2% dos indivíduos que recebem o placebo apresentam alguma melhora clínica. Para que o tratamento em estudo seja considerado útil, qual deve ser a proporção mínima de indivíduos com melhora clínica no grupo que recebe este tratamento? Determinação do tamanho da amostra Diferença entre duas proporções grupos paralelos Exemplo (Pocock, 1983, p. 124) ( 1 θc ) + θt ( 1 θt ) ( θ θ ) θc n* = f 2 T C ( α, β) θ C = porcentagem de sucessos esperada para o tratamento controle θ T = porcentagem de sucessos esperada para o tratamento em estudo θ C θ T = diferença clinicamente importante a ser detectada Prof. Dr. Edson Zangiacomi Martinez 19

20 Determinação do tamanho da amostra Diferença entre duas proporções grupos paralelos f (α,β) é uma função de α e β β (erro tipo II),5,1,2,5 α,1,5,2,1 1,8 13, 15,8 17,8 8,6 1,5 13, 14,9 6,2 7,9 1, 11,7 2,7 3,8 5,4 6,6 Determinação do tamanho da amostra Diferença entre duas proporções grupos paralelos θ C = 9% (proporção esperada de respostas, grupo placebo) θ T = 95% θ T θ C = diferença clinicamente importante a ser detectada β (erro tipo II),5,1,2,5 α,1,5,2, Prof. Dr. Edson Zangiacomi Martinez 2

21 Determinação do tamanho da amostra Diferença entre duas proporções Ensaio de não inferioridade Hipóteses: H : θ P θ E δ H A : θ P θ E < δ ( 1 θc ) + θt ( 1 θt ) ( θ θ δ ) θc n* = g 2 T C ( α, β) θ P = porcentagem de sucessos esperada para o tratamento padrão θ E = porcentagem de sucessos esperada para o tratamento experimental δ = diferença máxima para que os tratamentos sejam considerados equivalentes Backwelder (1982) Determinação do tamanho da amostra Diferença entre duas proporções Ensaio de não inferioridade g(α,β) é uma função de α e β β (erro tipo II),5,1,2,5 α,1,5,2,1 8,56 1,82 13,68 15,77 6,57 8,56 11,12 13,2 4,51 6,18 8,38 1,4 1,64 2,71 4,22 5,41 Prof. Dr. Edson Zangiacomi Martinez 21

22 Prof. Dr. Edson Zangiacomi Martinez 22