Dr. André Sasse Leitura inadequada dos artigos Fornecem resultados superestimados em até 41% Estudos não randomizados ou randomizados inadequadamente (Chalmers 1977; 1983) Estudos de menor qualidade (Emerson, 1990) Estudos com descrição inadequada dos métodos estatísticos (Schulz, 1995) Estudos unicêntricos (Schulz, 1995) Menos de 10% dos artigos publicados oferecem informação minimamente válida (Haynes, 1986) Aprender a diferenciar Propaganda X Evidência Certeza X Probabilidade Opiniões X Dados Superstições X Conclusões racionais Folclore X Ciência Dogmas X Teorias Base para avaliação crítica Validade Eu posso confiar nos resultados? Importância A informação, se verdadeira, dd é clinicamente importante? Aplicabilidade Eu posso aplicar estas informações aos meus doentes? Sci Am 1999;281:87 Avaliando estudos de tratamento Validade: os resultados do estudo são confiáveis? Randomização Alocação de pacientes Importância: quais são os resultados? Magnitude e precisão do efeito Aplicabilidade: Estes resultados podem ser aplicados? Benefícios Riscos Custos Validade 1. A distribuição dos pacientes foi realmente aleatória? 2. A alocação nos grupos foi mascarada? 3. Os pacientes foram analisados no grupo em que foram alocados? 4. Os grupos eram similares no começo do estudo? 5. O grupo controle era adequado? 6. Houve mascaramento de pacientes, ou médicos, ou avaliadores? 7. Todos os pacientes que entraram no estudo foram levados em conta nos resultados e conclusão? 1
A distribuição dos pacientes foi realmente aleatória? Procure pela palavra randomized no texto Avaliar o método de randomização Geração de números randômicos Centralizada A chance de um paciente entrar no grupo controle ou no experimental deve ser justa Por que randomizar? Sarcoma osteogênico Estudos não randomizados Nenhum efeito da quimioterapia adjuvante Um estudo randomizado Efeito altamente significativo favorecendo o uso de quimioterapia adjuvante 61% vs. 11% sobrevida livre de doença em 6 anos N Engl J Med 1986;314:1600 Por que randomizar? Transplante de medula óssea adjuvante para pacientes com câncer de mama de alto risco Estudos não randomizados (transplante) RRR 50% (mortalidade) RRR 71% (recaída) Estudos randomizados 4 RCT mostraram nenhuma diferença em sobrevida e recaída aumento de morbidade Cancer Control 1998;5:394 Oncology 1999;13:1215 Detalhes da randomização Geração da sequência de randomização Mascaramento da sequência de alocação A,B,B,A,A,B,B,A,A,B,A,B... Geração da sequência de randomização Tabelas de números randômicos Sequências geradas por computador Mascaramento da sequência de randomização Envelopes selados e opacos Randomização centralizada Frascos codificados por profissional independente A alocação foi mascarada? Buscar o expressão: allocation concealment Não há chance de identificar para qual grupo o paciente será encaminhado Allocation concealment Quebra do mascaramento da sequência de alocação Dia e noite em colecistectomia video laparoscópica Envelopes inadequadamente selados em estudo de inibidor da ECA Métodos adequados Frascos indistinguíveis Randomização à distância Envelopes opacos e selados O aspecto que tem maior capacidade de enviezar o resultado JAMA1995;274(18):1456 2
Os pacientes foram analisados no grupo em que foram alocados? Análise por intenção de tratamento ITT (Intention to Treat) Mudança de grupo por desejo do paciente Violação de protocolo Desbalança a randomização Os grupos eram similares no começo do estudo? Observe a tabela de características de pacientes Desbalanceamento de fatores de risco Dica de problemas com randomização O controle era adequado? O uso de um grupo controle conhecidamente mais fraco que o tratamento padrão atual Grupo controle inadequado Estudo Zebra: Pacientes com neoplasia de mama, receptores de estrógeno positivas, QT adjuvante Zoladex + Tamoxifeno 5 anos CONTRA quimioterapia com CMF (sem o tamoxifeno) Doses menores do AINES no grupo controle Eur J Cancer 03;39(12):1711 JAMA 1994;272(2):108 Mascaramento de pacientes, ou médicos, ou avaliadores Mascaramento do avaliador Duplo cego (médicos e pacientes) Co intervenção Avaliação de efeitos colaterais Avaliadores Avaliação independente Avaliação de lâminas, exames complementares, etc 3
Todos os pacientes foram levados em conta nos resultados e conclusão? Análise por intenção de tratamento (ITT) Se houver mais de % de perdas em qualquer dos grupos ou no total o resultado é inválido Ideal é menos que 10% de perdas Seguir para avaliação da importância dos resultados Mortalidade 0 Exper. 100 Não colaborativos 12 80 colaborativos 8 0.6 0.1 0.2 Controle 100 0.2 Importância 1. Quais são os resultados? 2. Qual a magnitude do efeito do tratamento? 3. Quão preciso é este efeito? Quais são os resultados? Positivo Negativo Tratamento Experimental a b (a+b) Tratamento Padrão c d (b+d) (a+c) (b+d) (a+b+c+d) Medidas de Associação Risco Relativo (RR) Redução do risco relativo (RRR) Odds Ratio (OR) Redução do risco absoluto (RRA) Número necessário para tratar (NNT) Fórmula (a/a+b)/(c/(c+d)) 1-RR (a*d)/(b*c) (a/(a+b)) - (c/(c+d)) 1/RRA Quais são os resultados? % Qual a magnitude do efeito do tratamento? Sobrevida Harzards ratio (HR) Log rank Cox Diferença entre duas curvas de sobrevida Tempo 4
Quão preciso é o efeito? P valor (<0,05) Intervalo de confiança (95%) Intervalo estatístico onde em 95% das vezes o resultado ocorrerá O ponto de não efeito corresponde ao 1 (RR e OR) ou ao zero (RA) Quanto mais estreito, mais preciso e maior o grau de certeza Intervalos de confiança Ponto estimado IC 95% mínimo IC 95% máximo 1,3 0,85 1,9 0,44 0,4 0,52 2,1 1,34 2,44 0,34 0,11 1,2 Quais são os resultados? Os resultados são clinicamente significantes, além de estatisticamente? Controle n=1000 Experimental n=1000 30 RRR 50% 100 RRR/RRA/NNT 400 15 50 0 p <0.03 <0.001 <0.0001 Relevância clínica versus estatística RRA 1.5% 5% % NNT 67 5 Checar a aplicabilidade Estes resultados podem ser aplicados aos meus pacientes? Os pacientes do estudo são similares aos meus? Tratamentos não beneficiam ou prejudicam uniformemente Verificar se seu paciente preenche os critérios de elegibilidade do estudo 5
Estes resultados podem ser aplicados aos meus pacientes? NÃO ACREDITE EM ANÁLISE DE SUBGRUPOS A não ser que ela tenha sido planejada antes Efeitos da estatistização (5%) Para cada sub análises, uma será positiva ii Aplicabilidade desfechos clínicos intermediários Estudos randomizados comparando poliquimioterapia e monoquimioterapia em câncer de pulmão: efeito significativo em resposta e em sobrevida Autor, ano Crino 1990 Resposta Não Sobrevida Sim Le Chevalier 1994 Deza 1996 Wozniack 1996 Sim Não Sim Sim Não Não O que é importante para o paciente? Aplicabilidade: riscos X benefícios Efeitos adversos do tratamento Considerar custos Aderência ao tratamento Ditadura da randomização? Estudos não randomizados com grande magnitude de efeito PVB para tumores de testículo avançado (Ann Intern Med 1977;87:293) MOPP para doença de Hodgkin (Ann Intern Med 1970;73:881) Cladribina para tricoleucemia (N Engl J Med 1990;322:1117) Imatinibe para Leucemia Mielóide Crônica (N Engl J Med 01; 344:1031) Estudo randomizado pra que? 6
100 80 60 40 0 100 80 60 40 0 1 2 3 4 5 0 0 1 2 3 4 5 /03/09 Natural history of (refractory) Acute leukemia 100 80 Survival (%) 60 40 Para-quedas reduzem o risco de acidentes causados pela gravidade, mas sua efetividade ainda não foi provada 0 0 10 30 40 50 60 70 Weeks Adapted from: Cancer Res 1973;33:921-928 Allogeneic Bone Marrow Transplantation in Refractory AML Survival (%) Probability of remaining in remission (%) Years Situação tipo tudo ou nada years PVB para tumor de testículo Einhorn LH, Donohue J. Cis diamminedichloroplatinum, vinblastine, and bleomycin combination chemotherapy in disseminated testicular cancer. Ann Intern Med. 1977 Sep;87(3):293 8. 50 pacientes tumor de testículo QT cis diamminedichloroplatinum, vinblastina, e bleomicina 74% Resposta completa 26% resposta parcial 60% livres de recaída em 30 meses Podemos predizer que um novo tratamento será melhor que o antigo? 7
Guia para evitar ser enganado por dados tendenciosos Leia apenas os métodos e resultados, esqueça a discussão Leia uma análise crítica em algum EBM journal Se conscientize: i Compadores falsos End points compostos e intermediários Efeitos irrelevantes clinicamente Análises de subgrupos Os resultados são válidos? A revisão sistemática responde a uma questão clínica específica? Os critérios utilizados para a seleção dos artigos foram apropriados? Há possibilidade de que estudos relevantes tenham sido esquecidos? Foi determinada a validade dos estudos incluídos? A avaliação é reprodutível? Quais são os resultados? Qual o resultado geral da revisão sistemática? Qual a precisão dos resultados? Os resultados irão ajudar nos cuidados dos meus pacientes? Os resultados podem ser aplicados no meu local de trabalho? Todos os desfechos clínicos importantes foram incluídos? Os benefícios superam os riscos e os custos? 8
Modelo para apresentação de artigo Título do artigo Autores Referência Pergunta: Métodos: Desenho: Alocação: Mascaramento: Tempo de seguimento: Local do estudo: Pacientes: Intervenções: Desfechos: Pacientes avaliados: Resultados principais: Conclusões: 9