Avaliação da qualidade de revisões sistemáticas e metanálises

Universidade de São Paulo Faculdade de Ciências Farmacêuticas Disciplina FBF0436 Avaliação da qualidade de revisões sistemáticas e metanálises Profa. Dra. Patricia Melo Aguiar Pós-doutoranda na Universidade de São Paulo Farmácia Universitária da USP Junho de 2017

Meus contatos

Estrutura da aula Recapitular: o Revisão sistemática o Metanálise Avaliação da qualidade de revisões sistemáticas: o Qualidade metodológica o Qualidade da evidência científica

Objetivos de aprendizagem A. Entender a diferença entre revisão sistemática e metanálise; B. Saber interpretar um gráfico de metanálise; C. Entender os critérios para avaliar criticamente a qualidade metodológica de revisões sistemáticas; D. Entender os critérios para avaliar criticamente a qualidade da evidência incorporada nas revisões sistemáticas.

Recapitulando... Revisão sistemática e metanálise Reúne, avalia e sintetiza todos estudos primários relevantes sobre determinada questão clínica Utiliza metodologia explícita, clara e transparente Síntese qualitativa e/ou quantitativa (metanálise) Reprodutível!!! Peneirar e selecionar estudos Extrair os dados Avaliar a qualidade dos estudos Combinar os dados (síntese qualitativa e/ou quantitativa) Discutir e concluir sobre os achados Revisão sistemática Publicação Identificar uma necessidade e elaborar a questão de pesquisa Escrever um plano para a revisão (protocolo) Buscar estudos

Recapitulando... Nº de estudos Efeito combinado Linha da nulidade Tamanho do efeito Intervalo de confiança Gráfico da metanálise

Tipos de dados e medidas de efeito Tipos de dados Dicotômico (mortalidade, efeito adverso, progressão da doença, etc) Medidas de efeito Risco relativo, razão de chance, diferença de risco Dados a serem coletados Número de eventos e tamanho do grupo Contínuo ( pressão arterial, hemoglobina glicada, qualidade de vida, etc) Diferença média, diferença média padronizada Média, desvio padrão e tamanho do grupo

O que é qualidade???

Qualidade metodológica Medida em que o delineamento e a condução de uma revisão sistemática irá gerar resultados imparciais

AMSTAR Ferramenta mais utilizada para avaliação da qualidade metodológica Composta por 11 itens, sendo possíveis as respostas: o Sim (descrição completa do item) o Não (não descrito) o Não é possível responder (não há informações suficientes) o Não se aplica Pontuação total da ferramenta AMSTAR: o Sim = 1 ponto; outras respostas = 0 ponto o Varia de 0 a 11 pontos Disponível em: https://amstar.ca/

AMSTAR 1. Um projeto foi realizado a priori? A pergunta de pesquisa e os critérios de inclusão e exclusão devem ser estabelecidos antes da realização da pesquisa. [Nota: É necessário haver referência a um protocolo, aprovação ética ou objetivos da pesquisa pré-determinados / publicados a priori para marcar um "sim".] 2. A seleção de estudos e extração de dados foi realizada em duplicata? A extração de dados deve ser realizada por pelo menos 2 pessoas de forma independente e deve ser definido um procedimento para resolver discordâncias. [Nota: É necessário que pelo menos 2 pessoas tenham feito seleção de estudos, 2 pessoas tenham feito extração de dados, e divergências resolvidas por consenso ou uma pessoa verificou o trabalho da outra.]

AMSTAR 3. Foi realizada uma pesquisa/busca bibliográfica abrangente? Pelo menos duas fontes eletrônicas devem ser pesquisadas. O relatório deve incluir os anos e as bases de dados usadas (por exemplo, CENTRAL, EMBASE e MEDLINE). As palavras-chave e/ou os termos MeSH devem ser informados e, quando possível, a estratégia de busca deve ser fornecida. Todas as buscas devem ser complementadas por meio de consulta a conteúdos, revisões, livros-texto, cadastros especializados atualizados ou especialistas no campo de estudo específico e por meio de revisão das referências dos estudos encontrados. [Nota: Se foram utilizadas pelo menos 2 fontes + 1 estratégia suplementar, responda "sim" (O Registro Central da Cochrane de ensaios clínicos controlados - CENTRAL conta como 2 fontes; pesquisa em literatura cinzenta conta como literatura suplementar).]

AMSTAR 4. A situação da publicação (por exemplo, literatura cinzenta) foi utilizada como um critério de inclusão? Os autores devem declarar que procuraram por estudos independentemente de sua situação de publicação. Os autores devem declarar se excluíram ou não quaisquer estudos (da revisão sistemática), com base em sua situação de publicação, idioma etc. [Nota: Se a revisão indica que houve uma busca por literatura cinzenta ou literatura não publicada, responder "sim". Banco de dados único, teses, anais de congressos e registros de estudos são considerados literatura cinzenta. Se a busca foi de uma fonte que contém literatura cinzenta e não cinzenta, deve-se especificar que eles estavam procurando literatura inédita.]

AMSTAR 5. Foi fornecida uma lista de estudos (incluídos e excluídos)? Deve ser fornecida uma lista de estudos incluídos e excluídos. [Nota: É aceitável que a lista dos estudos excluídos esteja apenas referenciada. Se houver um link eletrônico para acesso à lista, mas o link não está ativo, responda "não".] 6. Foram fornecidas as características dos estudos incluídos? Devem ser fornecidos de forma agregada (como uma tabela), dados sobre os participantes, as intervenções e os resultados dos estudos originais. Devem ser relatadas as diversas características em todos os estudos analisados, como idade, raça, sexo, dados socioeconômicos relevantes, estádio da doença, duração, gravidade ou comorbidades. [Nota: É aceitável se não foi apresentado no formato de tabela, desde que contemple as informações acima descritas.]

AMSTAR 7. A qualidade científica dos estudos incluídos foi avaliada e documentada? Devem ser fornecidos a priori os métodos de avaliação (por exemplo, para estudos de eficácia, caso os autores optem por incluir apenas ensaios clínicos randomizados, duplocego, controlados por placebo, ou alocação sigilosa como critérios de inclusão). Para outros tipos de estudos, é importante que existam itens alternativos. [Nota: Pode incluir o uso de uma ferramenta de avaliação de qualidade ou checklist (por exemplo, escala de Jadad, risco de viés, análise de sensibilidade, etc.), ou uma descrição de itens de qualidade, com algum tipo de resultado para cada estudo (é adequado informar escore "baixo" ou "alto", desde que claramente descritos os estudos que receberam esses escores. Não é aceitável um escore / intervalo resumo para todos os estudos em conjunto).]

AMSTAR 8. A qualidade científica dos estudos incluídos foi utilizada de forma adequada na formulação das conclusões? O rigor metodológico e a qualidade científica dos estudos deverão ser considerados na análise e conclusões da revisão e explicitamente informados na formulação de recomendações. [Nota: Se foi dito algo como "os resultados devem ser interpretados com cautela, devido à má qualidade dos estudos incluídos", não é possível responder "sim" para esta pergunta, se respondeu "não" para a pergunta 7.

AMSTAR 9. Os métodos utilizados para combinar os achados dos estudos foram apropriados? Para os resultados agrupados deve ser feito um teste para garantir que os estudos podiam ser agrupados e para avaliar a sua homogeneidade (teste de qui-quadrado para homogeneidade, I²). Se houver heterogeneidade, deverá ser usado um modelo de efeitos aleatórios e/ou a adequação clínica da combinação deverá também ser levada em consideração (isto é, combinar os resultados era apropriado?). [Nota: Responda "sim" se houve menção ou descreveu a heterogeneidade, ou seja, se os autores explicaram que os resultados não puderam ser agrupados por causa de heterogeneidade / variabilidade entre as intervenções.]

AMSTAR 10. A probabilidade de viés de publicação foi avaliada? Uma avaliação de viés de publicação deve incluir uma combinação de ferramentas gráficas (por exemplo, um gráfico de funil e outros testes disponíveis) e/ou testes estatísticos (por exemplo, teste de regressão Egger, Hedges-Olken). [Nota: Se nenhum valor de teste ou gráfico de funil foi incluído, responda "não". Se houve menção que viés de publicação não pôde ser avaliado porque havia menos de 10 estudos, responda sim.] 11. O conflito de interesses foi informado? Possíveis fontes de apoio devem ser claramente informadas, tanto na revisão sistemática quanto nos estudos incluídos. [Nota: Para obter um "sim", deve indicar fonte de financiamento ou apoio à revisão sistemática e para cada um dos estudos incluídos.]

Qualidade da evidência O nível de evidência representa a qualidade da evidência científica disponível e define a confiança na informação utilizada

GRADE Organizações que utilizam a ferramenta: o Organização Mundial da Saúde (OMS) o National Institute for Health and Clinical Excellence (NICE) o Centers for Disease Controland Preventon (CDC) o Colaboração Cochrane o CONITEC O sistema GRADE atribui: o Níveis de evidência o Classifica a força da recomendação Disponível em: http://www.gradeworkinggroup.org

GRADE

GRADE

GRADE 1. Risco de viés Ausência de sigilo da alocação Pesquisadores envolvidos no recrutamento dos pacientes podem predizer para qual grupo o próximo paciente incluído na pesquisa será alocado devido à ausência de sigilo da lista de alocação ou a de randomização inadequada (por exemplo, alocação pelo dia da semana, data de nascimento ou alternância) Ausência de mascaramento (cegamento) Pacientes, cuidadores, coletadores de dados, avaliadores de desfecho e analistas de dados cientes ao grupo ao qual os pacientes são alocados Seguimento incompleto Perda no seguimento de pacientes randomizados e ausência de análise por intenção de tratar (intention-to-treat) Relato seletivo de desfechos Relato incompleto ou ausente de alguns desfechos com base nos resultados Outras limitações Interrupção precoce do estudo por benefício ou utilização de medidas de desfecho sem validação (ex.: desfecho relatado pelo paciente)

GRADE Observar se os estudos com limitações importantes impactam na estimativa de efeito. Rebaixar nota apenas se impactar. Para o item mascaramento, observar o tipo de desfecho. Ausência de mascaramento pode impactar em desfechos mais propensos à subjetividade (reportados pelo próprio paciente ou que exijam avaliação do investigador). Contudo, o mascaramento é irrelevante em desfechos como mortalidade e dados laboratoriais. Para o item relato seletivo de desfecho, deve-se suspeitar de viés de informação se o relatório do estudo não incluir os resultados de um desfecho fundamental. Quando a evidência vem principalmente ou exclusivamente a partir de ensaios interrompidos precocemente por benefício: superestimativa considerável (< 500 eventos) e grande superestimativa (< 200 eventos) A significância da taxa de perda para follow-up varia muito (10 a 20%) e depende da relação entre a perda de seguimento e número de eventos. Observar se há desequilíbrio de perdas entre os grupos.

GRADE? = Risco incerto + = Baixo risco - = Alto Risco Sequência de randomização: não rebaixa Alocação: não rebaixa Cegamento: não rebaixa Seguimento incompleto: rebaixa Relato de desfecho seletivo: não rebaixa Outros: rebaixa Rebaixa a qualidade deste item!

GRADE 2. Viés de publicação Estratégia de busca pouco abrangente (ex.: poucas bases de dados, estratégia de busca inadequada, com potencial de não captar estudos relevantes) Os estudos negativos (sem efeito identificado) tendem mais frequentemente a serem publicados na língua nativa dos pesquisadores, em revistas com menor visibilidade e após maior intervalo de tempo O pesquisador deve suspeitar de viés de publicação quando os estudos são uniformemente pequenos, em especial quando em sua maioria possuem conflitos de interesse importante (por exemplo, patrocínio da indústria farmacêutica) Observar os resultados de testes estatísticos (ex., Egger e Begg) e gráfico de funil Metanálise com menos de dez estudos: observar a sensibilidade da estratégia de busca e fontes de evidência pesquisadas nenhum estudo relevante foi deixado de fora e a amostra perfaz a totalidade da evidência disponível

GRADE Estudos distribuídos em ambos os lados. Forma um triângulo Poucos estudos no lado direito inferior, sugerindo que estudos com resultados negativos não foram publicados Funnel Plot

GRADE 3. Imprecisão Observar a amplitude do intervalo de confiança de 95% (IC 95%) Quando observamos magnitude de efeito baseado em um pequeno número de eventos, pode-se considerar reduzir o nível de evidência, mesmo se o IC 95% for aparentemente estreito Observar se o IC 95% toca a linha de nulidade e o tamanho ótimo da informação (TOI): o Se o TOI não for alcançado, deve-se diminuir o nível de evidência a não ser que o tamanho da amostra seja muito grande (acima de 2 mil pacientes) o Se o critério TOI é alcançado e o IC 95% não toca a linha de nulidade temos uma precisão adequada o Se o critério TOI é alcançado, mas o IC 95% toca a linha de nulidade deve-se diminuir o nível de evidência.

GRADE Número de pacientes incluídos no estudo: 2760 + 2747 = 5507 Número total de eventos: 22 + 109 = 131 Proporção de eventos no grupo controle: (109 / 2747) x 100 = 3,97% Redução do risco: (1 0,19) x 100 = 81 %

GRADE Observar a seguinte tabela para o cálculo do TOI:

GRADE Se o cálculo do TOI for impossível, considerar: o Variáveis dicotômicas: redução ou aumento do risco de pelo menos 25% o Variáveis contínuas: redução ou aumento do tamanho de efeito de 0,5 Dif. Média 0.5 0 Se o IC95% incluir esses valores, rebaixar a qualidade!

GRADE 4. Inconsistência O julgamento da inconsistência é baseado: o Diferença entre as estimativas de efeito o Sobreposição dos intervalos de confiança o Teste de inconsistência (I2) Na presença de I2 elevado observar o quanto as diferenças na estimativa alteram as conclusões Reduzir o nível de evidência apenas se há heterogeneidade importante não explicada após a análise de sensibilidade e/ou subgrupo

GRADE Baixa heterogeneidade (IC 95% se sobrepõe) Alta heterogeneidade, mas não rebaixa a qualidade (mesma direção) Alta heterogeneidade e rebaixa a qualidade (direções opostas)

GRADE 5. Evidência indireta A confiança nas estimativas de efeito é reduzida em situações nas quais os participantes, intervenções ou desfechos avaliados nos estudos são substancialmente diferentes daqueles considerados no PICO A evidência pode ser considerada indireta por quatro motivos: o População: os participantes avaliados nos estudos não representam adequadamente a população de interesse (ex.: gravidade diferente) o Intervenção: as intervenções avaliadas nos estudos diferem daquelas de interesse (ex.: diferentes doses de um fármaco, ou diferentes técnicas psicoterápicas) o Comparação: ocorre na ausência de comparações diretas entre as alternativas (estudos headto-head), como no caso de estudos de comparações indiretas o Desfecho: os desfechos avaliados não são aqueles de interesse primário para a decisão, como por exemplo, o uso de desfechos substitutos

GRADE

Qualidade de revisões sistemáticas e metanálise

Referências Toma TS, et al. Avaliação de Tecnologias de Saúde & Políticas Informadas por Evidências. São Paulo: Editora do Instituto de Saúde. 2017 (in press). Shea BJ, Grimshaw JM, Wells GA, Boers M, Andersson N, Hamel C, et al. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol. 2007;7:10. Brasil. Ministério da Saúde. Secretaria de Ciência, Tecnologia e Insumos Estratégicos. Departamento de Ciência e Tecnologia. Diretrizes metodológicas : Sistema GRADE Manual de graduação da qualidade da evidência e força de recomendação para tomada de decisão em saúde / Ministério da Saúde, Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Departamento de Ciência e Tecnologia. Brasília : Ministério da Saúde, 2014. 72 p. Brasil. Ministério da Saúde. Secretaria de Ciência, Tecnologia e Insumos Estratégicos. Departamento de Ciência e Tecnologia. Diretrizes metodológicas : elaboração de revisão sistemática e metanálise de ensaios clínicos randomizados/ Ministério da Saúde, Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Departamento de Ciência e Tecnologia. Brasília : Editora do Ministério da Saúde, 2012. 92 p.