Este capítulo descreve abordagens as quais deveriam ser usadas em revisões Cochrane para selecionar os estudos e decidir quais dados apresentar.

Transcrição

1 Ft. Andrea H. Kayo

2 Introdução Este capítulo descreve abordagens as quais deveriam ser usadas em revisões Cochrane para selecionar os estudos e decidir quais dados apresentar. Os métodos usados para estas decisões devem ser transparentes, e devem ser escolhidos para minimizar viés e erros humanos.

3 Selecionando estudos Uma revisão Cochrane é uma revisão de estudos que encontram critérios pré-específicos para inclusão na revisão. Uma vez que cada estudo pode ter sido registrado em vários artigos, resumosou outras publicações, uma busca compreenssivapor estudos para um revisão pode identificar muitas publicações de estudos potencialmente relevantes. 1. Link de todas as publicações do mesmo estudo. 2. Usar as informações disponíveis em várias publicações para determinar quais estudos são elegíveis para inclusão.

4 Identifica múltiplas publicações do mesmo estudo. Publicação duplicada pode levar a viéses substanciais se estudos são inavertidamente incluídos mais de uma vez em uma metaanálise (Tramèr 1997). Pode ser difícil de detectar publicação duplicada: Alguns critérios úteis: Nome Autores(a maioria das publicações duplicadas tem autores em comum, embora isso não seja sempre o caso); Local e Ambiente (particularmente se Instituições, tais como hospitais, são nomeados); Detalhes Específicos das Intervenções (i.e. dose, frequência);

5 ...publicação duplicada Número de Participantes e Dados Iniciais Data e Duração do Estudo (os quais podem também esclarecer se diferentes tamanhos de amostra são devido a diferentes períodos de recrutamento) o Onde permanecer incertezas depois de considerar estes e outros fatores, pode ser necessário correponder-se com o autor da publicação.

6 Selecionando os Estudos O processodeve ser detalhadoem um protocolopara a revisão. 1. Juntar os resultados da pesquisa usando um software de gerenciamento de referências e remover registros duplicados da mesma publicação. 2. Examine títulos e resumos para remover publicações obviamente irrelevante. (autores devem ser mais abertos neste estágio) 3. Recupere o texto completo de publicações potencialmente relevantes. 4. Interligue várias publicações do mesmo estudo. 5. Examine publicações com texto completo para observar os estudos com critérios de elegibilidade. 6. Corresponda-se com investigadores, quando apropriado, para esclarecer eligibilidade do estudo (pode ser apropriado para solicitar informações adicionais, tais como falta de dados). 7. Tome a decisão final sobre a inclusão do estudo e proceda com a coleta de dados.

7 Implementando o processo de seleção do estudo. Decisões sobre quais estudos incluir em uma revisão está entre a decisão mais difíceis que são feitas no processo de revisão. Envolvem julgamento. Para assegurar que estes julgamentos são reprodutíveis, é desejável mais de uma autor para partes repetidas do processo. Na prática, a abordagem exata pode variar de revisão para revisão, dependendo em parte da experiencia e expertise dos autores da revisão.

8 Implementando o processo de seleção do estudo. Os autores devem primeiro decidir se mais de um deles irá avaliar os títulose resumosdos registros recuperados da busca. Usando no mínimo 2 autores, pode reduzir a possibilidade que publicações relevantes sejam descartadas (Edward 2002). Especialistas de áreas particulares frequentemente tem opiniões préformada que podem tendenciar suas avaliações de ambos a relevancia e validade dos artigos (Cooper 1989). É importante que no mínimo um autor tenha conhecimento na área sob a revisão, pode ser uma vantagem ter o segundo autor que não é expert no assunto.

9 Implementando o processo de seleção do estudo. Alguns autores podem decidir que a avaliação da relevancia deveria ser feita por pessoas que são cegas ou mascaradas quanto a informação sobre o artigo. Entretanto, isso leva muito tempo, e pode não garantir recursos necessários e benefícios incertos em termos de proteção contra viés (Berlin 1997). Discordância, sobre se o estudo deveria ser incluído pode geralmente ser resolvido por uma discussão. As vezes, o motivo é um simples equívoco por parte de um dos autores da revisão.

10 Implementando o processo de seleção do estudo. Quando a discordância é devido a diferença na interpretação, poderá ser necessária a intermediação de mais uma pessoa. Ocasionalmente, não será possível resolver a discordância sobre a inclusão do estudo sem informações adicionais. Nesses casos, os autores podem escolher para categorizaro estudo em sua revisão como um estudo que está aguardando avaliação até que informações adicionais sejam obtidas dos autores do estudo. Em resumo, a seção métodos de ambos, protocolo e revisão deveria detalhar:

11 Detalhar: Métodos do protocoloe revisão Se mais de um autor examinou cada título e resumo para excluir publicações obviamente irrelevantes; Se aqueles que examinaram cada publicação de texto completo para determinar a elegibilidade fizeram isso independentemente (isso deveria ser feito por no mínimo 2 pessoas); Se as decisões acima foram feitas por especialistas na área, metodologistas, ou ambos; Se as pessoas que avaliaram a relevancia dos estudos conheciam os nomes dos autores, instituições, o jornal de publicação e resultados quando aplicaram os critérios de elegibilidade; e Quantas discordancias foram manuseadas.

12 Processo de seleção do estudo. Uma única falha no critério de elegibilidade é suficiente para um estudo ser excluído de uma revisão. Na prática, o critério de elegibilidade para cada estudo deveria ser avaliado em ordem de importância, então que a primeiro resposta não pode ser usada como uma razão primária para exclusão do estudo, e os demais critérios não serão avaliados.

13 Selecionando estudo excluídos Uma revisão Cochrane inclui uma lista de estudos excluídos. Listar os estudos excluídos, dando razões primárias para exclusão, os autores da revisão podem mostrar que considerações foram dadas a estes estudos. A lista dos estudos excluídos deveria ser tão breve quanto possível. Não devem ser listadas todas as publicações que foram identificadas em uma busca abrangente. Aqueles estudos que obviamente não preeenchem os critérios de inclusão para a revisão como tipo de estudo, tipo de participantes e tipo de intervenções, e em particular não devem ser listados, estudos que obviamente não foram randomizados se a revisão inclui apenas ensaios randomizados.

14 Medida de concordância Medidas formais de concordancia estão disponíveis para descrever a extensão a que avaliações por múltiplos autores sejam as mesmas. (Orwin 1994). Está descrito na seção como a estatística kappa pode ser calculada por medidas de concordancia entre 2 autores fazendo decisões simples inclusão/exclusão. Não é recomendada que a estatística Kappa seja calculada como padrão na revisão Cochrane, embora ela possa revelar problemas, especialmente em estágios iniciais do piloto. As razõespara qualquer discordânciadeveria ser explorada. Elas podem revelar a necessidade para rever os critérios de elegibilidade ou esquema de codificação dos dados coletados e qualquer mudança de resultado deveria ser publicado.

15 Quais dados coletar? Detalhes de métodos, participantes, ambiente, contexto, intervenções, desfechos, resultados, publicações e investigadores. Autores da revisão devem planejar com antecedência quais dados serão exigidos por sua revisão sistemática, e desenvolver uma estratégia para obte-los.

16 Extração e Coleta de Dados apresentação na tabela Características dos estudos incluídos

17 Fonte ID estudo ID registro ID autor da revisão Citação e detalhes para contato (dados criados pelo autor da revisão)

18 Elegibilidade do estudo Confirmar a elegibilidade para a revisão Razão para exclusão

19 Métodos Desenho do estudo Duração total do estudo *Geração de sequencia (Randomização) *Ocultação da sequencia de alocação *Cegamento *Outras preocupações sobre viés *Exigida descrição completa para padronizar itens na ferramenta Risco de Viés.

20 Ferramenta: Risco de Viés Diferentes métodos de pesquisa podem influenciar os resultados dos estudos por introduzir diferentes viéses aos resultados. Informação deveria ser coleta para facilitar a avaliação do risco de viés em cada estudo incluído usando uma ferramenta descrita no Cap.8 (Seção 8.5). A ferramenta cobre questões tais como: sequencia de geração, ocultação da sequencia de alocação, cegamento, desfechos incompletos, desfechos seletivos.

21 Participantes Número total Ambiente Critério diagnóstico Idade (média, mediana, DP ou faixas) Se para o estudo todo, ou cada grupo de intervenção. Genero (percentual ou conta) País **Co-morbidade **Sócio-demográfico (nível educacional) **Etnia **Data do estudo ** podem ser relevantes em algumas revisões e não em outras.

22 Detalhes: Participantes Alguns Grupos de Revisão Cochrane tem desenvolvido padrão em relação a quais características deveriam ser coletadas. Idade e Gênero, são características importantes para avaliar a aplicabilidade. Os autores devem procurar por quantidades consistentes onde possível, e decidir se é mais relevante resumir características para o estudo como um todo ou dividi-lo por grupo de intervenção.

23 Detalhes: Ambiente Somente coletar esta informação se puder influenciar no efeito ou aplicabilidade da intervenção. O estudo foi feito em diferentes regiões geográficas, com diferenças culturais que poderiam afetar a aplicabilidade de uma intervenção e seus resultados. Dependendo da época do estudo, diferenças tecnológicas podem influenciar tendencias ao longo de tempo, somente coletar se for importante para interpretação da revisão. Critérios diagnósticos usados para definir as condições de interesse pode ser particularmente importante fonte de diversidade entre os estudos e devem ser coletadas.

24 Intervenções Todos os detalhes devem ser coletados para a revisão, principalmente aqueles que podem afetar a presença ou magnitude do efeito, ou que pode ajudar os usuários a avaliar a aplicabilidade. Número total de grupos de intervenções Para cada intervenção e comparação grupo de interesse Intervenção específica Detalhes da intervenção (suficiente para reprodutibilidade, se factível) ** Integridade da intervenção >>

25 Integridade da Intervenção Quando os procedimentos ou componentes da intervenção são implementados como planejado pode ter importantes consequênciaspara os achados do estudo. (Compliance and Fidelity) É importante em revisões de intervenções preventiva e complexas, as quais frequentemente são implantadas em condições que apresentam inúmeros obstáculos. (Dane 1998) Ajuda a determinar se os resultados pouco promissores são devido a intervenção mau elaborada ou componentes de prescrição inadequados.

26 Integridade da Intervenção Se é difícil alcançar a implementação completa da intervenção na prática, o programa terá baixa praticabilidade. (Desenbury 2003) Esse processo de avaliação pode ser uma fonte útil de fatores que potencialmente influenciam a efetividade de uma intervenção.

27 5 aspectos de integridade de programas preventivos descritos por Dane and Schneider (1998) 1. Aderência: na medida em que os componentes da intervenção são executados como prescrito. 2. Exposição: Número, comprimento e frequencia de implementação dos componentes da intervenção. 3. Qualidade da execução: aspectos qualitativos de execução da intervenção que não estão relacionados com a implementação diretamente, tais como: entusiasmo, treinamento dos implementadores, estimativa global de efetividade da sessão e atitude líder em direção a intervenção. 4. Capacidade de resposta do participante: incluem indicadores tais como: nível de participação e entusiasmo 5. Diferenciação do programa: Contra difusão do tratamento, assegura que o sujeito em cada grupo experimental receba apenas as intervenções planejadas.

28 Desfechos Os autores da revisão devem decidir com antecedencia se irão coletar informações (resultados) sobre todos os desfechos medidos no estudo, ou sobre apenas aqueles desfechos (pré-específicados) de interesse na revisão. * Timing *Tempos dos desfechos (i)coletados (ii) reportados Para cada desfecho de interesse Importante incluir: Definição ( método diagnóstico, nome de escala, definição de limiar, tipo de comportamento); Unidade de medida (se relevante) Escalas de medidas: (limites superior e inferior e se a pontuação alta ou baixa é boa, informações sobre validação).

29 Mais Desfechos Desfechos econômicos Cap. 15 Desfechos patient-reported Cap. 17 Desfechos adversos Cap. 14 informações sob qualquer um dos termos: adverse effect, adverse drug reaction, side effect, toxic effect, adverse event e complication pode ser completamente aceitável para extração dos dados quando avaliando o efeito prejudicial de uma intervenção. (mas isso ainda não está claro totalmente, pois o mesmo desfechoadverso pode ser um efeito adverso em alguns estudo e não em outros) Quando não há menção sobre efeito adverso, não significa que ele não ocorreu, é mais seguro assumir que eles não eram apurados ou não registrados.

30 Desfecho de efeito adverso Deve ser registrado sua definição precisa e sua intensidade uma vez que pode variar entre os estudos.

31 Resultados Devem ser coletados apenas para desfechos específicos, descritos no protocolo. Outros desfechos, não deveriam ser coletados, ao menos que modifique o protocolo para acrescentá-los, e esta modificação deveria ser registrada na revisão. O autor da revisão deve estar alerta para a possibilidade de importante e inesperados achados, particularmente para efeitos adversos. Refinamento no protocolo pode ser necessário para facilitar as decisões de quais resultados dever ser extraidos.

32 Resultados Colocar no protocolo, de forma mais específica possível sobre quais medidas de desfechos, time-points e resumo estatístico (i.e. valores finais versus mudanças dos dados iniciais). Fluxograma como recomendado no CONSORT Statement pode ajudar a determinar o fluxo de participantes através do estudo (Moher 2001)

33 Resultados Número de participantes alocados para cada grupo de intervenção Para cada desfecho de interesse: Tamanho da amostra (relevante para cada resultado) *Perda participantes O número exigido para meta-análise, nem sempre está disponível, outras estatísticas podem ser coletadas e convertidas junto a um formato exigido. Resumo dos dados para cada grupo de intervenção (i.e. Tabela 2:2 para dados dicotomicos; média e DP para dados contínuos) **Estimar o efeito com intervalo de confiança; valor de P **Análise subgrupo

34 Diversos Fonte de financiamento (potencial conflito de interesse) Conclusão chave dos estudos incluídos Comentários diversos dos autores dos estudos Referências para outros estudos relevantes Correspondência necessária Comentários diversos pelos autores da revisão.

35

36 Coleta de dados É uma ponteentre o que é registradopelo investigador original e o que é reportadopelo autor da revisão. Várias funções importantes: 1. A forma de coleta dos dados, está diretamente ligada com a revisão e critérios de elegibilidade do estudo. 2. É um registro histórico de um grande número de decisões (e alterações nas decisões). 3. É a fonte para inclusão dos dados em uma análise. Dada a importância da função da coleta dos dados, tempo suficiente e pensamento deve ser investido em seu desenho.

37 Fonte de dados Correspondência com investigadores: contato com investigador original. As vezes é necessária para maiores informações sobre detalhes do estudo e resultados numéricos, e deverá ser considerado em sua revisão. Dados individuais de pacientes: Dados originais da pesquisa podem ser procurados diretamente com pesquisadores responsáveis pelo estudo (dados individuais de pctes = padrão ouro em termos de disponibilidade de dados). Pois podem ser reanalisadoscentralmente e se aproriadocombinado em meta-análise (Cap.18)

38 Forma de coleta de dados Papel Conveniencia e preferencia; Extração dos dados pode ser feita em qualquer lugar; Mais fácil para criar e implementar; Fornece um registro permanente de todas as manipulações e modificações; Simples comparação dos formulários preenchidos por diferentes autores da revisão. Eletrônica Conveniencia e preferencia; Combina a extração e a entrada dos dados, em uma única etapa. Formas podem ser programadas (i.e. usando Access) para conduzir o autor através da coleta de dados. (posicionando questões que dependem de respostas de questões anteriores) Dados mais facilmente armazenados, classificados e recuperados

39 Coleta eletrônica Permite simples conversões no momento da extração (DP para erro padrão; libras para Kg) Rápida comparação dos formulários preenchidos por diferentes autores da revisão. Considerações ambientais. Software: Se o autor planeja desenvolver sua própria forma eletronica usando uma planilha ou programa de base de dados. Algumas recomendações. 1. Uma forma em papel é desenhada 1º. E um piloto usando mais de um autor e vários publicações. 2. A entrada de dados é estruturada de uma maneira lógica com codificação de respostas consistentes e simples. 3. Checar a compatibilidade da produção com o Revman. 4. Mecanismo para registrar, avaliar e corrigir erros de entrada dos dados.

40 Esboçando um formulário de dados Primeiro considerar quantas informações devem ser coletadas. Algumas dicas: 1. Inclua o Título da Revisão, ou um ID único.(pois alguns autores, participam de múltiplas revisões) 2. Inclua a data da revisão ou o número da versão. (reduz as chances de usar uma desatualizado) 3. Registre o nome ou ID da pessoa que está completando o formulário. 4. Deixe espaço para anotações próximo do início do formulário. (isso evita colocação de anotações, questões ou lembretes na última página; anotações importantes podem entrar no RevMan, na coluna Notes na tabela Características dos estudos incluídos ; ou num texto da revisão.

41 Esboçando um formulário de dados 5. Inclua um único ID do estudo e report ID. (isso fornece uma ligação entre múltiplas pulicações do mesmo estudo).esse ID será usado pelo RevMan (geralmente compreende o último nome do 1º. Autor e o ano da 1ª. Referencia do estudo. 6.Incluir a avaliação (ou verificação) de elegibilidade do estudo para a revisão próximo do início do formulário. (Razões para exclusão do estudo pode facilmente ser deduzida de tais avaliações) Ex: Se o EC elegível é verdadeiramente randomizado, uma consulta da coleta de dados no formulário pode ser: Randomizado? Sim, Não, Não claro Ex: Se um estudo usou alocação alternativa, a resposta para a consulta è Não, e voce pode entrar com esta informação, na Tabela Característica dos estudos excluídos, como razão para exclusão. 7. Salientar dados de onde a informação foi coletada, facilita quando feito em uma cópia impressa, ou se a informação foi obtida de fontes não publicadas ou comunicação pessoal. Qualquer informação não publicada que é usada, deveria ser codificada da mesma forma que informação publicada. 8. Assinale a Caixa (tick box) ou as respostas codificadas para ganhar tempo.

42 Esboçando um formulário de dados 9. Inclua opções não registrado ou não claro, ao lado de qualquer reposta sim ou não. 10. Considerar sessões de formatação para coleta dos resultados para combinar com dados da tabela do RevMan. Esses formulários devem ser flexíveis para permitir uma variação de como os dados foram registrados. Fortemente recomendado, que o dado do desfecho seja coletado, no formato em que ele foi registrado (e então transformado em um passo subsequente) 11. Sempre coletar o tamanho da amostra número do início da coleta inicial (randomização), eles podem ser diferentes devido ao número de attrition ou exclusão. 12. Deixe abundância de espaço para anotações.

43 Codificação e explanação É importante fornecer informações detalhadas para todos os autores que irão usar este formulário de coleta de dados. Isso pode ser inserido ao lado ou próximo ao dado do campo (Excel), ou se forem extensos, pode ser em uma página separada. Usar uma codificação padrão é eficiente e facilita a apresentação das características do estudo na revisão

44 Extraindo dados das publicações A forma de coleta dos dados será realizada com a extração dos dados em mente. Busca eletrônica no texto,utilizando facilite in PDF viewers, internet browsers and word processing software, pode fornecer um a ajuda útil. (mas não substitui a leitura do artigo, uma vez que a informação pode ser apresentada usando várias terminologias). Quem deveria extrair os dados? Mais de 1 pessoa, para minimizar o risco de erros e viés, familiariedade com o formulário de extração dos dados.

45 Preparando para extração dos dados Faça um teste piloto com o seu formulário de extração de dados, facilita bastante a inclusão de dados na tabela. (Características dos estudos incluindos e Risco de Viés). EXTRAINDO DADOS DE MÚLTIPLAS PUBLICAÇÕES DO MESMO ESTUDO Os estudos podem ser reportados em mais de uma publicação, recolher todas estas informações, não é aconselhável descartar nenhuma publicação uma vez que possa conter informações valiosas, não disponíveis na 1. Publicação.

46 Extraindo dados de múltiplas publicações O autor da revisão irá decidir entre 2 estratégias: Extrair os dados de cada publicação separadamente, e combinar informações através de múltiplos formulários de coleta de dados. Extrair dados de todas as publicações diretamente junto a um único formulário de coleta. Fluxograma com dados de participantes do estudo pode ser útil, ao coletar dados de múltiplas publicações

47 Confiabilidade e Consenso Qualquer discordância entre os revisores durante a extração dos dados, deve tentar chegar a um acordo, as vezes um árbitro é necessário, quando não resolvido, tenta-se o contato com o autor do estudo, se não sanada a discordância, deve ser colocada na revisão. Manter uma cópia do formulário de dados como extraído (além dos dados de consenso) permite a avaliação da confiabilidade. Use um autor (do paper) no formulário de coleta de dados e registre mudanças depois de consenso com uma cor caneta diferente Use um formulário separado para dados de consenso. Inserir dados de concenso sobre uma forma eletrônica. (para os dados mais importante como: avaliação risco de viés e disponibilidade de desfechos chaves)

48 Seção: Métodos (detalhar) As categorias dos dados a serem coletados (dicotômico, continuo...); Como a verificação da extração dos dados de cada publicação será verificada (extração por 2 autores, independentemente); Se a extração dos dados é feita por experts na área, metodologistas, ou ambos; Treinar a codificação dos códigos no formulário de coleta dos dados; Quantos dados foram extraidos da mesma publicação e; Quantas discordâncias foram manuseadas e se mais de um autor extraiu os dados da publicação.

49 Extraindo resultados do estudo e convertendo para o formato desejado. É desejável coletar um resumo de dados separadamente para cada grupo de intervenção e colocar no RevMan, onde o efeito estimado pode ser calculado. EXTRAÇÃO DE DADOS PARA DESFECHOS DICOTÔMICOS Dados exigidos: As vezes o número de participantes e número de eventos não estão disponíveis, mas um efeito estimado como um odds ratio ou risk ratio pode ser registrado (resumo congresso) e tais dados podem ser incluídos em uma meta-análise usando um método inverso de variância inversa, somente se acompanhados de medidas de incerteza como: erro padrão, intervalo de confiança 95% ou valor P exato. Proporção, Taxa, Frequência.

50 Extraindo resultados:dados Dicotômicos Variável Tempo Grupo Experimental Grupo Controle Observados Total Observados Total Tempo de mensuração do desfecho

51 Extração de dados para desfechos contínuos O autor da revisão deveria procurar qual o desfecho medido em cada grupo de intervenção; Valor médio (M E e M C ). Se os desfechos com escalas iguais. (Se for escalas diferentes: média padronizada) Desvio padrão (SD E e SD C ) Número de participantes (N E e N C ) As publicações variam muito na forma de apresentar os dados, e muitas vezes mostram de uma forma resumida. Cuidado com as terminologias erro padrão e desvio padrão. As vezes alguns dados estão disponíveis em conference abstract. Uma característica comum (dados contínuos): avaliar o desfecho de cada participante com relação aos valores iniciais (change for baseline).também conhecido por change score. **Não foque nestes resutados, ao menos que o estudo analisado só utilizou este método.

52 Extração de dados: Desfechos contínuos Um problema com este tipo de extração: as vezes o número de participantes pode ser diferente.(baseline dados finais); (missed visits, study withdrawals) Variável Tempo Grupo Experimental Grupo Controle N Média DP N Média DP N = tamanho da amostra; DP = desvio padrão

53 Transformação de dados enviesados As vezes é necessário fazer uma transformação dos dados brutos para apresentá-los em um resumo estatístico. Existem vários métodos que permitem fazer o cálculo do DP, mas se nenhum deles for capaz de encontrá -lo, o autor da revisão pode ser forçado a preencher dados faltosos, ou excluir o estudo da metaanálise.

54 COMBINANDO GRUPOS As vezes é desejável combinar 2 subgrupos, em um único grupo. Ex: Se um estudo apresenta tamanho de amostra, média e DP, separadamente para homens e mulheres em cada grupo de intervenção. Existem fórmulas específicas para isso. EXTRAÇÃO DE DADOS PARA DESFECHOS ORDINAIS Pensar em como serão tratados estes dados (a escala ordinal será dicotomizada, tratada como desfecho contínuo, ou tratado diretamente como um dado ordinal) isso irá depender de como o autor do estudo analisou seus dados.

55 Title of systematic review ID ACTION METHODS RANDO. PROCED. ALLOCATION BLINDENESS DURATION DESIGN MULTICENTRE ANALYSIS PARTICIPANTS N SETTING AGE SEX DIAGNOSIS CRITERIA: HISTORY INTERVENTIONS INTERVENTION DOSE N OUTCOMES NOTES..

56 Andrea Kayo