II Congresso Brasileiro da ABECiPsi: A produção científica como resistência às políticas de desmonte CURSO: REVISÃO SISTEMÁTICA DE LITERATURA Luciana Mourão Professora do PPG em Psicologia Universidade Salgado de Oliveira Abril de 2019
Importância das Revisões de Literatura O volume da produção científica tem se expandido rapidamente. O fazer ciência requer atualização cada vez mais constante. O conhecimento do estado da arte nas temáticas que se deseja pesquisar é imprescindível para definir os objetivos de pesquisa e para realizar análises críticas. Revisões de qualidade permitem que os pesquisadores ofereçam contribuições mais relevantes à comunidade científica.
Objetivos Apresentar as principais características, vantagens e etapas da revisão sistemática e compará-la com outros tipos de revisão de literatura.
Objetivos
Tipos de Revisão de Literatura Revisão narrativa ou tradicional Revisão integrativa Revisões de literatura Revisão bibliométrica Metanálise Revisão sistemática
Tipos de Revisão de Literatura Revisão narrativa ou tradicional É uma revisão em que a busca pelos estudos, em geral, não é ampla e a seleção dos estudos depende das escolhas subjetivas do pesquisador. O critério para a busca e a análise crítica das evidências não é sistemático (e algumas vezes nem é explicitado). Apresenta maior risco de viés, tanto na seleção dos artigos, quanto na interpretação das informações. É mais usada quando se quer integrar diversas temáticas em vez de estudar um tema específico. Pode ser útil como etapa inicial para aproximação com temas de pesquisa.
Tipos de Revisão de Literatura Revisão sistemática Na área da saúde, geralmente, são incluídos apenas estudos experimentais. É um método utilizado para responder a uma pergunta ou problema de pesquisa específico. Compreende uma síntese rigorosa de todas as pesquisas relacionadas à pergunta específica que se pretende responder. Adota rigor metodológico com critérios estabelecidos a priori para a seleção e a análise dos estudos incluídos. São desenhadas para serem metódicas, explícitas e passíveis de reprodução. Considera apenas estudos empíricos e busca avaliar a qualidade dos mesmos para decidir se serão ou não incluídos na revisão de literatura.
Diferenças entre Revisão Narrativa e Revisão Sistemática Itens Revisão Narrativa Revisão Sistemática Questão Ampla ou inexistente Específica Fonte Nem sempre especificada Fontes abrangentes com estratégia de busca explícita Seleção Sem critérios claros Baseada em critérios aplicados uniformemente Análise Subjetiva Criteriosa e reprodutível Inferências Baseadas em estudos diversos Baseada em estudos criteriosamente selecionados e avaliados Fonte: Adaptado de Rother, E. T. (2007). Revisão sistemática X revisão narrativa. Acta paulista de enfermagem, 20(2), v-vi
Tipos de Revisão de Literatura Revisão bibliométrica Aplica métodos estatísticos para analisar e construir indicadores sobre a dinâmica e evolução da informação científica em determinado tema (biblioteconomia + ciência da informação cienciometria) A proposta é quantificar os processos de comunicação escrita sobre determinado tema. Tem abrangência multidisciplinar e permite trabalhar com um conjunto de indicadores advindos das publicações. Sem indicadores, ela pode ser confundida com uma pesquisa bibliográfica tradicional. Baseia-se em informações obtidas de grandes bases de dados (Web of Science, Scopus, GoogleScholar), com softwares de busca específicos (Publish or Perish). A ausência da análise quantitativa descaracteriza a pesquisa bibliométrica.
Tipos de Revisão de Literatura Revisão bibliométrica Indicadores usados Lei de Lotka Investiga as distribuições de frequência da autoria de artigos de determinado tema/área Lei de Bradford Investiga as distribuições de frequência do número de artigos publicados por periódicos de determinado tema/área Lei de Zipf Investiga as distribuições de frequência do vocabulário de textos de determinado tema/área Fonte: Soares, S., Picolli, I., & Casagrande, J. (2018). Pesquisa Bibliográfica, Pesquisa Bibliométrica, Artigo de Revisão e Ensaio Teórico em Administração e Contabilidade. Administração: Ensino e Pesquisa, 19(2), 308-339.
Tipos de Revisão de Literatura Revisão bibliométrica Indicadores usados Indicador Número de publicações Número de coautores Número de citações Número de cocitações ou copublicações* Índice de afinidade* Foco da investigação Volume de publicações por autor, revista, instituição ou tema Dinâmica do volume de pesquisa realizada de forma colaborativa Impacto dos artigos, dos periódicos e dos pesquisadores Cooperação entre representantes de instituições e países (rede científica) Taxa relativa de trocas científicas (entre países, instituições) por meio de citações * Indicadores de laços científicos (influência de redes entre comunidades científicas)
Tipos de Revisão de Literatura Revisão integrativa É um método de pesquisa que permite a busca, a avaliação crítica e a síntese da literatura sobre determinado tema. Dentre os métodos de revisão de literatura, a revisão integrativa é o mais amplo, porque permite a inclusão de estudos teóricos e empíricos. Não parte de uma pergunta específica porque seu objetivo consiste em mapear o estado atual do conhecimento do tema investigado. É usada para reunir e sintetizar a literatura sobre um tema, de forma abrangente, sistemática e ordenada. Permite identificar lacunas na literatura que direcionam o desenvolvimento de pesquisas futuras.
Tipos de Revisão de Literatura Metanálise Revisões sistemáticas com metanálise são a principal diretriz para orientar as práticas de saúde baseadas em evidências. É uma revisão sistemática da literatura que inclui uma técnica estatística desenvolvida para integrar os resultados de vários estudos independentes sobre uma mesma questão de pesquisa. Baseia-se na ideia de que a combinação dos dados de diferentes estudos é mais apropriada do que a observação de alguns trabalhos isolados. A síntese produzida por uma metanálise é ponderada, com pesos diferentes para cada estudo primário incluído na pesquisa. A metanálise é uma análise de análises anteriores... que busca ponderar e integrar os achados de vários estudos.
Tipos de Revisão de Literatura Revisão narrativa Revisão sistemática Metanálise Revisão bibliométrica Revisão integrativa É uma revisão que nãoadota critério explícito e sistemático para a busca e a análise crítica dos estudos investigados É uma revisão criteriosa da literatura utilizada para responder a uma pergunta específica de pesquisa É uma revisão focada em uma pergunta de pesquisa que analisa, de forma estatística, dados de estudos anteriores É uma revisão baseada em indicadores quantitativos de grandes bases de dados para analisar a dinâmica e a evolução de determinado tema É uma ampla revisão para mapear o estado atual do conhecimento em determinado tema, incluindo estudos teóricos e empíricos
Objetivos
Etapas da Revisão Sistemática Planejamento Seleção e Organização Análise e Relato 1) Formulação da pergunta de pesquisa 4) Identificação das referências primárias 7) Definição das categorias de análise 2) Definição do protocolo de seleção (inclusão) 3) Definição do protocolo de análise (exclusão) 5) Seleção das referências primárias 6) Organização da base de referências a ser analisada 8) Descrição e análise de cada categoria 9) Resposta à pergunta de pesquisa e discussão dos resultados obtidos
Etapas da Revisão Sistemática 1) Formular a pergunta A pergunta de pesquisa precisa ser formulada com clareza e precisão Ela deve explicitar o problema de pesquisa e a justificativa de sua relevância A pergunta de pesquisa deve nortear a seleção dos estudos, a coleta de dados e também a etapa de análise.
Etapas da Revisão Sistemática 2) Definir protocolo de seleção Compreende os critérios de inclusão dos estudos primários. A qualidade de uma revisão sistemática depende da qualidade dos estudos incluídos. Deve informar e justificar: os termos definidos para a busca; as bases a serem consultadas; a data da pesquisa e o lapso temporal coberto; os idiomas a serem abrangidos; os tipos de documentos contemplados (artigos, teses, anais, etc.).
Etapas da Revisão Sistemática 3) Definir protocolo de análise Compreende os critérios de exclusão dos estudos primários. Deve informar: Critérios de avaliação da qualidade dos estudos Processo de solução para discordâncias entre os revisores Métodos de extração de dados (o que deve ser extraído e como deve ser feito o registro)
Etapas da Revisão Sistemática 4) Identificar as referências primárias Usar comandos booleanos para as buscas: - (*) no radical da palavra para plural/singular, diferenças de gênero e palavras derivadas do mesmo radical; - AND para adicionar um termo; - OR quando a palavra pode ser escrita de mais de uma maneira; - NOT quando quiser excluir um termo da busca. É importante explorar traduções, variações e combinações de palavras.
Etapas da Revisão Sistemática 4) Identificar as referências primárias Realizar os descartes iniciais (documentos repetidos ou que não atendem as critérios especificados). Ao obter o conjunto das referências, é necessário verificar se o protocolo de seleção foi adequado ou se causou viés que pode influenciar os resultados. Verificar se a pesquisa foi suficiente ou se deve ser alterado o protocolo de seleção (abrangência temporal, idiomas, termos utilizados etc.). Os estudos que não preencherem os critérios de seleção devem ser citados e descritas as razões da não inclusão.
Etapas da Revisão Sistemática 5) Selecionar as referências primárias São aplicados procedimentos de filtragem e eliminação: trabalhos em duplicata; trabalhos apresentados em conferências; livros e capítulos de livros; trabalhos cujo conteúdo não se relaciona ao tema pesquisado, apesar de conter as palavras-chave. Os estudos que excluídos devem ser citados e descritas as razões da exclusão.
Etapas da Revisão Sistemática 5) Selecionar as referências primárias A análise das referências inicialmente selecionadas deve ser feita com o apoio de formulários, desenvolvidos pelos revisores. Os revisores devem aplicar os formulários para cada estudo primário que foi incluído. A concordância entre os revisores pode ser avaliada concomitantemente (análise consensual) ou posteriormente (juízes independentes).
Etapas da Revisão Sistemática 6) Organizar a base de dados É preciso organizar e sumarizar os resultados dos estudos primários em forma de resumos ou tabelas. As tabelas têm a vantagem de permitir o uso de filtros, bem como de análises verticais (por aspecto analisado) e horizontais (por estudo incluído). As tabelas também facilitam a análise de semelhança ou heterogeneidade dos estudos. Os estudos devem receber pesos diferenciados na análise (Ex.: uma metanálise tem mais valor que um estudo único e um experimento é mais sólido que um estudo correlacional).
Etapas da Revisão Sistemática Resumo das etapas de seleção e organização Selecionados (n = 55) Estudos identificados (n = 95) Não selecionados (n = 40) Incluídos (n = 47) Não incluídos (n = 8) Composição do banco de dados (n = 47)
Etapas da Revisão Sistemática 7) Definir as categorias de análise Nesta etapa os resultados dos estudos devem ser consistentemente sintetizados em categorias de análise. As categorias de análise podem ser definidas a priori (a partir de um modelo teórico) ou a posteriori (a partir da análise de conteúdo). Quanto mais homogêneos os resultados, mais consistente se tornam os achados da revisão de literatura. Quando os resultados dos estudos são muito diferentes a análise deve priorizar as razões desta dispersão.
Etapas da Revisão Sistemática 8) Descrever e analisar cada categoria Para além de organizar os achados em categorias de análise, é preciso descrever essas categorias e interpretálas, de forma a apresentar conclusões relevantes para o leitor. Também é importante discutir das contribuições teóricas advindas da revisão realizada e a aplicabilidade prática dos resultados. Sempre que possível, é interessante apresentar uma avaliação dos resultados que seja simultaneamente quantitativa e qualitativa.
Etapas da Revisão Sistemática 9) Responder à pergunta de pesquisa A discussão da revisão sistemática deve ser feita considerando a pergunta de pesquisa e buscando respondê-la. É preciso apontar de forma clara as conclusões que podem ser obtidas com a referida revisão e também as limitações que ela apresenta. É imprescindível que na conclusão sejam apontadas as lacunas identificadas na literatura e que sejam sugeridos novos estudos que permitam avançar o conhecimento naquela temática.
Síntese do que informar na Revisão Sistemática Pergunta de pesquisa Critérios claros (escolhas justificadas) Resultados encontrados Relevância Modelo teórico de suporte Data da pesquisa Bases selecionadas Palavras-chave (termos) utilizadas (e idiomas cobertos) Período de tempo coberto Critérios de inclusão e exclusão das referências Processo de análise (quem participou e os critérios usados) Categorias de análise Conclusões (resposta à pergunta de pesquisa) Limitações da revisão Lacunas na literatura Agenda de pesquisa
Methodi Ordinatio: identificação e seleção de referências O Methodi Ordinatio é uma nova proposta de metodologia para selecionar e ranquear os artigos mais relevantes para uma revisão sistemática. É uma metodologia multicritério de tomada de decisão que permite selecionar os artigos científicos considerando: a atualidade (ano da publicação); a relevância da publicação (número de citações do artigo); o reconhecimento do periódico (fator de impacto da revista). Demanda saber usar bases de dados (Emerald, Scopus), gerenciadores de referências (Mendeley, EndNotes) e planilhas (Excel).
Methodi Ordinatio: identificação e seleção de referências São propostas nove etapas: 1) Definição da intenção de pesquisa 2) Pesquisa preliminar exploratória nas bases de dados 3) Definição das palavras-chave, das bases de dados e da abrangência temporal 4) Busca nas bases de dados e coleta 5) Procedimentos de filtragem 6) Identificação do fator de impacto e número de citações 7) Ordenação da relevância científica dos artigos pelo InOrdinatio 8) Download dos artigos (PDF) 9) Leitura sistemática e análise dos artigos
Methodi Ordinatio: identificação e seleção de referências Como operacionalizar esse método: Criar uma planilha Excel para os artigos com as seguintes colunas: fator de impacto; número de citações; ano da publicação. Ordenar os artigos por meio da equação InOrdinatio: InOrdinatio = (Fi / 1000) + (α*(10 -(AnoPesq AnoPub)))+ (Ci) Onde: Fi = Fator de impacto α = Peso atribuído ao ano da publicação (atualidade do artigo) AnoPesq = Ano em que a pesquisa está sendo desenvolvida AnoPub = Ano da publicação dos artigos Ci = Número de Citações
Methodi Ordinatio: identificação e seleção de referências Entendendo a fórmula: O α corresponde ao peso que o pesquisador atribui ao critério da atualidade. Esse valor varia de 1 a 10, e quanto mais alto, maior o peso atribuído ao ano da publicação. Esse cálculo relativiza o número de citações, pois artigos mais novos costumam ser menos citados. InOrdinatio = (Fi / 1000) + (α*(10 -(AnoPesq AnoPub)))+ (Ci) O fator de impacto do periódico é dividido por mil para normalizar o seu valor, considerando os demais valores da fórmula. O número de citações do artigo é um indicador da relevância do mesmo.
Methodi Ordinatio: identificação e seleção de referências Vantagens do método: Adota o fator de impacto do periódico conta com uma avaliação prévia dos editore e pareceristas do periódico (Lógica subjacente: quanto maior o impacto, mais rigorosa a avaliação dos estudos publicados). Leva em conta a atualidade da publicação, permite uma leitura mais objetiva do estado da arte naquele determinado assunto. Considera o número de citações do artigo, que é um indicador da relevância do estudo. É um método mais rápido e objetivo de selecionar artigos para compor um portfólio bibliográfico para a revisão de literatura.
Processo de Produção da Revisão Sistemática Análise dos resultados Relato dos resultados Deve ser criteriosa, preferencialmente baseada em um modelo teóricoque ofereça suporte à pergunta de pesquisa Deve necessariamente retomar a pergunta de pesquisa e buscar respondê-la de forma crítica, apontando as lacunas da literatura
Processo de Produção da Revisão Sistemática Em síntese, como deveria ser uma revisão sistemática... Planejamento Pergunta de pesquisa Seleção e Organização Análise e Relato
Processo de Produção da Revisão Sistemática Mas o que costumamos ver em muitas revisões nacionais? Planejamento Pesquisadores estabelecem bem os critérios de busca Pergunta de pesquisa Seleção e Organização Análise e Relato
Processo de Produção da Revisão Sistemática Mas o que costumamos ver em muitas revisões nacionais? Normalmente se cumpre os critérios de busca, mas começa a se perder nas análises Planejamento Pergunta de pesquisa Seleção e Organização Análise e Relato
Processo de Produção da Revisão Sistemática Mas o que costumamos ver em muitas revisões nacionais? Planejamento Pergunta de pesquisa Raramente, se tem uma real resposta à pergunta de pesquisa com uma análise crítica dos achados da revisão Seleção e Organização Análise e Relato
Processo de Produção da Revisão Sistemática O que costumamos ver em muitas revisões nacionais? A pergunta de pesquisa, contudo, nem sempre está presente (e ela deveria ser o norteador de todo o processo...). Normalmente, os critérios de seleção dos estudos (bases selecionadas, palavras-chave utilizadas, período de tempo coberto) são corretamente descritos. Os critérios de descarte inicial também costumam ser relatados (trabalhos duplicados, tipos de documento inseridos, etc.) Mas os critérios de elegibilidade dos estudos que permanecem na revisão e os critérios de análise nem sempre são claros.
Processo de Produção da Revisão Sistemática O que costumamos ver em muitas revisões nacionais? Raramente é especificado: como foi feita a categorização dos achados; quantos pesquisadores trabalharam na análise; se os pesquisadores atuaram de forma independente com posterior confronto de resultados ou atuaram de forma dialógica durante o processo; se as categorias de análise foram estabelecidas a priori ou a posteriori; se houve avaliação de juízes para além dos pesquisadores envolvidos no estudo?
Desafios para as revistas Publicar boas revisões de literatura... Perguntas importantes para decidir sobre a publicação: Essa temática carece de uma revisão de literatura? A pergunta de pesquisa interessa ao leitor frequente deste periódico? O manuscrito apresenta todas as informações esperadas de uma revisão sistemática? Os autores foram rigorosos no uso do método científico? Há uma contribuição realmente relevante no estudo? A dificuldade de obter revisões de qualidade levou alguns periódicos a optarem para que publicações nessa modalidade ocorram somente a convite dos editores...
Desafios para os pesquisadores Publicar boas revisões de literatura... Perguntas importantes para decidir se vale a pena tentar uma publicação: Essa temática carece de uma revisão de literatura? A pergunta de pesquisa interessa apenas para a minha pesquisa ou para a comunidade científica que estuda o tema? Qual o tipo de revisão (sistemática com ou sem metanálise, bibliométrica, integrativa) mais indicada para este tema/pergunta de pesquisa? Consigo dar uma contribuição realmente relevante com essa revisão de literatura? A que periódico eu poderia submeter a revisão (que aceite uma submissão espontânea e não a convite)?
Algumas referências Atallah, A. N., & Castro, A. A. (1998). Revisão sistemática da literatura e metanálise. Medicina baseada em evidências: fundamentos da pesquisa clínica. São Paulo: Lemos-Editorial, 42-8. Ercole, F. F., Melo, L. S. D., & Alcoforado, C. L. G. C. (2014). Revisão integrativa versus revisão sistemática. Revista Mineira de Enfermagem, 18(1), 9-12. Figueiredo Filho, D. B., Paranhos, R., da Silva Júnior, J. A., da Rocha, E. C., & Alves, D. P. (2014). O que é, para que serve e como se faz uma meta-análise?. Teoria & Pesquisa: Revista de Ciência Política, 23(2). Galvão, T. F., & Pereira, M. G. (2014). Revisões sistemáticas da literatura: passos para sua elaboração. Epidemiologia e Serviços de Saúde, 23, 183-184. Galvão, T. F., & Pereira, M. G. (2015). Redação, publicação e avaliação da qualidade da revisão sistemática. Epidemiologia e Serviços de Saúde, 24, 333-334. Mendes, K. D. S., Silveira, R. C. D. C. P., & Galvão, C. M. (2008). Revisão integrativa: método de pesquisa para a incorporação de evidências na saúde e na enfermagem. Texto & Contexto Enfermagem, 17(4), 758-764. Monteiro, R. N. M. (2010). Metodologias de meta-análise aplicadas nas Ciências da Saúde (Tese de doutorado). Universidade da Beira Interior, Covilhã, Portugal. Pagani, R. N., Kovaleski, J. L., & Resende, L. M. (2015). Methodi Ordinatio: a proposed methodology to select and rank relevant scientific papers encompassing the impact factor, number of citation, and year of publication. Scientometrics, 105(3), 2109-2135.
Algumas referências Pagani, R., Kovaleski, J., & Resende, L. (2018). Avanços na composição da Methodi Ordinatio para revisão sistemática de literatura. Ciência da Informação, 46(2). Pereira, M. G., & Galvão, T. F. (2014). Extração, avaliação da qualidade e síntese dos dados para revisão sistemática. Epidemiologia e Serviços de Saúde, 23, 577-578. Rother, E. T. (2007). Revisão sistemática X revisão narrativa. Acta Paulista de Enfermagem, 20(2), v-vi. Sampaio, R.F. (2007). Estudos de revisão sistemática: um guia para síntese criteriosa da evidência científica. Revista Brasileira de Fisioterapia, 11(1), 83-89. Santos, E. J. F. D., Ferreira, R. J. O., & Marques, A. A. (2016). Como Realizar e Interpretar uma Meta- Análise em Rede para Comparações Indiretas e Mistas: Estratégias Metodológicas Fundamentais. Revista de Enfermagem Referência, 8, 133-140. Santos, E. J. F., & Cunha, M. (2013). Interpretação crítica dos resultados estatísticos de uma meta-análise: Estratégias metodológicas. Millenium, (44), 85-89. Soares, S. V., Picolli, I. R. A., & Casagrande, J. L. (2018). Pesquisa Bibliográfica, Pesquisa Bibliométrica, Artigo de Revisão e Ensaio Teórico em Administração e Contabilidade. Administração: Ensino e Pesquisa, 19(2), 1-19. Souza, M. T., da Silva, M. D., & de Carvalho, R. (2010). Revisão integrativa: o que é e como fazer. Einstein, 8(1 Pt 1), 102-6.