Índices de impacto em comunicação científica: usos e limitações

Transcrição

1 Índices de impacto em comunicação científica: usos e limitações Dr. Lilian N. Calò Comunicação Científica em Saúde BIREME/OPAS/OMS calolili@paho.org Instituto Adolpho Lutz - Secretaria da Saúde Governo do Estado de São Paulo Julho / 2017

2 Fonte: Nature 544 (7651), 411, 2017 doi: /544411a Illustration by David Parkins

3 Avaliação da Produção Científica É importante avaliar a produção científica para traduzir os resultados de pesquisa em programas e políticas públicas e saber o que é relevante; Indicadores de impacto científico: Fator de Impacto SCImago Journal Rank Eigenfactor/Article Influence Indice h Medidas de uso e download Altmetrics Indexação em bases de dados regionais e internacionais: LILACS, Scopus, SciELO, MEDLINE, Web of Science/JCR; Redes sociais na avaliação de impacto

4 Fator de Impacto Utiliza a base Web of Science (Clarivate Analytics) FI = Citações recebidas / numero de artigos por intervalo de tempo É calculado em base a 2 ou 5 anos para efeito de comparação de áreas com distintos parâmetros de citação Por exemplo, FI de NEJM em 2008: Citações recebidas em 2008 a artigos publicados em 2007 e 2008: Artigos publicados em 2007 e 2006: 646 Resultado: /646 = 50,017 = Fator de Impacto do NEMJ Críticas ao FI: É impreciso, pois o que conta no numerador não é levado em conta no denominador; Existem artifícios para aumentar o FI de periódicos, como artigos de revisão, editoriais de impacto que serão muito citados e outros; Disponível em uma base de dados de acesso restrito (pago) disponível através do Portal Capes Por que é tão popular? Por ter sido o pioneiro, por ser simples de calcular Limitações: San Francisco Declaration on Research Assessment, Manifesto de Leiden

5 SCImago Journal Rank SCImago Journal Rank é uma medida de impacto científico das revistas acadêmicas que representa o número de citações recebidas por uma revista e a importância ou prestigio das revistas de onde tais citações provem; Utiliza a base de dados Scopus (criada em 2004, registra dados desde 1997) e acumula citações em 3 anos; Utiliza o algoritmo PageRank, utilizado pelo Google para ordenar as páginas mais visitadas em uma busca; É um indicador independente de tamanho e seus valores ordenam os periódicos pelo seu "prestigio médio por artigo" e pode ser utilizado para comparações de revistas nos processos de avaliação em ciências; Disponível em uma base de dados em acesso aberto, apesar da base Scopus depender de assinatura.

6 Fonte: Rocha e Silva, M. SciELO - II Seminário de Avaliação do Desempenho dos Periódicos Brasileiros no JCR 2010

7 Eigenfactor Eigenfactor utiliza mesmo algoritmo PageRank do classificador de páginas do Google; O sistema de classificação de periódicos utilizando Eigenfactor leva em conta a diferença de prestigio entre os periódicos que citam; Eigenfactor também se ajusta para diferenças de padrões de citação entre disciplinas, permitindo comparar desempenhos entre elas utilizando o mesmo índice. Baseia nas citações recebidas em um período de cinco anos. Outra particularidade de Eigenfactor: diferente do fator de impacto, unifica e contabiliza citações em revistas nos campos de ciências e ciências sociais; Elimina autocitações. São descontadas cada referencia de um artigo em uma revista a outro artigo da mesma revista. Utiliza a base de dados Web of Science. O cálculo matemático foi idealizado de forma que a soma de Eigenfactor de todos os periódicos indexados no JCR seja igual a 100. O índice Eigenfactor se encontra disponível em acesso aberto ( e também na Web of Science

8 Article Influence O Article Influence de um determinado periódico é a medida do prestigio deste periódico por artigo. É calculado por meio da divisão do Eigenfactor pela fração de artigos publicados pelo periódico. Esta fração se normaliza, para que a soma total de artigos em todos os periódicos seja igual a 1; Assim, enquanto o Eigenfactor leva em conta toda a rede de citações recebidas nos últimos cinco anos por todos os artigos do periódico, Article Influence é uma medida do prestigio deste periódico tendo por base as citações por artigo; O valor médio do Article Influence é igual a Valores maiores que 1 indicam que cada artigo no periódico exerce una influencia acima da media e valores menores que 1 indicam que cada artigo do periódico em questão exerce influencia abaixo da media; O índice Article Influence encontra-se disponível em acesso aberto e também na Web of Science.

9

10 Índice h Idealizado pelo físico norte-americano J.E. Hirsch (2005) Proc. Natl. Acad. Sci. USA vol. 102 (46) ; É um índice para quantificar a produtividade científica de um pesquisador, departamento ou instituição; Índice h é definido como o número de publicações com citações > h; Este índice normaliza as diferentes áreas de conhecimento; Um autor com 20 publicações com 20 citações cada tem um índice h igual a 20. É possível calcular o índice h de una revista. Uma publicação tem índice h 50 se tiver 50 artigos com 50 citações cada.

11

12 Bases de Dados Permitem organizar e catalogar as revistas; Realizar buscas por assunto, autor, periódico, palavraschave; Sua função primordial é separar os periódicos tendo como critério a qualidade dos artigos publicados; 31 anos Os critérios variam pouco entre as varias bases regionais e internacionais; Para que sejam mais representativas, as bases não devem indexar a totalidade dos periódicos, e sim os mais representativos.

13 Lei de Bradford/Lei de Pareto Um número relativamente pequeno de revistas de cada especialidade publica a maior parte dos resultados científicos significativos; Cerca de revistas correspondem a 85% dos artigos publicados e 95% dos artigos citados Esta fração de periódicos não é fixa, uma constante reavaliação e indexação de novas revistas é necessária.

14 Comparação entre critérios de Bases de Dados

15 Influencia da área de pesquisa nas citações recebidas Fonte: Halevi G, Moed HF. Ten years of research impact: top cited papers in Scopus Research Trends 38, Available from:

16 Fontes: Avaliação Qualis-CAPES

17 FI 2016* *publicado em jun/2017

18 Revista de Saúde Pública FSP-USP FI (JCR, WoS) = SJR = 0.58 Citações/doc (SJR) = 0.86 Índice h = 52 (h5 = 33) Estratos Qualis-CAPES:

19 Redes Sociais na Comunicação Científica Rede social é uma estrutura social compota por atores (indivíduos ou organizações) e as ligações entre estes atores. A perspectiva da rede social fornece uma forma simples de analisar a estrutura de entidades sociais inteiras Fonte: Rede social. Wikipedia.

20 Redes sociais e comunicação científica Pesquisadores estão expostos à quantidades crescentes de informação científica publicada Redes sociais podem ser usadas para selecionar informação relevante como filtros de conteúdo Redes sociais estão sendo usadas para recomendar, compartilhar e avaliar artigos e outros conteúdos científicos expondo à sociedade discussões antes restritas à comunidade científica As redes sociais promovem interação entre todos os atores envolvidos na comunicação científica: casas editoriais, editores, autores, leitores, e pareceristas, levando à ações cooperativas

21

22 Redes sociais como ferramenta na comunicação científica Redes sociais oferecem novas perspectivas para medir impacto científico Redes sociais fornecem novas possibilidades na comunicação científica criando formas de disseminação de conteúdos que catalisam o processo de publicação e avaliação Redes sociais aproximam a ciência de seu público-alvo encorajando a publicação em acesso aberto e traduzindo conteúdos complexos para o público leigo As redes sociais encorajam a construção de novas redes e unem pesquisadores, editores, estudantes e instituições acadêmicas.

23 Redes Sociais e impacto científico Métricas existentes baseadas em citações tem limitações conhecidas Menos da metade dos artigos acadêmicos publicados são citados uma vez ou mais, ou seja, quando discutimos citação como referência para o uso do artigo, invariavelmente deixamos de lado pelo menos metade da pesquisa que é feita no mundo (Entrevista com Atila Iamarino. SciELO em Perspectiva. Redes sociais podem ser usadas para prever impacto científico. Por ex. Tweets podem antecipar se um artigo será altamente citado depois de três dias de sua publicação Altmetric indica o impacto de um artigo com base em sua disseminação em redes sociais; indicador é atualizado constantemente

24 Ainda falta considerar É possível (e necessário) normalizar de métricas de citação. Elas dependem, entre outras variáveis, de: Área do conhecimento Idade da publicação, Tipo de documento Cobertura da base de dados Dos motivos para citar publicações em artigos O trabalho mais citado de um pesquisador é seu melhor trabalho? Possivelmente sim, mas há inúmeras variáveis que sugerem que é necessário recorrer a outros índices além das métricas baseadas em citações para complementar a avaliação da ciência.

25 "Deveria causar surpresa o fato de que o uso de um indicador torne elegível um ou outro autor pelo fato de que tenha publicado em um periódico de mais alto FI, de que é mais importante saber onde ele publicou do que ler seu trabalho Antonio Augusto P. Videira, Professor Adjunto de Filosofia da Ciência da UFRJ Fonte: Videira AAP. Declaração recomenda eliminar o uso do Fator de Impacto na avaliação de pesquisa. Estudos de CTS. Disponível em: ttps://estudosdects.wordpress.com/2013/07/29/declaracaorecomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa/