Novas Métricas Alternativas na Investigação Científica.

Transcrição

1 Novas Métricas Alternativas na Investigação Científica Helena Donato

2 Sumário 1. Autoria 2. Bibliometria 3. Métricas de Avaliação Tradicionais Complementares / Altmetrics 4. Divulgação e Promoção na Publicação

3 Porque importa a Autoria? Publish or Perish métrica de sucesso académico e profissional Autoria confere crédito tem importantes implicações académicas, sociais e financeiras Também implica responsabilidade e responsabilização pelo trabalho publicado

4 Autores são todos que 1. Têm uma contribuição intelectual substancial directa no desenho e elaboração do artigo; ou participam na análise e interpretação dos dados 2. Participam na escrita do rascunho do manuscrito; ou na revisão crítica do conteúdo 3. Aprovam a versão final a ser publicada 4. Concordam que são responsáveis pela exactidão e integridade de todo o trabalho

5 Ordem dos Autores 1. Sequência determina crédito sequência dos autores reflecte a importância das contribuições numa ordem descendente 1º autor o que mais contribui, último o que menos contribuiu 2. Ordem alfabética a melhor quando todos contribuíram de forma muito similar equal contributions 3. Destaca a importância do 1º do último autor firstlast-author- emphasis 4. Indicação percentual da contribuição Percent contribution indicated

6 Declaração da Contribuição Revistas exigem que cada manuscrito submetido tenha Contributorship Statement Declaração das contribuições individuais assinada por cada autor Finalidade divulgação da contribuição de cada autor; autores assumem publicamente a responsabilidade pelo conteúdo do artigo

7 O Que Estão a Fazer as Revistas?

8 Igual Autoria Aqueles que contribuíram igualmente para o estudo Dar aos autores igual crédito

9

10 Igual Autoria Co-first authors ; equal contributors ; joint first authors

11 Quem Não é Autor Só garantiram o financiamento Só realizaram testes ou recolheram dados Só forneceram supervisão geral Prestaram assistência na escrita

12 Bibliometria Ciência que permite a análise quantitativa e qualitativa da produção científica É usada como meio para comparar: Autores Grupos de investigação Instituições Países Disciplinas Etc.

13 Índices de Medição 1ª Geração Peer review Número de Artigos Número de Citações Factor de Impacto 2ª Geração H index Nature.2010; 465,:870 2 Eigenfactor Score / Article Influence Score SCImago Journal Rank 3ª Geração PDF downloads; HTML page views; Saved; Discussed; Recommended; Cited

14 Diferentes Níveis de Métricas Métricas das Revistas Factor de Impacto (JIF) Eigenfactor Score SCImago Journal Rank Indicator(SJR) Métricas dos Autores Contagem das citações Índice H Novas Métricas

15 Journal Impact Factor (JIF) Avaliar a importância relativa de uma revista, quando comparada com outras da mesmo campo científico Indicador mais importante e mais amplamente utilizado em todo o mundo Não deve ser usado com um indicador de qualidade de um artigo Nem: Na avaliação académica (instituições e indivíduos) Na promoção ou contratação ou decisão de bónus salarial

16 Journal Impact Factor (JIF) Das maiores distorções causadas pela mania do FI é confundir a qualidade do artigo com o FI da revista Equívoco usar indicador de desempenho de uma revista para avaliar a qualidade do artigo nela publicado Association of the Scientific Medical Societies in Germany indicam que o JIF não é uma medida apropriada para avaliar performance de individuos ou instituições

17 Cálculo do JIF

18 JIF Contudo A comparação de FI de revistas de áreas diferentes é impraticável Todas têm o mais elevado FI na sua categoria

19

20

21 Fake Impact Factors Universal Impact Factor (UIF) Global Impact & Quality Factor (GIF) Citefactor

22 Eigenfactor Score Baseia-se no número de vezes que os artigos publicados numa revista nos 5 anos anteriores foram citados no ano mais recente, levando também em consideração o prestígio da revista Não contabiliza as auto-citações (mesma revista) Considera que: Uma revista é mais influente se recebe citações de outras revistas influentes Uma citação de uma revista de alta qualidade pode ser de maior valor do que muitas citações de revistas periféricas

23 SCImago Journal & Country Rank Inclui os indicadores científicos relativos a revistas e países

24 Métricas dos Autores Contagem das citações Índice H

25 Contagem das Citações Número total de citações obtido por um artigo 4 Contagem de citações são insuficientes para avaliar o impacto de um artigo

26 Mas as Citações Métricas baseadas em contagem de citações são insuficientes para avaliar o impacto de uma publicação Demoram muito tempo a acumular Não reflectem com precisão o real valor do artigo Médicos podem nunca citar um artigo mesmo que ele influencie a sua prática médica

27 Métricas Baseadas em Contagem Citações Citação com citação se paga Mathew effect Citações vão todas para uma revisão Citações negativas contadas da mesma forma que as positivas Citações de artigos retratados são contadas Revistas de investigação de base estão em melhor posição do que revistas clínicas: Trabalhos clínicos citam artigos de investigação, mas o contrário não é aplicável Artigos clínicos são frequentemente lidos e usados para melhorar o diagnóstico e tratamento, mas raramente citados

28 Citações we have noticed that you cite Leukemia [once in 42 references]. Consequently, we kindly ask you to add references of articles published in Leukemia to your present article. A mensagem é clara Acrescentar citações ou risco de rejeição

29 Índice Hirsch (ou Índice H) Desenvolvido em 2005 por JE Hirsh É um indicador de produtividade/output científico e o aparente impacto de um autor Impacto número de vezes que um artigo tem sido citado Output- número de artigos publicados Definição: h é o número de artigos publicados por um autor que obtenha um total de citações igual ou superior a h

30 Como é Obtido o Índice H

31 Novas Métricas Novas ferramentas de post-publication peer review F1000 Faculty of 1000 Peer Evaluation PaperCritic Novas ferramentas para análise de impacto Métricas Alternativas - uso de medidas de impacto baseadas em ferramentas e dados online

32 Novas Métricas Actualmente é possível acompanhar em tempo real como os novos resultados de investigação estão a ser lidos, citados e usados Novas métricas web based que relacionam novas medições com os indicadores já estabelecidos de impacto de publicação Revelam em tempo real a visibilidade e penetração de um artigo ou autor no ambiente online

33 Novas Métricas

34

35 Novas Métricas Apelo para a reforma de como a produção científica é avaliada Usar um conjunto de indicadores

36 DORA Eliminar o uso de métricas baseadas na revista, como o JIF, no financiamento e promoção Considerar a investigação pelo seu próprio mérito, em vez de ter por base a revista onde é publicada Capitalizar as oportunidades oferecidas pela publicação online explorando novos indicadores Considerar as múltiplas métricas e indicadores

37 Novas Métricas Ambicionam: Fornecer uma métrica alternativa de impacto Revelar em tempo real a visibilidade e penetração de um artigo ou autor no ambiente online Rapidez: Medição quase instantânea Acompanham em tempo real como os novos resultados de investigação estão a ser lidos, citados e usados

38 Indicadores e Ferramentas

39 Quem Usa estes Dados?

40 Quem Usa estes Dados?

41 0

42

43

44

45

46

47 Razões para Usar Novas Métricas Mesmas razões para usar as métricas tradicionais: Avaliação de Autores Financiamento, promoção, selecção, recrutamento Avaliação do impacto da publicação científica Deve combinar-se adequadamente estas novas ferramentas com as mais tradicionais, a fim de obter informações analíticas significativas e válidas

48 Presença Online Porquê? Tornar a sua produção científica conhecida Divulgação e promoção da publicação Aumentar a probabilidade dos artigos serem citados Corrigir autoria e afiliação inequívoca identificação Garantir que todo o trabalho conta na avaliação da produção científica Aumentar contactos e cooperação Aumentar hipótese de financiamento

49 Divulgação e Promoção na Publicação Redes Sociais Genéricas Facebook; Twitter; LinkedIN Redes Sociais Científicas ResearchGate Academia.edu BiomedExperts Gestores de Referências com perfil social Mendeley Sistemas de Identificação ORCID ResearcherID Google Scholar ID Repositórios Institucionais

50 Redes Sociais Genéricas Pessoal versus Profissional Público-alvo mais genérico

51 Redes Sociais Académicas Focadas no perfil profissional Publicações Métricas Redes de Colaboração Notificações de actividade de colegas Acesso a trabalhos

52 Repositório Institucional Indexado em vários motores de busca Presente no RCAAP Atribuído um URL permanente Integração com a plataforma DeGóis Incorporam novas métricas Retorno do valor para a instituição (visibilidade e rankings)

53 Identificação da Autoria Perfis Científicos Identificação inequívoca do autor nº de identificação (identificadores únicos) Corrigir a autoria e afiliação elimina a ambiguidade Criação de perfil público juntando todos trabalhos Integração nos sistemas de submissão de manuscritos as revistas incentivam autores a adicionar os seus IDs

54 Registo ORCID Open Researcher & Contributor ID Missão do ORCID: Resolver o problema da ambiguidade no nome dos autores na publicação e na comunicação científica, através da criação de identificadores exclusivos para cada autor

55

56

57 Conclusão Métricas alternativas são um complemento às métricas tradicionais: fornecem um meio mais rápido de avaliação Não existe uma solução perfeita os vários indicadores podem e devem ser usados de forma complementar

58 If you come to the Wellcome Trust for a grant, funding decisions are based on the intrinsic merit of the work, and not the title of the journal. Robert Kiley, Wellcome Trust