Fator de impacto, índice h, número de citações: porque os pesquisadores da aquicultura estão migrando para a ciência básica?

Transcrição

1 Fator de impacto, índice h, número de citações: porque os pesquisadores da aquicultura estão migrando para a ciência básica? Wagner C. Valenti UNESP IB-CLP, CAUNESP, IEAMar AQUACIÊNCIA 2016 Belo Horizonte-MG

2 Experiência Prévia (últimos 15 anos)

3 Wagner C. Valenti Executive Editor Aquaculture Reports (Elsevier) Associate Editor Fisheries and Aquatic Science (Springer) International Aquatic Research (Springer) Editorial Board Reviews in Fisheries Science and Aquaculture (Taylor & Francis) Crustaceana (Brill)

4 the message from journal editors and publishers is clear: no article can be adequately judged by the single value of the Impact Factor of the journal in which it is published.

5 the inflated value given to publishing in a small number of so-called high impact journals has put pressure on authors to rush into print, cut corners, exaggerate their findings, and overstate the significance of their work. Such publication practices, abetted by the hypercompetitive grant system and job market, are changing the atmosphere in many laboratories in disturbing ways.

6 The misuse of the Impact Factor has become institutionalized in the research assessment methods of many universities and national evaluation panels, leading to a perverse incentive system. researchers feel compelled to alter their experimental or analytical approach to make the manuscript more attractive to one journal. The consequences is a strong disincentive to pursue risky and lengthy research programs, to publish negative results or to pursue multidisciplinary research. They also provide a potent motive to flood fields that are already over-crowded

7 Fator de Impacto NÃO mede qualidade!!! JIF is still used widely today and not for the purpose it was originally intended. Eugene Garfield, created IF to provide librarians with a simple way to prioritize subscriptions to Journals that carried the most-cited scientific papers. The JIF is used (wrongly) in some institutions in the criteria for hiring, promotion and firing. This is because of in that journal.

8 Fator de Impacto, índice h e número de citações NÃO podem ser usados para comparação de revistas ou pesquisadores em áreas diferentes (Fonte: Thomson Reuters e muitos outros)

9 FI varia entre micro-áreas O FI depende do de vários fatores e práticas usadas pelos autores de cada micro-área do conhecimento. Isso varia muito entre micro-áreas muito próximas. Portanto, é espúrio comparar FI de revistas de áreas diferentes

10 Para tentar reduzir essa distorção... Tomson Reuters, agrupou as revistas em categorias afins. Destaca que revistas classificadas em categorias diferentes não podem ser comparadas.

11 Definir área núcleo Definir aderência à área nuclear

12 A área Aquicultura e Recursos Pesqueiros contempla a geração de conhecimento cientifico referente à produção de organismos aquáticos por criação em cativeiro ou extrativismo

13 Aderência à área Trabalhos em áreas básicas, tais como fisiologia, comportamento, parasitologia, bioquímica, genética são pertinentes desde que inseridos no contexto da produção. Ou seja, se a geração de conhecimento novo possibilitar o desenvolvimento do conhecimento relativo à produção de organismos aquáticos. (isso deve vir discutido no trabalho)

14 Periódicos de áreas diferentes tem sido considerados em uma mesma base para avaliar pesquisadores e instituições, com resultados desastrosos!

15 FI, índice h, no. de citações dependem: Número de citações usadas na área Fração das citações usadas na área cobertas pela Tomson Reuters ou Scopus Fração das citações dos últimos 2 anos Número de citações que são usadas em outras áreas Nível das generalizações aceitas Open Access x Regular Assunto da moda Essas variáveis mudam drasticamente entre áreas, subáreas e micro-áreas

16 Número de citações usadas na área

17 Differences in Impact Factor Across Fields and Over Time Benjamin M. Althouse, Jevin D.West, Carl T. Bergstrom, Theodore Bergstrom Journal of the American Society for Information Science and Technology, 60(1):27 34, 2009 Número de citações por área

18 Differences in Impact Factor Across Fields and Over Time Benjamin M. Althouse, Jevin D.West, Carl T. Bergstrom, Theodore Bergstrom Journal of the American Society for Information Science and Technology, 60(1):27 34, 2009 Fração das citações cobertas pela Tomson Reuters

19 Differences in Impact Factor Across Fields and Over Time Benjamin M. Althouse, Jevin D.West, Carl T. Bergstrom, Theodore Bergstrom Journal of the American Society for Information Science and Technology, 60(1):27 34, 2009 Fração das citações dos últimos 2 anos

20 Número de citações que são usadas em outras áreas Os artigos das áreas básicas recebem mais citações em áreas diferentes da sua porque: São mais gerais, produzem conhecimento basal e os periódicos permitem maiores generalizações. Nas áreas aplicadas, a informação gerada está na ponta da cadeia do conhecimento.

21 Nível das generalizações aceitas Generalizações são suportadas pelos dados apresentados no artigo e na literatura. Revistas com FI alto aceitam (e exigem) generalizações amplas. Generalizações são abrangentes e atingem a área de mais pesquisadores; portanto, recebem mais citações.

22 Area Áreas Selecionadas JCR 2015 Median IF Aggreg IF # citat by article % citat 2 past yr # citat 2 past yr Aggreg. cited half-life ~ o dobro ou mais!!! Aggeg. citting half-life Fisheries >10 >10 Parasitology Physiology Toxicology Genetics & Heredity Biochem & Molec Biol

23 IF depende do número de citações recentes

24 Fator de Impacto deve ser corrigido Usar o valor numérico do FI sem nenhuma correção leva a uma supervalorização dos periódicos das áreas básicas em detrimento daqueles da área NUCLEAR da produção de organismos aquáticos

25 Comitê de Zootecnia e Recursos Pesqueiros - CAPES O FI-JCR é gerado dentro de cada subject category e só pode ser utilizado para comparar periódicos dentro da mesma categoria. Diminuir as distorções causadas pelas grandes discrepâncias em valor absoluto do FI-JCR de periódicos de diferentes subject category quando considerados dentro de uma mesma base o Qualis Zootecnia / Recursos Pesqueiros Estratégia: Ajustar o valor do FI por relativização de seu valor absoluto em relação ao FI da mediana

26 Comparando Fisheries com Physiology Medianas de 2015: Fisheries = 1.18 Physiology = 2.35 Revista na área Fisheries com IF = 1.00 equivale a revista com IF = 1.99 na área Physiology!! Periódico da área Fisheries com FI = 1.3 tem maior valor que periódico com FI = 2.2 da área Physiology

27 Valores de FI são instáveis Os valores do FI são muito variáveis de ano para ano A cada ano muda a ordem das revistas no ranking dos FI Estabelecer limites para considerar ou não uma revista como boa é espúrio. (ex. considerar somente artigos publicados em revistas com FI maior que 1 ou maior que 3)

28 Variação do fator de impacto de 3 dos principais periódicos da área Fisheries Ano /Journal Reviews in Fisheries Science and Aquaculture Aquaculture Reviews in Aquaculture Sem avaliação

29 Fixar valores nas avaliações não faz sentido e leva a distorções Em 2015, Considerados apenas periódicos com FI acima de 1 Maior valor para FI acima de 3 Fisheries : 2 Physiology: 27 Periódicos acima de 3 O limite inferior = 1 elimina 9% dos periódicos da Physiology elimina 42% da área Fisheries

30 O sistema que coleta de informações da Web of Science e Scopus é falho!!

31 Journals use a variety of formats, and some require citations to be greatly abbreviated, making it difficult to identify the article being cited. Typographic errors and outright mistakes also add to the data-cleaning challenge.

32 It is difficult to reproduce the JIFs from Thomson-Reuters Wrong Number: A closer look at Impact Factors, By quantixed on May 5,

33 Dados do JIF são inadequados para avaliar pesquisa e pesquisadores The analysis revealed a large number of flaws in the Thomson Reuters database, with citations unmatchable to known articles. "We hope that this analysis helps to expose the exaggerated value attributed to the JIF and strengthens the contention that it is an inappropriate indicator for the evaluation of research or researchers By John Bohannon, July 6, 2016, 4:30 PM

34 Porque os pesquisadores da aquicultura estão migrando para a ciência básica?

35 Todos querem um lugar ao sol! Entrar em um curso de PG Receber bolsa na PG Passar em concurso Progressão na carreira Credenciar na Pós-Graduação Bolsa de Produtividade em Pesquisa Aprovação de projetos Todos querem o reconhecimento do seu trabalho

36 IF = IF = IF = IF =

37 IF?? h?? Fator de Impacto (IF) não mede qualidade das revistas Índice h e número de citações não mede qualidade de pesquisadores ou de artigos It is a billion US$ business!!

38

39 h não mede o impacto na ciência Quanto vale o h do trabalho de Watson e Crick que descreveu a dupla hélice?

40 Quanto vale o h da publicação A origem das espécies?

41 Quer aumentar seu índice h? Trabalhe com espécies mais frequentes na literatura (tilapia, L. vannamei) Faça grandes generalizações Trabalhe com temas da biol. básica Trabalhe com temas da moda Publique artigos que podem ser citados por revistas médicas Publique com co-autores do 1º mundo Participe dos trens da alegria Publique métodos Publique artigos de revisão

42 David Smith, publishing expert in Oxfordshire, U.K say Nenhum valor númerico pode refletir o valor do trabalho de um cientista! no single number can capture the worth of a scientist's work! By John Bohannon, July. 6, 2016, 4:30 PM

43

44 Pesquisador do Século XXI

45 A avaliação define a conduta dos pesquisadores The culture will only change when the institutions responsible for overseeing the assessment of researchers and those who constitute the evaluation panels take active steps to change how they assess scientists.

46 Conclusão O fator de impacto de revistas, índice h e número de citações de autores podem auxiliar na análise de currículos de pesquisadores, mas... NÃO podem ser variáveis determinantes da decisão, com resultados numéricos quantitativos, como vem sendo feito

47 Etapas da carreira científica Depende de outro para aprovar grants e artigos Aprova eventualmente grants e artigos Aprova regularmente grants e artigos Assoc. Editor Invited speaker Coord. gdes projetos Comitês científicos Editor in Chief Plenary speaker Coord. redes Influencia decisões

48 Concluindo... Recursos financeiros destinados à área Aquicultura devem ser concedidos a pesquisadores que trabalham em Aquicultura