1
Fator de impacto, índice h, número de citações: Por que os pesquisadores da aquicultura estão migrando para a ciência básica, e como isso pode influenciar o desenvolvimento da aquicultura brasileira. Existe uma falsa ideia de que as revistas com fator de impacto (FI) mais alto são melhores e que os artigos publicados nelas têm maior qualidade. Também se acredita na falácia de que o número de citações e fator h de um pesquisador mede sua qualidade ou o impacto da sua obra na ciência. O recado dos editores de renomadas revistas científicas é claro: nenhum artigo pode ser avaliado pelo fator de impacto da revista em que ele é publicado 1. E mais, a quantidade de erros observados no Journal of Citation Reports (JCR) quando se pesquisa as citações recebidas por um pesquisador são enormes! 2 Por exemplo: várias citações são ignoradas devido a erros de digitação ou abreviatura dos periódicos, algumas citações são contadas para um coautor e não são para outros do mesmo trabalho, muitas simplesmente desaparecem, algumas aparecem e desaparecem em diferentes consultas, etc.. Isso foi destacado recentemente em um artigo publicado no site da Science. No manifesto intitulado Declaração de São Francisco sobre Avaliação de Pesquisa 3, assinado em 2012, há um apelo de vários editores e dirigentes de órgãos de pesquisa para que se pare de avaliar cientistas baseado no fator de impacto das revistas em que eles publicam. O que ocorre, no entanto, é que a maioria das avaliações continua sendo feita com base nos indicadores bibliométricos. Por: Wagner C. Valenti Pesquisador do Centro de Aquicultura da UNESP, IB-CLP e Fellow da World Aquaculture Society. Editor Executivo para as Américas do periódico Aquaculture Report (Elsevier), Editor Associado dos periódicos Fisheries and Aquatic Sciences (Springer), International Aquatic Research (Springer) e membro do Editorial Board dos periódicos Reviews in Fisheries Sciences and Aquaculture (Taylor & Francis) e Crustaceana (Brill). s análises comparativas, usadas para conceder recursos para pesquisa, contratação ou promoção de um docente/ pesquisador, geram distorções devido a enormes diferenças entre áreas e mesmo dentro de uma mesma área. O fator de impacto das revistas científicas depende de vários fatores e práticas usadas pelos autores de cada micro-área do conhecimento. Estes variam muito entre micro-áreas muito próximas. Portanto, é espúrio comparar o fator de impacto de revistas de áreas diferentes. Para tentar reduzir essa distorção, a Thomson Reuters, multinacional que detém a patente do cálculo do fator de impacto, e que também publica o Journal of Citation Reports (JCR), agrupou as revistas em categorias afins. A própria editora destaca que revistas classificadas em categorias diferentes não podem ser comparadas na mesma base. Portanto, o primeiro passo em uma avaliação que utiliza indicadores bibliométricos é definir a área núcleo e a aderência dos artigos publicados a essa área núcleo. A área Aquicultura e Recursos Pesqueiros contempla a geração de conhecimento cientifico referente à produção de organismos aquáticos por criação em cativeiro ou extrativismo. As revistas dessa área estão classificadas pela Thomson Reuters na categoria Fisheries, e os trabalhos em áreas básicas, tais como fisiologia, comportamento, parasitologia, bioquímica, genética serão pertinentes sempre que estiverem inseridos no contexto da produção, ou seja, se a geração de conhecimento novo possibilitar o desenvolvimento do conhecimento relativo à produção de organismos aquáticos. Isso, evidentemente, deve vir discutido no trabalho. E surge aí o problema: como comparar publicações em revistas de áreas diferentes? 36
Fator de impacto O cálculo do fator de impacto leva em consideração: o número de citações usadas na área; a fração das citações usadas na área de revistas cobertas pela Thomson Reuters; a fração das citações dos últimos dois anos; o número de citações dessas revistas que são usadas em outras áreas; o nível das generalizações aceitas pela área; se a revista é Open Access ou Regular; e se o assunto pesquisado está na moda. Essas variáveis mudam drasticamente entre áreas, subáreas e micro-áreas. Althouse 4 e colaboradores fizeram um extenso levantamento no JCR e constataram que o número médio de citações contidas em cada artigo varia de 14 a 50 entre as áreas; a fração de citações de revistas cobertas pela Thomson Reuters varia de 26 a 89% e a fração das citações dos últimos dois anos varia de 8 a 19%. Sabe-se que os artigos das áreas básicas recebem mais citações em áreas diferentes da sua porque são mais gerais, e os periódicos permitem maiores generalizações dos resultados. Já nas áreas aplicadas, a informação gerada está na ponta da cadeia do conhecimento e, portanto, embasam apenas trabalhos relacionados ou muito próximos. Assim, quem vai citar um novo sistema de produção de uma espécie de peixes? Somente quem trabalha com produção desse peixe. Por outro lado, processos metabólicos ou comportamentais costumam ser apresentados em revistas da área básica com generalizações para peixes ou vertebrados. Então, podem ser citados por qualquer autor que trabalhe com peixe ou vertebrados, fazendo com que o número de citações em potencial cresça muito. Evidentemente isso não tem nada a ver com a qualidade dos trabalhos, mas com o assunto focado. O que tem se observado é que revistas com fator de impacto alto aceitam e exigem generalizações amplas. E generalizações mais abrangentes atingem a área de mais pesquisadores e, portanto, recebem mais citações, contribuindo para manter o fator de impacto da revista alto, passando a falsa ideia que os trabalhos publicados nessas revistas são melhores. E, na verdade, essas revistas são até menos exigentes e muitas vezes tem uma taxa de rejeição de artigos muito mais baixa do que as revistas com fator de impacto mais baixo, que são mais rigorosas em aceitar generalizações, como ocorre com a Aquaculture, da Elsevier. As revistas de aquicultura só aceitam generalizações muito bem embasadas nos dados e na literatura e, portanto seus trabalhos têm menor potencial de citação. O valor numérico do fator de impacto varia largamente e, quando isolado, não significa nada para a comparação de periódicos de áreas diferentes; ele só vale para comparações dentro da mesma área. Nos sites da Web of Science e JCR isso é destacado várias vezes e por isso os periódicos são agrupados por áreas. "O valor numérico do fator de impacto varia largamente e, quando isolado, não significa nada para a comparação de periódicos de áreas diferentes; ele só vale para comparações dentro da mesma área." Para exemplificar como o fato de misturar periódicos de áreas diferentes nas avaliações gera resultados espúrios, apresento na Figura 1 indicadores bibliométricos de algumas áreas, cujas revistas frequentemente são incluídas na mesma base da aquicultura nas avaliações. Observa-se claramente que os valores mais baixos são da área Fisheries. O fator de impacto agregado (que representa o fator de impacto de todos os artigos da área, como se fossem uma revista só ) das outras áreas é o dobro ou maior! Isso NÃO significa que os trabalhos das revistas classificadas em Fisheries são de nível inferior. É apenas uma característica da área que se reflete no cálculo matemático do fator de impacto. Portanto, usar o valor numérico do fator de impacto, sem nenhuma correção, leva a uma supervalorização dos periódicos das áreas básicas em detrimento daqueles da área NUCLEAR da produção de organismos aquáticos, que estão contidos na Fisheires. Comparar valores numéricos do fator de impacto de periódicos de áreas diferentes não faz sentido, como destaca o Journal of Citation Report, que gera esses dados. O mesmo vale para o índice h, que representa uma relação matemática entre o número de publicações e de citações. Essa distorção pode ser parcialmente corrigida, dividindo-se o fator de impacto de cada periódico pelo valor da mediana do grupo de periódicos em que ele está incluído, definido pelo JCR. Um periódico com fator de impacto 1,29 em uma revista da área Fisheries equivale a um com fator de impacto 2,65 (o dobro!!!!) na área Biochemical & Molecular Biology. Então, uma revista do grupo Fisheries (mediana Espécies Publicações marinhas científicas na Galícia 37
Figura 1. Áreas Selecionadas JCR 2015* Área Mediana da área 1,29) com FI = 1,3 seria melhor do que uma com FI=2,5 na área Biochemical & Molecular Biology (mediana 2,65). Algumas áreas da CAPES já fazem isso para atribuir o valor do QUALIS de cada periódico. Mas o problema é que estabelecem valores de corte muitas vezes inadequados. Pode-se também fazer a correção pelo fator de impacto agregado para cada área. Outra forma ainda melhor, é estabelecer o percentil de cada periódico dentro da área a que pertence; então temos todos dentro de uma mesma base, variando entre zero e cem. Portanto, alternativas existem. A definição dos trabalhos de pesquisa FI agregado *Dados bibliométricos do ano de 2015, divulgados pela Thomson Reuters em maio de 2016, como os mais atuais disponíveis. N o. de citações por artigo Infelizmente, nas avaliações realizadas nos concursos públicos, nas agências de fomento à pesquisa e nos programas de pós-graduação, as revistas de diversas áreas têm sido consideradas dentro da mesma base, sem nenhuma correção. Isso leva a uma maior valorização dos pesquisadores que trabalham nas áreas básicas do que na área núcleo, que é a produção. Como todos querem ser bem avaliados para receberem % de citações dos últimos 2 anos Fisheries 1.286 1.586 45.8 15.6 Parasitology 1.785 3.156 45.3 36.8 Physiology 2.186 2.971 54.8 19.1 Toxicology 2.297 2.899 49.4 25.7 Genetics & Heredity 2.520 4.112 49.4 25.1 Biochem & Molec Biol 2.653 4.090 53.2 21.7 auxílios financeiros à pesquisa, bolsas para seus alunos, credenciamento em programas de pós graduação, etc., os pesquisadores estão alterando suas linhas de pesquisa para publicar em periódicos com maior fator de impacto. Portanto, os sistemas de avaliação e os comitês de avaliadores têm um papel decisivo na definição dos trabalhos de pesquisa. Não adianta cobrar dos pesquisadores a solução dos problemas do setor produtivo se as avaliações desfavorecem essas pesquisas. Na prática, o que tem sido observado é que os pesquisadores que trabalhavam focados na produção começaram a realizar trabalhos mais voltados para assuntos básicos para, desta forma, também conseguirem publicar nas revistas com maior fator de impacto e serem mais bem avaliados. Isso pode ser constatado observando a variação temporal das publicações de alguns pesquisadores que inicialmente trabalhavam com produção (vide banco de CVs do CNPq). Portanto, está havendo uma descaracterização da área de pesquisa Aquicultura/Recursos Pesqueiros. Isso é muito perigoso, na medida em que desestimula a realização de trabalhos da área central a ser estimulada. Essa reflexão é muito importante porque a área corre sério risco de esvaziamento. Temos constatado essa tendência nos jovens pesquisadores. Estes, ao definirem seus projetos de tese, têm se preocupado em incluir temas como fisiologia, bioquímica, biologia molecular para poderem publicar seus resultados nas revistas com fator de impacto mais alto (erroneamente consideradas de melhor nível). Os programas de pós-graduação têm contribuído para esse comportamento quando incentivam os alunos e orientadores a publicarem em revistas com fator de impacto Espécies Publicações marinhas científicas na Galícia 39
Figura 2. Etapas da carreira científica Editor Chefe, Plenary speaker,coord. Redes de pesq. Influencia decisões Editor Associado, Invited speaker, Coord. grandes projetos, Comitês científicos Aprova regularmente verbas para pesquisa e artigos Aprova eventualmente verbas para pesquisa e artigos Depende de outro para aprovar verbas para pesquisa e artigos elevado, considerando apenas o valor numérico. Além disso, a atividade dos pesquisadores não se restringe às publicações científicas. A Figura 2 representa os diversos patamares pelas quais passa um pesquisador em qualquer lugar do mundo. Observa- -se que a partir do terceiro patamar, o pesquisador já publica regularmente, e para subir precisa demonstrar capacidade de realizar outras tarefas, que são próprias a um nível mais elevado. Estas precisam ser consideradas em qualquer avaliação e muitas vezes são desconsideradas ou menos valorizadas do que as publicações. O fator de impacto de revistas, índice h e número de citações de autores podem auxiliar na análise de currículos de pesquisadores, mas não podem ser variáveis determinantes da decisão, com resultados numéricos quantitativos, como vem sendo feito. A massa crítica de pesquisadores formados nos programas de pós-graduação em produção de organismos aquáticos aumentou tremendamente no Brasil. Será que os pesquisadores jovens estão tendo espaço nas agências de fomento para enviarem suas demandas, receberem recursos e incentivos para continuarem trabalhando na geração de conhecimento para produzir organismos aquáticos? Ou estão sendo empurrados a trabalhar com temas da área básica em uma tentativa de um dia serem mais bem avaliados e competitivos dentro da própria área que deveria priorizar a produção? Estamos diante de uma situação em que podemos dar uma alavancada no desenvolvimento da aquicultura e da pesca no Brasil, ou deixar simplesmente que os pesquisadores formados em aquicultura debandem, tirando o foco da solução dos problemas da produção, para publicar seus artigos em periódicos das áreas que têm fator de impacto mais alto. Imaginem se tivéssemos todos os pesquisadores da área focados em produzir pesquisa de alto nível para resolver os gargalos da aquicultura brasileira! O conhecimento gerado causaria um enorme avanço econômico e social na área! Seria a resposta que a comunidade científica pode dar para a sociedade brasileira que paga nossos salários e os recursos para a pesquisa. Os produtores reclamam que os pesquisadores não resolvem seus problemas e que a produção esta sempre na frente da pesquisa. Essa seria a chance de acertarmos o compasso. Só depende da ação dos responsáveis pelas avaliações. 1 http://blogs.plos.org/plos/2016/07/impactfactors-do-not-reflect-citation-rates/ 2 http://www.sciencemag.org/ news/2016/07/hate-journal-impactfactors-new-study-gives-you-one-morereason?utm_source=sciencemagazine&utm_ medium=facebook-text&utm_ campaign=impactfactor-5531 3 San Francisco Declaration on Research Assessment (DORA) Available at: http://www. ascb.org/dora/. Accessed 15 August 2016. 4 Althouse, B. M., West, J.D. Bergstrom, C.T. Bergstrom, T. Journal of the American Society for Information Science and Technology, 60(1):27 34, 2009. 41