REFLEXÕES SOBRE O PROCESSO AVALIAÇÃO DOS LIVROS DA SAÚDE COLETIVA SERGIO REGO

Transcrição

1 REFLEXÕES SOBRE O PROCESSO AVALIAÇÃO DOS LIVROS DA SAÚDE COLETIVA SERGIO REGO

2 Participantes do GT Jorge Alberto Bernstein Iriart -UFBA Cristiane Cabral - USP Carlos Machado de Freitas - Fiocruz Carlos Dimas Martins Ribeiro - UFF Ruben Matos - UERJ Eduarda Cesse - Fiocruz Guilherme Werneck - UFRJ Maria Lúcia Bosi - UFCE Ricardo Ventura Santos -Fiocruz Denise Martin Coviello - Unifesp Aylene Bousquat - USP Ana Lúcia Pontes - Fiocruz Sergio Rego - Fiocruz

3 Histórico A avaliação de livros seria feita a partir das informações disponíveis no Sucupira Com a chegada de Rita Barata à DAV voltamos ao plano de ter avaliação física dos livros Na avaliação anterior o processo de avaliação foi progressivo, ano após ano e todos os livros eram enviados para exame físico, com a ficha de cadastro Nesta avaliação: até janeiro ainda foi possível retificar a ficha anual de 2013 a Submissão de 2016 foi feita apenas em março Sugestão de que avaliássemos baseados em uma autoavaliação realizada por uma Comissão de cada PPG, não foi aprovada pelo Fórum Entendeu-se que abandonar a análise física das obras seria um retrocesso

4 Estabeleceu-se um cronograma de trabalho quando esperávamos que receberíamos em fevereiro as planilhas referentes aos anos de e em abril a planilha de Isso não aconteceu. Sendo assim, tivemos que pedir a cada programa que, baseados nos critérios de avaliação, buscassem identificar que livros teriam potencial para serem classificados como L3 ou L4, ou seja, que possuíssem no mínimo dois dos quatro critérios qualificatórios e já preparassem para o envio para a avaliação. Não aconteceu Demoramos a receber as planilhas e o prazo para avaliação era fixo. O maior esforço que o grupo teve foi de salvar os livros, buscando valoriza-los de acordo com as regras.

5 Tivemos que eliminar registros que tinham ISBN errado, mas tentamos identificar o mesmo livro em outras inserções de outros programas e, quando conseguimos, corrigimos o registro. Tivemos que eliminar os registros que não cumpriam a definição de livro das normas adotadas, especialmente no que se refere ao número de páginas, que só valeria se tivesse mais de 50 páginas. Fizemos a mesma busca na base para tentar identificar o mesmo livro em outros programas e, quando tínhamos sucesso, corrigíamos a informação ausente ou errada. Tivemos que padronizar o nome das Editoras, já que encontramos muitos erros de digitação, o que impedia a utilização de uma rotina no computador para atribuir as notas. Verificamos os sites das editoras para checar a presença de Conselho, critérios para submissão e tentar distinguir das gráficas

6 Problemas adicionais: muitos livros foram encaminhados em papel e em versão digital, o que nos levou a avaliar duas obras mais de uma vez. Quando isso aconteceu, prevaleceu a melhor avaliação se diferentes. O envio das publicações com o propósito de classificação em L3 ou L4 mostrou um excesso de envios, com muitos livros que não atendiam até mesmo a um único dos critérios levou a uma sobrecarga do trabalho. Trabalhamos na classificação dos livros dois dias em duplas e nos demais dias cada avaliador sozinho, ou não daríamos conta. Não demos conta. Levamos boa parte das obras digitais para serem avaliadas fora da semana Capes, bem como o fechamento e unificação das classificações.

7 Outra etapa que foi importante no processo foi o esforço em reconhecer as publicações técnicas e didáticas, que não foram assim classificadas o que tornou muito difícil essa tarefa foi não termos TODOS os livros disponíveis para avaliar físicamente. Um problema sério: muitos programas incluíram livros que não estavam inseridos no Sucupira na planilha que nós enviamos e nos enviaram também para exame. Além de terem nos dado um trabalho adicional insano, não foram aproveitados, pois não temos como alterar a base de dados do Sucupira na Capes, que atribui um número código específico para cada obra. Identificamos problemas com editoras que merecem uma menção especial:

8 Identificamos algumas editoras que parecem ser o sonho de todo autor: nos encaminhe seu original que é publicado eletronicamente e, on demand, impresso. Dizem eles: publiquem sua tese, TCC, dissertação. Elas já foram aprovadas por uma banca e nós publicamos. Da mesma forma identificamos editoras que publicavam especialmente as dissertações e teses de seus alunos, sendo que uma até criou um selo específico que distingue essas produções. A divulgação das teses e dissertações, tal como foram aprovadas, é algo que deve ser estimulado, em minha opinião, mas, a princípio, o formato de uma tese e seu conteúdo, guarda diferenças em relação aos livros autorais e, especialmente, em relação a condição de autores. Trabalhamos nessa avaliação segundo as normas que tínhamos, buscando interpreta-la de maneira a não permitir distorções ou anomalias, mas é uma questão que precisa ser repensada para esse quadriênio. Preenchimento errado: UFRJ não é igual a Editora UFRJ; Fiocruz não é igual a Editora Fiocruz. Valor das publicações institucionais: materiais publicados pela instituição têm, potencialmente, grande conflito de interesses inerente. Como avaliar efetivamente?

9 Conflito de Interesses na Universidade Pós-Acadêmica. Cientistas, de modo geral, continuam a não levar muito a sério a ideia de que vínculos de financiamento distorcem seu trabalho e isso impacta nas publicações 18/05/2017 9

10 A confiança pública no processo de revisão de especialistas e a credibilidade dos artigos publicados dependem, em parte, de como o conflito de interesse é administrado durante a redação, a revisão de especialistas e a tomada de decisão editorial. O conflito de interesses ocorre quando um autor (ou a instituição do autor), revisor ou editor tem relações financeiras ou pessoais que influenciam de forma inadequada suas ações (tais relações são também conhecidas como compromisso duplo, interesses conflitantes ou fidelidades conflitantes). 10

11 Integridade na pesquisa Falsificação de resultados Pesquisa na Nature: fraude no sistema acadêmico norteamericano Nature 435, (9 June 2005) doi: /435737a; Por que fraudam? (quem tem mais a perder tem maior probabilidade de fraudar no caso de não ter obtido resultados satisfatórios; todos se consideram em um patamar de honestidade acadêmica superior ao de seus colegas e avaliam como uma aproximação à média o rebaixamento de seus critérios de integridade) 18/05/

12 18/05/

13 18/05/

14 18/05/

15 18/05/

16 18/05/

17 An article published in the Proceedings of the National Academy of Sciences of the United States of America reviewed more than 2000 scientific articles for reasons why they were retracted from public scrutiny and discovered that 67.4% of retractions were attributed to misconduct, of which includes fraud or suspected fraud (43.4%), duplicate publication (14.2%) and plagiarism (9.8%). 18/05/

18 18/05/