Avaliação da Pós-Graduação Brasileira: os quesitos CAPES a percepção da comunidade científica

Avaliação da Pós-Graduação Brasileira: os quesitos CAPES a percepção da comunidade científica Michely J. M. Vogel (PPGCI/UFF) Rio de Janeiro, 26 mar. 2019

Avaliação da CAPES AGENDA Percepção da Comunidade Científica sobre a Avaliação Uso de indicadores bibliométricos e outros critérios no Qualis Necessidades e Considerações

Sobre a Avaliação da CAPES Feita por pares, oriundos das diferentes áreas do conhecimento e reconhecidos por sua reputação intelectual Tem natureza meritocrática, levando à classificação dos e nos campos disciplinares Associa reconhecimento e fomento, definindo políticas e estabelecendo critérios para o financiamento dos programas (BRASIL, 2010, p.125).

Pressupostos da avaliação Nenhuma atividade social é neutra ou está desvinculada do político O campo científico é um campo de forças e um campo de lutas para conservar ou transformar esse campo de forças Os processos de avaliação da atividade científica são afetados por essas disputas Bourdieu, 2004

O que é Avaliar Atividade abrangente, relacionada à auditoria, à inspeção, à garantia de qualidade e ao credenciamento Permite identificar padrões para o alcance de mérito e valor para determinar a performance dos avaliados Requer coleta sistemática de informações Momento de rever o passado e rever criticamente as experiências Reinterpretação, desacordos e negociações para que novos significados e procedimentos sejam estabelecidos Momento potencialmente controvertido porque objetiva, muitas vezes, abandonar velhas práticas e quebrar hábitos e convicções existentes Dahler-Larsen, 2011.

Critérios de avaliação a partir de 1998 Notas de 1 a 7 Estabelecimento de critérios objetivos de pontuação de artigos Criação do Qualis Periódicos Definição dos periódicos considerados para aferir a excelência da produção intelectual Aumento da transparência do processo Periodicidade: 1976-1983, Anual 1984-1997, Bienal 1998-2012, Trienal 2013-atual, Quadrienal

Objetivos do Plano Nacional de Pós- Graduação (PNPG) 2011-2020 Integração da PG com o setor empresarial e a sociedade Organização de agenda nacional de pesquisa em torno de temas Superação de assimetrias Formação de recursos humanos para empresas e programas nacionais Forte preocupação com a formação de professores para ensino médio e básico Criação da Diretoria de Educação Básica. Internacionalização: Expansão da quantidade de alunos estrangeiros nas universidades brasileiras Apoio aos estágios de pós-graduação no exterior: doutorados-sanduíche Incentivo à participação de pesquisadores brasileiros em eventos internacionais Realização de doutorado pleno no exterior Ciência sem Fronteiras

PNPG 2011-2020 e a avaliação Apesar das inovações, o sistema ainda não satisfaz a diversidade e especificidades das áreas Hegemonia ou predominância de critérios, culturas e procedimentos das ciências exatas e naturais Taylorismo intelectual e imperativo do publish or perish Não atende os programas de natureza profissional

O modelo da avaliação da CAPES Plano Nacional de Pós-Graduação 2011-2020 Cinco eixos: 1. Primazia da qualidade, quebra da endogenia e redução das assimetrias 2. Criação de agenda nacional de pesquisa e sua associação com a pósgraduação 3. Aperfeiçoamento da avaliação e sua expansão para outros segmentos do sistema de CT&I 4. Multi e Interdisciplinaridade 5. Apoio à educação básica e a outros níveis e modalidades de ensino, especialmente o ensino médio

Proposta do Programa Valor = 0% Item obrigatório Coerência das áreas com linhas e projetos; Planejamento para futuro; Infraestrutura para ensino e pesquisa. Critérios gerais de avaliação Corpo Docente Valor= 15 a 20% Titulação e diversidade de origem Compatibilidade com o programa Carga horária dedicada e a divisão de atividades Participação em eventos. Corpo Discente, Teses e Dissertações Valor= 30 a 35% Quantidade de trabalhos defendidos Distribuição das defesas e orientações Produção dos discentes Tempo de formação e participação em eventos Produção Intelectual Valor= 35 a 40% Quantidade de publicações qualificadas de cada docente A distribuição entre os docentes Fonte: Qualis Periódicos, Qualis Livros, Produções técnicas e artísticas Inserção Social Valor= 10 a 15% Palestras e conferências Integração e cooperação com outros programas e instituições Visibilidade: quantidade de acesso ao site e informações deste (linhas e coordenação) Internacionalização Responsável pelas notas 6 e 7 Aplica-se somente a programas com Doutorado Fluxo de pesquisadores e parcerias internacionais

Qualis Periódicos Cinco estratos A1 (o mais alto); A2, B1, B2, B3, B4, B5, e C (sem valor) Um periódico pode aparecer em estratos diferentes, de acordo com a área que o classificou Para a CAPES, isto não constitui inconsistência, mas expressa o valor atribuído, por cada área, à pertinência do conteúdo veiculado. Por isso, não se pretende com esta classificação, que é específica para o processo de avaliação de cada área, definir a qualidade dos periódicos de forma absoluta (CAPES. s.d.)

Ex: Anais da Academia Brasileira de Ciências

Roteiro de Classificação de Livros e Qualis Artístico Livros Utilizada por 23 áreas 4 estratos L1 (o mais baixo) L2 L3 L4 Como nos periódicos, as áreas têm liberdade para atribuir valores e limites de cada estrato Artístico Utilizado por 5 áreas Avalia não uma obra de arte, mas a relevância da exposição ou da temporada em que ela foi apresentada Impacto da obra Grau de vinculação com a linha de pesquisa ou projeto do autor

Percepção da comunidade científica sobre a avaliação (VOGEL, 2015) Problema: É possível padronizar a avaliação e, ao mesmo tempo, levar em conta a heterogeneidade das áreas de saber e das instituições? Objetivo: Conhecer os aspectos da avaliação da CAPES sujeitos a debates e discussões pela comunidade científica

Corpus 48 documentos de área da CAPES 2013 62 artigos, de 1997 a 2013. 89 comentários (positivos, negativos, constatações, sugestões) 88 autores individuais e 2 autorias coletivas Artigos de pesquisa, editoriais, debates, informes Fio condutor da análise: quesitos CAPES Proposta do programa Corpo discente, teses e dissertações Inserção social Corpo docente Produção intelectual Internacionalização + Avaliação como um todo

Artigos com críticas da comunidade aos critérios (62 artigos, somando 89 críticas) 16 14 Número de Artigos por Ano, total 62 15 12 10 8 6 4 2 0 8 6 5 5 5 4 3 3 2 2 1 1 1 1 0 0 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013

Críticas da comunidade aos critérios (62 artigos, somando 89 críticas) 25 Críticas por Ano, total 89 20 20 15 10 5 0 12 10 10 7 7 5 4 3 3 2 2 2 1 1 0 0 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013

Quantidade de críticas a cada critério 70 60 50 40 30 20 10 0 Proposta do Programa=1% 62 1 2 Corpo Docente/Corpo Discente=2% Produção Intelectual =70% Inserção Social=4% 3 2 Internacionalização=2% 19 Avaliação toda=21%

Tipo de críticas 11% 6% Negativa=37 Positiva=14 23% 60% Sugestão=7 Constatação=4

Tipo de publicação, total 62 3% 11% Pesquisa=23 37% Debate=11 Editorial=19 31% Informe/ manifesto=2 Opinião/ comentário=7 18%

Tipo de autores 50 45 40 43 35 30 25 20 15 28 23 10 5 0 Pesquisadores Editores Consultores

Grande Área e Área Crit. Art. Grande Área e Área Crit. Art. CIÊNCIAS EXATAS E DA TERRA 0 0 MULTIDISCIPLINAR 0 0 Matemática/Probabilidade e Estatística 1 1 Interdisciplinar 0 0 Ciência da Computação 0 0 Ensino 0 0 Astronomia / Física 3 1 Materiais 0 0 Química 4 3 Biotecnologia 0 0 Geociências 0 0 Ciências Ambientais 0 0 CIÊNCIAS BIOLÓGICAS 0 0 ENGENHARIAS 0 0 Ciências Biológicas I 0 0 Engenharias I 0 0 Ciências Biológicas II 0 0 Engenharias II 0 0 Ciências Biológicas III 0 0 Engenharias III 3 3 Biodiversidade 2 1 Engenharias IV 0 0 CIÊNCIAS AGRÁRIAS 0 0 CIÊNCIAS SOCIAIS APLICADAS 0 0 Ciências Agrárias I 0 0 Direito 0 0 Zootecnia / Recursos Pesqueiros 0 0 Administração, Ciências Contábeis, Turismo 6 4 Medicina Veterinária 0 0 Economia 0 0 Ciência de Alimentos 1 1 Arquitetura e Urbanismo 0 0 LINGUÍSTICA, LETRAS E ARTES 0 0 Planejamento Urbano e Regional/Demografia 0 0 Letras / Linguística 0 0 Ciências Sociais Aplicadas I 1 1 Artes / Música 0 0 Serviço Social 0 0 CIÊNCIAS DA SAÚDE 4 4 CIÊNCIAS HUMANAS 0 0 Medicina I 1 1 Filosofia 0 0 Medicina II 1 1 Teologia 2 1 Medicina III 2 2 Sociologia 1 1 (críticas às Medicinas como um todo) 6 2 Antropologia / Arqueologia 0 0 Nutrição 0 0 História 0 0 Odontologia 2 1 Geografia 0 0 Farmácia 1 1 Psicologia 2 1 Enfermagem 1 1 Educação 7 3 Saúde Coletiva 21 15 Ciência Política e Relações Internacionais 0 0 Educação Física 5 3 AVALIAÇÃO COMO UM TODO 12 10

Grande Área e Área Crit. Art. Grande Área e Área Crit. Art. CIÊNCIAS EXATAS E DA TERRA 0 0 MULTIDISCIPLINAR 0 0 Matemática/Probabilidade e Estatística 1 1 Interdisciplinar 0 0 Ciência da Computação 0 0 Ensino 0 0 Astronomia / Física 3 1 Materiais 0 0 Química 4 3 Biotecnologia 0 0 Geociências 0 0 Ciências Ambientais 0 0 CIÊNCIAS BIOLÓGICAS 0 0 ENGENHARIAS 0 0 Ciências Biológicas I 0 0 Engenharias I 0 0 Ciências Biológicas II 0 0 Engenharias II 0 0 Ciências Biológicas III 0 0 Engenharias III 3 3 Biodiversidade 2 1 Engenharias IV 0 0 CIÊNCIAS AGRÁRIAS 0 0 CIÊNCIAS SOCIAIS APLICADAS 0 0 Ciências Agrárias I 0 0 Direito 0 0 Zootecnia / Recursos Pesqueiros 0 0 Administração, Ciências Contábeis, Turismo 6 4 Medicina Veterinária 0 0 Economia 0 0 Ciência de Alimentos 1 1 Arquitetura e Urbanismo 0 0 LINGUÍSTICA, LETRAS E ARTES 0 0 Planejamento Urbano e Regional/Demografia 0 0 Letras / Linguística 0 0 Ciências Sociais Aplicadas I 1 1 Artes / Música 0 0 Serviço Social 0 0 CIÊNCIAS DA SAÚDE 4 4 CIÊNCIAS HUMANAS 0 0 Medicina I 1 1 Filosofia 0 0 Medicina II 1 1 Teologia 2 1 Medicina III 2 2 Sociologia 1 1 (críticas às Medicinas como um todo) 6 2 Antropologia / Arqueologia 0 0 Nutrição 0 0 História 0 0 Odontologia 2 1 Geografia 0 0 Farmácia 1 1 Psicologia 2 1 Enfermagem 1 1 Educação 7 3 Saúde Coletiva 21 15 Ciência Política e Relações Internacionais 0 0 Educação Física 5 3 AVALIAÇÃO COMO UM TODO 12 10

Principais críticas negativas Uso inadequado de indicadores bibliométricos Falta de avaliação qualitativa Concentração em cada estrato Qualis Uso dos mesmos critérios para todas as áreas Privilégio da pesquisa sobre a educação e formação Produtivismo: Incentivo a desvios como autocitação e Ciência Salame Processo editorial não profissionalizado Livros versus artigos

Principais críticas positivas Aumento da transparência Avaliação como incentivo para a melhoria dos programas Uso de indicadores bibliométricos, vistos como fruto de várias outras avaliações também qualitativas

Exemplos de Comentários Constatações Sugestões Críticas Positivas Críticas Negativas Qualis mudou de papel: de classificação da produção para concessão de fundos transformou-se em uma espécie de guia para escolha de onde publicar. O ocorrência do produtivismo como colaterais ao processo. Indicadores bibliométricos devem ser utilizados, porém, ao mesmo tempo, os periódicos deveriam ser submetidos a outros tipos de avaliação, de natureza qualitativa. Indicadores bibliométricos têm seu mérito, sendo necessário esclarecer seu papel, que é observar a circulação de informações. Indicadores bibliométricos seriam também qualitativos, pois pressupõem a avaliação de diversos juízes. Indicadores bibliométricos são meramente quantitativos O Qualis não considera o tamanho da comunidade, e pesquisadores de áreas pequenas acabam por publicar em outras áreas temáticas, mais abrangentes. Ausência de definições claras sobre o que é qualidade na ciência. O tamanho do extrato A (20% dos periódicos) é insuficiente.

Posicionamento nas Humanidades 6 de 18 áreas Informação e Comunicação (CSA 1) 1999. CAPES convida os programas para discutirem os critérios. Psicologia 2003. Não há clareza na definição da endogenia. 2003. Não há clareza na definição de Internacionalização. Educação 2003. Punir não leva à excelência, mas incentivos sim. 2003. Há critérios diferentes para cada área. 2003. Periódico não é o meio mais importante na área. 2004. Publicações internacionais como único critério de avaliação. 2004. Avaliação como majoritariamente quantitativa. 2005 A produção bibliográfica é o quesito que dita a avaliação. 2005. Falta inserção social (incluída na avaliação de 2003).

Posicionamento nas Humanidades 6 de 18 áreas Administração, Ciências Contábeis e Turismo 2009. Uso excessivo de indicadores de produtividade condiciona a contratação de professores 2009. As metas de qualidade fortalecem e aprimoram o sistema 2012. Aumento da transparência (2 x) 2012. O modelo da CAPES é decisivo para o alto nível da PG Brasileira 2012. A produção intelectual não é requisito suficiente para alcançar uma boa nota na avaliação Teologia 2013. Constante auto-superação, os benefícios vão para outros quesitos além dos periódicos 2013. Para evitar endogenia, os editores fortalecem revistas de outros PPGs ao invés das próprias revistas. Sociologia 2013. Pesquisadores top publicam muito mais artigos do que livros.

Avaliação dos documentos de área Uso de indicadores bibliométricos e outros critérios na avaliação da produção intelectual (VOGEL, 2017) Comparação da avaliação de 2013 com 2017

Resultados Uso de 3 tipos de critérios Indicadores bibliométricos Presença em bases de dados indexadoras Critérios editoriais

Ciências da Vida Grande Área Área Indicadores Presença Critérios Indicadores Presença Critérios Bibliométricos em BDs Editoriais Bibliométricos em BDs Editoriais Ciência de Alimentos FI, SJR - - CpD - - Ciências Ciências Agrárias I FI Sim - FI(JCR); CpD sim - Agrárias Medicina Veterinária FI Sim - FI(JCR) sim - Zootecnia / Recursos Pesqueiros FI Sim - FI(JCR);H(SJR) sim - Ciências Biológicas Ciências da Saúde Biodiversidade FI + H Sim Sim FI(JCR); H(SJR-Scimago) sim - Ciências Biológicas I FI - - FI(JCR);CpD sim - Ciências Biológicas II FI - - FI(JCR);CpD - - Ciências Biológicas III F - - FI(JCR); SJR;H;CpD - - Educação Física FI Sim - FI(JCR);H(SJR) sim - Enfermagem FI, H, Cuiden Sim - FI(JCR); H(SJR), Cuiden sim - Farmácia FI, H Sim - FI(JCR);H(SJR) sim - Medicina I FI Sim - FI(JCR),CpD sim - Medicina II FI, CpD Sim - FI(JCR),CpD sim - Medicina III FI, CpD Sim - FI(JCR),CpD sim - Nutrição FI, H Sim - FI(JCR),CpD sim - Odontologia FI, CpD Sim - FI(JCR),CpD sim - Saúde Coletiva FI, H, CpD Sim - FI(JCR),H(SJR),CpD sim -

Exatas, Tecnológicas e Multidisciplinar Grande Área Ciências Exatas e da Terra Engenharias Multidis-ciplinar Área Indicadores Presença Critérios Indicadores Presença Critérios Bibliométricos em BDs Editoriais Bibliométricos em BDs Editoriais Astronomia / Física FI - - FI(JCR) - - Ciência da Computação FI, H - - FI(JCR); H(SJR-Scimago); H5(Google) - - Geociências FI Sim Sim H(SJR) - sim JCR, Article Influence (AI), SJR, Meia-Vida(HL), Matemática, Probabilidade FI, MV - - MCQ (Mathematical - e Estatística Reviews da American - Mathematical Society) Química FI - - Fi(JCR) sim - Engenharias I FI Sim Sim FI(Sucupira) sim sim Engenharias II FI Sim Sim FI(JCR) sim sim Engenharias III FI Sim Sim FI(JCR), Scopus sim sim Engenharias IV FI, H Sim - FI(JCR), H(SJR) sim - Biotecnologia FI - - FI sim - Ciências Ambientais Q, JCR Sim Sim FI(JCR); FI(SJR);SNIP sim sim Ensino FI Sim Sim H5(Google), FI(JCR) sim sim Interdisciplinar FI, SJR, Q Sim - FI(JCR);H(SJR) sim sim Materiais CpD Sim - CpD sim -

Humanidades Grande Área Área Indicadores Presença Critérios Presença Critérios Indicadores Bibliométricos Bibliométricos em BDs Editoriais em BDs Editoriais Antropologia/Arqueologia - Sim Sim - sim sim Ciência Política e Relações Internacionais FI, SJR Sim Sim SJR sim sim Educação - Sim Sim - sim sim Ciências Filosofia - Sim Sim H sim sim Humanas Geografia H - - FI(JCR);H(SJR) - - História - - Sim H(google) sim sim Psicologia - Sim Sim H(google) sim sim Sociologia - Sim Sim Fi(JCR), H(google) sim sim Teologia e Ciências da Religião H(google) sim sim Ciências Sociais Aplicadas Linguística, Letras,Artes Administração, C. Contábeis e Turismo FI, H Sim Sim FI(JCR); H (Scopus), FI(Scielo) sim sim Arquitetura e Urbanismo - Sim Sim - sim sim Comunicação e Informação - Sim Sim - sim sim Direito - Sim Sim FI(JCR);FI(SJR); H(Google) sim sim Economia CLh - - FI(JCR); H(Google), H(SJR), CL sim - Planejamento Urbano e Reg/ Demografia - Sim Sim FI(JCR);H(SJR) sim - Serviço Social - Sim Sim H sim sim Artes / Música - - Sim - - sim Letras / Linguística - Sim Sim FI(JCR);H(SJR) sim sim

Uso dos critérios 35 áreas usavam indicadores bibliométricos, 11 exclusivamente 2013 2017 35 áreas usavam indicadores bibliométricos, 7 exclusivamente 36 áreas usavam presença em Bases de Dados 40 áreas usavam presença em Bases de Dados 23 áreas usavam Critérios Editoriais 2 exclusivamente 22 áreas usavam Critérios Editoriais 1 exclusivamente 15 áreas mudaram de critérios (ou sua combinação) de 2013 para 2017

Indicadores bibliométricos utilizados 35 30 32 32 25 20 15 10 12 21 12 2013 2017 5 0 6 5 2 1 1 1 1 1 1 1 1 1 0 0 0 0 0 FI H CpD CLh HL Cuiden Q H5 SNIP AI MCQ

FINALMENTE Necessidades e Considerações

Necessidades Esclarecer e ou aprofundar conceitos: Indicadores bibliométricos e outros indicadores possíveis Comunicação científica Cada tipo de produção intelectual Qual a finalidade da classificação Qualis Além da Produção intelectual Está tudo bem resolvido ou "esquece-se" dos demais aspectos da avaliação? Canal de comunicação dinâmico com pesquisadores Definir de modo contundente os critérios de avaliação da produção intelectual Ampliar o posicionamento oficial das Humanidades e suas áreas Estudos comparativos das 49 áreas de acordo com cada quesito

Considerações Embora existam muitas críticas ao uso de indicadores bibliométricos, estes tem ganhado mais espaço Percebe-se uma tentativa de diminuir o nível de subjetividade da avaliação com critérios que são quantitativos (indicadores e presença em bases de dados) Reconhece-se que a gênese desses critérios tem caráter qualitativo As Humanidades têm se permitido o uso de indicadores bibliométricos Sinal da aceitação de um modelo imposto por forças políticas ou de um reconhecimento da eficácia de tais artifícios?

Considerações Produção intelectual é central nos processos de atribuição de notas aos programas CAPES aberta a sugestões Comunidade acadêmica satisfeita, porém vigilante Não há menção ao PNPG 2011-2020 nas críticas!

Muito obrigada! michelyvogel@id.uff.br michelyvogel