COMO LER UM RANKING: A PROPOSTA DO BRAZILIAN RESEARCH RANKING

Transcrição

1 COMO LER UM RANKING: A PROPOSTA DO BRAZILIAN RESEARCH RANKING HOW TO READ A RANKING : THE CASE OF BRAZILIAN RESEARCH RANKING Michely Jabala Mamede Vogel Douglas Henrique Milanez Ed Noyons Nair Yumiko Kobashi Leandro Faria Resumo: Os rankings acadêmicos e os indicadores de produção científica são cada vez mais utilizados para avaliar a performance de universidades e demais instituições de pesquisa. Recentemente, foi lançado o Brazilian Research Ranking, produzido pelo Centro de Estudos em Ciência e Tecnologia da Universidade de Leiden, Holanda. Este ranking, que tem como foco a análise da produção científica brasileira, apresentou novidades ao posicionar instituições com pouca visibilidade à frente de instituições tradicionalmente colocadas no topo de diversos rankings nacionais e internacionais. No presente trabalho, procura-se explicar compreender quais os critérios/metodologias adotados para a definição desse novo posicionamento. O objetivo é interpretar os resultados obtidos em um estudo específico, a fim de mostrar como, de acordo com os parâmetros adotados, pode-se alterar a posição das instituições no resultado final de um ranking. Para dar clareza à explicação e interpretação são descritos, primeiramente, os objetivos, as características e os indicadores utilizados no Brazilian Research Ranking e, em seguida, é feita a sua comparação com outros rankings. Para exemplificar, foram selecionadas cinco instituições: Universidade de São Paulo, Universidade Federal do Rio de Janeiro, Universidade Federal de Minas Gerais, Universidade Estácio de Sá, e Universidade Cruzeiro do Sul, que foram comparadas sob diferentes critérios. Dessa forma, a principal questão discutida neste trabalho é a necessidade de ser feita leitura cuidadosa dos objetivos e metodologias adotados por cada ranking para se compreender adequadamente os resultados por eles apresentados Palavras-chave: Rankings de pesquisa científica. Brazilian Research Ranking (BRR). Interpretação de rankings. Abstract: The assessment of universities and research institutions nowadays uses more and more tools like academic or scientific production rankings. Recently the Brazilian Research Ranking was launched, developed by Center for Science and Technology Studies of Leiden University, in the Netherlands. This ranking focus on the Brazilian scientific production and it brings new approaches, presenting institutions with less visibility among the best positions. In this paper, we are trying to understand what is behind this positioning. According to this, our objective is to explain how to read and interpret rankings in order to show how, in a ranking, depending on the setting choosen, it is possible to change the classification of the institutions in the output. For this, different rankings are presented, being described their features, used indicators and objectives, and them compared to the Brazilian Research Ranking. As an exemple, five universities have been compared: Universidade de São Paulo, Universidade Federal do Rio de Janeiro, Universidade Federal de Minas Gerais, Universidade Estácio de Sá, and Universidade Cruzeiro do Sul. We found out that when the settings offered by the Dutch rankings were adjusted, the output is different from the traditional rankings. Thus, the main recommendation of this paper is to proceed a careful reading of the methodology and objectives of each ranking, in order to have an adequate understanding of each one. Keywords: Rankings on scientific research. Brazilian Research Ranking (BRR). interpretation.

2 1 INTRODUÇÃO O crescente interesse e popularização dos rankings sobre a performance de instituições de ensino superior pode ser atribuído à sua internacionalização, à competição entre elas para atrair estudantes de diversas partes do planeta e, ao mesmo tempo, garantir a obtenção de recursos para financiar suas atividades. (AGUILLO et al., 2010; BILLAUT; BOUYSSOU; VINCKE, 2009; BUELA-CASAL et al., 2007; DE FILIPPO et al., 2012; DILL; SOO, 2005; FERNANDES e NUNES, 2011; WALTMAN et al., 2012). Conforme definição do Oxford Dictionary of Mathematics, os rankings são a organização de elementos de um conjunto segundo algum critério pré-estabelecido (CLAPHAM; NICHOLSON, 2013). Em geral, os rankings procuram avaliar a qualidade das organizações conforme critérios pré-estabelecidos, que podem envolver aspectos relativos ao ensino, à pesquisa e às atividades de extensão. Os rankings têm sido utilizados, via de regra, para divulgar a reputação e a visibilidade das organizações. Para as agências de fomento e outros patrocinadores de pesquisas científicas, um ranking serve como ferramenta para escolher em quem e quanto investir; para um pesquisador, ele pode ser utilizado, dentre outras finalidades, como ferramenta para selecionar centros de excelência para estabelecer parcerias. No Brasil, tem crescido a importância dos rankings, sobretudo em universidades e institutos de pesquisas, que procuram obter posições de relevância para financiar seus projetos de internacionalização, contratar pessoas e aprimorar infraestruturas de pesquisa. Além dos rankings elaborados por agência internacionais, nos quais algumas instituições brasileiras estão presentes, há algumas iniciativas brasileiras, como a do jornal Folha de São Paulo, que elabora o Ranking Universitário Folha (FOLHA DE S. PAULO, 2013). Recentemente, um instituto de pesquisa internacional apresentou o Brazilian Research Ranking (CWTS BRAZILIAN RESEARCH RANKING, 2014), elaborado pelo Centro de Estudos em Ciência e Tecnologia (CWTS) da Universidade de Leiden, Holanda. Vale salientar que o Brazilian Research Ranking (BRR) avalia não apenas universidades, mas também institutos de pesquisa, hospitais, empresas, entre outros, tendo como fontes de dados as pesquisas científicas publicadas em periódicos considerados de excelência. Os rankings de avaliação de organizações acadêmicas de ensino e pesquisa não são de compreensão fácil, nem de construção trivial. Durante o lançamento do BRR, no Encontro Brasileiro de Bibliometria e Cientometria (EBBC), realizado em Recife, em 2013, houve certo estranhamento com os resultados de uma análise que colocou a Universidade Estácio de Sá (RJ), como líder em indicadores de impacto, embora esta não seja uma instituição reconhecida como de excelência em pesquisa científica no Brasil. Os questionamentos podem ser

3 atribuídos ao desconhecimento, pelo público presente, da metodologia de elaboração desse ranking. Com o intuito de contribuir para a discussão sobre o uso de rankings na avaliação de pesquisas, este estudo descreve o BRR, especificando suas diferenças em relação a outros rankings de avaliação selecionados e discute o já mencionado caso curioso que gerou discussão. O objetivo é refletir sobre o processo de análise de rankings destacando a necessidade de os usuários estarem atentos às metodologias e às variáveis adotadas em sua elaboração. Nessa perspectiva, esta comunicação apresenta as características de um conjunto de rankings universitários, com foco nos indicadores utilizados em cada um, a saber: o ranking chinês Academic Ranking of World Universities, os espanhóis Ranking Web of Universities e SCImago Institutions Rankings, os britânicos QS World University Rankings e Times Higher Education World University Rankings, os holandeses U-Multirank e CWTS Leiden Ranking, o brasileiro Ranking Universitário Folha e o Brazilian Research Ranking, com breves considerações sobre os limites de cada rankings. Em seguida, serão apresentadas sugestões de como ler um ranking, a partir de um exercício de reflexão sobre a utilização do Brazilian Research Ranking (BRR), partindo justamente da questão que deu início aos debates durante o EBBCde 2013: a Universidade Estácio de Sá e seu posicionamento de destaque em relação a outras instituições de renome. As instituições analisadas neste exercício foram as universidades públicas Universidade de São Paulo (USP), Universidade Federal do Rio de Janeiro (UFRJ) e Universidade Federal de Minas Gerais (UFMG) e as universidades privadas Universidade Estácio de Sá e Universidade Cruzeiro do Sul. Por fim, serão apresentadas as considerações finais e as futuras pesquisas envolvendo o BRR e outros rankings. 2 CARACTERÍSTICAS DOS RANKINGS SOBRE INSTITUIÇÕES DE CIÊNCIA E TECNOLOGIA 2.1 Academic Ranking of World Universities (ARWU) O ARWU foi criado em 2003 pelo Center for Wolrd-Class Universities da Universidade Shangai Jiao Tong e se baseia nos seguintes indicadores: (1) número de alunos e colaboradores indicados a prêmios Nobel e medalhas por campo de conhecimento, (2) número de pesquisas altamente citadas selecionadas pela Thomson Scientific, (3) número de artigos publicados nos periódicos Science e Nature, (4) número de artigos indexados no Sicence Citation Index Expanded e no Social Sciences Citations Index, e (5) performance per capita, de acordo com o tamanho da instituição. O ARWU avalia atualmente mais de mil universidades do mundo, apresentando as 500 melhores na sua página na internet. Este

4 ranking é atualizado anualmente (ACADEMIC RANKING OF WORLD UNIVERSITIES, s.d.). 2.2 QS World University Rankings O ranking QS ou Quacquarelli Symonds Ltd, com sede em Londres, atualizado anualmente, oferece uma visão geral das universidades de acordo com os seguintes critérios: (1) reputação acadêmica, (2) reputação como local de trabalho, (3) corpo discente, (4) corpo docente internacional, (5) alunos internacionais, (6) citações por corpo docente. São consideradas mais de 2000 universidades do mundo, avaliadas mais de 700, sendo apresentadas em sua página as 400 melhores. É possível criar cenários por corpo docente, áreas, regiões, BRICS e melhores cidades para se estudar. Seus dados vêm de diversos rankings internacionais e nacionais (o provão, no caso do Brasil, por exemplo). Desde 2013 são considerados indicadores sobre produção científica, tomando como base dados extraídos da base de dados Scopus (QS TOP UNIVERSITIES, s.d.). 2.3 Ranking Web of Universities (Webometrics) O Ranking Web, ou Webometrics, foi criado em 2004 pelo Cybermetrics Lab do Conselho Nacional de Pesquisa da Espanha. Seu objetivo é aumentar a presença acadêmica das instituições espanholas na internet através da promoção de iniciativas de Acesso Aberto (Open Access) e aumentar a transferência de conhecimento científico e cultural gerados nas universidades. O indicador utilizado é o al + bw, onde L são os links normalizados, W as páginas da internet normalizadas, e a e b são pesos. Esse indicador é composto pela visibilidade como critério de impacto. Também considera presença, abertura, e excelência como critérios de atividade, considerando o tamanho das instituições como forma de normalização dos dados. O Webometrics é atualizado duas vezes por ano (RANKING WEB OF UNIVERSITIES, s.d.). 2.4 SCImago Institutions Rankings (SIR) O SIR, também espanhol, foi lançado em Apresenta, anualmente, um ranking de instituições que tenham ao menos 100 artigos/ano indexados na base de dados Scopus, em produtos de pesquisa das organizações a fim de oferecer informação cientométrica útil para instituições, formadores de políticas e gerentes de pesquisa para que eles possam analisar, SCIMAGO RESEARCH GROUP, 2014,

5 p.1). O ranking traz informações de mais de instituições de pesquisa, sempre considerando os cinco anos anteriores. 2.5 Times Higher Education World University Rankings (WUR) Talvez um dos mais populares, o WUR mede a performance global das universidades, considerando: ensino, pesquisa, transferência de conhecimento e internacionalização. O WUR utiliza treze indicadores, divididos em cinco áreas: (1) ensino: o ambiente de aprendizagem; (2) pesquisa: volume, renda, e reputação, (3) citações: a influência da pesquisa; (4) verba advinda de indústria: inovação; (5) internacionalização: colaboradores, alunos e pesquisa. Não são consideradas no WUR universidades que não oferecem cursos de graduação, ou que ofereçam ensino em apenas um tema, ou ainda aquelas cujo produto de pesquisa seja menor que mil artigos entre 2007 a 2011 (200 por ano) para o período Os dados vêm da base de dados Web of Science e também das próprias universidades. O resultado é um ranking com as 400 universidades mais bem colocadas (TIMES HIGHER EDUCATION WORLD UNIVERSITY RANKINGS, s.d.). 2.6 U-Multirank Lançado em 2014, é o produto de um consórcio entre a Universidade de Twente (Holanda) e o Centro para Educação Superior da Alemanha (CHE), subsidiado pela Comissão Europeia. Este ranking avalia o ensino e a aprendizagem, a pesquisa, a transferência de conhecimento, a internacionalização e o engajamento local de mais de 850 instituições de ensino superior de 74 países. O U-Multirank compara instituições com o mesmo perfil. A coleta de dados é feita diretamente com as universidades, através do preenchimento de um questionário e também das bases Web of Science e PATSTAT, que traz informações sobre patentes. Os cálculos são baseados em três tipos de indicadores: indicadores institucionais e de campo, indicadores de mapeamento e indicadores descritivos (U-MULTIRANK, 2014). 2.7 Ranking Universitário da Folha (RUF) Elaborado pelo jornal Folha de São Paulo e atualizado anualmente, o RUF analisa cinco dimensões de 192 universidades brasileiras: (1) Ensino: por meio de entrevistas com amostra de professores, quantidade de professores com doutorado, quantidade de professores com dedicação integral, nota no ENADE (Exame Nacional de Desempenho de estudantes); (2) Internacionalização: tomando as citações presentes em periódicos internacionais, coautoria internacional, docentes estrangeiros; (3) Inovação: pelos pedidos de patentes depositados pelas instituições; (4) Inserção no mercado de trabalho: por meio de pesquisa amostral de

6 responsáveis por departamentos de recursos humanos de diversas empresas; (5) Pesquisa: considerando a produção científica, citações desses trabalhos, proporção de citação por publicação, publicações por docente, citações por docente, publicações em revistas científicas nacionais, recursos captados em agências de fomento. O objetivo é medir a qualidade das Instituições de Ensino Superior brasileiras (FOLHA DE S. PAULO, 2013). Uma diferença em relação aos demais rankings é a preocupação com a inserção no mercado de trabalho. 2.8 CWTS Leiden Ranking (LR) Produzido pelo Centro de Estudos em Ciência e Tecnologia (CWTS) da Universidade de Leiden, Holanda, e atualizado anualmente, o LR analisa as 750 universidades do mundo com maior produção em periódicos científicos internacionais, durante quatro anos (para 2014, olha-se o período ). Ou seja, avalia a pesquisa científica das instituições, tendo como fonte as publicações indexadas na base de dados Web of Science. Organiza as publicações conforme áreas do conhecimento, obtidas pelo agrupamento das próprias publicações por citação direta, baseando-se em metodologia pré-estabelecida (WALTMAN; VAN ECK, 2012). Na coleta de dados, o LR tenta identificar as similaridades e diferenças entre as universidades, da forma como estão organizadas nos países de origem por exemplo, comparar universidade federais entre si e públicas entre si. Analisa também as hierarquias organizacionais entre universidades e institutos de pesquisa, classificando-os como Componentes, Grupos e Afiliações. Há também uma diferenciação para hospitais universitários. O ranking pode ser observado de acordo com sete áreas do conhecimento e utiliza os seguintes critérios: 1) Indicadores de impacto, que inclui o indicador pontuação média de citação (MCS, sigla em inglês), pontuação média de citação normalizada (MNCS), que se baseia na contagem normalizada de publicações de uma organização, em determinada área, e PP (top 10%), que trata da proporção de publicações de uma organização que, em comparação com outras publicações do mesmo campo e ano, pertencem ao conjunto top 10% mais citadas; 2) Indicadores de colaboração, considerando a proporção de publicações colaborativas interinstitucionais (PP collab ), proporção de publicações com colaboração internacional (PP int collab ), proporção de publicações em colaboração com a indústria (PP UI collab), proporção de publicações colaborativas de curta distância (PP <100km ), e proporção de publicações colaborativas de longa distância (PP >1000km). O LR permite a filtragem por área do conhecimento, região, país, contagem mínima de publicações, contagem fracionária do indicador e contagem independentemente do tamanho da organização (CWTS LEIDEN RANKING, 2014).

7 2.9 Brazilian Research Rankinhg (BRR) Lançado em maio de 2014, o BRR tem por objetivo medir a performance científica de instituições de pesquisa brasileiras, não estando restrito apenas a universidades. Sua proposta segue o modelo do Leiden Ranking (LR). Baseia-se, portanto, nas publicações científicas indexadas na base Web of Science, organiza seu conteúdo por áreas do conhecimento e utiliza indicadores de impacto e de colaboração para avaliar as organizações. De maneira geral, para fazer parte do BRR, uma organização de pesquisa deve ter publicado pelo menos 100 artigos em periódicos indexados na Web of Science, no período de A mesma lógica de organização do LR é aplicada ao BRR: as instituições são classificadas em universidades públicas, privadas e especiais (de acordo com a classificação do Ministério da Educação), institutos de pesquisa, hospitais e hospitais universitários, além de organizações de capital misto, como é o caso da Petrobrás (CWTS BRAZILIAN RESEARCH RANKING, 2014). A elaboração do BRR contou com a colaboração de dois pesquisadores brasileiros no processo de normalização de nomes, classificação das organizações e outros aspectos do ranking. Trata-se de um primeiro exercício do CWTS para medir dados unicamente brasileiros. A equipe prevê ainda ajustes e aprimoramentos, inclusive no modo de classificar as instituições, considerando as observações dos pesquisadores e usuários do BRR Comentários sobre os rankings Antes de analisar o posicionamento de qualquer organização, em um ranking, é fundamental entender os objetivos de cada um. A European University Association (apud Fernandes; Nunes, 2011, p.5) propôs uma taxonomia que tem com fio condutor justamente o objetivo dos rankings. No caso dos rankings acima descritos, tem-se, conforme os autores, o seguinte esquema: Rankings acadêmicos com o objetivo principal de produzir tabelas classificatórias das universidades: ARWU WUR QS RUF (Indicado pelos autores deste texto) Rankings que se concentram somente no desempenho da pesquisa (com ou sem tabelas classificatórias): Leiden Ranking SIR (Indicado pelos autores deste texto)

8 BRR (Indicado pelos autores deste texto) Multirankings que usam uma série de indicadores sem a intenção de produzir tabelas classificatórias: U-Multirank Web rankings Webometrics A tipologia dos rankings varia conforme os indicadores adotados na sua construção. Por exemplo, rankings multidimensionais, tais como ARWU, WUR, QS e RUF envolvem os aspectos de ensino, pesquisa, inovação, atuação no mercado, etc. das instituições avaliadas. Há também rankings que avaliam aspectos mais específicos, como o desempenho científico (Leiden Ranking -LR e Brazilian Research Ranking-BRR) e rankings voltados para a visibilidade do conteúdo da organização na web, como por exemplo, o Webometrics. No processo de seleção e análise de rankings, seja para compreendê-los ou para verificar a posição de uma dada organização ou um conjunto de organizações, é importante considerar a legitimidade do mesmo frente à opinião pública. Por exemplo, há estudos que questionaram a reprodutibilidade do Shangai Ranking e, consequentemente, dos resultados que ele apresenta (BILLAUT; BOUYSSOU; VINCKE, 2009). Neste sentido, é importante considerar sempre os interesses político-econômicos de quem elabora o ranking e de quem o utiliza (AGUILLO et al., 2010; FERNANDES; NUNES, 2011; BUELA-CASAL e outros, 2007; DILL; SOO, 2005). Em geral, há diversas críticas aos rankings e à sua adoção sem a compreensão prévia das limitações inerentes aos procedimentos metodológicos adotados em sua elaboração. Chama-se a atenção, portanto, para a não-neutralidade dos rankings, já que eles são construídos e utilizados intencionalmente, em contextos determinados, para fins específicos. A primeira e mais óbvia crítica refere-se à abrangência dos rankings que, em geral, é limitada pela inexistência de uma plataforma mundial comum com todos os dados de input e output da atuação de uma dada instituição (por exemplo, total de investimento da instituição em determinado ano, alunos formados, projetos de extensão junto à sociedade, número de publicações científicas em revista indexadas aqui já caberia uma ampla discussão sobre qual base de dados deveria ser adotada, questão que não será abordada na presente comunicação - ou sobre a dificuldade de obtenção dessas informações (AGUILLO et al., 2010; FERNANDES; NUNES, 2011; BUELA-CASAL e outros, 2007; DILL; SOO, 2005). Contudo, embora seja uma crítica sempre válida, a abrangência é um critério para o qual o usuário de rankings deve estar sempre atento.

9 Outro aspecto que recebe constantes críticas é a variação na aplicação dos pesos entre os rankings, que pode estar associada aos interesses socioeconômicos das instituições promotoras dos rankings (AGUILLO et al., 2010) ou à dificuldade em estabelecer um peso ideal para cada indicador (AGUILLO et al., 2010; FERNANDES; NUNES, 2011; BUELA- CASAL e outros, 2007; DILL; SOO, 2005). Outro fator é o desacordo que pode haver entre o resultado apresentado pelo ranking e a missão da universidade, além da influência do idioma (FERNANDES; NUNES, 2011). O tamanho das universidades também pode influenciar os resultados, já que universidades de maior porte tendem a ter um número de publicações científicas superior ao das universidades menores (FERNANDES; NUNES, 2011), o que justifica a adoção do critério de proporcionalidade dos indicadores, em conformidade com o tamanho da instituição. 3 SUGESTÕES DE COMO LER UM RANKING DE UNIVERSIDADES OU DE PESQUISA E O CASO DO BRR. 3.1 Como ler um ranking de universidades ou de pesquisa Os rankings universitários ou de pesquisa têm por finalidade listar as organizações conforme algum(ns) critério(s) e os resultados, em geral compreendidos de forma comparativa, podem ou não estar associados à missão da(s) organização(ões) avaliadas. A seguir, apresenta-se um passo-a-passo de como ler um ranking, seguida da descrição do BRR, com base nos passos de 1 a 4: comparativa; Identificar a instituição que elaborou o ranking e sua motivação ; Identificar os métodos e bases de dados utilizados; Identificar os indicadores elaborados e o que eles representam numa análise Verificar as possibilidades de filtragem e como elas afetam o resultado; Definir o que se pretende avaliar em um ranking: se uma única organização ou um conjunto de organizações, tendo em vista os porquês desta(s) análise(s); centro de Interpretar os resultados observados e o que é possível afirmar sobre eles. O BRR foi elaborado pelo Centro de Estudos em Ciência e Tecnologia (CWTS), um consideradas as publicações, com afiliações brasileiras, indexadas no conjunto de periódicos da base de dados da Thomson Reuters Web of Science (Science Citation Index Expanded, Social Sciences Citation Index, and Arts & Humanities Citation Index), considerando o

10 período de 2003 a Apenas publicações pertencentes ao chamado core são consideradas, cujo requisito são: periódicos com escopo internacional, que publicam no idioma inglês e têm referências suficientemente grandes em relação ao núcleo de periódicos da base Web of Science. Muitos periódicos da área de ciências humanas, periódicos comerciais e revistas populares não cumprem esta condição, representando 16% das publicações veiculadas nos chamados periódicos non-core (portanto não consideradas nos indicadores do BRR). Adicionalmente, são considerados apenas documentos do tipo artigo (article) ou artigo de revisão (review) (CWTS BRAZILIAN RESEARCH RANKING, 2014) A normalização dos nomes das organizações que compões o BRR foi feita com a colaboração de pesquisadores brasileiros nos processos de limpeza dos dados referentes às universidades, institutos de pesquisa, hospitais e empresas. Contudo, alerta-se para a possibilidade de contagem de falsos positivos e falsos negativos em decorrência do desafio de normalização dos nomes de organizações (CWTS BRAZILIAN RESEARCH RANKING, 2014). A afiliação de cada instituição também foi cuidadosamente verificada e, de acordo com a classificação do CWTS, podem-se distinguir: 1) Instituições componentes, que se referem às que, embora tenham denominações distintas, estão intimamente ligadas e podem ser consideradas como entidades únicas, como por exemplo os diversos campi de uma única universidade, como a USP, UNESP, UnB; 2) Instituições conjuntas, que seguem a mesma regra das instituições componentes, porém são administradas por uma ou mais organizações, como por exemplo, o Museu Nacional do Rio de Janeiro e 3) Instituições associadas, que são aquelas conectadas de maneira mais flexível, que trabalham com propósitos comuns, mas têm missões e tarefas específicas, enquadrando-se neste tipo os hospitais universitários. Instituições do tipo 1 e 2 são colocadas como uma única organização específica, enquanto com as instituições do tipo 3 é realizada a contagem para a organização geral e para cada unidade específica, separadamente (CWTS BRAZILIAN RESEARCH RANKING, 2014). As organizações também foram classificadas em agência de fomento, hospital público ou privado (acadêmico), universidade privada ou especial, organização privada de pesquisa, organização pública de pesquisa, universidade pública e empresa semi-pública. Também foi identificada a localização geográfica de cada instituição (Norte, Nordeste, Centro-Oeste, Sudeste e Sul). No caso de organizações atuantes em mais de uma região, foi considerada a região da sede principal da organização. Os indicadores do ranking são os mesmos utilizados no Leiden Ranking (LR), conforme apresentado no tópico 2.8, disponível também no site do BRR (CWTS

11 BRAZILIAN RESEARCH RANKING, 2014), sendo possível gerar listas para indicadores de impacto e colaboração com a contagem mínima de 50, 100, 500, 1000 e 5000 publicações. Logicamente, quanto maior a contagem mínima de publicações, menor o número de organizações na lista do ranking. Os principais campos de pesquisa (ciências cognitivas; ciências da terra e ambiental; ciências da vida, matemática, ciências da computação e engenharia; ciências médicas; ciências da natureza; e ciências sociais) foram delineados conforme procedimento de classificação desenvolvido no CWTS (WALTMAN; VAN ECK, 2012), sendo recomendável a leitura da publicação citada para ter conhecimento mais aprofundado sobre o ranking. O método de contagem do número de publicações científicas varia conforme o tipo de indicador, embora seja possível alterá-lo na interface do ranking. A contagem fracionada (fractional counting) atribui menor peso às publicações colaborativas, enquanto o método de contagem completa (full counting) atribui peso igual às publicações de uma organização. O método de contagem fracionada leva a uma normalização por campo mais acurada dos indicadores de impacto e permite estabelecer comparações entre organizações ativas em diferentes campos, sendo inclusive o método de contagem preferencial da BRR. Já os indicadores de colaboração são sempre calculados utilizando-se o método de contagem completa (CWTS BRAZILIAN RESEARCH RANKING, 2014). O BRR também oferece contagem com dependência ou independência do tamanho da organização (opção de parâmetros avançada do ranking), sendo a contagem dependente menos útil para fins de comparação. Por fim, o intervalo de estabilidade dos dados é oferecido e indica a susceptibilidade de mudança do valor em conformidade com as alterações no conjunto de publicações adjacentes. Estes intervalos de estabilidade de 95% foram construídos utilizandose a técnica estatística conhecida como bootstrapping (CWTS BRAZILIAN RESEARCH RANKING, 2014). 3.2 Procedimento para coleta dos indicadores do BRR Foram coletados os dados dos indicadores de impacto e de colaboração da Universidade Estácio de Sá e da Universidade Cruzeiro do Sul, ambas privadas, que apresentam número total de publicações próximo, portanto, passíveis de comparação. Também foram coletados os valores para três universidades públicas reconhecidas como de grande importância para a pesquisa científica no Brasil: Universidade de São Paulo (USP), Universidade Federal do Rio de Janeiro (UFRJ) e Universidade Federal de Minas Gerais (UFMG).

12 O posicionamento de cada uma destas universidades foi obtido por meio de três contagens mínimas de publicações: 50, 500 e Não foram realizadas filtragens por área de conhecimento, região e tipo de organização, opções disponíveis no ranking para obter o posicionamento, exceto para identificar a área de atuação específica da Universidade Estácio de Sá. Também foi considerado o cálculo dos indicadores com independência de tamanho, o que permite a colaboração de instituições pequenas e grandes, e contagem fracionada, conforme opções avançadas de cálculo do ranking (CWTS BRAZILIAN RESEARCH RANKING, 2014). 3.3 Análise comparativa do desempenho de universidades selecionadas A Tabela 1 apresenta os indicadores de impacto para o conjunto de universidades selecionadas. Nota-se que os valores para a Universidade Estácio de Sá destoam dos dados apresentados pelas demais universidades, com elevada pontuação por citação (normalizada ou não) e proporção entre as principais (top 10%) publicações brasileiras indexadas na Web of Science. Seria esperado, no entanto, que os indicadores desta universidade fossem semelhantes aos valores encontrado na Universidade Cruzeiro do Sul, já que ambas têm foco no ensino e não na pesquisa científica (vide o baixo número de publicações científicas no período de análise do ranking). Seria esperado também que os valores fossem inferiores aos valores encontrados nas universidades públicas, como de fato ocorreu com a Universidade Cruzeiro do Sul. Adicionalmente, as publicações da Universidade Estácio de Sá ocorreram sobretudo na área de ciências médicas. Por outro lado, a Universidade Estácio de Sá aparece como líder apenas quando se considera a contagem mínima de publicações (50), não estando presente na lista do ranking para os valores 500 e De forma análoga, a Universidade Cruzeiro do Sul também não aparece nestas outras listas, como consequência do número total de publicações avaliadas de ambas as universidades (113 e 109, respectivamente para a Universidade Estácio de Sá e Universidade Cruzeiro do Sul). Com esses totais, o número anual médio de publicações de ambas as universidades no período do ranking ( ) é próximo a 11, um valor baixo quando comparado à média anual das universidades públicas renomadas (2753 para a USP, 858 para a UFRJ e 557 para a UFMG). Como consequência, os dados do ranking mostram que a atividade da Universidade Estácio de Sá na pesquisa científica do Brasil pode ser considerada baixa quando comparada às universidades públicas avaliadas, que, por sua vez, tendem a ocupar as posições de destaque conforme o número mínimo de publicações é aumentado.

13 TABELA 1 - Valores dos indicadores de impacto extraídos do BRR para as universidades selecionadas 59 PP top Organização P MCS MNCS 10% Univ. Estácio de Sá ,12 1,27 14,7% Univ. Cruzeiro do Sul 109 5,07 0,63 3,4% Univ. de São Paulo ,90 0,65 4,8% Univ. Fed. Rio de Janeiro ,20 0,65 5,1% Univ. Fed. Minas Gerais ,52 0,67 4,9% Fonte: Brazilian Research Ranking, 2014 Com relação à proporção de publicações em colaboração, a Universidade Estácio de Sá mostra ser mais colaborativa (77,3%) do que as universidades públicas, seguindo a mesma tendência da Universidade Cruzeiro do Sul, conforme Tabela 2. O elevado índice de colaboração pode ser consequência de diversos fatores, que poderiam ser identificados por meio de entrevistas, o que foge ao escopo do presente estudo. A universidade Estácio de Sá tende a colaborar com organizações situadas a pequena distância (PP <100km ), sendo baixo o total de publicações com instituições fora do Brasil ou com instituições situadas a longas distâncias (PP >1000km ), quando comparada com as universidades públicas. Também é baixo o número de publicações em colaboração com a indústria, mas esta é uma tendência também observada na Universidade Cruzeiro do Sul, em que o indicador é zero. Novamente, as universidades privadas consideradas neste estudo aparecem apenas quando se toma uma contagem mínima igual a 50, conforme Tabela 3, ao passo que as universidades públicas consideradas tendem a ocupar posições de destaque. Considerando as observações obtidas dos indicadores de impacto e de colaboração, a Universidade Estácio de Sá tem baixo número de publicações, porém alto índice de citação, com grande probabilidade de terem sido desenvolvidas em colaboração com outras instituições brasileiras. 59 Prefere-se ao número total de publicações considerado; MCS é a pontuação média de citação; MNCS trata da pontuação média de citação normalizada conforme o campo e ano da publicação; e PPtop 10% é a proporção de publicações de uma organização que, em comparação com outras publicações no mesmo campo e no mesmo ano, pertencem ao top 10% mais citadas (CWTS BRAZILIAN RESEARCH RANKING, 2014).

14 TABELA 2 - Posicionamento das universidades no ranking em cada indicador de impacto para diferentes contagens mínimas de publicação. Organização Univ. Estácio de Sá Univ. Cruzeiro do Sul Univ. São Paulo Univ. Fed. Rio de Janeiro Univ. Fed. Minas Gerais Contagem mínima de publicação Fonte: Brazilian Research Ranking, 2014 MCS MNCS PP(top 10%) TABELA 3 - Valores dos indicadores de colaboração extraídos do BRR para as universidades selecionadas 60. Organização P PP collab PP int collab PP UI collab PP <100km PP >1000km Univ. Estácio de Sá ,3% 19,1% 0,4% 38,2% 23,1% Univ. Cruzeiro do Sul ,0% 31,5% 0 44,4% 35,3% Univ. São Paulo ,3% 34,3% 1,9% 14,1% 40,0% Univ. Fed. Rio de Janeiro ,5% 35,0% 2,9% 21,1% 42,0% Univ. Fed. Minas Gerais ,2% 33,3% 2,6% 12,8% 41,0% Fonte: Brazilian Research Ranking, Prefere-se ao número total de publicações considerado; PP collab é a proporção de publicações colaborativas com outras instituições; PP int collab trata da proporção de publicações com colaboração com instituições de outros países; PP UI collab é a proporção de publicações em colaboração com a indústria; PP <100km é a proporção de publicações colaborativas de curta distância; e PP >1000km trata da proporção de publicações colaborativas a longa distâncias (CWTS BRAZILIAN RESEARCH RANKING, 2014).

15 TABELA 4 - Posicionamento das universidades no ranking em cada indicador de impacto para diferentes contagens mínimas de publicação. Organização Univ. Estácio de Sá Univ. Cruzeiro do Sul Univ. São Paulo Univ. Fed. Rio de Janeiro Univ. Fed. Minas Gerais Contagem PP mínima de PP int collab collab publicação PP UI collab PP <100km PP >1000km Fonte: Brazilian Research Ranking, CONSIDERAÇÕES FINAIS E RECOMENDAÇÕES É necessário lembrar sempre que a qualidade de uma instituição está associada ao aspeto mensurado pelo ranking. Portanto, conhecer a metodologia adotada e os objetivos subjacentes ao ranking são fundamentais para entender o que os dados significam. Importante ressaltar também que mais do que uma luta entre boas e más instituições, cada vez mais se depara com excelentes instituições competindo por fundos. Portanto, dependendo do conjunto analisado pelo ranking, o item relativo ao quanto uma instituição publica em colaboração, ou quantos pesquisadores ela forma é automaticamente transformado em qualidade global de uma instituição, em seu todo. O conceito lógico de distribuição é útil para explicar as interpretações equivocadas, intencionais ou não, sobre a qualidade das instituições, acima referido. Por serem esses equívocos, ou falácias, frequentemente utilizados para induzir falsas inferências na qualificação positiva ou negativa das instituições, enfatiza-se a necessidade de se conhecer os objetivos, métodos e critérios utilizados na produção dos rankings antes de utilizá-los. No âmbito das universidades e institutos de pesquisa, os principais rankings internacionais baseiam suas análises na produção científica, sobretudo nas publicações em periódicos científicos indexados em renomadas bases de dados como, por exemplo, Web of

16 Science e Scopus. Assim, uma boa instituição de pesquisa, de acordo com esses rankings, é aquela que publica muito, e com regularidade. No entanto, deve-se ter presente que os critérios de seleção de indexação de periódicos pelas bases de dados não são neutras, fato que indica a necessidade de cautela na interpretação de indicadores produzidos por essas bases. Os exemplos apresentados nesta comunicação pretenderam demonstrar os limites e possibilidades de utilização de rankings na avaliação das instituições. Por extensão, procurouse mostrar as possibilidades e limites da utilização do BRR para avaliar a qualidade das universidades. A motivação deste estudo surgiu do interesse expresso por um organismo internacional em conhecer a produção científica brasileira, e também de dúvidas que surgiram entre os membros da equipe do BRR após seu primeiro lançamento, em maio de Cabe destacar que um ranking não tem a finalidade de representar a missão das instituições avaliadas nem afirmar ou infirmar a qualidade de uma instituição. Ao contrário, procurou-se mostrar que a posição de uma instituição em um ranking é dependente dos métodos e parâmetros adotados nas análises. No caso do BRR, procura-se medir ou conhecer a situação da pesquisa brasileira, tendo como referência o que foi publicado em periódicos indexados pela Web of Science. Portanto, o BRR é um ranking interessante para comparar instituições de pesquisa que são produtivas na Web of Science; se essas instituições, embora produtivas, não têm produção indexada na Web of Science, as respostas não estarão no BRR. Ainda, se o objetivo é comparar apenas universidades, do ponto de vista de inserção no mercado, por exemplo, esse ranking também não é o mais adequado. Espera-se que esta comunicação contribua para o aprimoramento das análises e interpretações de rankings em geral e, em particular, dos indicadores apresentados pelo BRR. REFERÊNCIAS ACADEMIC RANKING OF WORLD UNIVERSITIES. About Academic Ranking of World Universities. Disponível em: Acesso em: 13 jul AGUILLO, I. F. et al. Comparing university rankings. Scientometrics, Amsterdam, v. 85, n. 1, p , 23 fev BILLAUT, J.-C.; BOUYSSOU, D.; VINCKE, P. Should you believe in the Shanghai ranking? Scientometrics, Amsterdam, v. 84, n. 1, p , 2 dez BUELA-CASAL, G. et al. Comparative study of international academic rankings of universities. Scientometrics, Amsterdam, v. 71, n. 3, p , jun CLAPHAM, C.; NICHOLSON, J. The Concise Oxford Dictionary of Mathematics. Oxford: Oxford University Press: Disponível em:

17 /acref Acesso em: 13 jul CWTS BRAZILIAN RESEARCH RANKING. Methodology Disponível em: Acesso em: 13 de jul CWTS LEIDEN RANKING. Methodology Disponível em: Acesso em: 13 de jul DE FILIPPO, D. et al. Visibility in international rankings. Strategies for enhancing the competitiveness of Spanish universities. Scientometrics, Amsterdam, v.93, n.3, p , DILL, D. D.; SOO, M. Academic quality, league tables, and public policy: A cross-national analysis of university ranking systems. Higher Education, Amsterdam, v. 49, n.4, p , jun FERNANDES, I.; NUNES, E. Rankigs internacionais: a irresistível polêmica em torno de seus sentidos e metodologias. Rio de Janeiro: Observatório Universitário, (Documento de trabalho, 97). Disponível em: o_97.pdf. Acesso em: 5 jul FOLHA DE S. PAULO. Como é feito o Ranking Universitário Folha Disponível em: Acesso em 14 de jul QS TOP UNIVERSITIES. QS Top Universities. Disponível em: Acesso em: 13 jul RANKING WEB OF UNIVERSITIES. Methodology. Dsiponível em: Acesso em 13 jul SCIMAGO RESEARCH GROUP. Metodology (English) Disponível em: pdf. Acesso em: 13 jul TIMES HIGHER EDUCATION WORLD UNIVERSITY RANKINGS. World University Rankings methodology. Disponível em: Acesso em 13 jul U-MULTIRANK. Methodology Disponível em: Acesso em: 13 jul interpretation. Journal of the American Society for Information Science and Technology, New York, v.63, n.12, p , WALTMAN, L.; VAN ECK, N. J. A new methodology for constructing a publication-level classification system of science. Journal of the American Society for Information Science and Technology, New York, v.63, n.12, p , dez