brasileira. Álvaro João Pereira Filho A avaliação dos pares é uma etapa crucial dentro do processo de produção científica. Quando

Transcrição

1 Classificador de pareceristas para revistas de ciência política brasileira. Álvaro João Pereira Filho A avaliação dos pares é uma etapa crucial dentro do processo de produção científica. Quando se publica um artigo dentro de uma revista, os resultados são comunicados à comunidade, promovendo debates e críticas que fazem parte do desenvolvimento do campo. Também se promove, quando publicado os dados e informações dos testes empírico, a replicabilidade dos achados, que é importante para a transparência da pesquisa (King, 2015) e para a validade externa do objeto. Portanto, a escolha eficiente de pareceristas é essencial, para que se escolha os melhores avaliadores para determinado artigo submetido. Os pareceristas são os responsáveis pela aprovação, ressalvas ou reprovação de um artigo para publicação. É da sua competência a sugestão de mudanças ou a não publicação devido a problemas no artigo, filtrando a qualidade do que é publicado. Todavia, na ciência política a escolha desses pareceristas é bastante dificultada pelas características do campo, pois existe uma pluralidade de abordagens teóricas e metodológicas, o que faz a escolha do parecerista ainda mais importante. O objetivo desse trabalho final é encontrar um classificador que seja capaz de tornar mais eficiente a busca dos pareceristas para um artigo submetido em uma revista de ciência política. Esse trabalho é, a priori, feito manualmente, em buscas feitas em sistemas de informações sobre pesquisadores. Utilizando um desses sistemas, a plataforma Lattes, e a partir de informações presentes em alguns currículos de cientistas brasileiros, buscou-se através de ferramentas de mineração de dados, classificar os melhores pareceristas para um artigo fictício submetido. Mestrando em ciência política pela Universidade de Brasília 1

2 Apesar da extrema dificuldade de se adquirir os currículos através da plataforma Lattes, que são dados públicos, criou-se um primeiro classificador para encontrar os pareceristas possíveis. Foi aplicado também uma árvore de decisão para obter a probabilidade de se escolher o parecerista dentro do cenário da submissão do artigo fictício. Os resultados encontrados são preliminares, já que se planeja o desenvolvimento e aprimoramento da ferramenta para disponibilizar em open source. Classificador e a mineração dos dados. A plataforma Lattes é um repositório de dados de currículos de pesquisadores brasileiros e estrangeiros, de grupos de pesquisa e de instituições, em um sistema único de informações, sob gestão do Conselho Nacional de Desenvolvimento Científico e Tecnológico, o CNPq 1. Por conta da sua ampla utilização, a plataforma é utilizada para a análise de mérito e competência na aquisição de financiamento e também na procura por um parecerista, pois, é possível nos currículos adquirir informações como a rede em que o pesquisador está incluído, a área de atuação e a instituição de sua formação. A plataforma é constituída de dados públicos, preenchidos pelos próprios pesquisadores. Todavia, a extração de grande quantidade dos dados, microdados, da plataforma é feita institucionalmente. É preciso solicitar ao CNPq ou ao sistema eletrônico do serviço de informação ao cidadão, amparado pela lei de acesso à informação, a aquisição dos dados de interesse. Dessa forma, praticas como o webscraping, ou raspagem, é inviabilizada a partir de CATCHAS presentes na plataforma online em cada currículo acessado. A saída para o problema na aquisição dos dados é fazer o download dos currículos de forma individualizada. A base soma 100 currículos de pesquisadores brasileiros relacionados com a área de ciência política retirados a partir de um busca simples no próprio site da plataforma Latte. A plataforma disponibiliza esses dados no formato XML. É preciso, então, buscar as informações dentro de cada um dos arquivos dos currículos e limpar os dados. As informações procuradas em cada currículo foram basicamente três: a atualização dos currículos, a área de atuação do pesquisador e a instituição de formação. A primeira informação, quanto a atualização, é importante, pois indica se o pesquisador permanece em atividade acadê- 1 Mais informações em: 2

3 mica e se seria propenso a aceitar a atividade de parecerista. A área de atuação do pesquisador gera a escolha dele para determinado conteúdo do artigo submetido. Por fim, a instituição de formação precisa ser diferente do pesquisador que está submetendo o artigo, para evitar redes de pesquisadores compartilhadas e presar pela transparência. Figura 1: Área de atuação dos pesquisadores da amostra. Fonte: elaboração própria do autor A área de atuação possui uma distribuição muito grande ao longo da amostra. Era esperado esse tipo de distribuição, pois essa variável reflete a própria pluralidade do campo, além do seu nível de especialização. Destacaram-se pesquisadores que apenas indicavam ciência política como área de interesse e de teoria política. Muitas outras áreas apresentaram apenas 1 pesquisador, o que gera problema nas predições propostas. Quanto às instituições de formação dos pesquisadores, a distribuição não foi diferente. Apesar de algumas universidades não possuirem um curso de ciência política separado das ciências sociais, as maiores universidades foram representadas na amostra. Na Figura 2, é possível observar com destaque a Universidade de Brasília. O classificador, portanto, foi criado com esses três indicadores extraídos de 100 currículos. O 3

4 Figura 2: Instituição de formação dos pesquisadores da amostra. Fonte: elaboração própria do autor objetivo era determinar quem seria o parecerista para uma submissão de artigo fictício: seria um pesquisador atualizado, pois as revistas pedem o currículo atualizado, com a área de ciência política e diferente da Universidade de Brasília, já que o autor do artigo tem a formação nessa universidade. Encontrou-se que apenas 7% dos pesquisadores da amostra estariam aptos a serem pareceristas desse artigo. Era esperado, pois além de um classificador de aptidão, ele pode ser um filtro. Essa condição de parecerista foi utilizada como uma nova variável dentro da base para utilizar o classificador da árvore de decisão. A árvore de decisão é uma ferramenta de mineração de dados que serve para classificar os dados e a partir disso fazer predições e probabilidades de variáveis qualitativas, se é parecerista ou não parecerista. Foi aplicada a árvore de decisão randomizada, o que permite fazer a predição modal das árvores. O resultado na matriz de confusão, que é uma matriz que cruza classes preditas e as classes atuais, mostrou uma grande capacidade de fazer previsões corretas sobre o não pareceristas, com nenhuma previsão correta sobre quem deveria ser o parecerista. 4

5 Conclusão O objetivo desse trabalho final é de criar um classificador eficiente de pareceristas para revistas brasileiras de ciência política. Como primeira tentativa, os resultados e a operacionalização dos dados foram como o esperado. Entretanto, apesar da capacidade do método de classificação escolhido, a matriz de confusão foi mais eficiente em determinar os não pareceristas, mais do que os pareceristas. Grande parte do problema se deve a distribuição das variáveis escolhidas. Há, visivelmente, uma série de especializações, que espalha a distribuição dos pesquisadores, mas reflete a realidade do campo de ciência política. Até mesmo a escolha da árvore de decisão randomizada pode favorecer os resultados negativos, em detrimento dos positivos. Dessa maneira, nos passos seguintes do projeto é preciso ampliar a amostra, até mesmo a totalidade dos currículos presentes dentro da plataforma Lattes. O classificador, como uma primeira tentativa, deve passar por upgrade, com a inclusão de novos filtros, como outras áreas de atuação, por exemplo. Bibliografia. KING, Gary (2015). Replicação, replicação. Revista Eletrônica de Ciência Política, vol. 6, n.2. 5