Perfil e impacto da produção técnico-científica da Embrapa

Transcrição

1 Perfil e impacto da produção técnico-científica da Embrapa Produção, citações e downloads Roberto Penteado Wilson Fonseca Flavio Avila Brasília, 04 de Junho de 2018

2 Avaliação bibliométrica: Definição, Estudos e Indicadores

3 Definição de Bibliometria Bibliometria (Bibliometrics) Estudo dos aspectos quantitativos da difusão, uso e impacto da informação registrada. Foi adotada inicialmente de forma restritiva, na análise estatística de publicações escritas, em particular dos registros bibliográficos. Com o tempo, a Bibliometria ampliou seu espectro, com a incorporação de documentos diversos, tais como bases de dados internas de uma empresa, bases de publicações científicas e patentes.

4 Definição de Cientometria Cientometria (Scientometrics) É considerada um segmento da sociologia da ciência para estudar os aspectos quantitativos da ciência como disciplina ou atividade econômica, aplicada ao desenvolvimento de políticas científicas. Trata dos estudos quantitativos de todas as atividades científicas consideradas pertinentes, inclusive a publicação. Por isso, a Cienciometría é mais completa que a Bibliometría.

5 Áreas das ciências da informação

6 Estudos bibliométricos na Embrapa 2006 PENTEADO FILHO, R. de C. Création de systèmes d intelligence dans une organisation de recherche et développement avec la scientométrie et la médiamétrie f. Tese (Doutorado) Université du Sud, Toulon FONSECA JÚNIOR, W. C. A Comunicação organizacional: um estudo epistemológico f. Tese (Doutorado em Comunicação Social) Universidade Metodista de São Paulo, São Bernardo do Campo. 2009a PENTEADO FILHO, R. de C.; AVILA, A. F. D. Embrapa Brasil: análise bibliométrica dos artigos na Web of Science: ( ). Brasília, DF: Embrapa Informação Tecnológica, 2009a. 116 p. (Textos para Discussão, 36).

7 Estudos bibliométricos na Embrapa 2009b PENTEADO FILHO, R. de C.; AVILA, A. F. D. Estudo das citações dos artigos da Embrapa na Web of Science de 1977 a Brasília, DF: Embrapa Informação Tecnológica, 2009b. 131 p. (Textos para Discussão, 37). 2016a PENTEADO FILHO, R. De C.; FONSECA JUNIOR, W. C. F.; AVILA, A.F. O papel da pesquisa bibliométrica na avaliação de desempenho de instituições de pesquisa: o caso Embrapa. CONTECSI - International Conference on Information Systems and Technology Management - ISSN (2016). 2016b PENTEADO FILHO, R. De C.; FONSECA JUNIOR, W. C. O problema da padronização das afiliações de autores na base de dados Web of Science o caso Embrapa e sua solução. In: ENCONTRO BRASILEIRO DE BIBLIOMETRIA E CIENTOMETRIA, 5., 2016, São Paulo. Anais... São Paulo: USP, p.a18

8 Indicadores em ciência e tecnologia Indicadores de atividade / produção Abrangem a contagem do número de publicações por tipo de documentos (livros, artigos, publicações científicas, informes) por instituição, área de especialização e país. São indicadores quantitativos que não entram no mérito da qualidade das publicações.

9 Indicadores em ciência e tecnologia Indicadores de conexão / relacionais Refletem o grau de colaboração na ciência em nivel nacional e internacional, assim como o crescimento ou declínio da pesquisa cooperativa. Para isso, esses indicadores tratam das coocorrências de autores, citações e palavras, mapas do conhecimento, redes sociais e a colaboração entre autores, instituições e países.

10 Indicadores em ciência e tecnologia Indicadores de citação - São os mais difundidos e também os mais polêmicos na análise da literatura científica, para proporcionar informação sobre o número de citações recebidas, por um artigo específico, de outros artigos indexados na mesma base de dados. Esses indicadores denotam o impacto de autores ou artigos sobre determinada comunidade científica, assim como sua influência e visibilidade nessa comunidade.

11 Bases de dados multidisciplinares Web of Science (WoS) 1960 Institute for Scientific Information (ISI) / Thomson Scientific (1992) / Clarivate Analytics (2016). Esta base tem registros de mais de 12 mil periódicos e é a mais utilizada en estudos cientométricos. As principais bases da WoS são: Science Citation Index Expanded (SCIE), Social Sciences Citation Index (SSCI) y Arts & Humanities Citation Index (A&HCI). Scopus 2004 Elsevier Esta base de dados engloba mais de 20 mil periódicos de diversos países e idiomas. Está crescendo em importância pois tem origem na maior editora de periódicos do mundo. SciELO (Scientific Eletronic Library Online) 1998 FAPESP/BIREME Base regional com algumas dezenas de periódicos.

12 Como baixar os dados

13 Como baixar os dados

14 Como baixar os dados

15 Como baixar os dados

16 Como baixar os dados

17 Como baixar os dados

18 Como baixar os dados

19 Avaliação bibliométrica: Técnicas e métodos Uso do software VantagePoint

20 O que é o VantagePoint? O VantagePoint é um software de mineração de textos que se utiliza para descobrir o conhecimento en bases de datos textuais. Existem outras duas versões do software: Thomson Data Analyzer - utilizado nas bases de dados Web of Knowledge da Thomson Scientific, de artigos e de patentes como a WoS e a Derwent, Science Citation Index; TechOASIS - para uso do Governo dos EUA.

21 Minerar textos por padrões Como vemos o texto como dado, podemos utilizar técnicas de mineração de dados para encontrar padrões e descobrir diferentes perspectivas em grandes coleções de textos.

22 O que minerar? Os dados textuais dos campos Que são dados textuais brutos dos campos? Campos Delimitados Estruturados

23 Em resumo Com a explosão das informacões é inviável ler artigo por artigo. O texto pode ser tratado como dado. Padrões nos dados tem significado. Bibliometria de co-palavras é a chave para encontrar padrões. Bibliometria de co-palavras funciona melhor com informação estruturada. O VantagePoint é uma ferramenta que da poder ao analista mas não o substitue.

24 O que faz o VantagePoint? Resume uma amostra de dados: Quem? - O que? - Onde? - Quando? Relações Tendências Indicadores Pense, com base em sua realidade, que perguntas são potencialmente úteis para responder.

25 Exemplo de estudo: Perfil da produção de artigos da Embrapa entre 2007 e 2015 Oportunidades e Desafios Roberto Penteado Wilson Fonseca Flavio Avila

26 Perfil da produção de artigos RESUMO Estudo da produção científica da Embrapa e das consequências de seus resultados para a avaliação de desempenho da instituição nas dimensões política e social, de informação e organizacional. METODOLOGIA Adoção do software VantagePoint para a análise bibliométrica, e MS Excel para gerar gráficos. Para isso foi realizada uma busca em 26 de agosto de 2016, nas bases de dados da la Web of Science de todos os registros em todos os idiomas e tipos de documentos (artigos, editoriais, comentarios, etc.) com os possíveis nomes que faziam referência à Embrapa. Ao final foram selecionados apenas os artigos, resultando em registros no período RESULTADOS Os resultados se encontram a seguir.

27 Artigos por ano:

28 Artigos por ano:

29 Artigos por pesquisador (Total):

30 Artigos por idioma:

31 Origem dos periódicos:

32 Classificação dos periódicos:

33 Artigos por País:

34 Artigos por região do mundo:

35 Artigos por região do mundo:

36 Principais parceiros:

37 Principais parceiros:

38 Parceiros por região do globo: EUA / Canadá / México

39 Parceiros por região do globo: Europa

40 Parceiros por região do globo: Demais Regiões do Globo

41 Parceiros por região do globo: África

42 Parceiros por região do globo: América do Sul / Central / Caribe

43 Parceiros por região do globo: Ásia / Oceania

44 Parceiros por região do globo: Organismos Internacionais

45 Financiadores:

46 Agenda Brasil:

47 Agenda Brazil:

48 Citações (Histórico):

49 Citações (Histórico):

50 Artigos por classe de citação:

51 Centros por classe de citação:

52 Centros por classe de citação:

53 Centros por classe de citação:

54 Citações por tipo de centro:

55 Citações de artigos por idioma:

56 Citações por origem do periódico:

57 Periódicos com zero citação:

58 Periódicos com zero citação:

59 Periódicos com + citações:

60 Periódicos com + citações:

61 Citações por origem e regiões:

62 Parceiros com mais citações:

63 Downloads de publicações:

64 Downloads de publicações:

65 Unidades por downloads:

66 Unidades por downloads:

67 Síntese dos Resultados Produção Científica A Embrapa se encontra entre as instituições científicas brasileiras mais produtivas; *entre as dez mais; Sua alta produção se deve à inclusão de novos periódicos na base de dados, que agora tende a se estabilizar (visibilidade x produção); Há tendência de crescimento das publicações européias e norte-americanas na base de dados; Há tendência de crescimento dos artigos da Embrapa em inglês por centros temáticos (Embrapa Recursos Genéticos / Embrapa Instrumentação); Centros ecorregionais tendem a publicar mais em português;

68 Síntese dos resultados Colaborações e Financiamento Mais de 90% das coautorías da Embrapa se concentram no Brasil (76,12%) e em sete países (EE.UU., França, Reino Unido, Espanha, Holanda, Alemanha, Espanha e Canadá com 14,28% - Labex); Aplicando o índice DOM, os artigos com colaboradores das OIPAs, Asia / Oceanía e África tendem a ser mais citados; A Embrapa é muito pouco mencionada nos artigos como financiadora de sua própria pesquisa; Há dois tipos de financiadores: Agenda Brasil e Agenda Brazil; Questão importante: em que medida a agenda de pesquisa dos financiadores externos estão em conformidade com os interesses institucionais da Embrapa e vice-versa?

69 Síntese dos resultados Citações O desempenho da Embrapa na citação de seus artigos tende a ser muito melhor quando suas pesquisas são publicadas em revistas internacionais, com colaboradores internacionais; Dos autores da Embrapa e parceiros que publicaram pelo menos um artigo com mais de cem citações, apenas 11 estão entre os 52 autores mais prolíficos; Os dois autores da Embrapa que produziram mais artigos (154 e 110, respectivamente) se encontram no 95 e 212 lugares entre os que possuem mais de cem citações; Os trabalhos publicados em revistas de língua inglesa possuem mais chance de alcançar um alto número de citações do que em revistas de idioma português; É necessário um período de 5 anos para que as citações cheguem a seu ápice.

70 Conclusões O papel dos indicadores indicadores de desempenho são recursos necessários. No entanto, os resultados obtidos devem ser avaliados qualitativamente de acordo com o perfil de cada organização científica e de seus centros de pesquisa; Valorização da diversidade O desempenho de uma instituição de P&D como a Embrapa somente será plenamente eficaz se se levar em conta a contribuição global de suas unidades centrais e descentralizadas, com seus diferentes perfis. Por isso é necessário propor um trabalho de avaliação de desempenho mais qualificado;

71 Conclusões Melhoria da gestão de desempenho institucional Existe a necessidade de melhoria do sistema de gestão de desempenho da Embrapa, para ajustá-lo às preocupações da comunidade internacional sobre o uso de indicadores em C&T, aos documentos orientadores da Empresa (plano diretor, cenários futuros, agendas estratégicas) e ao perfil de suas unidades; Avaliação de desempenho dos produtos de informação A produção científica da Embrapa contempla, além dos artigos publicados em revistas científicas, os mais diversos produtos de informação (manuais técnicos, vídeos, cartilhas etc.). Com as novas tecnologias, esses produtos passaram a ficar em evidencia no portal da Embrapa. É necessário desenvolver um plano ou projeto que promova um melhor aproveitamento dos produtos de informação com seus respectivos indicadores de desempenho.

72 Conclusões Melhoria da política de publicação de documentos científicos É necessário reduzir distorções tais como a publicação em revistas científicas que não estão em sintonía com os públicos e temas da Embrapa, apenas para se obter melhores pontuações nas bases de dados. Agenda de pesquisa interna x externa É necessário atenção à gestão da agenda de pesquisa da Embrapa, especialmente nos casos de colaboração internacional.

73 Obrigado