Mensuração de impacto da Pesquisa:

Transcrição

1 Mensuração de impacto da Pesquisa: limites e dimensões Prof. Rogério Mugnaini Palestra: SAGI Ministério do Desenvolvimento Social e Combate à Fome MDS 22/05/2014

2 Sumário Bibliometria: história Principais indicadores: Fator de Impacto, Índice de Obsolescência Índice h Contextualização de indicadores nacional versus internacional diversidade das áreas Bases de dados para geração de indicadores Web of Science Scopus SCImago Journal and Country Rank Google Acadêmico SciELO Fraude entre editores brasileiros Altmetrics além dos limites da informação científica Exemplo de análise de citação de documentos do IBGE

3 Bibliometria: história Primeira aplicação por Cole e Eales Lei de Lotka Gross & Gross: medida de impacto de revista Lei de Bradford Lei de Zipf Garfield publica artigo sobre Índice de Citação Déc Criação do termo Bibliometria por Pritchard Uso para análise da ciência por Price Science Citation Index Déc Informática, bases de dados, novas técnicas Demanda de indicadores de C&T Déc Recuperação de informação, mapeamento, modelagem Subsídio à Política Científica Narin e Moll, 1977; White e McCain, 1989; Barré, 1990; Araújo,2006; Archambault & Larivière, 2007

4 Bibliometria: escopo Relação entre conceitos de análise quantitativa da ciência e indicadores de C&T Indicadores de CT&I Indicadores de output Indicadores de produção científica Bibliometria Cientometria Informetria, Webometria

5 Consagração do Fator de Impacto Originalmente desenvolvido para desenvolvimento de coleções, não para avaliação Incomparabilidade, dadas as especificidades entre áreas Assimetria entre elementos contados no numerador e denominador Janela de citação de dois anos Estabelecimento da língua inglesa e centralização americana Archambault & Larivière, 2007

6 Aspectos metodológicos Impacto Obsolescência Citações recebidas pelas revistas SciELO, na própria SciELO, segundo idade do artigo citado

7 Fator de impacto formula FI = Cits. + Cits. Ano (X) Ano (X a X-1) Ano (X a X-2) Arts. + Ano (X-1) Arts. Ano (X-2)

8 Fator de impacto a média não é uma medida adequada para distribuições assimétricas Citações aos artigos do PSYCHOLOGICAL BULLETIN em Citações Citações Idade das pessoas num berçário Citações aos artigos da ANAIS DA ACADEMIA BRASILEIRA DE CIENCIAS em Artigos Média: 60,7 Mediana: 44 Média: 3,7 Mediana: Artigos Média: 3,8 Mediana: 0,6

9 Fator de impacto Assimetria entre elementos contados no numerador e denominador Considera citações a qualquer tipo de documento FI = Cits. + Cits. Ano (X) Ano (X a X-1) Ano (X a X-2) Arts. + Arts. Ano (X-1) Ano (X-2) Inclui: artigos originais e de revisão Não inclui: editoriais, cartas, etc pois, geralmente, não são citados

10 Fator de impacto Janela de citação de dois anos Cits. + Cits. + Cits Cits. FI Ano (X) = Ano (X a X-1) Ano (X a X-2) Ano (X a X-3) Ano (X a X-n)... Arts. + Arts. + Arts. + Arts. Ano (X-1) Ano (X-2) Ano (X-3) Ano (X-n) Impacto Obsolescênci a

11 Fator de impacto: problemas Fórmula pronta!!! FI = Cits. + Cits. Ano (X) Ano (X a X-1) Ano (X a X-2) Arts. + Ano (X-1) Arts. Ano (X-2) Rogério Mugnaini VIII SSEP 2013

12 Fator de impacto: problemas Diversidad e das áreas Rogério Mugnaini VIII SSEP 2013

13 Fator de impacto: e seu impacto Enfermidade? Idolatria? Assombração? Ignorância? Manipulação?

14 Aspectos metodológicos obsolescência Fonte: Larivière et al., 2007

15 Aspectos metodológicos obsolescência Fonte: Larivière et al., 2007

16 Aspectos metodológicos índice h Pesquisador em início de carreira Pesquisador em fim de carreira

17 Aspectos metodológicos índice h (Mugnaini, R.; Packer, A.L.; Meneghini, R., 2008)

18 Aspectos metodológicos produtividade versus impacto Número total de artigos e Índice H médio das instituições que possuem mais de 100 pesquisadores. (Leite, 2011)

19 Contextualização de indicadores nacional versus internacional SciELO Brasil: Coleção com 100% de revistas Brasileiras (150) Tamanho da audiência 6 mil potencial? MacRoberts; MacRoberts, 1996

20 Contextualização de indicadores nacional versus internacional Metodologia para avaliação de revistas científicas brasileiras Total de aprox. 150 revistas SciELO amostra de 39 revistas Ciências da Vida Análise multivariada considerando alguns indicadores de impacto Mugnaini, 2006

21 3 Gráfico AA1: Citações a 39 revistas SciEL O (Ciências da Vida) - ano de 1,05 Fator 2 0,7 FI 2004 rs p IndInf citsall cs p hb 0,35 abb rbb rs bm t jped cs c rlae rbgo ne rbepid abo 0 0 rn rbp ram b abc acb hcs m bjb abem bjid rboto ag babt rb bjpp gm b rbhh is z s pm j bjm rhc jbpm l -0,35 anp aabc 2 rim ts p IndInf_ISI m ioc c its All_ISI Fator 1 F I_ISI -0,25 0 0,25 0,5 0,75 1 bjm br 1-0,7 4 Análise Fatorial do impacto (SciELO e ISI) das 39 revistas de Ciências da Vida ano de 2004

22 Contextualização de indicadores diversidade das áreas 2 Factor2 Agricultural Sciences 1,5 Engineering 1 proceedings thesis 0,5 article Exact and Earth Sciences Factor1 0-1,5-1 -0,5 0 0,5 1 1,5 2 Health Sciences Biological Sciences -0,5-1 Human Sciences book Applied Social Sciences Linguistics, Letters and Arts Fonte: Mugnaini et al., 2007 Análise Fatorial entre área citante e tipo documento citado - SciELO 2004

23 Contextualização de indicadores diversidade das áreas Category Median Aggregate Aggregate (linked to category inform ation) Impact Immediacy Cited Total # Cites Factor Index Half-Life Journals Articles BIOCHEMISTRY & MOLECULAR BIOLOGY MEDICINE, GENERAL & INTERNAL BIOLOGY PHYSICS, APPLIED COMPUTER SCIENCE, INFORMATION SYSTEMS AGRICULTURE, DAIRY & ANIMAL SCIENCE LINGUISTICS ECONOMICS > ANTHROPOLOGY SOCIAL SCIENCES, INTERDISCIPLINARY HISTORY >

24 Contextualização de indicadores diversidade das áreas áreas títulos artigos referências citações Fator de Índice de Vida # ref. / # cits. / Impacto Imediatez Média artigo artigo Linguística, Letras e Artes >10,0 23,59 4,09 Humanas ,1202 0,0115 >10,0 30,36 9,64 Sociais Aplicadas ,1191 0,0073 >10,0 27,83 10,54 Agrárias ,2812 0,0426 >10,0 23,16 14,86 Engenharias ,0859 0,0205 >10,0 22,63 15 Exatas e da Terra ,2161 0,0515 >10,0 27,97 21,76 Saúde ,2921 0,0539 >10,0 27,06 22 Biológicas ,2576 0,0675 >10,0 31,29 25,38

25 Contextualização de indicadores diversidade das áreas (Mugnaini, R.; Packer, A.L.; Meneghini, R., 2008)

26 Contextualização de indicadores diversidade das áreas (Leite, P.; Mugnaini, R.; Leta, J., 2011)

27 Contextualização de indicadores diversidade das áreas Nível do Fator de Impacto exigido para definição de critérios de avaliação de periódicos do estrato A1, segundo grande área do conhecimento e área de avaliação Qualis.

28 Continuação...

29 Contextualização de indicadores diversidade das áreas Revista de Saúde Pública 100% rev_isi rev_scielo/isi 75% rev_scielo rev_outr 50% 25% 0% rev_bra livro_outr livro_cap livro anais tese

30 Contextualização de indicadores diversidade das áreas Revista da Associação Médica Brasileira 100% rev_isi rev_scielo/isi 75% 50% 25% rev_scielo rev_outr rev_bra livro_outr livro_cap livro 0% anais tese

31 Contextualização de indicadores diversidade das áreas Brazilian Journal of Physics 100% rev_isi rev_scielo/isi 75% 50% 25% rev_scielo rev_outr rev_bra livro_outr livro_cap livro 0% anais tese

32 Contextualização de indicadores diversidade das áreas Ciência da Informação 100% rev_isi rev_scielo/isi 75% 50% 25% 0% rev_scielo rev_outr rev_bra livro_outr livro_cap livro anais tese

33 Bases de dados para geração de indicadores bibliométricos Contexto atual Oferta de bases de dados Facilidade de análise bibliométrica Novos indicadores Resultados Complexidade na análise Capacitação usuários

34 Indicadores Bibliométricos Web of Science

35 Indicadores Bibliométricos Scopus

36 Indicadores Bibliométricos SCImago

37 Indicadores Bibliométricos Secretaria de Avaliação e Gestão da Informação -

38 Indicadores Bibliométricos Google Scholar

39 Referências Bibliográficas

40 Fraude entre editores brasileiros ANÁLISE DA EVOLUÇÃO E ORIGEM DAS CITAÇÕES, AUTOCITAÇÕES E CITAÇÕES DE STACKING RECEBIDAS PELO PERIÓDICO CLINICS NOS ANOS 2008 A 2012 Prof. Dr. Rogério Mugnaini Vice-Presidente da Comissão de Credenciamento do Programa de Apoio às Publicações Científicas Periódicas da USP Abel L. Packer Coordenador do Programa SciELO / FAPESP

41 Fraude entre editores brasileiros ANÁLISE DA EVOLUÇÃO E ORIGEM DAS CITAÇÕES, AUTOCITAÇÕES E CITAÇÕES DE STACKING RECEBIDAS PELO PERIÓDICO CLINICS NOS ANOS 2008 A 2012 Fonte: Journal Citation Reports (2010 e 2011) Tabela 1: Informações do periódico Clinics para cálculo do Fator de Impacto e total de citação: variações entre os anos de 2010 e Ano Item Variação % Fator do Impacto 1,422 2,058 44,7% Artigos publicados nos 2 anos anteriores ,7% Citações recebidas - artigos dos 2 anos anteriores ,3% Citações recebidas - todos os artigos ,6% % citações citações recebidas 2 anos sobre total 45,5% 55,7% 22,5%

42 Fraude entre editores brasileiros ANÁLISE DA EVOLUÇÃO E ORIGEM DAS CITAÇÕES, AUTOCITAÇÕES E CITAÇÕES DE STACKING RECEBIDAS PELO PERIÓDICO CLINICS NOS ANOS 2008 A 2012 Fonte: Journal Citation Reports (2010) Figura 1: Distribuição das citações, do ano de 2010, aos artigos da periódico Clinics, segundo ano do artigo citado - JCR 2010.

43 Fraude entre editores brasileiros ANÁLISE DA EVOLUÇÃO E ORIGEM DAS CITAÇÕES, AUTOCITAÇÕES E CITAÇÕES DE STACKING RECEBIDAS PELO PERIÓDICO CLINICS NOS ANOS 2008 A 2012 Fonte: Journal Citation Reports (2011) Figura 2: Distribuição das citações, do ano de 2011, aos artigos do periódico Clinics, segundo ano do artigo citado - JCR 2011.

44 Periódico citado: Clinics Ano de citação Fraude entre editores brasileiros Autoc. rev. Editor-autor Stacking Outra rev. SciELO Citações recebidas de: Autoc. rev. Demais autores Stacking Outra rev. SciELO Rev. estrangeira (WoS) 2008 Freq % 1,8% 0,0% 0,0% 40,4% 4,6% 14,7% 38,5% 100% 2009 Freq % 0,6% 8,9% 0,0% 21,5% 1,8% 24,6% 42,5% 100% 2010 Freq % 1,0% 0,3% 0,5% 19,1% 0,8% 18,8% 59,4% 100% 2011 Freq % 0,9% 24,5% 8,4% 17,9% 0,3% 8,0% 40,0% 100% 2012 Freq % 18,6% 2,2% 0,1% 11,6% 6,4% 10,4% 50,7% 100% Total Freq Total % 6,8% 9,6% 2,7% 17,6% 2,9% 13,3% 47,1% 100% Tabela 2: Citações da janela de citação de 2 anos, recebidas pelo periódico Clinics, segundo: ano de citação, tipo de autoria e tipo de revista citante. Total

45 Fraude entre editores brasileiros ANÁLISE DA EVOLUÇÃO E ORIGEM DAS CITAÇÕES, AUTOCITAÇÕES E CITAÇÕES DE STACKING RECEBIDAS PELO PERIÓDICO CLINICS NOS ANOS 2008 A Clinics Ed-stacking Ed-autoc-rev Ed-outra-SciELO stacking autoc-rev outra-scielo estrangeira

46 Altmetrics além dos limites da informação científica Bollen J, Van de Sompel H, Hagberg A, Chute R (2009) A Principal Component Analysis of 39 Scientific Impact Measures. PLoS ONE 4(6): e6022. doi: /journal.pone

47

48 Exemplo de análise de citação de documentos do IBGE ZANOTTO, S. R. ; VANZ, S.A.S. ; ISTUMPF, I. R. C. Informação estatística oficial produzida pelo IBGE: apropriação pela comunidade científica brasileira de 2001 a In: Maria Cristina Piumbato Innocentini Hayashi; Leandro Innocentini Lopes de Faria; Carlos Roberto Massao Hayashi. (Org.). Bibliometria e Cientometria: estudos temáticos. 1ed.Sâo CArlos: Pedro & João Editores, 2013, v., p

49 Exemplo de análise de citação de documentos do IBGE (ZANOTTO; VANZ & ISTUMPF, 2013)

50 Exemplo de análise de citação de documentos do IBGE (ZANOTTO; VANZ & ISTUMPF, 2013)

51 Exemplo de análise de citação de documentos do IBGE (ZANOTTO; VANZ & ISTUMPF, 2013)

52 Exemplo de análise de citação de documentos do IBGE (ZANOTTO; VANZ & ISTUMPF, 2013)

53 Exemplo de análise de citação de documentos do IBGE (ZANOTTO; VANZ & ISTUMPF, 2013)

54 Exemplo de análise de citação de documentos do IBGE

55 Referências Bibliográficas ARAÚJO, C. A. Bibliometria: evolução histórica e questões atuais. Em Questão, Porto Alegre, v. 12, n. 1, p , ARCHAMBAULT, E.; LARIVIÈRE, V. Origins of measures of journal impact: historical contingencies and their consequences on current use. Proceedings of the 11th International Conference of the International Society for Scientometrics and Informetrics. Madrid: CINDOC-CSIC; p BARRÉ, R. Prefácio. In: COURTIAL, J. P. Introduction à la scientométrie. Paris: Anthropos, GARCIA-ZORITA, J. C. La actividad científica de los economistas españoles, en función del ámbito nacional o internacional de sus publicaciones: estudio comparativo basado en un análisis bibliométrico durante el período Espanha f. Tese (Doutorado em Documentação) - Universidad Carlos III de Madrid, Madrid, GARFIELD E. Citation indexes for science. Science 1955; 122: LARIVIÈRE, V;ARCHAMBAULT, E; GINGRAS, Y. Long-term patterns in the aging of the scientific literature, Proceedings of the 11th International Conference of the International Society for Scientometrics and Informetrics. Madrid: CINDOC-CSIC; p Leite, P. ; Mugnaini, R. ; Leta, J. A new indicator for international visibility: exploring Brazilian scientific community. Scientometrics, v. 88, p , MACROBERTS, M. H.; MACROBERTS, B. R. Problems of citation alysis. Scientometrics, v. 36, n. 3, p , MUGNAINI, R. Caminhos para adequação da avaliação da produção científica brasileira: impacto nacional versus internacional. São Paulo, p. Tese (Doutorado em Ciência da Informação) - Escola de Comunicações e Artes. Universidade de São Paulo. MUGNAINI R, MENEGHINI R, PACKER AL. Citation profiles in Brazilian journals of the SciELO database in different scientific areas. Proceedings of the 11th International Conference of the International Society for Scientometrics and Informetrics. Madrid: CINDOC-CSIC; p MUGNAINI, R. ; LETA, J. ; GOLDBAUM, M. ; CASTRO, R. C. F. ; TARDELLI, A. O. ; PACKER, A. L.. The weight of local journals in Latin America and Caribbean research on epidemiology. In: 12th International Conference on Scientometrics and Informetrics, 2009, Rio de Janeiro. Proceedings of ISSI the 12th International Conference of the International Society for Scientometrics and Informetrics. São Paulo : CAPES, v. 1. p MUGNAINI, R., PACKER, A.L. e MENEGHINI, R. Comparison of scientists of the Brazilian Academy of Sciences and of the National Academy of Sciences of the USA on the basis of the h-index. Braz J Med Biol Res [online]. 2008, vol. 41, no. 4 [citado ], pp Disponível em: < NARIN, F.; MOLL, J. K. Bibliometrics. Annual Review of Information Science and Technology, vol. 12, p , ROSTAING, H. La bibliométrie et ses techniques. Marseille : Sciences de la Société, WEITZEL, S. da R. E-prints: modelo da comunicação científica em transição. In: FERREIRA, S. M. S. P.; TARGINO, M. G. (Org.). Preparação de revistas científicas: teoria e prática. São Paulo: Reichmann& Autores, p WHITE, H. D.; McCAIN, K. W. Bibliometrics. Annual Review of Information Science and Technology, vol. 24, p , 1989.