Métricas Elsevier B.V. All rights reserved. SciVal is a registered trademark of Elsevier Properties S.A., used under license.

Transcrição

1 1 Métricas

2 Por que tanto interesse em métricas?

3 3 Demanda crescente por maior responsabilidade e transparência na aplicação de fundos para a pesquisa e educação Necessidade de se garantir o uso mais eficaz de recursos (para a ciência) cada vez mais escassos Menor espaço para erros gera interesse em se modelar o que pode acontecer e se gerar cenários

4 Medida Medição Métrica Unidade Ocorrência Critério

5 5 Desempenho da pesquisa é medido por Métricas Métricas sustentam a informação, independente da forma com que o usuário prefere assimilar e comunicar essa informação. Todos os casos práticos dependem de métricas para se tornarem familiares às pessoas, como quando: avaliando o desempenho identificando e otimizando os pontos fortes concebendo cenários de modelos ("E se...?") demonstrando excelência em pesquisa

6 Métricas disponíveis no SciVal e as Métricas Snowball Treinamento SciVal Ago/ Productivity metrics Scholarly Output Citation Impact metrics Citation Count Citations per Publication Cited Publications h-indices (h, g, m) Field-Weighted Citation Impact Outputs in Top Percentiles Publications in Top Journal Percentiles Collaboration Impact (geographical) Academic-Corporate Collaboration Impact Collaboration metrics Number of Citing Countries Collaboration (geographical) Academic-Corporate Collaboration Disciplinarity metrics Journal count Category count Snowball Metric

7 Métricas disponíveis no SciVal Treinamento SciVal Ago/ Productivity metrics Scholarly Output Citation Impact metrics Citation Count Citations per Publication Cited Publications h-indices (h, g, m) Field-Weighted Citation Impact Outputs in Top Percentiles Publications in Top Journal Percentiles Collaboration Impact (geographical) Academic-Corporate Collaboration Impact As Métricas Snowball são endossadas por destacadas universidades no mundo. Collaboration metrics Number of Citing Countries Collaboration (geographical) Academic-Corporate Collaboration Elas são acessíveis e um modo conveniente para começar a fazer benchmarking como parte da formulação de políticas. Disciplinarity metrics Journal count Category count Snowball Metric

8 Métricas disponíveis no SciVal Treinamento SciVal Ago/ Productivity metrics Scholarly Output Citation Impact metrics Citation Count Citations per Publication Cited Publications h-indices (h, g, m) Field-Weighted Citation Impact Outputs in Top Percentiles Publications in Top Journal Percentiles Collaboration Impact (geographical) Academic-Corporate Collaboration Impact Snowball Metric Collaboration metrics Number of Citing Countries Collaboration (geographical) Academic-Corporate Collaboration Disciplinarity metrics Journal count Category count Mas por que tantas métricas?

9 Regra #1

10 11 Métricas são na verdade um complemento esclarecedor para outras fontes de informação Assim como com qualquer fonte de informação para a tomada de decisão, usá-las isoladamente é perigoso Uma métrica pode dar uma versão distorcida, falsa ou incompleta da verdade Fatores além do desempenho podem afetar o resultado que se obtém com as métricas Se 3 métricas disserem a mesma coisa, é bem provável que seja verdade!

11 TRIANGULE!!

12 Use sempre ao menos 3 métricas

13 14 Conhecendo as Métricas

14 Métricas disponíveis no SciVal segundo suas Categorias Treinamento SciVal Ago/

15 Citation Count Treinamento SciVal Ago/ Pode ser que os dados de citação não estejam ainda disponíveis para todos os elementos que constituem a produção acadêmica da entidade analisada. A cobertura da produtividade garantida pelo Scopus, apesar de ser a maior do mercado, deve ser levada em consideração. Adequada a: Benchmark a visibilidade de entidades de tamanho similar Demonstrar visibilidade Faz grandes instituições aparecerem bem Direta e transparente University of Oxford University of St Andrews Deficiências: Inadequada para comparar entidades de tamanho diferente Entidades com perfis e de áreas muito distintas (humanidades) Leva alguns anos até representar adequadamente a entidade

16 Citations per Publication Treinamento SciVal Ago/ Indica o impacto médio das publicações de uma entidade em termos de citações Ou seja, quantas citações as publicações dessa entidade recebeu, em média? Citations per Publication é uma métrica normalizada quanto a tamanho University of Oxford University of St Andrews Adequada a: Demonstrar eficiência Comparar entidades de tamanhos diferentes Direta e transparente No entanto. Injusta para comparar entidades com perfis disciplinares distintos Também requer um tempo para representar adequadamente a entidade

17 Cited Publications Treinamento SciVal Ago/ Indica o quanto é citado de um conjunto de publicações, ou seja, quantas publicações da entidade receberam ao menos uma citação? Compara a influência de publicações de entidades de diferentes tamanhos mas em áreas relacionadas Demonstra a excelência de entidades que produzem um trabalho consistente Valoriza o impacto positivo de alguns artigos muito citados

18 Journal Count Treinamento SciVal Ago/ Contagem Jornal no SciVal indica a diversidade do portfólio de publicações da entidade: em quantos dos periódicos distinta indexados no Scopus apareceram publicações dessa entidade? Compara entidades menores, como Pesquisadores e Conjuntos de Publicação, onde as diferenças na carteira de periódicos tende a ser mais evidente Fornecer números impressionantes para mostrar o desempenho de uma entidade relativamente grande Indica para avaliar o efeito do recrutamento de vários pesquisadores, ou de redes de colaboração em um determinado campo de pesquisa Demonstra a excelência de entidades que trabalham em todas as disciplinas tradicionais e têm uma ampla gama de revistas Fornecer transparência dos dados subjacentes É difícil de manipular

19 Journal Category Count Treinamento SciVal Ago/ As publicações podem ser classificadas em categorias de duas maneiras: Baseada no periódico" assume que cada publicação num periódico se encaixa dentro do mesmo campo do periódico. Cada publicação assume automaticamente a categoria que foi atribuída ao periódico. Este método é adequado para revistas que estão focadas em um único campo central e não aceitam publicações que possam ser relevantes para outros campos. Baseada na publicação" assume que as publicações podem ter mais relevância para outras áreas diferentes da do foco central do periódico em que foram publicadas. Isso é importante para publicações em periódicos multidisciplinares. Jornal Category Count usa o método "baseado na publicação.

20 Journal Category Count Treinamento SciVal Ago/ A contagem de categorias de periódicos indica a diversidade do portfólio em disciplinas da entidade: em quantas categorias distintas de periódicos a entidade têm publicações? A contagem pode ser gerada utilizando as principais categorias ou subcategorias. O valor máximo desta métrica é de 27 quando utilizadas as Principais Categorias do Scopus, e de 334 ao usar suas subcategorias.

21 Outputs in Top Percentiles Treinamento SciVal Ago/ Número ou percentual de publicações nos top 1%, 5%, 10% ou 25% de publicações mais citadas do universo de dados do Scopus Essa métrica funciona melhor quando combinada com entidades como país e filtros por categoria Útil para destacar entidades cujas médias de citações são semelhantes Não é adequado para entidades médias ou pequenas. Como ela não releva a produção total, mas apenas nas publicações com mais citações Como toda métrica baseada em citações, é necessário tempo para a massa crítica de citações.

22 Publications in Top Journal Percentiles Treinamento SciVal Ago/ Número ou percentual de publicações nos top 1%, 5%, 10% ou 25% periódicos de maior impacto O impacto pode ser determinado com base em SNIP (padrão), SJR ou Raw Impact Útil no início de uma estratégia ou de carreira, ou seja, assim que algo é publicado porque não requer citações. Métrica que desperta a atenção de acadêmicos a quem estratégias de publicação são fundamentais. Engloba revisão por pares. Todavia, ela não revela o verdadeiro impacto da produção Nem todas as revistas podem ter métricas E quanto à publicações em livros?

23 h-index Treinamento SciVal Ago/2014 Segundo a definição proposta pelo Professor Jorge Hirsch: "Um cientista tem índice-h se uma quantidade h de seus Np artigos tiver pelo menos h citações cada, e os outros (Np - h) documentos tiverem h citações cada". Em outras palavras, um conjunto de trabalhos tem um índice-h de 17, se 17 desses trabalhos receberam cada um pelo menos 17 citações, e 18 desses trabalhos ainda não receberam cada um pelo menos, 18 citações. O índice-h é influenciado tanto pela quantidade (produção acadêmica) quanto pelo impacto da publicação (contagem de citações). Ele nunca pode ser maior do que a produção, independentemente do impacto dessa produção. O índice-h de 1 artigo com citações é 1. Ele nunca pode ser maior do que o número de citações recebidas pelo artigo mais citado, independentemente da produção. O índice-h de artigos onde cada um recebeu apenas 1 citação é de 1.

24 h-index Treinamento SciVal Ago/2014 Conhecido, afetado tanto pela produtividade como pelo impacto de citações, e fácil de entender e verificar. Não é adequado para pesquisadores em início de carreira, com poucos artigos e citações. g-index Destaca e premia os trabalhos mais citados, que provavelmente são os que dão prestigio ao investigador. É sempre igual ou maior que índice h. Enfatiza trabalhos excepcionais. Não é adequado para pesquisadores médios onde h = g. m-index É o h-index por ano de atividade editorial. Equaliza pesquisadores com diferentes duração de carreira. Não é adequado para aqueles que tiveram uma pausa na carreira.

25 Field-Weighted Citation Impact Treinamento SciVal Ago/ FWCI é a razão entre o total de citações efetivamente recebidas pelo conjunto de produção de uma entidade (e.g. de um autor) numa área pelo total de citações que seria de se esperar nesta área, ou seja, na sua média de citações. FWCI = 1: a produção da entidade tem nº de citações igual a média global na sua área FWCI > 1: a produção é mais citada que o esperado de acordo com a média global na área FWCI < 1: a produção é citada menos do que o esperado de acordo com a média global Por exemplo, FWCI = 1,48 significa que 48% as publicações da entidade são 48% mais citadas do que o esperado em seu campo. FWCI leva em conta as diferenças de comportamento entre as áreas de pesquisa.

26 Field-Weighted Citation Impact Treinamento SciVal Ago/2014 FWCI é calculado com base em: Ano da publicação Área / campo Tipo de produção São consideradas as citações até 3 anos completos após a publicação. Se uma parte de produção é de mais que um campo de assunto, as citações esperadas em cada campo são determinadas e média harmónica é usada como entrada. Se uma parte da produção não tiver sido atribuída a algum campo, por qualquer razão, ela então não entrará no cálculo. A média de citações real e esperada do campo é calculada primeiro e, em seguida, a média entre estes 2 índices é determinada. Cuidado, pois é provável que os dados de citação não estejam disponíveis para todos os elementos que constituem a produção acadêmica de uma instituição.

27 Maturação de cada Tipo de Publicação Treinamento SciVal Ago/ Deve se considerar que tipo de publicação o periódico mais publica, antes de avaliar o seu IF.

28 Field-Weighted Citation Impact Treinamento SciVal Ago/2014 Os investigadores que trabalham em áreas como medicina e bioquímica produzem tipicamente mais, com mais coautores e listas de referência maiores, do que pesquisadores que trabalham em áreas como matemática e educação; isso é um reflexo da cultura de pesquisa de cada área, e não de seu desempenho. Em uma entidade que abrange várias áreas, os efeitos produção da medicina e da bioquímica acabam por dominar o cálculo em relação a produção em matemática e educação. Logo, apesar de poder ser aplicado a qualquer entidade, o FWCI é particularmente útil para entidades que combinam diferentes áreas.

29 Field-Weighted Citation Impact Treinamento SciVal Ago/ University of Oxford University of St Andrews No entanto. Pessoas não gostam de ver números pequenos Mascara a magnitude do impacto (dada a normalização) Cálculo complicado que o usuário não é capaz de validar por si só Sozinha, restringe a riqueza de informação É uma métrica sofisticada e util porque é normalizada por tamanho, campo e tipo de publicação Adequada a: Comparação justa entre entidades, independente do tamanho, perfil disciplinar, área e tipo de publicação Não exibe queda acentuada nos últimos anos Rápido entendimento (1=média mundial na área e no tipo de publicação)

30 Métricas de Colaboração Treinamento SciVal Ago/ Úteis na formulação de uma estratégia ou no início de carreira. Assim que algo é publicado Productivity ela já aparece. metrics Não requer citações Scholarly - apenas Output a informação de afiliação é considerada. Cada vez mais relevante dado o potencial para alavancar Citation Impact metrics outras métricas, como citações Citation Count Citations per Publication Cited Publications h-indices (h, g, m) Field-Weighted Citation Impact Outputs in Top Percentiles Publications in Top Journal Percentiles Collaboration Impact (geographical) Academic-Corporate Collaboration Impact - Collaboration metrics Number of Citing Countries Collaboration (geographical) Academic-Corporate Collaboration Disciplinarity metrics Journal count Category count Snowball Metric

31 Formule sua pergunta e saiba o que pode afetar as respostas! Dúvidas?

32 Regra #2

33 Formule sua pergunta. Mas saiba o que pode afetar a resposta!

34 Saiba suas perguntas e o que pode afetar as respostas Treinamento SciVal Ago/ Se for Avaliar Desempenho Normalmente "top-down", é realizado por uma entidade com autoridade Cuidado com as variáveis não relacionadas a desempenho é essencial para que os resultados das métricas não sejam afetados e assim tornem a avaliação injusta Se quiser Demonstrar Excelência Normalmente é "bottom-up, e é usada por uma entidade que busca recursos / fundos Geralmente visa encontrar uma maneira de assegurar que uma entidade pareça forte em comparação com seus pares Variáveis não relacionadas a desempenho podem ser utilizadas para explorar as diferenças ou evidenciá-las Se for Modelar Cenários As variáveis não relacionadas a desempenho podem ou não ser importantes, dependendo do cenário Por exemplo, se a modelagem for de recrutamento em nanociência, não há porque comparar as citações com outras áreas

35 Variáveis não relacionadas a desempenho que afetam métricas 36 Tamanho Disciplina/Área Tipo de Publicação Cobertura da Base Manipulação Tempo

36 Variável: Tamanho Treinamento SciVal Ago/ Algumas métricas tendem a ter valores mais elevados para as entidades maiores como, por exemplo, o volume de produção acadêmica (scholarly output) Na Avaliação: provavelmente métricas de uso ou tamanho normalizados, e por percentual (não por quantidade) quando disponível Para Demonstrar Excelência: pode usar uma "métrica de poder " se tratarem-se de entidades relativamente grandes

37 Variável: Disciplina / Área Treinamento SciVal Ago/ Alta Frequência das publicações Q uantidade de referências Número de coautores Baixa

38 Variável: Disciplina / Área Treinamento SciVal Ago/ Algumas áreas tendem a ter valores maiores devido à forma com que as pesquisas são conduzidas, e.g. neurociência Na Avaliação: tenha cuidado ao comparar entidades em diferentes áreas ou com diferentes enfoques disciplinares. Considere o uso de métricas normalizadas por campo ou filtro de categoria Para Demonstrar Excelência: você pode ignorar se você estiver em ciências da vida, mas use métricas normalizadas por campo ou filtro se você estiver em Ciências Sociais

39 Variável: Tipo de Publicação Treinamento SciVal Ago/ Citations received up to August 2013 per item published during the period

40 Variável: Tipo de Publicação Treinamento SciVal Ago/ Alguns tipos de publicação tendem a receber mais citações que outros Na Avaliação: Use métricas do tipo normalizado por publicação ou filtro de tipos de publicação, se isso importar para a sua avaliação Para Demonstrar Excelência: você pode ignorar se você é um editor de revista (muitos editoriais!)

41 Variável: Cobertura da Base Treinamento SciVal Ago/ Estimativa da cobertura disciplinar Scopus. Esta estimativa é feita com base na medida em que citações de publicações citadas no período pode ser ligado a itens indexados a partir de 1996 na base de dados Scopus; esta é uma subestimativa da verdadeira cobertura porque citações de artigos indexados publicados antes de 1996 não estão representados aqui. Esta análise baseia-se em dados coletados até agosto 2013.

42 Variável: Cobertura da Base Treinamento SciVal Ago/ O comportamento das publicação de algumas áreas leva a uma cobertura maior pelo Scopus do que o de outras. Na Avaliação: diferenças de cobertura provavelmente afetam todas as grandes entidades da mesma forma. Cuidado caso esteja avaliando entidades com diferentes de enfoque disciplinar ou pequenas. Para Demonstrar Excelência: Considere se concentrar em um subconjunto do total da produção

43 Variável: Manipulação Treinamento SciVal Ago/ A manipulação do resultado de certas métricas pelas entidades é rara, mas, se houver suspeita, pode se verificar se há comportamento inescrupuloso Ex.: combinar entidades de pesquisa usando "métricas de poder. Isso fará com que o seu desempenho pareça muito superior do que o esperado Tente usar uma métrica normalizada em tamanho que seja difícil de manipular Autocitação Este é um recurso normal no meio acadêmico. Mas está sujeito a abusos Se você suspeitar que isso esteja acontecendo: use uma métrica onde você possa excluir as auto citações.

44 Variável: Tempo Treinamento SciVal Ago/ Algumas métricas precisam de tempo antes que forneçam informação realmente útil, e.g. métricas baseadas em contagem de citações Na Avaliação e Demonstrando Excelência: se você está olhando para os primeiros estágios após uma decisão estratégica, ou para um pesquisador em início de carreira, considere o uso de métricas que sejam independentes do tempo

45 Formule sua pergunta e saiba o que pode afetar as respostas! Dúvidas?

46 47 Regra #3

47 Vai medir qualidade da pesquisa?

48 CUIDADO!!

49 50 Ter muitas citações não implica em qualidade! As citações são apenas uma forma de medir o desempenho, e um verdadeiro indicador de qualidade precisa de bem mais informações do que somente as métricas podem fornecer.

50 51 Como escolher suas Métricas?

51 52 Como escolher suas Métricas? Variáveis a serem consideradas Desempenho Tamanho Disciplina/Área Tipo de Publicação Cobertura do BD Manipulação Tempo Pode influir no resultado da Métrica? Sim / Não Sim / Não Sim / Não Sim / Não Sim / Não Sim / Não Sim / Não

52 Métricas vs. Variáveis não relacionadas a desempenho Treinamento SciVal Ago/ As métricas que têm metade de uma célula sombreada na coluna "Tamanho-normalizado" são de tamanho normalizado quando a opção percentual" é selecionada, mas não quando a opção "número absoluto" é selecionado.

53 Como escolher suas Métricas? Métricas de poder Métricas indiferentes ao tempo Informa a magnitude dos valores da métrica Métricas que são parceiras naturais Baseia-se no desempenho real, não na média do periódico Segurança com que a publicação receberá ao menos uma citação Evita a queda abrupta nos últimos anos, típica de contagens de citações

54 Treinamento SciVal Ago/2014

56 Exercício Prático

59 Métricas de Periódicos IF, SNIP e SJR

60 61 NÃO PERTENCEM AO SCOPUS: FORAM DESENVOLVIDAS INDEPENDENTEMENTE Varia entre categorias Considerado mais apropriado para vários casos, como Matemática, Engenharia e Ciências Sociais, que precisam de mais tempo para maturar

61 62 Diferenças nas práticas de citação: velocidade com que se publica e com que novos conhecimentos surgem, mesmo pequenos. Matemática e Ciências Sociais é o contrário. Trata-se de uma Ciência menos relevante que Multidisciplinar? CLARO QUE NÃO!

62 63 Deve se considerar que tipo de publicação o periódico mais publica, antes de avaliar o seu IF.

63 64

64 65 Qualquer citação vinda de qualquer área e periódico, revisado OU NÃO Problema: numerador é muito maior que divisor infla fator

65 66 Para numerador E divisor

66 67 Não usa as categorias do Scopus porque cada categoria tem um comportamento das citações diferentes. Um mesmo periódico pode ser citado por artigos de diferentes áreas e, por isso, de diferentes categorias do Scopus Problema

67 68