Programa de Pós-graduaP graduação em Computação Proposta de Tese Um Modelo de Perfil de Pesquisadores e Métrica para Medir Reputação Acadêmica Cristiano Roberto Cervi Profa. Dra. Renata Galante (orientadora) Prof. Dr. José Palazzo Moreira de Oliveira (co-orientador) orientador) Janeiro/2013
Roteiro Introdução Trabalhos Relacionados Visão Geral da Tese Experimentos Produção Atual Planejamento Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 2/40
Roteiro Introdução Trabalhos Relacionados Visão Geral da Tese Experimentos Produção Atual Planejamento Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 3/40
Introdução A gestão da ciência passa por um processo de qualificação Conhecer os pesquisadores Ajustar rumos nas pesquisas Orientar para uma correta aplicação de recursos Instituições que investem em pesquisa Necessidade de obter informações sobre a produção e as demais atividades dos pesquisadores Avaliação da produção científica Baseada fortemente na análise de currículos Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 4/40
Introdução Identificar perfis é tema de estudo da área de modelagem de usuários (User Modeling) Não existe consenso ou padronização do que é necessário para se modelar um perfil Não existe um perfil ideal Para pesquisadores são consideradas as publicações (quase que exclusivamente) Um modelo de perfil abrangente poderá preencher ou minimizar esse gap Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 5/40
Introdução Identificar reputação é tema de estudo da área de métricas científicas (Scientific Metrics) Medir a qualidade da produção científica Identificar especialistas em determinada área Calcular fator de impacto de periódicos Métricas recentes se baseiam fortemente nas citações de artigos h-index g-index hc-index e-index ar-index Mais utilizados Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 6/40
Roteiro Introdução Trabalhos Relacionados Visão Geral da Tese Experimentos Produção Atual Planejamento Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 7/40
Visão Geral Modelagem de Perfil Utilização de dados de produção científica Redes sociais acadêmicas para analisar relações entre pesquisadores Descoberta de especialistas Identificação de perfil de consumidores Métricas Científicas Citação para medir a reputação de pesquisadores Utilização do PageRank para ordenar autores e artigos Utilização do h-index e do g-index Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 8/40
Arnetminer Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 9/40
Microsoft Academic Search Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 10/40
Contextualização dos Índices h-index Quantifica a produtividade e o impacto baseando-se nos artigos mais citados Um pesquisador tem um índice H, quando possuir h trabalhos com pelo menos h citações Ex: um pesquisador com H = 8 tem, pelo menos, 8 artigos que receberam 8 ou mais citações g-index Dado um conjunto de artigos classificados em ordem decrescente do número de citações que receberam, o g- index é o maior número tal que os top g artigos receberam (juntos), pelo menos g 2 citações Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 11/40
Exemplos do h-index e do g-index Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 12/40
Comparações Critérios para comparar os trabalhos relacionados Forma de detecção Explícita, implícita ou híbrida Técnica de modelagem Baseada em conhecimento ou em comportamento Forma de representação Como o perfil é representado Aspectos Temporais Existência ou não de aspectos temporais na definição do perfil Métrica Existência de métrica ou outra característica avaliativa Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 13/40
Comparações Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 14/40
Comparações Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 15/40
Comparações Exclusivamente citações de artigos Não apresentam análise abrangente Dificuldade para comparações históricas Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 16/40
Comparações Tempo é elemento fundamental Integra a trajetória ria de pesquisadores h-index e g-index não consideram Nenhuma abordagem define um modelo de perfil com métricam Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 17/40
Roteiro Introdução Trabalhos Relacionados Visão Geral da Tese Experimentos Produção Atual Planejamento Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 18/40
Visão Geral da Tese Especificação de um modelo de perfil de pesquisadores rep-model Definição de uma métrica para identificar a reputação de pesquisadores rep-index Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 19/40
Visão Geral da Tese Novidade Modelo de perfil abrangente e adaptativo Métrica para medir reputação baseada em um modelo de perfil Aspectos temporais no modelo de perfil Contribuição Análise abrangente da trajetória do pesquisador Equilíbrio da produção científica Aplicabilidade em diferentes áreas do conhecimento Adaptabilidade diante das especificidades das áreas Medição de reputação por meio de níveis de classificação Hipótese O nível de reputação de um pesquisador se dá pelo equilíbrio da produção científica e pode ser medido pela evolução do pesquisador ao longo do tempo Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 20/40
rep-model Ajustes de contexto Calibragem Exclusão Inclusão Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 21/40
rep-model Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 22/40
rep-index Rep Index (R) = c ei j j i= 1 j= 1 max( v j ) ( v w ) Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 23/40
Roteiro Introdução Trabalhos Relacionados Visão Geral da Tese Experimentos Produção Atual Planejamento Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 24/40
Estudo de Caso Objetivo do Experimento Usar o rep-index para identificar a reputação Correlacionar com o h-index e com o g-index Hipótese O rep-index possui validade estatística para medir a reputação de pesquisadores Conjunto de Dados Programas de pós-graduação em Computação da Capes Total de 156 pesquisadores Dados coletados da DBLP, Microsoft Academic Search, Arnetminer e Plataforma Lattes Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 25/40
Método Utilizado Coeficiente de Correlação de Postos de Spearman Avalia como a relação entre duas variáveis pode ser descrita Coeficiente varia de -1 a +1 Quanto mais próximo destes extremos, maior será a relação entre as variáveis Correlação negativa indica variação na direção oposta Comparamos a correlação da classificação dos programas de pós-graduação com o resultado obtido pelo rep-index, pelo h-index e pelo g-index dos 156 pesquisadores Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 26/40
Dados do rep-model Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 27/40
Metodologia Calculamos o rep-index dos pesquisadores Utilizamos o rep-model, com seus elementos e pesos Definimos cinco intervalos, que resultaram em cinco níveis de reputação Identificamos o h-index e o g-index dos pesquisadores Comparamos os resultados dos índices rep, h e g com os conceitos dos programas de pós-graduação Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 28/40
Resultados Hipótese confirmada O rep-index é estatisticamente comparável ao h-index e ao g- index 63% dos elementos são fortemente correlacionados ED, MDA, PTA, PEBPT, ASJ, BCP, BP, CWPCP, HI, NC, SWR e SWOR 32% dos elementos tem correlação moderada PA, PEBMD, CCC, CCM, EBM e RJ 5% dos elementos apresentaram correlação fortemente negativa RP Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 29/40
Resultados Média dos programas de pós-graduap graduação em relação ao h-index, g-index e rep-index Classificação dos programas é consistente com os valores nos três índices Exceção foi a troca de posição entre P3 e P4, em relação ao h-index e ao rep-index Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 30/40
Resultados Programas de pós-graduap graduação com as médias m dos três índices g-index: classificação dos programas se manteve a mesma para os programas P1, P2, P3, P4 e P5 h-index e rep-index: ordem dos programas P3 e P4 inverteu Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 31/40
Resultados Calculamos o Coeficiente de Correlação de Postos de Spearman do h-index e do g-index de todos os pesquisadores com o rep-index O rep-model e o rep-index são fortemente correlacionados com o h-index e com o g-index dos 156 pesquisadores Obtenção de 100% de correlação forte entre os índices mostra que os pesos dos elementos estão alinhados com o perfil dos pesquisadores Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 32/40
Resultados Abordagem abrangente e adaptativa Foca no equilíbrio da trajetória do pesquisador construída ao longo de sua carreira Aplicabilidade em diferentes áreas do conhecimento Adaptabilidade diante das especificidades das áreas Inclusão/exclusão de categorias e de elementos Calibragem dos pesos Coeficientes de correlação entre o h-index, o g-index e rep-index validaram a abordagem proposta Medição de reputação por meio de níveis de classificação Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 33/40
Roteiro Introdução Trabalhos Relacionados Visão Geral da Tese Experimentos Produção Atual Planejamento Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 34/40
Publicações UNB UNB 1. An Adaptive Approach for Identifying Reputation of Researchers ICWI International Conference WWW/Internet, 2012, Madrid 2. Identificando a Reputação de Pesquisadores Usando um Modelo de Perfil Adaptativo Semish - Seminário Integrado de Software e Hardware, 2011, Natal 3. Uma Ferramenta Para Análise Quantitativa da Produção Científica de Pesquisadores ERBD Escola Regional de Banco de Dados, 2011, Novo Hamburgo 4. Mecanismo para Gestão do Perfil Evolutivo de Pesquisadores e Análise Preditiva Baseada em Comportamento Científico SBBD Simpósio Brasileiro de Banco de Dados, 2008, Campinas 5. Modelando o Perfil de Pesquisadores Através de Fontes de Dados Heterogêneas SIPM Simpósio de Informática do Planalto Médio, 2008, Passo Fundo Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 35/40
Orientações Alisson - Uma Ferramenta Web para Identificar a Reputação de Pesquisadores 2 0 1 0 2 0 0 9 2 0 0 8 X X Jardel - Uma Ferramenta Para Análise Quantitativa da Produção Científica de Pesquisadores Roger - Identificação de Comportamento Semelhante de Pesquisadores Através de Dados de Produção Científica Rodrigo - Um Mecanismo Para Orientação de Carreira Científica Baseado em Perfil de Pesquisadores e Recomendação Jean - Um Estudo Analítico Sobre o Comportamento de Pesquisadores Baseado em Dados de Produção Científica Paulo - Uma Ferramenta Web Para Extração de Redes Sociais de Pesquisadores Edimar - Suporte a Consultas Temporais Através de um Mapeamento da linguagem TSQL2 para o PostgreSQL Fahad - Uma Ferramenta de Suporte à Análise do Comportamento Científico de Pesquisadores Leandro - Modelagem do Perfil de Pesquisadores Baseada em Dados de Produção Científica Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 36/40
Roteiro Introdução Trabalhos Relacionados Visão Geral da Tese Experimentos Produção Atual Planejamento Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 37/40
Metas Estudar se há necessidade de excluir/incluir elementos no rep-model Incorporar aspectos temporais no rep-model e no repindex Tempo de titulação Tempo de orientação Tempo de editor/revisor Tempo de participação em bancas Tempo de publicações Realizar experimentos para validar os aspectos temporais Realizar experimentos com pesquisadores de diferentes áreas Continuar o desenvolvimento de ferramentas para automatizar o processo de modelagem do perfil Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 38/40
Cronograma Até março/2013 Incorporar aspectos temporais no rep-model e no rep-index Realizar experimentos para validar os aspectos temporais Realizar experimentos com pesquisadores de diferentes áreas Submeter artigo para conferência qualificada (em andamento) Até maio/2013 Desenvolver ferramenta para automatizar a coleta dos dados para modelagem do perfil Submeter artigo para periódico Iniciar redação da tese Até agosto/2013 Defender a tese Proposta de Tese Cristiano Roberto Cervi PPGC/UFRGS 39/40
Programa de Pós-graduaP graduação em Computação Proposta de Tese Obrigado! Perguntas Sugestões Janeiro/2013