AMARAL, R. M FREITAS, M. P. 1 SOUZA, L. M. S. 1 CASTRO, R. O 1 COUTINHO, V. D. G. 2 FARIA. L. I. L. 23

Transcrição

1 EIXO TEMÁTICO: GESTÃO EM BIBLIOTECAS DIGITAIS TÍTULO: CRIAÇÃO DE INDICADORES SOBRE A BIBLIOTECA DIGITAL DE TESES E DISSERTAÇÕES DA BCo/UFSCAR ATRAVÉS DE ANÁLISE BIBLIOMÉTRICA AUTOMATIZADA AMARAL, R. M FREITAS, M. P. 1 SOUZA, L. M. S. 1 CASTRO, R. O 1 COUTINHO, V. D. G. 2 FARIA. L. I. L Biblioteca Comunitária BCo/UFSCar Universidade Federal de São Carlos - UFSCar Rodovia Washington Luís, km 235 CEP São Carlos - SP - Brasil (16) Departamento de Ciência da Informação - DCI Universidade Federal de São Carlos - UFSCar Rodovia Washington Luís, km 235 CEP São Carlos SP - Brasil (16) ou Núcleo de Informação Tecnológica em Materiais - NIT/Materiais Universidade Federal de São Carlos - UFSCar Rodovia Washington Luís, km 235 CEP São Carlos - SP - Brasil (16) ou Departamento de Engenharia de Produção - DEP Universidade Federal de São Carlos - UFSCar Rodovia Washington Luís, km 235 CEP São Carlos - SP - Brasil (16) ou

2 RESUMO: Este trabalho apresenta um estudo dos dados disponíveis na Biblioteca Digital de Tese e Dissertações - BDTD da Biblioteca Comunitária da Universidade Federal de São Carlos - BCo/UFSCar. O objetivo do estudo foi construir indicadores sobre a BDTD para analisar a sua evolução. Na construção dos indicadores foi utilizada a análise bibliométrica automatizada. Como dados iniciais, foram utilizados registros, entre teses e dissertações cadastradas e disponibilizadas pela BCo/UFSCar no período de , na base de dados BDTD. Os registros foram tratados com o software Vantagepoint para construção de indicadores a partir dos campos "autor", "data de defesa", "área do conhecimento", "subárea do conhecimento", "grau", "orientador" entre outros. Como resultados, foram construídos indicadores relacionados à distribuição dos trabalhos por área, à evolução dos programas de pós-graduação, ao grau dos trabalhos e aos assuntoschave pesquisados na UFSCar. Como o procedimento desenvolvido é automatizado, será possível atualizar periodicamente os indicadores para seu acompanhamento ao longo do tempo. PALAVRAS-CHAVE: Biblioteca digital de teses e dissertações; Bibliometria; Indicadores. ABSTRACTS: This work presents a study of the available data in the Digital Library of Theses and Dissertações - BDTD of the Communitarian Library of the Federal University of São Carlos - BCo/UFSCar. The objective of the study was to construct indicating on the BDTD to analyze its evolution. In the construction of the indicadores the automatized bibliométric analysis was used. As initial data, 1,389 registers had been used, between theses and dissertações registered in cadastre for the BCo/UFSCar in the period of , in the database BDTD. The registers had been dealt with with Vantagepoint software for construction indicadores from the fields "author", "date of defense", "area of the knowledge", "sub-area of the knowledge", "degree", "person who orientates" among others. As results, they had been constructed indicating related to the distribution of the works for area, to the evolution of the after-graduation programs, to the degree of the searched works and the subject-key in the UFSCar. As the developed procedure is automatized, it will be possible periodically to bring up to date the pointers for its accompaniment to the long one of the time KEYWORDS: Digital Library of These and Dissertações; Bibliometric; Indicadores

3 1 INTRODUÇÃO Reconhecidamente nas universidades brasileiras concentra-se o maior número de pesquisas e a geração de novas tecnologias desenvolvidas no país. Ás bibliotecas universitárias compete fornecer serviços de informação científica e tecnológica em níveis compatíveis com as necessidades dos usuários servindo de apoio imprescindível a essas atividades. Na Biblioteca Comunitária da Universidade Federal de São Carlos BCo/UFSCar, foi inaugurada oficialmente em agosto de 2004, a Biblioteca Digital de Teses e Dissertações - BDTD, com o objetivo de tornar disponível a produção científica dos Programas de Pósgraduação - PPG da instituição, ou seja, teses e dissertações eletrônicas (TDEs), por meio de textos completos para downloads. Propõe-se por meio deste estudo dar continuidade aos trabalhos apresentados por AMARAL et al (2005; 2006), de analise dos serviços prestados pela BCo/UFSCar, através do uso de métodos de estudos bibliométricos e tratamento automatizado dos dados extraídos a partir da base de dados da BDTD, focando a criação de indicadores. Com a visibilidade das informações sobre o serviço foi possível identificar, através da construção de gráficos e quadros, a evolução e o grau da produção científica da UFSCar, quais os principais temas pesquisados, tendências de crescimento dos PPG entre outros. Os estudos bibliométricos combinados a outros indicadores podem ajudar tanto na avaliação do estado atual da ciência como na tomada de decisão e no gerenciamento da pesquisa, importantes em estudos para a área acadêmica (WORMELL, 1998). 2 REFERENCIAL TEÓRICO O desenvolvimento intenso da tecnologia de informação e comunicação nos últimos anos permite constatar a tendência de uma sociedade cada vez mais próxima dos meios informatizados. Cabe à biblioteca a responsabilidade de contribuir para os futuros serviços de informação para a sociedade. A biblioteca digital é a extensão dos serviços tradicionalmente desenvolvidos transpostos para um ambiente digital. Longe de ser uma ameaça ao que se entende por biblioteca, para Borges (2001), a biblioteca digital é uma realidade fortemente dinâmica, tentacular, que, à maneira de um organismo vivo, vai se adaptando e evoluindo de acordo com os ritmos dos seus utilizadores. Atualmente a BDTD da BCo/UFSCar possui registros disponíveis, sua tendência de crescimento é evidente, devido ao que se observa com aumento do número gradual do volume de pedidos de disponibilização de trabalhos, e com o aumento do número de PPG. O processo de geração e disponibilização de TDEs engloba três segmentos da universidade: os programas de pós-graduação, o aluno pós-graduando e a biblioteca. As etapas do processo constituem em entrega de documentação de autorização, encaminhamento e solicitação pelo pós-graduando, composição de um arquivo com a versão final de seu trabalho convertida em formato PDF e inserção de seus dados, bem como do arquivo na BDTD para acesso e download (LOPES, 2006). A informação é matéria-prima para o desenvolvimento tecnológico. Assume um novo papel como fator de produção que, aliado ao trabalho, matéria-prima e capital se torna o elemento indutor das mudanças tecnológicas essenciais para as empresas que lutam por sua sobrevivência (FUJINO, 1994). A valorização da informação trouxe benefícios para o desenvolvimento e emprego de técnicas voltadas para a análise da informação, entre elas a bibliometria, que possibilita realizar estudos a organização dos setores científicos e

4 tecnológicos a partir de fontes bibliográficas para identificar os autores, suas relações e tendências (SPINAK, 1998). A bibliometria analisa a comunicação escrita, através da contagem de palavras. Atualmente está relacionada à contagem não apenas de elementos textuais presentes no suporte de papel, mas principalmente de informações extraídas de base de dados bibliográficos. Tarapanoff (1995) define a bibliometria como o estudo de aspectos quantitativos da produção, distribuição e uso da informação registrada, a partir de modelos matemáticos, para o processo de tomada de decisão. Alguns pesquisadores observaram que a distribuição de freqüência dos dados em um texto ou em um conjunto de referências bibliográficas segue certos padrões. Essas observações deram origem às leis bibliométricas: Lei de Lotka determina a contribuição de cada autor para o avanço da Ciência; Lei de Bradford, um método para selecionar os periódicos mais representativos para uma área da ciência; e a Lei de Zipf, verificou que se as palavras que ocorrem em um texto forem contadas e classificadas em ordem decrescente de número de ocorrências, a multiplicação do número de ocorrências pela posição no ranking para cada palavra é uma constante. A lei de Zipf é valida para todas as contagens feitas em textos, conjunto de textos ou referências bibliográficas, tanto para contagem de palavras, como de elementos bibliográficos como: autores, data de publicação, fonte da publicação entre outros (WORMELL, 1998). Através da bibliometria, conjuntos de centenas ou milhares de registros bibliográficos de artigos científicos, patentes, notícias e outros documentos podem ser analisados para dar origem a novas informações bastante sintéticas e de alto valor agregado, chamados indicadores, que não dizem respeito a um documento em particular, mas ao conjunto dos documentos analisados. Os indicadores bibliométricos podem ser usados para estudos de prospecção tecnológica, inteligência competitiva e análise da produção cientifica (FARIA, 2001). Indicadores é uma forma indireta de avaliar algo intangível, como ciência e tecnologia. Considerando a ciência e tecnologia como sistema gerador de informação, conhecimento e inovação, que requer insumos para funcionar e produz resultados, podem-se construir indicadores de ciência e tecnologia a partir da medição dos insumos aplicados e os resultados obtidos (SPINAK, 1998). Os indicadores bibliométricos são classificados em indicadores de uma ou de duas dimensões. Os indicadores de duas dimensões são chamados de indicadores de ligação e os indicadores de uma dimensão são divididos em indicadores de atividades (contagem de publicações) e indicadores de impacto (contagem de citações recebidas). Os indicadores de ligação têm sido aplicados para elaboração de mapas descritivos do conhecimento e de redes de relacionamento entre pesquisadores, instituições e países (FARIA, 2001). Eles são de fundamental importância, pois contam os relacionamentos entre os diversos campos de uma base de dados. Por exemplo, são importantes para a identificação das parcerias entre autores ou entre instituições e para mostrar ligações entre temas ou áreas de pesquisa. Os indicadores de atividade são criados a partir da contagem de publicações e visam à elaboração de listas de freqüência ou ranking de pesquisadores, instituições, empresas, países, e outros (FARIA, 2001). Este tipo de indicador permite identificar os autores mais produtivos de uma determinada área, analisar sua evolução no decorrer dos anos e mapear quais são os temas de pesquisa prioritários de cada país, dentre outras possibilidades. Os indicadores de impacto, que são criados a partir da contagem de citações. O Indicador de impacto mais conhecido é o Fator de Impacto. Calculado freqüentemente pelo Institute for Scientific Information (ISI, 2007) para os periódicos indexados na base Science Citation

5 Index, com base nas citações recebidas pelos artigos publicados nesses periódicos nos últimos anos. Na década de 80, começaram a ser desenvolvidas ferramentas (softwares) para permitir automatização da análise bibliométrica, que consiste em produzir os indicadores bibliométricos a partir de dados extraídos de base de dados eletrônicas com o auxilio do computador. A análise automatizada conta com as etapas: a) recuperação dos dados; b) preparação dos dados; c) tratamento bibliométrico dos dados para a contagem de ocorrências de palavras nos registros recuperados e criação de listas e matrizes; d) tratamento estatístico; e e) representação gráfica para facilitar o entendimento da análise (FARIA, 2001). Para estudos sistemáticos e de duração mais longa, como a produção de indicadores para a avaliação da produção cientifica, se é necessário à criação de um sistema de informação perene, aprimorado ao longo do tempo com a experiência resultante de sucessivas aplicações (VAN RAAN, 1997). Diversos pesquisadores brasileiros já desenvolveram estudos a cerca da bibliometria. Quoniam (2001) mostrou em seu trabalho, de análise das teses brasileiras inseridas na base de dados francesa Doc Thèses, que é possível obter conhecimento, a partir do tratamento automatizado, para auxiliar o processo decisório em todos os níveis, pois oferecem subsídios para a consolidação, investimento e desenvolvimento de ações políticas e cientificas. 3 MÉTODO Para analisar os dados da BDTD da Bco/UFSCar e construir indicadores sobre esse serviço, foi utilizado o método desenvolvido por Quoniam (2001). Como dados iniciais foram utilizados os registros dos cadastros realizados no período de , obtidos na base de dados da BDTD. Optou-se por extrair registros referentes à BDTD, pela quantidade de informações presentes a respeito do serviço, sua estrutura proporciona uma eficiente gestão do serviço e um alto nível de detalhamento das características da produção científica da UFSCar. Estas informações complementam os estudos de uso e usuários que a BCo/UFSCar realiza periodicamente, identificando futuras demandas. Para a análise dessas informações foi necessária a recuperação de 1.389, tendo em vista os dados relevantes sobre cada trabalho disponibilizado (aluno; orientador; data de defesa; área do conhecimento; subárea do conhecimento; palavras-chave; resumo; e título). O sistema informatizado da BDTD fornece informações em um formato bibliométrico, adequado ao tratamento automatizado, conforme visualizado no quadro 1, não sendo necessário a fase de tratamento sugerida por Faria (2001). As informações obtidas sobre a BDTD foram processadas pelo software VantagePoint (capaz de, a partir de um arquivo texto contendo registros bibliográficos, produzir indicadores de uma ou duas dimensões, além de representar gráficos através de mapas estatísticos). O software Vantagepoint foi usado para fazer o tratamento bibliométrico, que resultou na criação de listas de freqüência e matrizes de relacionamentos. Por fim, o software Microsoft Excel foi utilizado para importar os dados obtidos com o Vantagepoint e representar graficamente os indicadores bibliométricos. A figura 1 sintetiza todas as etapas do trabalho. Este estudo foi realizado em parceria com o Núcleo de Informação Tecnológica em Materiais NIT/Materiais e o Departamento de Ciência da Informação DCI da UFSCar. A estrutura utilizada para desenvolver o trabalho, tanto hardware como software, foi disponibilizada pelo NIT/Materiais.

6 QUADRO 1 Formato bibliométrico. Aluno: Roniberto Morato do Amaral Grau: Mestre Titulação: Mestrado Programa: Programa de Pós-Graduação em Engenharia de Produção Orientador: Dário Henrique Alliprandini Data de Defesa: Título: Desenvolvimento e aplicação de um método para o mapeamento de competências em inteligência competitiva. Área do Conhecimento: ENGENHARIAS Subárea do Conhecimento: GERENCIA DE PRODUCAO Palavras-Chave: Inteligência competitiva; Mapeamento de competência; Gestão de pessoas por competências Resumo: Com o intuito de contribuir para o aumento da eficiência e eficácia das unidades de Inteligência Competitiva (IC) no âmbito da gestão de pessoas, a presente pesquisa teve como objetivo geral desenvolver uma sistemática para mapear conhecimentos, habilidades e atitudes para profissionais de IC, baseado no modelo de Gestão de Pessoas Por Competências (GPPC). O método de pesquisa adotado foi a pesquisa-ação e a aplicação foi realizada junto ao Núcleo de Informação Tecnológica em Materiais (NIT/Materiais) da Universidade Federal de São Carlos (UFSCar), especializado em realização de projetos de IC. Os resultados obtidos foram: a identificação de um conjunto de competências referenciais para profissionais de IC; a criação de um glossário de atributos de competência de IC (Conhecimentos, Habilidades e Atitudes); o desenvolvimento da ferramenta Levantamento de Atributos, para a coleta de informações visando a definição das competências organizacionais; e a formalização do perfil de competências para os profissionais de IC da organização estudada. A partir dos resultados obtidos e da discussão suscitada em torno da temática das competências em IC, foi possível concluir que o modelo GPPC pode contribuir para a criação e desenvolvimento de equipes de IC mais eficientes e eficazes, num processo de melhoria contínua. FIGURA 1 Síntese do método. Adaptado de Quoniam (2001).

7 4 RESULTADOS No período de , foram cadastrados e disponibilizados TEDs na BDTD. O Quadro 2 apresenta a distribuição da produção científica da UFSCar por Programa de Pós Graduação PPG e grau (mestrado ou doutorado). Os PPG-Ecologia e Recursos Naturais e Engenharia de Produção se destacam pela quantidade de trabalhos disponibilizados, sendo que o PPG-Ecologia e Recursos Naturais possui uma diferenciada produção de teses. Quadro 2 Distribuição dos trabalhos acadêmicos. Total Programa de Pós Graduação Mestre Doutor PPG-Ecologia e Recursos Naturais PPG-Engenharia de Produção PPG-Educação PPG-Ciência da Computação PPG-Educação Especial PPG-Química PPG-Engenharia Química PPG-Engenharia Urbana PPG-Genética e Evolução PPG-Ciências Sociais PPG-Fisioterapia PPG-Ciência e Engenharia de Materiais PPG-Ciências Fisiológicas PPG-Física PPG-Matemática PPG-Construção Civil PPG-Filosofia e Metodologia das Ciências PPG-Estatística PPG-Lingüística A evolução do acervo de teses e dissertações tem chamado a atenção da administração da BCo/UFSCar, quanto a necessidade de espaço físico para os exemplares em papel como também para os exemplares em CD-ROM, que ficam armazenados por tempo indeterminado. A Figura 2 permite a visualização da evolução deste acervo e sua tendência de crescimento para cada subárea do conhecimento. A evolução da demanda dos serviços da BDTD pode ser visualizada na Figura 3, onde é apresentada a distribuição e a evolução das defesas de mestrado e doutorado na UFSCar no período de Vale ressaltar que nem todos os trabalhos foram disponibilizados na BDTD e que é possível observar os pós-graduandos levam certo tempo entre a defesa e a disponibilização dos seus trabalhos, haja a vista a disponibilização de trabalhos com data de defesa a partir de 2002, sendo que a BDTD passou a operar em Com estes indicadores é possível se planejar para atender a demanda e a tendência de crescimento do acervo, alem de ações visando à conscientização da importância da disponibilização dos trabalhos em formato eletrônico.

8 ENGENHARIAS CIENCIAS HUMANAS CIENCIAS DA SAUDE LINGUISTICA, LETRAS E ARTES CIENCIAS BIOLOGICAS CIENCIAS EXATAS E DA TERRA CIENCIAS SOCIAIS APLICADAS OUTROS Figura 2 Evolução por subárea do conhecimento Jan Fev Mar Abr Mai Jun Julho Ago Set Out Nov Dez Figura 3 Evolução das defesas no período de O envolvimento do orientador é muito importante para a conscientização do pós graduando em relação à importância do compartilhamento do conhecimento. Os professores que mais se destacam na UFSCar podem ser visualizados no Quadro 3, que apresenta os professores com mais de 10 trabalhos disponibilizados no período de Os 10 PPG mais representativos e os respectivos temas de pesquisa podem ser visualizados no Quadro 4. A identificação das principais linhas de pesquisa de cada PPG serve como um guia para os futuros pesquisadores na seleção de trabalhos ou contatos informais para as suas pesquisas.

9 Total de trabalhos Orientador Mestre Doutor 23 José Eduardo dos Santos Odete Rocha José Carlos de Toledo Junia Coutinho Anacleto Silva Angélica Maria Penteado Martins Dias Heloísa Sobreiro Selistre de Araujo Alaíde Aparecida Fonseca Gessner Pedro Manoel Galetti Júnior Dário Henrique Alliprandini José Salatiel Rodrigues Pires Bernardo Arantes do N. Teixeira Enicéia Gonçalves Mendes 6 5 Quadro 4 Principais temas de pesquisa. Total Programa de Pós Graduação Palavras-chave 239 PPG-Ecologia e Recursos Naturais Ecologia; limnologia; ecologia humana; ecologia aquática; diversidade biológica; educação ambiental 169 PPG-Engenharia de Produção Gestão da qualidade;organização da produção; canais de distribuição; administração da produção; processo decisório 139 PPG-Educação Professores formação; educação; educação infantil; aprendizagem profissional da docência; ensino superior 104 PPG-Ciência da Computação Engenharia de software; inteligência artificial; processamento de imagens; interação homemmáquina; componentes de software 92 PPG-Educação Especial Educação especial; estudantes com necessidades educacionais especiais; educação especial - inclusão; deficientes auditivos; equivalência de estímulos 84 PPG- Química Físico - química; eletroquímica; química analítica; preparação de amostra (química analítica); análise por injeção de fluxo 74 PPG- Engenharia Química Engenharia bioquímica; biotecnologia; fluidodinâmica; ácido clavulânico; leito fixo 64 PPG-Engenharia Urbana planejamento urbano; sustentabilidade; políticas públicas; sistemas de informação geográfica; pedestres 61 PPG-Genética e Evolução Genética de populações; genética molecular; dna mitocondrial; citogenética biologia molecular 56 PPG-Ciências Sociais Antropologia; relações raciais sociologia política; sociologia da religião

10 5 CONCLUSÃO Com os resultados foi possível a BCo/UFSCar melhorar o serviço da BDTD junto aos usuários, promovendo treinamentos direcionados aos seus principais usuários e visando novos usuários. Os resultados permitiram uma melhor gestão dos recursos da BDTD, pois é possível visualizar as tendências de crescimento dos PPG e um melhor controle do acervo, quanto a sua disponibilização física. Também foi possível o uso dos indicadores da BDTD como uma ferramenta de seleção de fontes informais, pois através da lista de ocorrências das palavras-chave relacionadas aos orientadores, torna-se possível a identificação dos mesmos como fontes de informações para futuros pesquisadores. Conforme foi citado no referencial teórico, os trabalhos desenvolvidos com o tratamento bibliométrico tendem a evoluir conforme a sua aplicação. O presente artigo é parte de uma série abordando o desenvolvimento de indicadores sobre os serviços da BCo/UFSCar, o trabalho se caracteriza por seus resultados, em um mecanismo de gestão da BDTD. Como o procedimento desenvolvido é automatizado, será possível atualizar periodicamente os indicadores para seu acompanhamento ao longo do tempo, podendo a BCo/UFSCar melhorar o seus indicadores de eficiência, no atendimento aos usuários. 6 REFERÊNCIAS AMARAL, R. M. et al. Criação de indicadores sobre o serviço de comutação bibliográfica da BCo/UFSCar através de análise bibliométrica automatizada. In: CONGRESSO BRASILEIRO DE BIBLIOTECONOMIA, DOCUMENTAÇÃO E CIÊNCIA DA INFORMAÇÃO CBBD, 21., 2005, Curitiba. Anais... Curitiba: [s.n.], AMARAL, R. M. et al. Desenvolvimento e aplicação de uma ferramenta para o uso e gestão do serviço de empréstimo entre bibliotecas na BCo/UFSCar. In: SEMINÁRIO NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 14., 2006, Salvador. Anais... Salvador:UFBA, BORGES, M. M. M. A biblioteca digital : da imaginação em exercício ao exercício da imaginação. In:. Bibliotecas digitais. Lisboa: Gabinete de Estudos, BRASIL. Ministerio da Educacao. Ministerio da Ciencia e Tecnologia. Modelos alternativos de emprestimos-entre-bibliotecas. Brasilia: O Programa, p. CAMPELO, Bernadete Santos. Empréstimo entre bibliotecas. R. Esc. Bibliotecon. UFMG, Belo Horizonte, v. 15, n. 1, p. 7-34, mar EVARISTO, M. F. Sistemas nacionais de acesso ao documento: um modelo para o Brasil. Revista Brasileira Biblioteconomia Documentação. v, 10, n. 1, p , jan.-jun FARIA. L. I. L. Prospecção tecnológica em Materiais: aumento da eficiência do tratamento bibliométrico. 225 f Tese (Doutorado em Engenharia de Materiais) Universidade Federal de São Carlos, São Carlos: UFSCar FUJINO, A. A informação e o lucro da empresa. Palavra-Chave. n.7, p.15, ISI. Institute for Scientific Information. Disponível em: < Acesso em 12 de Março de 2007.

11 Jesus, A. P.; GOMES, J. J. Criação do sistema integrado de bibliotecas do Sistema ACAFE: utilizando JAVA e XML. [SI:sn], LOPES, T. L. B. A biblioteca digital de teses e dissertações da UFSCar. São Carlos: UFSCar, Trabalho de Especialização. Departamento de Engenharia de Produção. Universidade Federal de São Carlos. QUONIAM, L., et al. Inteligência obtida pela aplicação de data mining em base de teses francesas sobre o Brasil. Ciência da Informação, Brasília, v.30, n.2, p.24, SANTOS, Paulo Rogério Ferreira dos. Empréstimos entre bibliotecas: Biológicas, Exatas e Humanidades. 54f. Trabalho de Conclusão de Curso (Graduação em Biblioteconomia) - Faculdade de Filosofia e Ciências, Universidade Estadual Paulista, Marília, SILVA, T. Compartilhar é a solução. Nova Friburgo: UERJ Instituto Politécnico, SPINAK, E. Indicadores cienciometricos. Ciência da Informação, Brasília, v.27, n.2, p , maio/ago, TARAPANOFF, K.; MIRANDA, D. M.; ARÁUJO JÚNIOR, R. H. Técnicas para tomada de decisão nos sistemas de informação. Brasilia: Thesaurus, p.86, VAN RAAN, A. F. J. Scientometrics: state-of-the-art. Scientometrics, v. 38, n. 1, p , WORMELL, I. Informetria: explorando bases de dados como instrumentos de análise. - Ciência da Informação, v.27, n.2, p , 1998.