CRIAÇÃO DE INDICADORES SOBRE O SERVIÇO DE COMUTAÇÃO BIBLIOGRÁFICA DA BCO/UFSCAR em , ATRAVÉS DE ANÁLISE BIBLIOMÉTRICA AUTOMATIZADA

Transcrição

1 CRIAÇÃO DE INDICADORES SOBRE O SERVIÇO DE COMUTAÇÃO BIBLIOGRÁFICA DA BCO/UFSCAR em , ATRAVÉS DE ANÁLISE BIBLIOMÉTRICA AUTOMATIZADA Roniberto Morato do Amaral - roniberto@nit.ufscar.br 1234 Ronildo Santos Prado - ronisp@power.ufscar.br 1 Lígia Maria Silva e Souza - ligia@power.ufscar.br 1 Leandro Innocentini Lopes de Faria - leandro@nit.ufscar.br 23 Wanda Aparecida Machado Hoffmann - wanda@nit.ufscar.br 23 José Angelo Rodrigues Gregolin gregolin@nit.ufscar.br 3 1 Biblioteca Comunitária BCo/UFSCar Universidade Federal de São Carlos - UFSCar Rodovia Washington Luís, km 235 CEP São Carlos - SP - Brasil (16) Núcleo de Informação Tecnológica em Materiais - NIT/Materiais Universidade Federal de São Carlos - UFSCar Rodovia Washington Luís, km 235 CEP São Carlos SP - Brasil (16) ou Departamento Ciência da Informação - DCI Universidade Federal de São Carlos - UFSCar Rodovia Washington Luís, km 235 CEP São Carlos - SP - Brasil (16) ou Departamento de Engenharia de Produção - DEP Universidade Federal de São Carlos - UFSCar Rodovia Washington Luís, km 235 CEP São Carlos - SP - Brasil (16) ou

2 RESUMO: Este trabalho apresenta um estudo dos atendimentos e solicitações realizados pelo Serviço de Comutação Bibliográfica da Biblioteca Comunitária da Universidade Federal de São Carlos BCo/UFSCar em O objetivo do estudo foi analisar os atendimentos e solicitações feitos pela BCo/UFSCar através do Programa de Comutação Bibliográfica COMUT para construir indicadores sobre esse serviço. Para a construção dos indicadores foi utilizada a análise bibliométrica automatizada. Como dados iniciais, foram utilizados 1460 formulários, entre atendimentos e solicitações realizados pela BCo/UFSCar em , obtidos no site do COMUT. Os formulários foram tratados com o software Vantagepoint para construção de indicadores a partir dos campos "Situação do pedido", "data do pedido", "data do atendimento", "biblioteca" e "periódico", entre outros. Entre a coleta e a análise, foi necessário preparar os dados, o que envolveu consolidar os formulários em um arquivo, incorporar as datas de pedido e atendimento nos formulários, padronizar nomes e reorganizar os dados em campos adequados para análise. Como resultados, foram construídos indicadores relacionados ao tempo de atendimento, à freqüência de solitação e atendimento, aos periódicos solicitados e aos usuários. Como o procedimento desenvolvido é automatizado, será possível atualizar periodicamente os indicadores para seu acompanhamento ao longo do tempo. PALAVRAS-CHAVE: COMUT; comutação bibliográfica; bibliometria; indicadores. 1 INTRODUÇÃO A comutação bibliográfica é um sistema cooperativo que permite a localização e recuperação de documentos não existentes no acervo das bibliotecas conveniadas. Seus objetivos, segundo o COMUT (2006), são facilitar o acesso aos documentos requerido nas tarefas de pesquisa, ensino e gerenciamento independentemente de sua localização, sob a égide de um sistema de comutação bibliográfica descentralizado, desburocratizar o processo administrativo e contábil nas transações

3 de compra e venda de cópias de documentos, contribuir para o aperfeiçoamento do ensino e da pesquisa, criando condições para a transferência e uso cooperativos de informações interdisciplinares armazenadas nas instituições depositárias dos acervos bibliográficos. Propõe-se por meio deste estudo dar continuidade ao trabalho apresentado por AMARAL et al (2005; 2006), de analise dos serviços prestados pela BCo/UFSCar, através do uso de métodos de estudos bibliométricos e tratamento automatizado dos dados extraídos a partir da base de dados do serviço de Empréstimo Entre Bibliotecas da BCo/UFSCar, focando a criação de indicadores. Com a visibilidade das informações sobre o serviço foi possível identificar, através da construção de gráficos e quadros, quais as instituições que mais atenderam e solicitaram material bibliográfico a BCo/UFSCar, quais os principais usuários do serviço, qual a tipologia do material solicitado, a freqüência de solicitações por periódico. Os estudos bibliométricos combinados a outros indicadores podem ajudar tanto na avaliação do estado atual da ciência como na tomada de decisão e no gerenciamento da pesquisa, importantes em estudos para a área acadêmica (WORMELL, 1998). 2 REFERENCIAL TEÓRICO Atualmente a informação é matéria-prima para o desenvolvimento tecnológico. A informação assume um novo papel como fator de produção que, aliado ao trabalho, matéria-prima e capital se torna o elemento indutor das mudanças tecnológicas essenciais para as empresas que lutam por sua sobrevivência (FUJINO, 1994). A valorização da informação trouxe benefícios para o desenvolvimento e emprego de técnicas voltadas para a análise da informação, entre elas a bibliometria, que possibilita realizar estudos a organização dos setores científicos e tecnológicos a partir de fontes bibliográficas para identificar os autores, suas relações e tendências (SPINAK, 1998).

4 A bibliometria analisa a comunicação escrita, através da contagem de palavras. Atualmente está relacionada à contagem não apenas de elementos textuais presentes no suporte de papel, mas principalmente de informações extraídas de base de dados bibliográficos. TARAPANOFF (1995) define a bibliometria como o estudo de aspectos quantitativos da produção, distribuição e uso da informação registrada, a partir de modelos matemáticos, para o processo de tomada de decisão. Alguns pesquisadores observaram que a distribuição de freqüência dos dados em um texto ou em um conjunto de referências bibliográficas segue certos padrões. Essas observações deram origem às leis bibliométricas: Lei de Lotka determina a contribuição de cada autor para o avanço da Ciência; Lei de Bradford, um método para selecionar os periódicos mais representativos para uma área da ciência; e a Lei de Zipf, verificou que se as palavras que ocorrem em um texto forem contadas e classificadas em ordem decrescente de número de ocorrências, a multiplicação do número de ocorrências pela posição no ranking para cada palavra é uma constante. A lei de Zipf é valida para todas as contagens feitas em textos, conjunto de textos ou referências bibliográficas, tanto para contagem de palavras, como de elementos bibliográficos como: autores, data de publicação, fonte da publicação entre outros (WORMELL, 1998). Em geral, a bibliometria busca conhecer a variação de um elemento em relação a um outro elemento fixo. Por exemplo, quais são os autores que publicam em uma revista específica, quais são as palavras-chave que descrevem um assunto focalizado, quais as palavras utilizadas em um texto, quais os autores citados por um autor em particular, dentre outras possibilidades. Esse fato implica em que as distribuições bibliométricas apresentem sempre uma "dispersão" de elementos. Além da bibliometria, há outras áreas que se ocupam da medição das informações. A cientometria consiste na aplicação das mesmas técnicas da bibliometria, mas estritamente a documentos científicos e com o objetivo de estudar

5 a ciência e seus processos de comunicação. Existe também o termo informetria, empregado para o estudo dos aspectos quantitativos da informação em qualquer formato (e não apenas registros referenciais e textos completos, como na bibliometria) e a qualquer grupo social (e não apenas a cientistas, como a cientometria). As fronteiras entre bibliometria, cientometria e informetria não são bem definidas e existe um certo caos terminológico na área (FARIA, 2001). A analise bibliométrica é uma importante ferramenta para a síntese e análise da informação que auxilia em processos decisórios. Através da bibliometria, conjuntos de centenas ou milhares de registros bibliográficos de artigos científicos, patentes, notícias e outros documentos podem ser analisados para dar origem a novas informações bastante sintéticas e de alto valor agregado, chamados indicadores, que não dizem respeito a um documento em particular, mas ao conjunto dos documentos analisados. Os indicadores bibliométricos podem ser usados para estudos de prospecção tecnológica, inteligência competitiva e análise da produção cientifica. Indicadores é uma forma indireta de avaliar algo intangível, como ciência e tecnologia. Considerando a ciência e tecnologia como sistema gerador de informação, conhecimento e inovação, que requer insumos para funcionar e produz resultados, podem-se construir indicadores de ciência e tecnologia a partir da medição dos insumos aplicados e os resultados obtidos (SPINAK, 1998). Os indicadores bibliométricos são classificados em indicadores de uma ou de duas dimensões. Os indicadores de duas dimensões são chamados de indicadores de ligação e os indicadores de uma dimensão são divididos em indicadores de atividades (contagem de publicações) e indicadores de impacto (contagem de citações recebidas. Os indicadores de ligação têm sido aplicados para elaboração de mapas descritivos do conhecimento e de redes de relacionamento entre pesquisadores, instituições e países (FARIA, 2001). Eles são de fundamental importância, pois contam os relacionamentos entre os diversos campos de uma base de dados. Por exemplo, são importantes para a identificação das parcerias entre

6 autores ou entre instituições e para mostrar ligações entre temas ou áreas de pesquisa. Os indicadores de atividade são criados a partir da contagem de publicações e visam à elaboração de listas de freqüência ou ranking de pesquisadores, instituições, empresas, países, e outros (FARIA, 2001). Este tipo de indicador permite identificar os autores mais produtivos de uma determinada área, analisar sua evolução no decorrer dos anos e mapear quais são os temas de pesquisa prioritários de cada país, dentre outras possibilidades. Os indicadores de impacto, que são criados a partir da contagem de citações. O Indicador de impacto mais conhecido é o Fator de Impacto. Calculado freqüentemente pelo Institute for Scientific Information (ISI, 2005) para os periódicos indexados na base Science Citation Index, com base nas citações recebidas pelos artigos publicados nesses periódicos nos últimos anos. O fator de impacto é uma medida da qualidade dos periódicos, é freqüentemente e erroneamente utilizado para medir a qualidade dos pesquisadores. Cabe aqui ressaltar que o impacto, que é o que efetivamente as citações medem, não é sinônimo de qualidade (RINIA, 1998). Comumente costumase atribuir valor a um artigo que foi publicado em uma revista indexada em bases de dados internacionais e também pelo número de citações que o artigo recebeu, porém, convém destacar que, no plano de análise absoluta, o fato de um conjunto particular de trabalhos ser momentaneamente ou temporariamente ignorado não significa baixa qualidade (STREHI, 2002). Na década de 80, começaram a ser desenvolvidas ferramentas (softwares) para permitir automatização da análise bibliométrica, que consiste em produzir os indicadores bibliométricos a partir de dados extraídos de base de dados eletrônicas com o auxilio do computador. A análise automatizada conta com as etapas: a) recuperação dos dados; b) preparação dos dados; c) tratamento bibliométrico dos dados para a contagem de ocorrências de palavras nos registros recuperados e criação de listas e matrizes; d) tratamento estatístico; e e) representação gráfica para facilitar o entendimento da análise (FARIA, 2001). Em grande parte das aplicações do tratamento automatizado, a estrutura da informação recuperada das bases de

7 dados é incompatível com o padrão necessário para o uso de softwares. A preparação dos dados deve se ajustar às condições em que o tratamento é realizado. Para estudos sistemáticos e de duração mais longa, como a produção de indicadores para a avaliação da produção cientifica, a preparação dos dados tornase um processo contínuo e sistemático que visa à criação de um sistema de informação perene, aprimorado ao longo do tempo com a experiência resultante de sucessivas aplicações (VAN RAAN, 1997). Diversos pesquisadores brasileiros já desenvolveram estudos a cerca da bibliometria, HOFFMAN (1999), desenvolveu um interessante trabalho, onde aplicarou a bibliometria para o mapeamento da intersecção entre a área de materiais metálicos e o setor aeronáutico, a partir da recuperação de informações da base de dados Compendex. Após o tratamento dos dados foi possível caracterizar as tecnologias de materiais para o uso na aeronáutica, bem como identificar os principais temas, especialistas, empresas, instituições e fontes de informação ligadas à área de materiais e aeronáutica. QUONIAM (2001) mostrou em seu trabalho, de análise das teses brasileiras inseridas na base de dados francesa Doc Thèses, que é possível obter conhecimento, a partir do tratamento automatizado, para auxiliar o processo decisório em todos os níveis, pois oferece subsídios para a consolidação, investimento e desenvolvimento de ações políticas e cientificas. 3 MÉTODO Para analisar os atendimentos e solicitações de material bibliográfico feitos pela BCo/UFSCar, através do EEB, e construir indicadores sobre esse serviço, foi utilizado o método desenvolvido por Amaral et al (2005). Como dados iniciais foram utilizados os 638 formulários de atendimentos e solicitações realizados pela BCo/UFSCar em , obtidos no site do EEB. Optou-se por extrair registros referentes aos formulários, pela quantidade de informações presentes a respeito do serviço de EEB que são disponibilizados aos seus parceiros. Para a análise dessas

8 informações foi necessária a recuperação de 638 formulários em , tendo em vista que os dados relevantes sobre cada operação (solicitação ou atendimento) (Dia atendimento; Usuário; Dia do pedido; Biblioteca; Titulo do material bibliográfico; e etc.). O sistema informatizado de gestão do EEB, fornece informações em um formato bibliométrico, adequado para o tratamento automatizado, conforme visualizado no quadro 1. QUADRO 1 Formato bibliométrico. SITUACAO DO PEDIDO- ATENDIDO FORMA DO DOC ORIGINAL- PAPEL NUMERO DE PAGINAS- 431 MOTIVO- OBSERVACAO- AS PAGINAS SAO FICTICIAS. POR FAVOR ENVIAR OS DOIS VOLUMES DA TESE. GRATA, SHEILA. TIPO DE DOCUMENTO- TESE BIBLIOTECA BASE- USP/ECA/SBD - SERVICO DE BIBLIOTECA E DOCUMENTACAO "MARIA LUIZA M. DA CUNHA" NUMERO DO PEDIDO- TE /2004 ANO DO PEDIDO NOME DO USUARIO- CRISTIANE MARIA RIBEIRO CPF DO USUARIO TITULO- VALORIZACAO DA CULTURA NEGRO-AGRICANA NO ENSINO DE ARTE: ANALISE DAS FACULDADES DE ARTE NO BRASIL EM BUSCA DE RAIZES AFRICANAS UNIVERSIDADE DE DEFESA- USP-ECA ANO GRAU DA TESE- DOUTORADO BONUS UTILIZADOS- 87 FORMA DE ENVIO- CORREIO NORMAL NACIONAL DATA DE PEDIDO- 07/01/2004 DATA DE ATENDIMENTO- 28/01/2004 DIAS ATE ATENDIMENTO- 21 As informações obtidas sobre o EEB foram processadas pelo software VantagePoint (capaz de, a partir de um arquivo texto contendo registros bibliográficos, produzir indicadores de uma ou duas dimensões, além de representar gráficos através de mapas estatísticos). O software Vantagepoint foi usado para fazer o tratamento bibliométrico, que resultou na criação de listas de freqüência, matrizes de relacionamentos e mapas. Por fim, o software Microsoft Excel foi utilizado para importar os dados obtidos com o Vantagepoint e representar

9 graficamente os indicadores bibliométricos. A figura 1 abaixo sintetiza todas as etapas do trabalho. FIGURA 1 Síntese do método (AMARAL et al, 2005). Este estudo foi realizado em parceria com o Núcleo de Informação Tecnológica em Materiais NIT/Materiais e o Departamento de Ciência da Informação DCI/UFSCar. A estrutura utilizada para desenvolver o trabalho, tanto hardware como software, foi disponibilizada pelo NIT/Materiais. O núcleo é especializado em Inteligência Competitiva (NIT, 2007). 4 RESULTADOS As nomenclaturas utilizadas neste trabalho referentes às instituições poderão ser encontradas no Catalogo Coletivo Nacional (CCN), através do site do IBICT ( O quadro 3 apresenta o total de solicitações de comutação efetuadas pela BC0/UFSCar no período de , as dez instituições que mais receberam solicitações em 2004 e em QUADRO 2 Ranking. Ano 2004 Ano 2005 Biblioteca Base Solicitações Biblioteca Base Solicitações UNICAMP/FCM/BT 45 BUSCA MONITORADA* 38 FIOCRUZ/BT 29 FIOCRUZ/BT 30 USP/ESALQ/BC 28 USP/CQ/DBD 29 UNICAMP/IQ/BT 27 UNICAMP/IQ/BT 15

10 USP/CQ/DBD 25 UNESP/BIQ 10 USP/FM/SBD 17 UNICAMP/BAE/BT 10 UFRGS/MED/BT 12 FUB/BC 10 UNICAMP/IB/BT 11 UNICAMP/FCM/BT 10 UNESP/BFA 10 USP/ESALQ/BC 10 PUC/RS/BC 10 USP/BCRP/SBD 9 Todas as 127 Todas as 119 instituições 589 instituições 432 * A Busca Monitorada tem o objetivo de buscar documentos em instituições não participantes do Programa COMUT no Brasil e no Exterior. Este ranking é constituído pelas instituições que receberam mais de 9 solicitações no período do estudo, em um universo total de 127 instituições em 2004 e de 119 instituições em É possível constatar a grande concentração de solicitações junto às bibliotecas da UNICAMP em Em 2005 há concentração de solicitações a FIOCRUZ/BT. Também em 2005 começou a operar a busca monitorada no COMUT (busca por documentos não encontrados no Brasil). A redução no número de solicitações pode ser vista como um dos resultados das ações de melhoria proposta por Amaral et al (2005), por exemplo, cursos de orientação ao usuário ministrados pelos bibliotecários da BCo/UFSCar, visando o auto-atendimento. O quadro 3 apresenta os principais motivos de cancelamento das solicitações de comutação da BCo/UFSCar, sendo que o principal motivo de cancelamento é a falta de documentos, isto representou um total de 62,5% dos motivos de cancelamento em 2004 e de 35,85% em Um dado preocupante a respeito da confiabilidade das informações disponibilizadas no CCN e nos demais catálogos bibliográficos. Essas informações podem estar desatualizadas ou incompletas, dificultando assim o acesso ao documento primário. QUADRO 3 Motivo do cancelamento no período. Motivo de cancelamento Biblioteca não possui o documento Dados incorretos 12 7 Biblioteca em greve

11 Publicação extraviada 5 7 Biblioteca de ferias, inventario ou reforma 3 10 Proibido copias / direitos autorais Publicação danificada 2 1 Publicação em uso 2 2 Busca monitorada não esta atendendo Difícil tirar copia encadernação apertada 1 1 Material não localizado apos pesquisa exaustiva 1 3 Obra rara 1 1 Ultrapassado prazo para aceitação de novo valor Mudança na forma de envio A figura 2 apresenta a tipologia dos materiais solicitados pela BCO/UFSCar, é possível constatar que em 2004, 90,66% dos materiais solicitados são periódicos. Dos 38 materiais classificados como tese, 28 são dissertações de mestrado e 10 de doutorado. Já em 2005, 94,44% dos materiais solicitados são periódicos. A BCo/UFSCar no ano de 2005 realizou 440 atendimentos, desses foram: 403 periódicos, 32 teses, 4 anais de congresso e 1 parte de documento. A maior utilização de periódicos enfatiza a importância desta fonte de informação para a formação dos alunos de pós-graduação e o desenvolvimento das pesquisas. Ano Periódico Periódico Ano Tese 11 - Tese 9 - Parte de documento 8 - Anais 8 - Parte de documento 5 - Anais FIGURA 2 Material solicitado no período. O total de títulos de periódicos visualizados na amostra de solicitações foi de 451 em 2005 e de 333 em Os títulos que se repetem no período podem ser visualizados no quadro 4. A partir dessas informações é possível visualizar demandas futuras do acervo de periódicos.

12 QUADRO 4 Periódicos que tiveram artigos solicitados em 2004 e em Título do periódico PHYTOCHEMICAL ANALYSIS POLYMER AQUATIC TOXICOLOGY PHYTOCHEMISTRY REVISTA BRASILEIRA DE CIENCIAS FARMACEUTICAS TRANSACTIONS OF THE INSTITUTE OF METAL FINISHING ANALYST CHEMICAL & PHARMACEUTICAL BULLETIN INORGANIC MATERIALS NATURE PLANTA MEDICA TOXICON ZEOLITES O quadro 5 apresenta o tempo que as dez instituições mais solicitadas pela BCo/UFSCar no período, levaram para atender as solicitações, é possível verificar que as instituições procuraram atender as solicitações nos primeiros 4 dias, com isso é possível calcular qual instituição é mais eficiente. A FIOCRUZ/BT aumentou a sua eficiência no atendimento de 2004 para 2005 e as bibliotecas da UNESP apresentam um ótimo padrão de atendimento no período. A média de atendimento em porcentagem do quarto dia (% 4º dia) das instituições foi de 69.86% no período. A média de atendimento da BCo/UFSCar é de 43,40% bem abaixo da media apresentada pelas demais instituições. Isto se deve a rotina de trabalho adotada na instituição, que primeiro atende aos pedidos e depois, com certo tempo de atraso, da baixa no sistema. QUADRO 5 Tempo de atendimento. Dias até atendimento Ano Instituição Solicitações % 4º Dia >10 UNICAMP/FCM/BT , FIOCRUZ/BT ,76 USP/ESALQ/BC ,86 UNICAMP/IQ/BT ,74

13 2005 USP/CQ/DBD ,00 USP/FM/SBD ,35 UFRGS/MED/BT ,33 UNICAMP/IB/BT ,73 UNESP/BFA ,00 PUC/RS/BC ,00 BUSCA MONITORADA ,21 FIOCRUZ/BT ,00 USP/CQ/DBD ,07 UNICAMP/IQ/BT ,33 UNESP/BIQ ,00 UNICAMP/BAE/BT ,00 FUB/BC ,00 UNICAMP/FCM/BT ,00 USP/ESALQ/BC ,00 USP/BCRP/SBD ,56 UFSCar/BCo ,40 Outros resultados foram obtidos com o trabalho como os principais usuários do serviço de comutação, o total de bônus utilizado e o número de paginas enviado eletronicamente e pelo serviço de correios. 5 CONCLUSÃO Com os resultados foi possível a BCo/UFSCar melhorar o seu serviço de comutação bibliográfica junto aos usuários, promovendo treinamentos direcionados aos seus principais usuários e visando novos usuários. Os resultados permitiram uma melhor seleção das instituições na hora de efetuar as futuras solicitações, pois é possível visualizar o tempo de atendimento de cada instituição. Também foi possível um melhor controle do acervo de periódicos, já que algumas publicações solicitadas encontram-se em nosso acervo com algum tipo de problema e outras puderam ser indicadas para aquisição devido ao seu volume de solicitações.

14 As iniciativas de treinamento começam a dar resultados, haja a vista na redução das solicitações realizadas pela BCo/UFSCar e pelo volume de atendimentos. Os usuários da BCo/UFSCar estão adquirindo a competência de realizar o auto atendimento, aproveitando ao máximo as vantagens do serviço COMUT. Conforme foi citado no referencial teórico, os trabalhos desenvolvidos com o tratamento bibliométrico tendem a evoluir conforme a sua aplicação. O presente artigo é compreende uma série de trabalhos que abordam o desenvolvimento do serviço de Comutação Bibliográfica da BCo/UFSCar. O trabalho se caracteriza por seus resultados, em um mecanismo de verificação e controle do desenvolvimento do serviço de comutação. Como o procedimento desenvolvido é automatizado, é possível atualizar periodicamente os indicadores para seu acompanhamento ao longo do tempo. 6 REFERÊNCIAS COMUT. Programa de Comutação Bibliográfica. Disponível em: < Acesso em: 31 maio de FARIA. L. I. L. Prospecção tecnológica em Materiais: aumento da eficiência do tratamento bibliométrico. 225 f Tese (Doutorado em Engenharia de Materiais) Universidade Federal de São Carlos, São Carlos: UFSCar FUJINO, A. A informação e o lucro da empresa. Palavra-Chave, São Paulo, n.7, p.15, GREGOLIN, J. A. R., et al. Criação de base de dados para análise bibliométrica a partir do conteúdo da Web of Science. In: KM BRASIL WORKSHOP BRASILEIRO DE INTELIGÊNCIA COMPETITIVA E GESTÃO DE CONHECIMENTO, 3., São Paulo. Anais... São Paulo: [s.n.], HOFFMANN, W. A. M. ; FARIA, L. I. L, ; GREGOLIN, J. A. R. Mapeamento de informações por bibliometria em metais e aeronáutica. In: WORKSHOP BRASILEIRO DE INTELIGÊNCIA COMPETITIVA & GESTÃO DO CONHECIMENTO, 1., 1999, Rio de Janeiro. Anais... Rio de Janeiro: Finep, CD-ROM. ISI. Institute for Scientific Information. Disponível em: < Acesso em 12 de abril de 2005.

15 LELLIS, V. M. et al. Análise bibliométrica automatizada de acervos como suporte à política de aquisição desenvolvimento de coleções. In: SEMINÁRIO SOBRE AUTOMAÇÃO EM BIBLIOTECAS E CENTROS DE DOCUMENTAÇÃO, 6., 1997, Águas de Lindóia: Anais... Águas de Lindóia: INPE, 1997, p NIT. Núcleo de Informação Tecnológica em Materiais. Disponível em: < Acesso em 04 de maio de QUONIAM, L., et al. Inteligência obtida pela aplicação de data mining em base de teses francesas sobre o Brasil. Ciência da Informação, Brasília, v.30, n.2, p.24, maio/ago RAVICHANDRA RAO, I. K. Métodos quantitativos em biblioteconomia e ciência da informação. Associação dos bibliotecários do Distrito Federal / Organização dos Estados Americanos, RINIA, E. J. et al. Comparative analysis of a set of bibliometric indicators and and central peer review criteria: evoluation of condensed matter physics in the Netherlands. Resarch Policy, Amsterdã, v.27, n.1, p , maio SPINAK, E. Indicadores cienciometricos. Ciência da Informação, Brasília, v.27, n.2, p , maio/ago, TARAPANOFF, K.; MIRANDA, D. M.; ARÁUJO JÚNIOR, R. H. Técnicas para tomada de decisão nos sistemas de informação. Brasilia: Thesaurus, p.86, VAN RAAN, A. F. J. Scientometrics: state-of-the-art. Scientometrics, v. 38, n. 1, p , WORMELL, I. Informetria: explorando bases de dados como instrumentos de análise. - Ciência da Informação, v.27, n.2, p , 1998.