Uma visão da produção científica nos Anais do Encontro Nacional de Engenharia de Produção através da Bibliometria.

Transcrição

1 Uma visão da produção científica nos Anais do Encontro Nacional de Engenharia de Produção através da Bibliometria. Roniberto Morato do Amaral (UFSCar) Mario André Possatti (UFSCar) Leandro I. L. Faria (UFSCar) Dário Henrique Alliprandini (UFSCar) Neocles Alves Pereira (UFSCar) Resumo Este trabalho apresenta uma visão da produção cientifica nacional na área da Engenharia de Produção no Brasil, através do uso do método de estudo bibliométrico, tomando como fonte de dados os trabalhos publicados nos Anais do ENEGEP dos anos de 1997, 1998, 1999, 200, 2001, 2002 e Palavras chave: ENEGEP, Bibliometria, Indicadores. 1. Introdução As organizações operam em um ambiente competitivo com mercados interligados em nível global; para enfrentar os atuais desafios deste ambiente, precisam se manter em permanente processo de melhoria, acompanhando as evoluções tecnológicas e culturais no seu ramo de atividade. Caracterizando um ambiente em transformação, tornando o processo produtivo cada vez mais complexo, em uma dinâmica auto-alimentadora, na qual as mudanças tecnológicas e metodológicas decorrentes de inovações em produtos e processos engendram necessidades que, por sua vez, alimentam outras soluções, produtos e processos em uma dinâmica continua e interativa. É neste ambiente que o Engenheiro de Produção atua buscando níveis cada vez maiores de produtividade e qualidade. Com isso foram criados técnicas e métodos para a operacionalização dos sistemas de produção que foram progressivamente adicionando novos elementos ao foco das atenções do mundo industrial. A Engenharia de Produção é uma das áreas da engenharia brasileira que mais tem contribuído para o incremento da competitividade brasileira nos últimos anos. Seu encontro anual (Encontro Nacional de Engenharia de Produção ENEGEP) é uma oportunidade de atualização profissional, sendo o único evento de caráter geral e internacional em Engenharia de Produção, e o maior disseminador dos conhecimentos e tendências contemporâneas desta engenharia (ENEGEP, 1999). Propõe-se por meio deste trabalho, analisar a produção científica na área da Engenharia de Produção, através do uso de métodos de estudos bibliométricos, identificar quais as principais instituições, que contribuem para o desenvolvimento da Engenharia de Produção em nosso país, além de levantar quais assuntos despertam mais interesse nos autores brasileiros. Este trabalho é focado na criação de indicadores através do tratamento automatizado dos dados extraídos a partir dos artigos científicos localizados nos CD-ROMs dos Anais do ENEGEP de 1997 a Com a visibilidade da produção cientifica nacional será possível identificar, através da construção de gráficos e mapas, quais os grupos de pesquisa existentes na literatura brasileira, isto é quais autores publicam em parceria com outros autores, e quais pesquisadores publicam sobre o mesmo assunto. Os estudos bibliométricos combinados a outros indicadores podem ajudar tanto na avaliação do estado atual da ciência como na tomada de decisão e no gerenciamento da pesquisa, importantes em estudos para a área acadêmica (WORMELL, 1998). ENEGEP 2004 ABEPRO 4883

2 2. Referencial teórico A Engenharia de Produção desenvolveu-se, ao longo do século XX, em resposta às necessidades de desenvolvimento de métodos e técnicas de gestão dos meios produtivos demandados pela evolução tecnológica e mercadológica, que visam otimizar o emprego dos recursos existentes no sistema de produção. O engenheiro de produção é um profissional de transição, que por congregar aspectos humanos, tecnológicos, econômicos e políticos, tem a possibilidade de atuar em diversos campos seja industrial, seja comercial, seja de serviços. Pode-se dizer que o engenheiro de produção atua como elo de ligação entre os diversos setores do conhecimento. O ENEGEP, que ocorre simultaneamente à Internacional Conference on Industrial Engineering and Operations Management, é o principal evento da área no Brasil, reunindo a comunidade acadêmica, pesquisadores, professores e estudantes, e ainda empresários, consultores, engenheiros, administradores e demais profissionais atuantes na Engenharia de Produção. Este encontro se consolidou como o principal fórum de divulgação da produção técnico-científica e discussão de questões pertinentes à Engenharia de Produção no país, também contribui, de forma decisiva para a integração e intercâmbio do conhecimento acadêmico com o setor produtivo. Assim, o ENEGEP constitui-se em uma oportunidade ímpar para a aglutinação dos esforços de todos que atuam nesta área vital para o desenvolvimento do país (ENEGEP, 2004). Atualmente a informação é matéria-prima para o desenvolvimento tecnológico. A informação assume um novo papel como fator de produção que, aliado ao trabalho, matéria-prima e capital se torna o elemento indutor das mudanças tecnológicas essenciais para as empresas que lutam por sua sobrevivência (FUJINO, 1994). A valorização da informação trouxe benefícios para o desenvolvimento e emprego de técnicas voltadas para a análise da informação, entre elas a bibliometria, que possibilita realizar estudos a organização dos setores científicos e tecnológicos a partir de fontes bibliográficas para identificar os autores, suas relações e tendências (SPINAK, 1998). A bibliometria analisa a comunicação escrita, através da contagem de palavras. Atualmente está relacionada à contagem não apenas de elementos textuais presentes no suporte de papel, mas principalmente de informações extraídas de base de dados bibliográficos. Tarapanoff (1995), define a bibliometria como o estudo de aspectos quantitativos da produção, distribuição e uso da informação registrada, a partir de modelos matemáticos, para o processo de tomada de decisão. Alguns pesquisadores observaram que a distribuição de freqüência dos dados em um texto ou em um conjunto de referências bibliográficas segue certos padrões. Essas observações deram origem às leis bibliométricas: Lei de Lotka, determina a contribuição de cada autor para o avanço da Ciência; Lei de Bradford, um método para selecionar os periódicos mais representativos para uma área da ciência; e a Lei de Zipf, verificou que se as palavras que ocorrem em um texto forem contadas e classificadas em ordem decrescente de número de ocorrências, a multiplicação do número de ocorrências pela posição no ranking para cada palavra é uma constante. A lei de Zipf é valida para todas as contagens feitas em textos, conjunto de textos ou referências bibliográficas, tanto para contagem de palavras, como elementos bibliográficos, como autores, data de publicação, fonte da publicação ou outros (WORMELL, 1998). Em geral, a bibliometria busca conhecer a variação de um elemento em relação a um outro elemento fixo. Por exemplo, quais são os autores que publicam em uma revista específica, quais são as palavras-chave que descrevem um assunto focalizado, quais as palavras utilizadas em um texto, quais os autores citados por um autor em particular, dentre outras possibilidades. Esse fato implica em que as distribuições bibliométricas apresentem sempre uma "dispersão" de elementos. ENEGEP 2004 ABEPRO 4884

3 Além da bibliometria, há outras áreas que se ocupam da medição das informações. A cientometria consiste na aplicação das mesmas técnicas da bibliometria, mas estritamente a documentos científicos e com o objetivo de estudar a ciência e seus processos de comunicação. Existe também o termo informetria, empregado para o estudo dos aspectos quantitativos da informação em qualquer formato (e não apenas registros referenciais e textos completos, como na bibliometria) e a qualquer grupo social (e não apenas a cientistas, como a cientometria). As fronteiras entre bibliometria, cientometria e informetria não são bem definidas e existe um certo caos terminológico na área (FARIA, 2001). A analise bibliométrica é uma importante ferramenta para a síntese e análise da informação que auxilia em processos decisórios. Através da bibliometria, conjuntos de centenas ou milhares de registros bibliográficos de artigos científicos, patentes, notícias e outros documentos podem ser analisados para dar origem a novas informações bastante sintéticas e de alto valor agregado, chamados indicadores, que não dizem respeito a um documento em particular, mas ao conjunto dos documentos analisados. Os indicadores bibliométricos podem ser usados para estudos de prospecção tecnológica, inteligência competitiva e análise da produção cientifica. Indicadores são uma forma indireta de avaliar algo intangível, como ciência e tecnologia. Considerando a ciência e tecnologia como sistema gerador de informação, conhecimento e inovação, que requer insumos para funcionar e produz resultados, pode-se construir indicadores de ciência e tecnologia a partir da medição dos insumos aplicados e os resultados obtidos (SPINAK, 1998). Os indicadores bibliométricos são classificados em indicadores de uma ou de duas dimensões. Os indicadores de duas dimensões são chamados de indicadores de ligação e os indicadores de uma dimensão são divididos em indicadores de atividades (contagem de publicações) e indicadores de impacto (contagem de citações recebidas. Os indicadores de ligação têm sido aplicados para elaboração de mapas descritivos do conhecimento e de redes de relacionamento entre pesquisadores, instituições e países (FARIA, 2001). Eles são de fundamental importância, pois contam os relacionamentos entre os diversos campos de uma base de dados. Por exemplo, são importantes para a identificação das parcerias entre autores ou entre instituições e para mostrar ligações entre temas ou áreas de pesquisa. Os indicadores de atividade são criados a partir da contagem de publicações e visam à elaboração de listas de freqüência ou ranking de pesquisadores, instituições, empresas, países, e outros (FARIA, 2001). Este tipo de indicador permite identificar os autores mais produtivos de uma determinada área, analisar sua evolução no decorrer dos anos e mapear quais são os temas de pesquisa prioritários de cada país, dentre outras possibilidades. Os indicadores de impacto, que são criados a partir da contagem de citações. O Indicador de impacto mais conhecido é o Fator de Impacto. Calculado freqüentemente pelo Institute for Scientific Information (ISI, 2004) para os periódicos indexados na base Science Citation Index, com base nas citações recebidas pelos artigos publicados nesses periódicos nos últimos anos. O fator de impacto é uma medida da qualidade dos periódicos, é freqüentemente e erroneamente utilizado para medir a qualidade dos pesquisadores. Cabe aqui ressaltar que o impacto, que é o que efetivamente as citações medem, não é sinônimo de qualidade (RINIA, 1998). Comumente costuma-se atribuir valor a um artigo que foi publicado em uma revista indexada em bases de dados internacionais e também pelo número de citações que o artigo recebeu, porém, convém destacar que, no plano de análise absoluta, o fato de um conjunto particular de trabalhos ser momentaneamente ou temporariamente ignorado não significa baixa qualidade (STREHI, 2002). Na década de 80, começaram a ser desenvolvidas ferramentas (softwares) para permitir automatização da análise bibliométrica, que consiste em produzir os indicadores bibliométricos a partir de dados extraídos de base de dados eletrônicas com o auxilio do computador. A análise automatizada conta com as etapas: a) recuperação dos dados; b) ENEGEP 2004 ABEPRO 4885

4 preparação dos dados; c) tratamento bibliométrico dos dados para a contagem de ocorrências de palavras nos registros recuperados e criação de listas e matrizes; d) tratamento estatístico; e e) representação gráfica para facilitar o entendimento da análise (FARIA, 2001). Em grande parte das aplicações do tratamento automatizado, a estrutura da informação recuperada das bases de dados é incompatível com o padrão necessário para o uso de softwares. A preparação dos dados deve se ajustar às condições em que o tratamento é realizado. Para estudos sistemáticos e de duração mais longa, como a produção de indicadores para a avaliação da produção cientifica, a preparação dos dados torna-se um processo contínuo e sistemático que visa à criação de um sistema de informação perene, aprimorado ao longo do tempo com a experiência resultante de sucessivas aplicações (VAN RAAN, 1997). Diversos pesquisadores brasileiros já desenvolveram estudos a cerca da bibliometria, Hoffman (1999), desenvolveu um interessante trabalho, onde aplicarou a bibliometria para o mapeamento da intersecção entre a área de materiais metálicos e o setor aeronáutico, a partir da recuperação de informações da base de dados Compendex. Após o tratamento dos dados foi possível caracterizar as tecnologias de materiais para o uso na aeronáutica, bem como identificar os principais temas, especialistas, empresas, instituições e fontes de informação ligadas à área de materiais e aeronáutica. Quoniam (2001), mostrou em seu trabalho, de análise das teses brasileiras inseridas na base de dados francesa Doc Thèses, que é possível obter conhecimento, a partir do tratamento automatizado, para auxiliar o processo decisório em todos os níveis, pois oferece subsídios para a consolidação, investimento e desenvolvimento de ações políticas e cientificas. 3. Método Foram utilizadas as sete edições referentes aos ENEGEPs do período 1997 a 2003, para analisar a produção científica nacional na área de Engenharia de Produção. Optou-se por extrair registros referentes aos artigos publicados nos Anais dos ENEGEPs, que por seu alcance, abrangência e relevância, refletem o estado da arte da pesquisa brasileira na área, como destaca o trabalho de ROSA (1999). Os artigos, contidos nos Anais, são disponibilizados em CD-ROM. Utilizou-se as versões de 1997, 1998, 1999, 2000, 2001 e O total da amostra foi de 3464 artigos, o número de artigos por edição do evento varia bastante no período. Por exemplo, foram 464 em 1997, 247 em 2000 e 663 em Por isso, os resultados foram tratados em termos de porcentagem dos artigos publicados no ano e não em números absolutos. O formato de cada bibliográfico de cada referência (ocorrência) segue a seguinte estrutura, conforme o quadro 1: Titulo Autor Instituição Abstract Keyword Resumo Palavra-chave Área Ano Quadro 1- Formato bibliográfico Inicialmente, estavam disponíveis os textos na íntegra com grande diversidade de organização dos dados. Para se chegar ao formato bibliográfico descrito acima, os artigos passaram por um preparação, que envolveu o uso do software comercial Infotrans; um software comercial, desenvolvido pela I + K Information und Komunikation, da Alemanha, que permite eliminar sinais e termos desnecessários de um conjunto de referências, deixando-o padronizado para a análise bibliométrica dos dados. A realização desta etapa foi um processo lento, uma vez que o formato de apresentação dos dados do ENEGEP não é o ideal para o tratamento bibliométrico e os artigos não possuem uma padronização quanto à estrutura de formatação e disponibilização de conteúdo. Esta etapa do trabalho envolveu: (a) divisão dos artigos por área temática. Os Anais de 1997 estavam distribuídos em sete áreas, os de 1998, 1999 e 2000 em dez áreas e os de 2001, 2002 e 2003 em onze áreas conforme visualizado nas figuras 4, 5 e ENEGEP 2004 ABEPRO 4886

5 6. Foi necessário unificar essa classificação para permitir uma análise consistente do período. Optou-se por utilizar a classificação por área temática de 2003 em todo o período; (b) padronização dos formatos eletrônicos em TXT, pois os artigos se encontravam em formato DOC e PDF ; (c) reformatação dos dados, aplicação de campos, para serem processados pelo software VantagePoint. O Vantagepoint é capaz de, a partir de um arquivo texto contendo registros bibliográficos, produzir indicadores de uma ou duas dimensões, além de representar gráficos através de mapas estatísticos. Após a preparação, o software Vantagepoint foi usado para fazer o tratamento bibliométrico, que resultou na criação de listas de freqüência, matrizes de relacionamentos e mapas. Por fim, o software Microsoft Excel foi utilizado para importar os dados obtidos com o Vantagepoint e representar graficamente os indicadores bibliométricos. A figura 1 abaixo sintetiza todas as etapas do trabalho. Fonte: (Adaptado de QUONIAM, 2001). FIGURA 1 Síntese do método. A estrutura utilizada para desenvolver o trabalho, tanto hardware como software, foi disponibilizada pelo Núcleo de Informações Tecnológicas em Materiais da Universidade Federal de São Carlos - NIT/Materiais. O núcleo é especializado em Inteligência Competitiva (NIT/MATERIAIS, 2004). 4. Resultados A figura 2, apresenta as instituições que mais produziram artigos para o ENEGEP no período. Esta figura foi construída com o resultado percentual do número total de artigos tratados e analisados (3464 artigos) em relação ao número total de publicações de cada instituição. Este ranking é constituído pelas instituições que tiveram mais de 100 artigos publicados no período do estudo. Instituições UFSC USP UFRJ UFRGS UFSCAR UFPB UFSM UFF UFPE UNIMEP 0,0 5,0 10,0 15,0 20,0 % das publicações % de publicações 100,0 90,0 80,0 70,0 60,0 50,0 40,0 30,0 20,0 10,0 0, Ano 10 instituições mais produtivas Demais instituições Figura 2 As dez mais. Figura 3 Contribuição das dez mais. A figura 3 apresenta como a publicação no ENEGEP se distribui ao longo do período, entre dois grupos de instituições: as dez com maior número de publicações e as demais. Nota-se ENEGEP 2004 ABEPRO 4887

6 que a participação das dez mais produtivas nas publicações do ENEGEP vem caindo com o tempo, mostrando uma desconcentração das publicações. Na figura 4, visualiza-se como os trabalhos estão divididos entre as áreas temáticas da Engenharia de Produção, é possível observar que três áreas são responsáveis por mais de 50% das publicações. 5,3 3,7 3,3 21,0 Gerência de produção 5,4 Estratégia e organizações Qualidade 5,8 Ergonomia e segurança do trabalho Gestão econômica Sistemas de informação 7,0 Gestão da tecnologia 16,5 Gestão ambiental Pesquisa operacional 7,8 Engenharia do produto Ensino de engenharia de produção 9,6 14,5 Figura 4 Trabalhos por área. A figura 5 mostra que as áreas: Gerência de Produção, Estratégias e Organizações e Ergonomia e Segurança do Trabalho apresentam tendência de crescer e as áreas: Qualidade, Gestão Econômica e Pesquisa Operacional mostram tendências de decréscimo. No entanto, uma análise mais precisa não é possível devido ao curto período em que a atual classificação está sendo empregada. % das publicações 30,0 25,0 20,0 15,0 10,0 5,0 0, Ano Gerência de produção Estratégia e organizações Qualidade Ergonomia e segurança do trabalho Gestão econômica Sistemas de informação Gestão da tecnologia Gestão ambiental Pesquisa operacional Engenharia do produto Ensino de engenharia de produção Figura 5 Evolução das áreas. A figura 6 permite visualizar o total da amostra, ou seja, o total de publicações analisadas, por ano, instituição e área. Ela nos permite visualizar a participação de cada instituição do grupo das dez mais produtivas em relação às áreas temáticas, e a sua vocação. Por exemplo, a produção científica destacada em amarelo, da Universidade Federal da Paraíba UFPB, mostra que a UFPB é responsável por 16% de todas as publicações referentes à área Ergonomia e Segurança do Trabalho, sendo que esta área representa 32% de todas suas publicações, demonstrando o seu potencial na área. A Universidade de São Paulo USP, é apresentada como a mais atuante na área de Sistemas de Informação em relação às outras ENEGEP 2004 ABEPRO 4888

7 instituições, porém esta área é quarta área de pesquisa em suas publicações, sendo as áreas de Gerência de Produção e Estratégias e Organizações onde mais atua. Os números destacados em verde apresentam a atuação da Universidade Federal de Santa Catarina UFSC, como a principal produtora de artigos nas áreas Pesquisa operacional, Engenharia do Produto e Ensino de Engenharia de Produção, e demonstra também que estas áreas não são o seu carro chefe, o quadro mostra que sua vocação é maior nas áreas de Gerência de Produção e Estratégias e Organizações. Além dos indicadores apresentados neste artigo, outro importante resultado do trabalho foi o desenvolvimento de uma base de dados, a partir dos dados bibliográficos dos artigos, estruturada para o tratamento bibliométrico, disponibilizada aos alunos do Programa de Pós Graduação do Departamento de Engenharia de Produção da UFSCar, por intermédio do Grupo de Estudos e Pesquisa em Qualidade GEPEQ, através de sua home-page, disponibilizada em Instituições Total Gerência de produção Estratégia e organizações Qualidade Publicações Áreas Temáticas Ergonomia e segurança do trabalho Todas % por área temática UFSC ,1 15,9 13,3 13,8 18,6 17,8 12,9 17,6 21,2 20,5 21,6 USP ,5 15,6 11,7 3,0 13,0 20,3 15,4 4,3 12,5 19,7 12,9 UFRJ 273 6,6 8,9 3,0 13,8 9,7 5,8 10,4 8,0 11,4 5,5 7,8 UFRGS 236 8,2 4,0 11,1 8,1 6,3 5,4 3,5 8,0 1,1 7,9 5,2 UFSCAR 200 7,1 9,1 4,4 5,1 2,2 1,7 5,5 1,1 9,8 8,7 4,3 UFPB 175 4,8 4,0 3,0 16,8 5,2 1,7 5,0 4,8 0,0 3,1 4,3 UFSM 174 2,9 4,4 10,5 7,5 4,1 2,1 5,0 5,9 2,2 3,1 4,3 UFF 136 2,6 2,3 4,6 7,8 3,3 1,2 5,0 5,3 9,8 0,8 3,4 UFPE 130 2,9 4,0 3,6 5,4 3,0 5,8 3,0 2,1 5,4 3,9 2,6 UNIMEP 104 3,6 3,0 5,2 1,2 2,6 4,1 1,0 3,7 0,0 3,1 0,9 Outras ,5 42,3 44,1 31,2 44,6 49,8 45,8 53,2 46,2 40,9 50,0 Gestão econômica Sistemas de informação Gestão da tecnologia Gestão ambiental Pesquisa operacional Engenharia do produto Ensino de engenharia de produção % por instituição UFSC ,8 16,4 12,1 8,3 9,0 7,7 4,7 5,9 7,0 4,7 4,5 USP ,9 20,5 13,6 2,3 8,0 11,3 7,1 1,8 5,3 5,7 3,4 UFRJ ,6 18,7 5,5 16,8 9,5 5,1 7,7 5,5 7,7 2,6 3,3 UFRGS ,4 9,7 23,7 11,4 7,2 5,5 3,0 6,4 0,8 4,2 2,5 UFSCAR ,0 26,0 11,0 8,5 3,0 2,0 5,5 1,0 9,0 5,5 2,5 UFPB ,0 13,1 8,6 32,0 8,0 2,3 5,7 5,1 0,0 2,3 2,9 UFSM ,1 14,4 30,5 14,4 6,3 2,9 5,7 6,3 2,3 2,3 2,9 UFF ,0 9,6 16,9 19,1 6,6 2,2 7,4 7,4 13,2 0,7 2,9 UFPE ,2 17,7 13,8 13,8 6,2 10,8 4,6 3,1 7,7 3,8 2,3 UNIMEP ,0 16,3 25,0 3,8 6,7 9,6 1,9 6,7 0,0 3,8 1,0 Outras ,2 15,6 14,3 6,7 7,7 7,7 5,9 6,4 5,5 3,3 3,7 Figura 6 Participação e Afinidade 5. Conclusão Os resultados apresentados demonstram uma mudança significativa quanto à contribuição científica nos ENEGEP. Está ocorrendo uma pulverização da produção científica entre as instituições, com isso, a produção científica está deixando de ser concentrada por algumas instituições. Algumas das análises foram comprometidas pela forma como os dados foram obtidos, sendo a falta de padronização e de critérios na organização dos dados a maior dificuldade encontrada. Com isso, análises como a evolução dos assuntos publicados, aqui não apresentadas, não se deram de forma consistente. As citações encontradas nos artigos não ENEGEP 2004 ABEPRO 4889

8 foram recuperadas no formato bibliográfico, devido a enorme dificuldade encontrada em sua recuperação. A análise de citações poderia servir como um indicador de performance a ser usado pelas instituições de fomento a pesquisa, como critério na escolha da aquisição de periódicos ou base de dados privadas. Conforme foi citado no referencial teórico os trabalhos desenvolvidos com o tratamento bibliométrico tende a evoluir conforme a sua aplicação. O presente artigo pode ser o início de uma série abordando o desenvolvimento da área de Engenharia de Produção no Brasil, utilizando até mesmo novas fontes de informações, como por exemplo, os periódicos da área, já que o trabalho se caracteriza por seus resultados, em um mecanismo de verificação e validação do desenvolvimento científico e tecnológico. 6. Referências ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO, 19., 1999, Rio de Janeiro. Anais... Rio de Janeiro: CD-ROM ENEGEP. Encontro Nacional de Engenharia de Produção. Disponível em: < Acesso em 04 de maio de FARIA. L. I. L. Prospecção tecnológica em Materiais: aumento da eficiência do tratamento bibliométrico. São Carlos: UFSCar, 2001 (Tese). FUJINO, A. A informação e o lucro da empresa. Palavra-Chave, São Paulo, n.7, p.15, GREGOLIN, J. A. R., et al. Criação de base de dados para análise bibliométrica a partir do conteúdo da Web of Science. Anais do KM Brasil º Workshop Brasileiro de Inteligência Competitiva e Gestão de Conhecimento, 16.,18/09/2002, São Paulo. HOFFMANN, W. A. M. ; FARIA, L. I. L, ; GREGOLIN, J. A. R. Mapeamento de informações por bibliometria em metais e aeronáutica. In: WORKSHOP BRASILEIRO DE INTELIGÊNCIA COMPETITIVA & GESTÃO DO CONHECIMENTO, 1., 1999, Rio de Janeiro. Anais... Rio de Janeiro: Finep, CD-ROM. ISI. Institute for Scientific Information. Disponível em: < Acesso em 12 de abril de LELLIS, V. M. et al. Análise bibliométrica automatizada de acervos como suporte à política de aquisição desenvolvimento de coleções. In: SEMINÁRIO SOBRE AUTOMAÇÃO EM BIBLIOTECAS E CENTROS DE DOCUMENTAÇÃO, 6., 1997, Águas de Lindóia: Anais... Águas de Lindóia: INPE, 1997, p NIT/MATERIAIS. Núcleo de Informação Tecnológica em Materiais. Disponível em: < Acesso em 04 de maio de QUONIAM, L., et al. Inteligência obtida pela aplicação de data mining em base de teses francesas sobre o Brasil. Ciência da Informação, Brasília, v.30, n.2, p.24, maio/ago RAVICHANDRA RAO, I. K. Métodos quantitativos em biblioteconomia e ciência da informação. Associação dos bibliotecários do Distrito Federal / Organização dos Estados Americanos, RINIA, E. J. et al. Comparative analysis of a set of bibliometric indicators and and central peer review criteria: evoluation of condensed matter physics in the Netherlands. Resarch Policy, Amsterdã, v.27, n.1, p , maio SPINAK, E. Indicadores cienciometricos. Ciência da Informação, Brasília, v.27, n.2, p , maio/ago, STREHI, L.; SANTOS, C. A. Indicadores de qualidade da atividade científica. Ciência Hoje, Rio de Janeiro, v.31,n.186,p.35, set TARAPANOFF, K.; MIRANDA, D. M.; ARÁUJO JÚNIOR, R. H. Técnicas para tomada de decisão nos sistemas de informação. Brasilia: Thesaurus, p.86, VAN RAAN, A. F. J. Scientometrics: state-of-the-art. Scientometrics, v. 38, n. 1, p , WORMELL, I. Informetria: explorando bases de dados como instrumentos de análise. - Ciência da Informação, v.27, n.2, p , ENEGEP 2004 ABEPRO 4890