INDICADORES BIBLIOMÉTRICOS E CIENTOMÉTRICOS EM CT&I: APONTAMENTOS HISTÓRICOS, METODOLÓGICOS E TENDÊNCIAS DE APLICAÇÃO

INDICADORES BIBLIOMÉTRICOS E CIENTOMÉTRICOS EM CT&I: APONTAMENTOS HISTÓRICOS, METODOLÓGICOS E TENDÊNCIAS DE APLICAÇÃO João de Melo Maricato 1 Daisy Pires Noronha 2 Introdução O interesse da comunidade acadêmica e dos formuladores de políticas públicas em temáticas relacionadas à comunicação e produção científica e tecnológica tem crescido há algumas décadas. O estudo das atividades científicas ou técnicas e de suas relações é tema discutido por pesquisadores, departamentos, instituições, empresas, países, etc., fazendo parte do cotidiano dos mais diversos atores sociais, quer seja como observador ou observado. Aspectos como produtividade, qualidade, impacto, índices, colaboração e cooperação em Ciência, Tecnologia e Inovação (CT&I), são alguns dos tópicos que permeiam todo esse entorno. As atividades de pesquisa, no âmbito dos sistemas de Ciência e Tecnologia, têm sido exaustivamente estudadas e comparadas, causando momentos de conforto e desconforto a praticamente todos os envolvidos. O interesse em estudar a produção e comunicação de informações resultante de atividades científicas não é tão longínquo. O surgimento de um campo dedicado aos estudos métricos de tais informações surge por volta de 1930. Existe certo consenso que a primeira aparição do termo deriva de Otlet, em 1934. Inicialmente voltada para a mensuração de livros, evolui vertiginosamente ao longo século XX e XXI, proporcionando o florescimento de todo um campo de métodos e técnicas, as quais recebem denominações variadas, como bibliometria, cientometria, informetria e webometria. Os estudos métricos da informação possuem inúmeras aplicações, cujas abordagens variam em decorrência, sobretudo, da área do conhecimento em que o pesquisador esteja engajado, de seus pressupostos, objetivos e objetos de estudo. Neste sentido, muito do seu desenvolvimento e interesse está relacionado à Política Científica e Tecnológica de maneira ampla. Nesse plano, estudos aplicados na avaliação da produção científica como na produção tecnológica, com vistas a 1 Professor Doutor. Universidade Federal de Goiás. Faculdade de Comunicação e Biblioteconomia (jmaricato@yahoo.com.br). 2 Professora Doutora. Programa de Pós-graduação em Ciência da Informação - ECA/USP (daisynor@usp.br).

melhorar a eficiência e eficácia do sistema de CT&I dos países, possuem, há algumas décadas, papel preponderante. Em meados de 1970, progressivamente, a Ciência e Tecnologia (C&T) passou a ser considerada portadora de potencialidades para o desenvolvimento econômico e social. Houve uma reestruturação institucional do aparato governamental dedicado ao setor. Neste momento, o paradigma da política científica sofreu uma mudança significativa, passando de uma racionalidade ofertista, que caracterizou o período anterior, para uma racionalidade de identificação de prioridades. Diante dessa reestruturação foram incorporados gestores e formuladores de políticas públicas em C&T, que passaram a demandar indicadores quantitativos que demonstrassem as tendências do setor e os resultados das políticas implantadas. (VELHO, 1997). Quando se pensa na construção e análise de indicadores para a tomada de decisões em sistemas de CT&I é necessário considerá-los de maneira ampla, de modo a compreender toda a sua complexidade. Quando se vislumbra a construção, análise e aplicação estratégica de indicadores científicos e tecnológicos é sempre necessário o cuidado para não superestimá-lo com um olhar eminentemente pragmático. É necessário conhecer, anteriormente, os pressupostos teóricos e, sempre, exercitar o senso crítico e reflexivo. Diante da complexidade e limitações inerentes a todo e qualquer tipo de análise ou julgamento de atividades humanas, há que se lançar mão de todas as ferramentas disponíveis em se tratando da construção e análise desses indicadores. Diante do paradigma sistêmico atualmente aceito, é preciso que se busque compreensão dos fenômenos ligados à dinâmica da CT&I sob o ponto de vista das mais diversas disciplinas e através dos mais diversos aspectos, sejam eles, políticos, econômicos, sociais ou culturais. Cada área do conhecimento interessada nesses estudos tem suas particularidades e formas próprias de trazer contribuições. Considerando o contexto exposto, o presente capítulo apresenta e discute alguns conceitos básicos no campo dos estudos métricos da informação, trazendo a tona alguns aspectos históricos de suas principais disciplinas, em especial a bibliometria e a cientometria. Explora alguns aspectos teóricos, metodológicos e conceituais dos princípios métricos, destacando os principais tipos de indicadores, suas funções e aplicações. Finalmente faz alguns apontamentos sobre pesquisas relevantes e tendências atuais na construção de indicadores em CT&I.

Relações e inter-relações de métodos quantitativos de análise da informação A Bibliometria pode ser considerada como base teórico-metodológica para outros métodos como a Cientometria, Informetria, Biblioteconometria, Patentometria, Webometria, etc. Apesar de poder haver posições divergentes sobre as definições, alcances e limites de cada uma destas, são comumente consideradas inter-relacionadas. De maneira geral, são métodos e técnicas atrelados principalmente, na medição dos processos de produção, comunicação e uso da informação registrada, gerados no contexto das atividades científicas e tecnológicas. Esses métodos e técnicas possuem forte influência teórico-metodológica de leis bibliométricas. Dentre as inúmeras leis existentes, as de Bradford (1934), Zipf (1949), e Lotka (1962), são comumente estudadas de maneira didática por Araújo (2006) e Guedes e Borschiver (2005). Essas leis podem ser assim sintetizadas: Bradford que investiga a dispersão dos artigos em diferentes publicações periódicas ; Zipf que pesquisa a frequência da utilização de palavras em um texto e Lotka que estuda a produtividade de autores em termos de documentos científicos. (BAHIA; SANTOS; e BLATTMANN, 2011) É possível observar a proximidade entre os mais diversos métodos e técnicas, quando são evidenciadas definições clássicas, como a de Tague-Sutcliffe (1992), tornando-se claras as diferenças e semelhanças entre as três mais clássicas disciplinas: A Bibliometria engloba o estudo dos aspectos quantitativos da produção, disseminação e uso da informação registrada, desenvolvendo modelos e medidas matemáticas, com a função para elaborar previsões e apoiar tomadas de decisão. Alguns autores limitam o seu alcance ao estudo quantitativo da literatura ou com estudos relacionados à atividade bibliotecária. A Cientometria é o estudo dos aspectos quantitativos da ciência enquanto uma disciplina ou atividade econômica. A Cientometria faz parte da sociologia da ciência, com aplicações voltadas ao desenvolvimento de políticas científicas. Inclui atividades relacionadas à publicação, portanto, sobrepondo-se à Bibliometria. A Informetria abrange o estudo dos aspectos quantitativos da informação registrada independentemente do formato ou modo como é gerada. Considera tanto os aspectos quantitativos da comunicação informal ou falada quanto da informação registrada. Considera as necessidades e usos da informação para qualquer atividade, seja proveniente de atividade intelectual ou não. A Informetria pode incorporar, utilizar e ampliar os muitos meios de medição da informação, que estão fora dos limites da Bibliometria e da Cientometria. Bufrem e Prates (2005, p. 10), esclarecem que o termo Bibliometria sugere relações semânticas com o suporte livro e, por associação, ao termo biblioteca. No entanto, deixam claro que tais técnicas são convergentes quando ao reconhecerem termos alternativos, tais como Infometria, Informetria, Cientometria e Webometria, com relações paradigmáticas, os quais, [...] representam práticas de mensuração da informação da ciência, ou de suas representações em modalidade convencional ou na

Web [...]. Os autores consideram que na atualidade, tais estudos métricos são aplicáveis a qualquer tipo de documento, sendo relacionados ao estudo dos processos quantitativos da produção, disseminação e uso da informação, havendo relação, também, aos processos e mecanismos avançados de busca on-line e técnicas de recuperação da informação. Spinak (1998) considera a existência de relação entre a Cientometria e a Bibliometria, quando afirma que a Cientometria aplica técnicas bibliométricas à ciência (sejam elas referentes às ciências físicas, naturais ou sociais). A Cientometria, para o autor, vai além das técnicas bibliométricas, pois, também examina o desenvolvimento de políticas científicas, estabelecendo comparações entre as políticas de investigação entre países e seus aspectos econômicos e sociais. Hood e Wilson (2001, p. 309), diante do que eles chamam de confusão terminológica dos termos Bibliometria, Cientometria e Informetria, elaboraram um estudo focando características históricas, de desenvolvimento e de relações entre essas disciplinas, encontrando mais de 20 termos relacionados. Uma das conclusões do estudo é que esses três termos são relacionados e utilizados para descrever parte ou toda uma disciplina. Consideram, porém, interessante o fato de que cada um destes termos terem uma origem histórica particular e em geral bem documentada. Os termos e definições utilizadas por autores que atuam nesse campo do conhecimento comumente se repetem ou se sobrepõem em parte, mas não são necessariamente sinônimos. Finalmente, entende-se que no conjunto de métodos e técnicas abrangidas pelos estudos métricos da informação, a Bibliometria tem caráter central e integrador, podendo ser considerada a disciplina mãe, correlacionando-se de modo interdisciplinar com as demais, que, por sua vez, possuem suas particularidades e aplicações próprias. A Informetria pode ser considerada como algo muito mais amplo, ou seja, abrange e vai além das abordagens propostas pela Cientometria, Patentometria, Bibliometria, Webometria, Bibliotecometria. No entanto, todas estão intimamente interligadas. Conforme salienta Macias-Chapula (1998) referem-se a medidas quantitativas, tendo como diferencial os objetos de estudo, suas variáveis, seus métodos e objetivos. Contudo, não é tarefa fácil diferenciá-las de maneira definitiva e consensual. Alguns autores já sistematizaram a abrangência e características dessas métricas (MACIAS- CHAPULA, 1998, NORONHA; MARICATO, 2008). Uma sistematização, das mais interessantes e completas foi apresentada por Bufrem e Prates (2005), sendo reproduzida no Quadro 1.

Quadro 1 - Termos representativos dos conceitos relativos às atividades de mensuração, presentes na pesquisa científica da área de ciência da informação. Tipologia/ Subcampo Bibliometria Cientometria Informetria/ Infometria Webometria Objeto de Livros, Disciplinas, assuntos, Palavras, documentos, estudo documentos, campos científicos e banco de dados, revistas, artigos, tecnológicos, patentes, comunicações informais autores, usuários. dissertações e teses. (inclusive em âmbito não científico) e homepage na WWW. Variáveis Número de empréstimos (circulação) e de citações, freqüência extensão frases. Ranking, freqüência, distribuição. de de Fatores que se diferenciam as subdisciplinas. Como os cientistas se comunicam. Medir a recuperação, relevância e revocação. Métodos Análise de conjunto de Modelo vetor espaço, correspondência, modelos booleanos de coocorrência de recuperação, modelos termos, expressões, probabilísticos, linguagem palavras-chave. de processamento, abordagem baseada no conhecimento, tesauros. Objetivos Alocar recursos, Identificar domínios Melhorar a eficiência da pessoas, tempo, de interesse, recuperação da informação, dinheiro. compreender como e identificar relações entre os quanto os cientistas se diversos sistemas de comunicam. informação. Fonte: Bufrem e Prates (2005, p. 16). Sítios na WWW (URL, título, tipo, domínio, tamanho e links), motores de busca. Número de páginas por eixo, número de linhas por eixo, número de links que remetem ao mesmo sítio, sitações, estratégias de busca. Fator de Impacto da Web (FIW), densidade dos links, sitações, estratégias de busca. Avaliar o sucesso de determinados sítios, detectar a presença de instituições, pesquisadores na rede e melhorar a eficiência dos motores de busca na recuperação das informações. Mesmo diante da nítida relação entre estes métodos quantitativos de análise da informação, percebe-se que cada um possui uma evolução histórica própria, mas com estreita relação entre si. No entanto, apesar das nítidas relações e inter-relações, alguns dos seus aspectos históricos merecem ser isoladamente abordados. Bibliometria O mais clássico e consagrado dos métodos e técnicas é a de Bibliometria, cuja área, de acordo com Araújo (2006) foi iniciada por Hulme em 1923, constituindo-se da aplicação de técnicas estatísticas e matemáticas para descrever aspectos da literatura e de outros meios de comunicação. A Bibliometria foi inicialmente conhecida pelo termo bibliografia estatística. O termo Bibliometria, propriamente dito, foi cunhado por Otlet em 1934, na sua venerável e internacionalmente citada obra Traité de Documentation. A primeira menção do termo elaborada por Otlet foi a de uma parte da bibliografia que se ocupava da medida ou quantidade aplicada ao livro. No entanto, o termo somente começa a ganhar popularidade em 1969, com a publicação do clássico artigo Bibliografia estatística ou Bibliometria? por Pritchard, que define Bibliometria como a aplicação de métodos matemáticos e estatísticos a livros e outros meios de comunicação, aconselhando sua utilização em todos os estudos

que buscassem quantificar o processo de comunicação escrita. (BUFREM; PRATES, 2005, p. 11). Sengupta (1992), afirma que o primeiro estudo bibliométrico foi elaborado por Campbell em 1896, utilizando métodos estatísticos para estudar a dispersão de assuntos em publicações. Dentre outros estudos considerados clássicos, o de Cole e Eales, publicado em 1917, mesmo utilizando a antiga terminologia bibliografia estatística, poderia ser enquadrado como estudo bibliométrico, onde estuda o crescimento da literatura em anatomia comparativa, no período de 1850-1860. Hulme, em 1923, publicou outro trabalho considerado pioneiro, usando a contagem de documentos onde focou a história da ciência e da tecnologia (HOOD; WILSON, 2001, p. 292). Outros trabalhos clássicos, que não poderiam deixar de ser citados, são os que deram origem às famosas três clássicas leis da Bibliometria: Lotka (1926), Bradford (1934) e Zipf (1949). Cada uma destas leis leva o nome dos seus formuladores, seguindo a máxima muitos com pouco e poucos com muito. Cientometria A Cientometria para Callon, Courtial e Penan (1995, p. 9) firma-se com o surgimento, no ano de 1979, de uma revista intitulada Scientometrics, resultante da convergência de dois movimentos que se desenvolveram inicialmente de modo isolado e independente: a ciência da ciência nos Estados Unidos e a naukovodemia nos países do leste europeu, especialmente, aqueles que faziam parte da antiga União Soviética. O termo naukometriya - também encontrado na literatura como naukovodemia -, é considerado como equivalente russo do termo Cientometria. O termo foi cunhado em 1969 por Vassily V. Nalimov e Z. M. Mulchenko. É, então, reconhecido que a Cientometria surgiu primeiramente na Rússia, mas foi pouco difundida e citada em outros países, provavelmente pela limitada disseminação (até então não havia Internet), ou devido a barreiras lingüísticas. O reconhecimento internacional pelo pioneirismo do emprego do termo por Nalimov e Mulchenko passou a ser mais difundido por meio da tradução em inglês da clássica monografia Naukometriya, publicada em 1973. Nos Estados Unidos e em outros países da Europa, a partir do que se convencionou chamar ciência da ciência, alguns autores como Robert K. Merton e Eugene Garfield identificaram Derek Solla Price como o pai da Cientometria, porque seus estudos tiveram grande impacto no uso de indicadores quantitativos para a formulação de políticas científicas. Na primeira edição do livro Little Science, Big

Science, publicado por Solla Price em 1963, o autor ainda não havia encontrado o termo Cientometria ou equivalente (GARFIELD, 2007). Os trabalhos de Solla Price desenvolveram-se em paralelo com os de outros estudiosos no assunto, como é o caso de Eugene Garfield, criador do o Science Citation Index (SCI), publicado até então pelo Institute for Scientific Information (ISI) (CALLON; COURTIAL; PENAN, 1995, p. 9). Desde meados de 1963, Garfield vem desenvolvendo significativamente os estudos cientométricos tanto do ponto de vista teórico, por meio da publicação de inúmeros trabalhos, quanto do ponto de vista prático, com os constantes desenvolvimentos obtidos no ISI, recentemente adquirido pela Thomson Reuters. Analisando os trabalhos desses pioneiros, como Garfield e Solla Price, nota-se que há uma nítida influência de estudos bibliométricos anteriores em suas pesquisas, trazendo à tona a relação indiscutível entre as duas disciplinas. Hood e Winson (2000) esclarecem que muito da Cientometria é indistinguível da Bibliometria e que muitos são os trabalhos bibliométricos publicados na revista Scientometrics. Apesar das semelhanças, sobretudo nos output da ciência e da tecnologia representados pela publicação de artigos, patentes, etc., há uma grande variedade de autores (MACIAS-CHAPULA, 1998; CALLON; COURTIAL; PENAN, 1995; SPINAK, 1998; HOOD; WILSON, 2001, etc.), que consideram o escopo e os objetivos de análise da Cientometria mais amplo, quando comparado com a Bibliometria. Informetria A Informetria é a mais recentemente constituída das três métricas. O termo vem do Germânico informetrie, tendo sido proposto no ano de 1979 por Otto Nacke, diretor do Institut für Informetrie, Alemanha. Surge com o intuito de cobrir uma parte da Ciência da Informação dedicada à mensuração do fenômeno informacional e a aplicação de métodos matemáticos para compreender problemas das disciplinas, à Bibliometria e partes da teoria de recuperação da informação, estendendo-se a outras aplicações. Pouco tempo depois, em 1980, o mesmo autor publica outro trabalho considerando a Cientometria como um campo irmão da Informetria, dentro da área de Ciência da Informação (HOOD e WILSON, 2001). Porém, o termo ganha maior popularidade somente a partir da Conferência Internacional sobre Bibliometria e Aspectos Teóricos de Recuperação da Informação, celebrada em Diepenbeek, Bélgica, em 1987. A aceitação definitiva do termo reflete-se

no nome do terceiro evento, ocorrido em 1991 em Bangalore, Índia, passando a ser denominado: Conferência Internacional de Informetria. (TAGUE-SUTCLIFFE, 1994). Nota-se certa confusão terminológica ainda maior quando se pretende entender a evolução histórica e os limites da Informetria em comparação com a Bibliometria e a Cientometria. Parece haver, com a adoção do termo Informetria, a tentativa de unificação dos mais diversos estudos métricos da informação. Segundo Wormell (1998), na ocasião do evento, ocorrido em 1987, foram apresentadas sugestões para que fosse utilizado, preferencialmente, o termo Informetria. Tipos, funções e relações entre os indicadores Para o maior entendimento dos indicadores bibliométricos, cientométricos e informétricos, do seu uso para a análise de sistemas de ciência, tecnologia e inovação, se torna fundamental discutir aspectos elementares - teóricos e práticos - dos tipos e funções desses indicadores, bem como de suas relações. Okubo (1997, p. 9), considera a Bibliometria como uma área de estudo multidisciplinar e aplicável a uma grande variedade de campos. As aplicações indicadas são genéricas, abarcando de maneira superficial, mas de modo abrangente, as principais delas: À história da ciência, quando é elucidado o desenvolvimento de disciplinas científicas através do acompanhamento de movimentos históricos, que são revelados por meio dos resultados e desenvolvimentos alcançados pela comunidade científica; Às ciências sociais, quando, pelo exame da literatura científica é possível realizar analises da comunidade científica e sua estrutura em dada sociedade, assim como aspectos relacionados às redes de pesquisadores e respectivas motivações; À documentação, que através da contagem do número de publicações pode identificar quais constituem o núcleo, zonas secundárias e a periferia de uma disciplina; Política científica, que se interessa por indicadores de produtividade e qualidade científica e tecnológica, fornecendo instrumentos para a avaliação e orientação da Pesquisa & Desenvolvimento (P&D). Indicadores de input e output Na elaborarão de estudos e pesquisas de produção cientifica e tecnológica utilizando os estudos métricos da informação, é possível considerar dois momentos de análise e representação das informações, comumente chamados de indicadores de input (insumos) e output (resultados/produtos). Autores como Spinak (1998) consideram os indicadores de input e output como a base dos indicadores científicos. Destes, os de input são considerados, pelo autor, de menor complexidade e comumente relacionados a áreas como administração. E os de output, intimamente relacionados com os indicadores bibliométricos e cientométricos, são considerados por ele como a segunda parte da tarefa, vista como uma atividade de maior complexidade.

No início, os indicadores científicos e tecnológicos eram limitados quase que totalmente às análises de inputs de certo modo bastante genéricos, como, por exemplo, a porcentagem do Produto Interno Bruto (PIB) per capta destinado às atividades de C&T. Como, obviamente há limitações no uso somente dos indicadores de insumo (input), que são muito superficiais para o entendimento da dinâmica Científica e Tecnológica nos mais diversos níveis de análise, tomadores de decisão e estrategistas engajados na área de C&T e P&D passam gradativamente a se interessar por indicadores de resultados (output). Assim, os indicadores de input e output estão intimamente correlacionados e se influenciam mutuamente e ciclicamente. Quanto mais insumos, em principio, melhores serão os resultados (produtos) que, por conseguinte, influenciarão novamente insumos. Neste sentido, Poblacion e Oliveira (2006, p. 75), consideram que com a crescente melhoria dos indicadores de input certamente ocorrerão mudanças nos demais indicadores. Não se pode esquecer que todo indicador de input e output possui atributos, principalmente quanto à quantidade e qualidade. Algumas das maiores críticas aos indicadores resultam dos métodos de quantificação e, sobretudo, decorrente das tentativas de qualificação dos mesmos. Logo, a relação linear entre input output, não é considerada mais o paradigma vigente. Considera-se, atualmente, o desenvolvimento científico e tecnológico como sistêmico. A Figura 1 apresenta alguns dos principais indicadores de input e output das atividades científicas e tecnológicas. Figura 1 Visão sistêmica de alguns dos indicadores de input e output das atividades científicas e tecnológicas. INPUT Recursos Humanos: Cientistas e engenheiros; Pessoal auxiliar em P&D. Agentes integrantes do processo: Universidades; Empresas; Institutos de pesquisa públicos e privados. Recursos materiais: Instalações físicas; Laboratórios e equipamentos; Bibliotecas e museus de ciência; Conexão de internet e recursos de informática. Recursos financeiros: Porcentagem do PIB para atividades de P&D; Salário e benefícios do corpo de cientistas e técnicos; Recursos para participação em eventos e para publicação. Fonte: Elaboração própria ATIVIDADE CIENTÍFICA E TECNOLÓGICA CAIXA PRETA OUTPUT Artigos; Patentes; Teses; Dissertações; Trabalhos apresentados em eventos; Produtos e processos; Atividades de extensão; Softwares; Prêmios e dignidades acadêmicas; Publicação técnica. Steurs e colaboradores (2006) salientam que diante das dificuldades de se compreender as relações entre input e output, há um fluxo emergente de avaliações que

buscam olhar essa caixa preta com intuito de medir as mudanças nos comportamentos das organizações, como por exemplo, as suas dinâmicas de colaboração, a duração de projetos, capacidades de gestão, etc. Essa não-linearidade pode ser percebida com a análise feita por Noronha e Maricato (1998, p. 120), os quais destacam que a relação input x output pode ser entendida com um círculo (virtuoso ou vicioso). Para os autores existe relação sistêmica entre os indicadores, ficando claro ao afirmarem que alguns núcleos ou áreas do conhecimento podem produzir mais resultados por serem mais bem apoiados pelas agências de fomento. Enquanto, por outro lado, os grupos menores ou recém constituídos podem não ser favorecidos, dado os baixos índices de produtividade, em consequência, muitas vezes, da precariedade dos insumos. Indicadores bibliométricos e cientométricos: aplicações na CT&I Diversos são os indicadores, documentos e variáveis utilizados para analisar a produção científica e produção tecnológica que variam segundo os diversos objetivos, enfoques e aplicações. A maioria dos indicadores pode ser agrupada em quatro categorias principais: 1 - Indicadores que buscam medir a produtividade científica e tecnológica, sendo os principais, o número de artigos e livros publicados e patentes registradas; 2 - Indicadores que buscam fazer aproximações quanto ao uso e qualidade dos documentos publicados, baseados, principalmente, nos estudos de citações; 3 - Indicadores de colaboração, que buscam analisar, sobretudo, redes sociais colaborativas estabelecidas entre pesquisadores, instituições ou países Os indicadores de colaboração utilizam principalmente técnicas de análise de coautoria (no caso de artigos), coinvenção e copropriedade (no caso de patentes). 4 Indicadores de coocorrência, que visam investigar, especialmente, relações entre temas, palavras-chave, assuntos, documentos. As técnicas utilizadas são comumente denominadas coclassificação ou copalavras. A partir desses indicadores chave e seus cruzamentos são construídos diversos tipos de rankings, índices, gráficos, tabelas, mapas, etc., aplicáveis ao estudo dos mais diversos campos científicos e tecnológicos. Sem a intenção de esgotá-los, pode-se mencionar alguns listados por Spinak (1996): ranking de produtividade de autores, universidades e países, índices de citação, fator de impacto, meia vida, índice de obsolescência, índice de afinidade, índice de imediatez, mapas de coautorias e de colaboração entre empresas, universidades, autores e pesquisadores,

coclassificação de assuntos, palavras e temáticas, produtividade de periódicos, índices de cocitação, redes de citação, índice de Jaccard. A produção atual de estudos métricos da informação é bastante representativa, proporcionando uma boa noção de exemplos de indicadores e respectivas funções. Um desses casos é a definição de Cientometria apresentada por Santos (2003, p. 136), que a considera como: [...] um dispositivo de medida, baseado em técnicas estatísticas, que tem por objetivo identificar e tratar as informações contidas nas publicações científicas e técnicas, disponíveis nos sistemas de informação, essencialmente, referências bibliográficas de artigos, de livros e de patentes; razão pela qual torna-se importante analisar o papel destas diferentes publicações nas atividades dos pesquisadores, engenheiros [...]. Mugnaini, Carvalho e Campanatti-Ortiz (2006), compilaram um grande conjunto de indicadores e variáveis sob a ótica de vários autores. Dentre esses, destacam-se, a título de ilustração, os seguintes: indicadores de produtividade; número de artigos científicos (por país, disciplina, autor); número de publicações (inclusive em revistas indexadas); número de autores e procedência institucional e/ou geográfica; coautoria, cooperação entre autores e índice de colaboração; número de artigos publicados com colaboração internacional; número de patentes internas e externas; indicadores de impacto, impacto de artigos, etc. Morales García apud Bufrem (2005) identifica algumas áreas de atuações dos estudos bibliométricos: o crescimento quantitativo da literatura; a obsolescência da informação; o papel de diferentes tipos de documentos, bem como seu significado na comunicação científica; a pertinência e relevância da informação; ranking de publicações periódicas por vários parâmetros; o papel dos canais informais na comunicação científica; a sobreposição de assuntos contidos entre periódicos e publicações seriadas; hábitos de citação de cientistas e crescimento do papel da análise de citações; as relações intradisciplinares e interdisciplinares. Tague-Sutcliffe (1992) considera que a Bibliometria e a Cientometria encontram-se em poucas e bem definidas áreas de atuação. Dentre os indicadores e respectivas aplicações apresentadas pelo autor, destacam-se: aspectos estatísticos da linguagem e freqüência de citação de frases, tanto em textos (linguagem natural), como em índices impressos e em formato eletrônico; características da relação autor-produtividade medidas por meio do número de artigos ou outros meios; grau de colaboração; características das publicações, sobretudo a distribuição em revistas de artigos relativos a uma disciplina; análise de citações: distribuição entre autores, artigos, instituições, revistas, países; mapa de disciplinas baseado na co-citação; uso da informação registrada: circulação em bibliotecas e uso de livros e revistas da própria instituição; uso de bases

de dados; obsolescência da literatura, avaliada pelo uso e pela citação; crescimento de literaturas especializadas, bases de dados, bibliotecas. Alguns autores preferem demonstrar os principais indicadores métricos de uma perspectiva mais específica. Esse é o caso de Macias-Chapula (1998, p. 137) segundo o qual, os principais indicadores em grau de importância são: Número de trabalhos reflete os produtos da ciência, medidos pela contagem dos trabalhos e pelo tipo de documentos (livros, artigos, publicações científicas, relatórios etc.). A dinâmica da pesquisa em um determinado país pode ser monitorada e sua tendência traçada ao longo do tempo. Número de citações reflete o impacto dos artigos ou assuntos citados. Coautoria reflete o grau de colaboração na ciência em nível nacional e internacional. O crescimento ou o declínio da pesquisa cooperativa podem ser medidos. Número de patentes reflete as tendências das mudanças técnicas ao longo do tempo e avalia os resultados dos recursos investidos em atividades de P&D. Esses indicadores determinam o grau aproximado da inovação tecnológica de um país. Número de citações de patentes mede o impacto da tecnologia. Mapas dos campos científicos e dos países auxiliam a localizar as posições relativas de diferentes países na cooperação científica global. Spinak (1998, p. 143) considera que a importância das técnicas bibliométricas e cientométricas pode ser notada através de suas aplicações, a saber: identificação de tendências e o crescimento do conhecimento nas distintas disciplinas; investigar a cobertura das revistas científicas de um núcleo e secundárias; identificar usuários das distintas disciplinas; estudar a utilidade dos serviços de disseminação seletiva de informação; formular políticas de descarte de publicações; estudar a dispersão e obsolescência da literatura científica; auxiliar em processos de indexação, classificação e confecção de resumos automáticos; analisar a produtividade de editores, autores individuais, organizações, países, etc. Noronha e Maricato (2008) atentam para a importância das mais diversas abordagens e variáveis que podem ser levadas a cabo. Para os autores, os estudos métricos da informação, independentemente do enfoque dado na avaliação (nos insumos ou nos produtos gerados), [...] apresentam abordagens bastante diferenciadas que podem ser analisados em macro, meso ou micro escalas. Dessa forma poderão ser estudados aspectos sobre a orientação, a dinâmica e a participação da C&T em escala internacional (através da comparação entre dois ou mais países), nacional (entre dois ou mais estados), local (entre instituições de uma mesma cidade ou região). Cada uma dessas categorias de análise, pode ser subdividida e aprofundada, surgindo novas variáveis e abordagens, por campo de atuação (linhas de pesquisa), por pesquisadores (formação, titulação), por colaboração (trabalhos em co-autoria, sociabilidade entre os autores), assuntos, tipos documentais (periódicos, teses, dissertações, eventos, etc.), instituições (universidades, centros de pesquisa, empresas), departamentos, cursos, disciplinas, etc. Sem dúvida, existe uma riqueza de detalhes da produção do conhecimento que pode e merece ser descortinado. (NORONHA; MARICATO, 2008, p. 122).

Nos casos em que se faz necessário o entendimento das relações e dinâmica entre Ciência e Tecnologia notadamente os indicadores bibliométricos e cienciométricos se tornam fundamentais. Para Callon, Courtial e Penan (1995), um dos principais indicadores que apresentam esta relação, é baseado nas citações de artigos científicos nas patentes. Porém, diversos são os indicadores que procuram entender a relação entre a C&T e, dentre eles, destacam-se: o número de artigos citados por patente, as citações de patentes nos artigos científicos, a publicação de artigos científicos por inventores, o registro de patentes por pesquisadores, etc. Com o apresentado e discutido no presente tópico, somado a influências do trabalho de Morris e Yen (2004) e sistematização teórica e empírica explicitada na pesquisa de Maricato (2010), apresenta-se na Figura 2, o modelo entidade-relacionamento dos principais indicadores bibliométricos e cientométricos da atualidade. Figura 2 Modelo entidade-relacionamento dos principais indicadores bibliométricos e cientométricos AUTOR (ARTIGO); INVENTOR (PATENTE); LEI DE LOTKA Ocorrência e coocorrência (colaboração): autores (artigos) e inventores (patentes); afiliação (autores) ou detentor (patentes) e países. CITAÇÕES DO AUTOR (ARTIGO) / INVENTOR OU EXAMINADOR Ocorrência ou coocorrência (cocitação) do das citações realizadas; Índice de Hirsch TERMOS E TEMAS; LEI DE ZIPF Ocorrência e Coocorrência de termos, temas e palavras do título, palavras-chave, texto, classificações. PERIÓDICO / ARTIGO; PATENTE Autor (artigo); Inventores (patente) Afiliação (artigo); Detentor (patente) Título (artigo e patente) Título do periódico Resumo (artigo e patente) Palavras-chave (artigo) Texto (artigo e patente) Citações/referências (artigo e patente) Classificações (artigo e Patente) CITAÇÕES / REFERÊNCIAS Ocorrência e Coocorrência de citações/referências LEI DE BRADFORD; TÍTULOS DE PERIÓDICOS Produtividade de periódicos, ocorrência e Coocorrência de títulos de periódicos REFERÊNCIAS DOS PERIÓDICOS Ocorrência ou coocorrência (cocitação) do grupo de periódicos; Fator de impacto Fonte: Elaboração própria No modelo entidade-relacionamento é possível visualizar as entidades principais e suas entidades secundárias. A entidade periódico/artigo e a entidade patente possuem um conjunto de diferentes entidades: autor(es) no caso do artigo e inventor(es) no caso da patente; afiliação

institucional no caso do artigo e detentor legal (assignee) dos direitos da patente; título do periódico (aplicável apenas ao artigo, não havendo similar em patente); resumo, existente tanto nos artigos quanto nas patentes, mas com características particulares (na patente, pode conter, por exemplo: estado da técnica, definição da invenção, campo de aplicação, exemplos práticos, modo de operação e foco tecnológico); palavras-chave do artigo, não existente similar em documentos de patentes; texto do artigo ou patente; citações/referências, ocorrendo tanto nos artigos, quanto nas patentes, mas com significados distintos (a citação na patente pode ser realizada tanto pelo inventor, quanto pelo seu avaliador); classificações, que podem ser preexistentes nos artigos ou especialmente elaborada para comparações e sempre presentes nas patentes. A patente possui uma ou mais classificações atribuídas pelos examinadores, sendo a mais conhecida a Classificação Internacional de Patentes (CIP). Essas entidades e seus tipos são unidades de análise, quer sejam pensadas de modo isolado (ocorrência), propiciando a criação de rankings, ou de modo integrado (coocorrência), resultam em indicadores de ligação e relação. As entidades periódico/artigo e patente possuem atributos que podem ser entendidas como outras entidades, podendo ser analisadas as suas ocorrências ou coocorrências. Assim, cada documento pode ser associado com seu autor(es) (no caso dos artigos) e inventor(es) (no caso das patentes), sua afiliação institucional (artigo), detentor dos direitos (patente), país de origem (artigo e patente), havendo possibilidade, ainda, de serem abordados aspectos relacionados a Lei de Lotka fazendo-se analogias com a mesma. As ocorrências e coocorrências da entidade periódico/artigo e a entidade patente podem ser estudadas com vistas aos termos e temas e sob o enfoque ou analogia com a Lei de Zipf. Podem também, ser analisadas sob o enfoque da Lei de Badford na produtividade dos periódicos. A entidade periódico/artigo e a entidade patente podem ter suas ocorrências e coocorrências estudadas e analisadas em função das citações concedidas e recebidas. Essas referências/citações são a base para estudos das citações realizadas por autores (artigos), inventores e examinadores (patentes), que por sua vez, são utilizados para os estudos de cocitação e elaboração de Índice h dos autores citados. As referências dos periódicos quando analisadas conjuntamente trazem indicadores clássicos, como é o caso do Fator de Impacto. Outros indicadores e cruzamentos podem ser elaborados dependendo do objetivo que se almeja atingir. Uma das possibilidades é a investigação de relações entre a Ciência e a Tecnologia, por meio da análise de ocorrência e coocorrência de empresas e indústrias participando de publicação de artigos científicos e de universidades registrando patentes. Outras técnicas de investigação de relações entre a C&T tem sido utilizadas por pesquisadores. Dentre elas destaca-se

o estabelecimento de relações entre as distintas produções (artigos versus patentes) e seus mais diversos atributos. Alguns trabalhos, recentemente publicados no contexto brasileiro, utilizando tais técnicas são Maricato (2010) e Moura (2009). Indicadores bibliométricos e cientométricos: apontamentos e tendências Construir indicadores bibliométricos e cientométricos não é apenas gerar gráficos e estruturar tabelas por si só. É preciso antes de tudo ter algo que se pretende investigar, algo a descobrir, a exemplo da elaboração de um trabalho científico. Qualquer trabalho científico deve ter início com a idéia. As idéias constituem a primeira aproximação da realidade que se pretende pesquisar (em um enfoque quantitativo), ou os fenômenos, eventos e ambientes a serem estudados (em um enfoque qualitativo). (HERNANDÉZ SAMPIERI; HERNÁNDEZ COLLADO; BAPTISTA LUCIO, 2006, p. 24). Não existe fórmula para se ter uma boa idéia, porém, alguns princípios são convencionalmente úteis para qualquer tipo de estudo científico. No âmbito dos estudos bibliométricos e cientométricos, o pesquisador poderá ampliar seu estoque de conhecimentos recorrendo a periódicos clássicos da área, como o Scientometrics, Research Policy, Journal of Informetrics e World Patent Information. Alguns artigos de revisão podem auxiliar ao oferecerem apontamentos a pesquisas que estão sendo desenvolvidas mundo afora. Um exemplo é o artigo intitulado Informetrics at the beginning of the 21st century - A review (BAR-ILAN, 2008). Thelwall (2008) é outro autor que traz contribuições, debatendo alguns aspectos e mudanças atuais nos estudos bibliométricos e cientométricos. Para o autor, muitas das mudanças não são revolucionárias, mas sim evolucionárias, ocasionadas especialmente, pelo desenvolvimento constante da web e dos serviços a ela relacionados. Dentre as mudanças ocorridas recentemente, o autor cita o surgimento do índice h, o desenvolvimento de novas bases de dados de artigos e patentes, as novas técnicas de visualização da informação e os estudos que investigam a relação entre a C&T. O índice h talvez seja a mais significante métrica de avaliação surgida nos últimos tempos (THELWALL, 2008). Realmente sua repercussão tem sido ascendente, sendo estudada, aplicada e debatida, nas mais diversas áreas do conhecimento, inclusive no Brasil (DALPIAN; NORONHA, 2009). O surgimento e aperfeiçoamento de bases de dados, somado a diversificação de softwares para análise e tratamento dos dados, possibilita estudos que as comparem e a construção de indicadores utilizando dados de múltiplas bases de dados (multibases). Com novas bases de dados

bibliométricas, como o Google Acadêmico e base SCOPUS (da empresa Elsevier), diminuiu a dependência das bases de dados Science Citation Index (SCI) e Social Science Citation Index (SSCI) da empresa Thomson Reuters (conhecida popularmente como Web of Science), trazendo mais competitividade ao segmento. Durante algumas décadas, essas bases foram uma das poucas existentes para a geração de indicadores, especialmente de citações. Além dessas bases internacionais, o Brasil conta com recursos adicionais de grande relevância, como é o caso da base Scientific Electronic Library Online (SciELO) e o Currículo Lattes, do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Os métodos e técnicas de visualização da informação e dos domínios do conhecimento ainda são pouco discutidos no Brasil, mas alguns trabalhos passam a abordar o tema. Santos e Kobashi (2009) são alguns dos pesquisadores brasileiros que discutem algumas técnicas de visualização de informação destinadas aos gestores de informação científica e gestores de C&T, trazendo aplicações e exemplos didáticos. A multiplicação de softwares de análise trouxe avanços significativos nas representações gráficas de informações complexas. O uso de patentes para a geração de indicadores também é vista como atividade em pleno desenvolvimento no contexto internacional. Algumas das aplicações de destaque para Thelwall (2008) são o uso de patentes para investigar suas citações a trabalhos acadêmicos, a transferência de conhecimento entre a ciência e a tecnologia e as relações universidade-indústria. No Brasil, novas propostas de análise têm sido estudadas com patentes e artigos, com intuito de investigar relações entre a C&T. As pesquisas de Maricato (2010) e de Moura (2009), são exemplos que ilustram essa tendência. O desenvolvimento de coleções é considerado, historicamente, uma das possíveis aplicações dos métodos bibliométricos. Exemplos clássicos disso são a lei de Bradford (1948) e o desenvolvimento do Journal Impact Factor (JCR) por Garfield e Irving, em 1960. Lima e Figueiredo (1984) citam várias pesquisas que aplicaram métodos bibliométricos com o intuito de desenvolver coleções físicas. No entanto, pouco se discute, ainda mais no contexto nacional, o desenvolvimento de coleções digitais. Entende-se que métodos bibliométricos podem e devem ser empregados para a melhor compreensão desses acervos, sendo considerado um importante, porém pouco explorado, campo de investigação. Diante da problemática da construção de indicadores de acesso e uso de recursos eletrônicos, algumas propostas como o projeto COUNTER (Counting Online Usage of Networked Electronic Resources), que utilizam dados de acesso disponibilizados pelos fornecedores de bases de dados, periódicos e livros eletrônicos (COUNTER, 2011), têm surgido em âmbito internacional. Outra abordagem de estudo de uso de coleções e recursos digitais é apresentada por Franklin e

Plum (2006), onde o ponto de partida é o usuário e não o recurso, ou seja, trata-se de uma metodologia que coleta os dados do usuário para gerar estatísticas de uso. No contexto nacional existe um número relativamente pequeno de estudos, mas que trazem contribuições interessantes. Um exemplo é o trabalho publicado recentemente por Matos e Dias (2010), os quais avaliaram periódicos eletrônicos da área de administração disponíveis no Portal de Periódicos da CAPES. Finalmente, no momento de se elaborar um estudo bibliométrico ou cientométrico, bem como para tirar conclusões e tomar decisões, faz-se necessário que o pesquisador conheça a fundo o tipo de estudo, os documentos, bases de dados e outras fontes de informação utilizadas para as análises, softwares e suas respectivas características e limitações que certamente existem. As limitações dos estudos bibliométricos e cientométricos estão presentes no âmbito teórico e prático. No campo teórico, os maiores problemas estão atrelados à possibilidade de haver interpretações equivocadas, como por exemplo o trabalho x é melhor que o trabalho y pelo fato o x ter sido mais citado. Para melhor compreensão de alguns dos aspectos teóricos, sugere-se a consulta de Seven myths in bibliometrics: about facts and fiction in quantitative science studies (GLÄNZEL, 2008). Quanto aos aspectos práticos, os principais problemas relatados na literatura estão relacionados à qualidade das bases de dados e da organização da informação, à sua cobertura (especialmente cobertura geográfica dos documentos indexados que impedem a comparação entre produções de diferentes países), e a problemas inerentes ao complexo processo de recuperação da informação. Abordagens sobre alguns problemas e limitações estão presentes em pesquisas publicadas por Café e Bräscher (2008) e Vanz e Stumpf (2010). Considerações finais Foram discutidos e apresentados aspectos históricos, conceituais e tendências sobre a construção e aplicação de indicadores bibliométricos e cientométricos, na tentativa de oferecer noções fundamentais e apontamentos introdutórios que merecem ser conhecidos antes de dar início ao processo de construção de indicadores propriamente ditos. Esses conhecimentos prévios são necessários para que o pesquisador tenha condições de compreender o processo de construção de indicadores bibliométricos e cientométricos e alguns aspectos críticos que devem ser considerados para que se tenha sucesso. Considera-se, de suma importância, que seja fomentado o desenvolvimento teóricometodológico e conceitual dos indicadores, bem como a sua aplicação prática buscando-se compreender melhor questões relacionadas à Ciência, Tecnologia e Inovação e suas interfaces com

a Sociedade. Desde que utilizados de maneira séria e criteriosa tais indicadores são potencialmente úteis para a gestão de sistemas de ciência e tecnologia e tomadas de decisão no âmbito da CT&I. Referências ARAÚJO, C. A. Bibliometria: evolução histórica e questões atuais. Em Questão, Porto Alegre, v. 12, n. 1, p. 11-32, jan./jun. 2006. BAHIA, E. M. S.; SANTOS, R. N. M.; BLATTMANN, U. Estudo bibliométrico sobre preservação digital: Library and Information Science Abstracts LISA. Encontros Bibli, Florianópolis, n. esp., p. 91-105, 2011. Disponível em: <http://www.periodicos.ufsc.br/index.php/eb/article/view/1518-2924.2011v16nesp1p91/18065>. Acesso em: 22 maio 2011. BAR-ILAN, J. Informetrics at the beginning of the 21st century: a review. Journal of Informetrics, v. 2, p. 1 52, 2008. Disponível em: <http://www.sciencedirect.com/science/article/pii/s1751157707000740>. Acesso em: 8 jul. 2011. BUFREM, L.; PRATES, Y. O saber científico registrado e as práticas de mensuração da informação. Ciência da Informação, Brasília, v. 34, n. 2, p. 9-25, maio/ago. 2005. CAFÉ, L; BRÄSCHER, M. Organização da informação e bibliometria. Encontros Bibli, Florianópolis, v. 13, n. esp., p. 54-75, 1º sem. 2008. CALLON, M.; COURTIAL, J. P.; PENAN, H. Cienciometría: el estudio cuantitativo de la actividade científica: de la bibliometria a la vigilancia tecnológica. Gijón, TREA, 1995. COUNTER (Counting Online Usage of Networked Electronic Resources). London, 2011. Disponível em: <http://www.projectcounter.org>. Acesso em: 20 jul. 2011. DALPIAN, J.; NORONHA, D. P. Índice de Hirsch: apresentação e aplicabilidade no campo da Ciência da Informação. In: ENCONTRO NACIONAL DE CIÊNCIA DA INFORMAÇÃO, X., 2009, João Pessoa. Anais... João Pessoa: Idéia, 2009, v. 1, p. 2136-2151. FRANKLIN, B.; PLUM, T. Successful web survey methodologies for Measuring the Impact of Networked Electronic Services (MINES for Libraries). IFLA Journal, v. 32, n. 1, p. 28-40, 2006. Disponível em: <http://ifl.sagepub.com/content/32/1/28.abstract>. Acesso em: 20 maio 2011. GARFIELD, E. From the science of science to scientometrics visualizing the history of science with HistCite Software. In: ISSI INTERNATIONAL CONFERENCE, 11., 2007, Madrid. Anais... Madrid, 25 jun. 2007. Disponível em: <http://garfield.library.upenn.edu/papers/issispain2007.pdf>. Acesso em: 16 jan. 2007. GLÄNZEL, W. Seven myths in bibliometrics: about facts and fiction in quantitative science studies. H. Kretschmer & F. Havemann (Eds.): Proceedings of WIS 2008, Berlin Fourth International Conference on Webometrics, Informetrics and Scientometrics & Ninth COLLNET Meeting Humboldt-Universität zu Berlin, Institute for Library and Information Science (IBI), Berlin, 2008. Disponível em: <http://www.collnet.de/berlin-2008/glanzelwis2008smb.pdf>. Acesso em: 3 mar. 2011.

GUEDES, V.; BORSCHIVER, S. Bibliometria: uma ferramenta estatística para a gestão da informação e do conhecimento, em sistemas de informação, de comunicação e de avaliação científica e tecnológica. In: ENCONTRO NACIONAL DE CIÊNCIA DA INFORMAÇÃO, 6., 2005, Salvador. Proceedings... Salvador: UFBA, 2005. HERNÁNDEZ SAMPIERI, R.; HERNÁNDEZ COLLADO, C.; BAPTISTA LUCIO, P. Metodologia de pesquisa. 3. ed. São Paulo: McGraw-Hill, 2006. HOOD, W. W.; WILSON, C. S. The literature of bibliometrics, scientometrics, and informetrics. Scientometrics, v. 52, n. 5. 2001. Disponível em: <http://faculty.kfupm.edu.sa/math/kabbaj/benchmarks/hoodwilson2001.pdf>. Acesso em: 15 jan.2008. LIMA, R. C. M.; FIGUEIREDO, N. Seleção e aquisição: da visão clássica à moderna aplicação de técnicas bibliométricas. Ciência da Informação, Brasília, v. 13, n. 2, p. 137-150, jul./dez. 1984. MACIAS-CHAPULA, C. A. O papel da informetria e da Cientometria e sua perspectiva nacional e internacional. Ciência da Informação, Brasília, v. 27, n. 2, p. 134-140, maio/ago. 1998. MARICATO, J. M. Dinâmica das relações entre ciência e tecnologia: estudo Bibliométrico e Cientométrico de múltiplos indicadores de artigos e patentes em biodiesel. 378 f. São Paulo, 2010. Tese (Doutorado) - Programa de Pós-graduação em Ciência da Informação. Escola de Comunicações e Artes (ECA). Universidade de São Paulo (USP), São Paulo, 2010. MORRIS, S. M; YEN, G. G. Crossmaps: visualization of overlapping relationships in collections of journal papers. PNAS, vol. 101, p. 5291 5296, April, 2004. Disponível em: <www.pnas.org_cgi_doi_10.1073_pnas.0307604100>. Acesso em: 8 jul. 2011. MATTOS, A. M.; DIAS, E. W. Periódicos eletrônicos sobre administração disponíveis no portal de periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior: uma avaliação. Ciência da Informação, Brasília, v. 39, n. 1, p. 51-66, jan./abr. 2010. Disponível em: < http://www.brapci.ufpr.br/download.php?dd0=13977>. Acesso em: 2 jun. 2011. MOURA, A. M. M. A interação entre artigos e patentes: um estudo cientométrico da comunicação científica e tecnológica em biotecnologia. 269 f. Porto Alegre, 2009. Tese (Doutorado)- Faculdade de Biblioteconomia e Comunicação, Programa de Pósgraduação em Comunicação e Informação. Universidade Federal do Rio Grande do Sul, Porto Alegre, 2009. MUGNAINI, R.; CARVALHO, T.; CAMPANATTI-ORTIZ, H. Indicadores de produção científica: uma discussão conceitual. In: POBLACION, D. A.; WITTER, G. P.; MODESTO DA SILVA, J. F. Comunicação e produção científica: contexto, indicadores e avaliação. São Paulo: Angellara, 2006. p. 313-340. NORONHA, D. P.; MARICATO, J. M. Estudos métricos da informação: algumas aproximações. Encontros Bibli, Florianópolis, n. esp. 2008. Disponível em: <www.periodicos.ufsc.br/index.php/eb/article/view/1137>. Acesso em: 26 jul. 2011. OKUBO, Y. Bibliometric indicators and analysis of research systems: methods and examples, OCDE Science, Technology and Industry Working Papers, 1997/1. OCDE Publishing. Doi:10.1787/208277770603