A BIBLIOMETRIA NAS PESQUISAS ACADÊMICAS

Transcrição

1 1 A BIBLIOMETRIA NAS PESQUISAS ACADÊMICAS ALCINEIDE AGUIAR PIMENTA 1 ANTONIA ROSEMEIRE MORAES RIBEIRO PORTELA 2 CLEICIANE BARROS DE OLIVEIRA 3 ROGEANE MORAIS RIBEIRO 4 Resumo: Os estudos de natureza bibliométrica possuem um papel fundamental para a compreensão da qualidade e do desempenho das atividades de produção científica de conhecimentos. Este artigo tem por finalidade apresentar a bibliometria através de conceitos, evolução e técnicas de análise que compõe o universo das pesquisas bibliométricas para proporcionar maior entendimento sobre a natureza desse estudo. Espera-se que este artigo auxilie os autores, em potencial, a compreender e desenvolver seus estudos bibliométrico de forma adequada. Palavras-chave: Bibliometria. Produção Científica. Indicadores. INTRODUÇÃO A obtenção de informações atualmente pode ser considerada como um artifício de poder importantíssima no avanço do conhecimento. A partir disso, Marques (2010) afirma que os estudos bibliométricos tornam-se, cada vez mais fonte de informações para diversas 1 Graduada em Administração de Empresas pela Universidade Estadual Vale do Acaraú (UVA). Pósgraduada em Recursos Humanos pela Universidade Estadual Vale do Acaraú (UVA). Mestre em Administração - Minter UNIVALI e Faculdade Luciano Feijão (UFC). Professora da Faculdade Luciano Feijão (FLF) e do Instituto de Estudos e Pesquisas do Vale do Acaraú (IVA). pimetaalcineide@gmail.com 2 Graduada em pedagogia pela Universidade Estadual Vale do Acaraú (UVA) e em letras pela Universidade Estadual Vale do Acaraú (UVA). Mestranda em Administração - Minter UNIVALI e Faculdade Luciano Feijão (FLF). Professora do Instituto de Estudos e Pesquisas do Vale do Acaraú (IVA). meirinhabeiro@hotmail.com 3 Graduação em Administração pela Faculdade Luciano Feijão (FLF). cleicianneb@gmail.com 4 Graduada em Ciências Contábeis pela Universidade Estadual Vale do Acaraú (UVA). Pós-graduada em Contabilidade Gerencial Pública e Privada pela UVA (2002). Pós-graduada em Marketing pela UVA. Mestre em Gestão de Políticas Públicas e Educação Superior pela Universidade Federal do Ceará (UFC). Doutoranda em Administração pela Universidade do Vale do Itajaí (UNIVALI). Professora da Faculdade Luciano Feijão (UFC). rogeanemorais@yahoo.com.br

2 2 áreas de pesquisa, possibilitando o conhecimento de suas faces na sociedade, e contribuindo com a evolução da tecnologia, da comunicação e da ciência. A crescente necessidade de compreender e avaliar as atividades de produção científica de conhecimento, na concepção de Costas (2017), foi responsável pelo surgimento da bibliometria, que, além de atender a essa finalidade, proporciona o reconhecimento de escritores e estudiosos, através da divulgação da literatura existente, e contribui para o desenvolvimento de novas formas de conhecimentos. Atualmente, as pesquisas bibliométricas são fundamentadas em métodos quantitativos e estatísticos, teve seus princípios aperfeiçoados ao longo do século XXI por diversos autores, tais como Bradford, Lotka, Zipf, Price, Pritchard, Otlet, dentre outros. A evolução foi acompanhou o advento da internet e a criação de programas computacionais destinados à técnicas bibliométricas, que tem atingido, gradativamente, maior popularidade, qualidade e quantidade de estudos publicados, auxiliando na compreensão do desempenho intelectual de pesquisadores. Diante do contexto, o estudo propõe-se a apresentar a bibliometria através de conceitos, evolução e técnicas de análise que compõe o universo das pesquisas bibliométricas para proporcionar maior entendimento sobre a natureza desse estudo. O presente texto está dividido em duas seções: a primeira descrevendo o surgimento e o desenvolvimento da bibliometria até a atualidade, bem como a conceituação sobre a concepção de diversos autores; e a segunda parte abordando os principais procedimentos aplicados aos estudos de bibliometria. BIBLIOMETRIA: CONCEITO E EVOLUÇÃO A bibliometria evoluiu com a publicação de Cole e Eales (1917) sobre uma análise estatística da evolução da disciplina de anatomia comparada (SANCHO, 2002; OKUBO, 1997; VANTI, 2002), seguidamente denominada como bibliografia estatística por Hulme (1923), como uma metodologia, quantitativa e estatística, para a mensuração da produção de conhecimentos científicos, devido à crescente necessidade de avaliar a disseminação e

3 3 mensuração da produção de conhecimentos científicos. O desenvolvimento dessa metodologia baseou-se na elaboração e aplicação das seguintes Leis Empíricas: Lei de Produtividade de Autores (LOTKA,1926); Lei de Dispersão de Periódicos (Bradford,1934); e a Lei de Frequência das Palavras (ZIPF, 1949). Com a evolução dos estudos sobre essa metodologia, Otlet (1934), defendeu a mudança na denominação para Bibliometria, o que aconteceu, apenas após a publicação do artigo Bibliografia Estatística ou Bibliometria? de autoria de Pritchard (1969), que resultou em uma polêmica discussão, justificando a bibliometria com maior ênfase nos métodos quantitativos, ao invés dos aspectos discursivos, ligados à bibliografia estatística. A principal atividade, no qual a bibliometria baseia-se, é a análise de citações, realizadas entre o texto citante e o trecho citado. Conforme Foresti (1989) esse método, além de proporcionar o desenvolvimento do conhecimento científico, possibilita o reconhecimento do escritor, contribuindo para a construção de novas fontes de informações e expondo a literatura existente e relevante aos trabalhos científicos. Nas pesquisas desenvolvidas em 1979 por Ziman, o estudo bibliométrico surgiu devido a necessidade de mapear as produções científicas publicadas. Nesse sentido, Ferreira e alvarenga (2011) ressaltam que entender o comportamentos de publicações científicas de determinado campo de pesquisa, simboliza lançar luzes que levam à compreensão do mesmo. Araújo (2006) relata que a primeira utilização da contagem de referências, uma das principais técnicas para desenvolver o estudo bibliométrico, foi realizada em 1927, por Gross e Gross, depois por Allan, em 1929 e, a seguir, por Gross e Woodford, em A partir disto, as técnicas metodológicas foram desenvolvendo-se, e em 1960, devido a agregação do computador, foi possível a criação do Science Citation Index (SCI) por Eugene Garfield (1963), o primeiro índice de citações científicas. Desde então, a ciência da informação e suas tecnologias fornecem suporte ao desenvolvimento de novos índices e metodologias para elaboração de pesquisas bibliométricas, sendo válido ressaltar que Eugene Garfield, também foi responsável pela formulação do conceito de Fator de Impacto, que segundo Araújo

4 4 (2006) calcula, através do número de citações recebidas por determinado autor, o grau de relevância das publicações deste. Na concepção de Marques (2010), o crescente, e atual, interesse da comunidade científica na bibliometria está relacionada às facilidades das tecnologias de produção, controle e disseminação da informação, que surgiram após o advento da internet. Costa (2017) complementa que a expansão dos pesquisas bibliométricas seguiu o desenvolvimento de programas computacionais, destinados à bibliometria, e a criação de bases de dados, que possibilitaram e facilitaram as análises multivariadas. Ressalta-se que essas ferramentas impulsionadoras, só foram possíveis com o advento da internet e o aperfeiçoamento das tecnologias de informações. A internet está facilitando o encontro de dados em um mesmo lugar, agilizando o processamento de informações e dinamizando o acesso a novas obras. Porém, e apesar das inúmeras vantagens, Wolfram (2017) adverte que, os recursos da internet, também podem caracterizar barreiras em potencial, visto que muitos bancos de dados passaram a exigir assinaturas, de diferentes níveis e taxas de contribuições, para tornar possíveis os acessos. Com o aperfeiçoamento das tecnologias digitais, e, sobretudo, com o desenvolvimento de um conjunto de avanços relacionados às leis bibliométricas e estatísticas, a bibliometria ganhou imensa popularidade no meio acadêmico, o que foi acompanhada de maiores buscas por embasamentos teóricos na conceituação, elaboração e metodologias das pesquisas. A principal finalidade das bases são mapear e analisar a produtividade de autores, instituições, áreas de conhecimento e o fator de impactos dos periódicos. Nesse sentido, e com base não apenas nas tendências mundiais de medição e avaliação da produção científica, mas também, buscando maior visibilidade para a produção nacional, diversas bases de dados foram criadas e ganharam destaque, entre elas, podemos citar: Web of Science; Scopus; Google Scholar Metrics; SCIELO.

5 5 Nas primeiras pesquisas bibliométricas desenvolvidas, desde a coleta de dados até a análise das informações, as etapas era realizadas de forma manual, e exigia longos períodos de tempo e grande equipe de pesquisadores. Como exemplo, Wolfram (2017) cita a pesquisa desenvolvida por Alfred Lotka, envolvendo autores cujo sobrenome iniciava, apenas, com iniciais A e B, e no qual utilizou 6891 referências, em seu estudo sobre produtividade científica. Oliveira e Amaral (2017) relatam que, em 2012, durante um evento científico da área de ciências biológicas, foi publicado uma declaração, sobre avaliação de pesquisa, contendo inúmeras recomendações de melhorias no modo como a produção científica era avaliada, dando maior ênfase em aspectos relacionados à qualidade e grau de impacto de periódicos de publicações. Posteriormente, em 2015, o Manifesto de Linden, destinado à métricas de pesquisa, e no qual foi resultado da Conferência Internacional de Indicadores em Ciência e Tecnologia, tornou a medição de desempenho da pesquisa mais criteriosa, a partir de dez novos princípios norteadores. Ao final do mesmo ano, a publicação de The Metric Tide sintetizou em cinco os princípios acima citados, e intitulou-os métricas responsáveis. As pesquisas bibliométricas brasileiras aumentaram na década de 1970, influenciando a literatura de várias áreas científicas e mantendo o foco nas tendências internacionais de análise da Ciência e Tecnologia (C&T), contribuindo com a criação de diferentes tipos de bases de dados e indicadores brasileiros. (BORGMAN e FURNER, 2002; ARAÚJO, 2006; VANZ e STUMPF, 2010). Sendo que o referido estudo no Brasil, deu um boom a partir da construção de bancos de dados sobre a produção científica nacional, que possibilitaram a criação de ferramentas consolidadas para sustentação de pesquisas. Esses bancos constituem, atualmente, dos principais recursos para a realização de estudos bibliométricos, disponibilizando fontes relevantes de dados que permitem o desenvolvimento do trabalho de pesquisa quantitativa (COSTAS, 2017). As bases de dados possibilitaram o acesso de dezenas de milhões de registros bibliográficos. Porém, na concepção de Vanz e Stumpf

6 6 (2010) é necessário desenvolver indicadores, mais adequados a realidade brasileira, a partir destes bancos de dados, de forma a permitir o avanço da bibliometria. Otlet (1934), um dos principais pesquisadores sobre o assunto, considera a bibliometria como um modo de qualificar a ciência por meio de ferramentas estatísticas, aplicadas sobre as fontes de informações, onde na visão de Ferreira e Alvarenga (2011) a finalidade, das pesquisas realizadas no campo bibliométrico, é avaliar o resultado da atividade intelectual de pesquisadores e estudiosos. De modo mais detalhado, Vanti (2002) declara que a pesquisa bibliométrica utilizase de métodos quantitativos para possibilitar a análise da evolução e dos processos que ocorrem na produção científica, por meio da avaliação de patentes, dissertações, teses, e demais produtos da ciência. Para Wolfram (2017) a bibliometria como metodologia iniciou-se com a finalidade de avaliar e entender o desempenho das atividades de produção científica acadêmica, utilizando para tanto uma quantidade de dados, referentes ao período pesquisado, para a extração das informações necessárias. Destaca-se ainda a utilização métodos estatísticos e matemáticos que tornam o processo avaliativo da produtividade científica mais objetivo. Araújo (2006) relata que, desde o início, a evolução das pesquisas sobre a produção científica está passando por um processo de conversão da bibliometria em técnicas de pesquisa, ao invés de um campo de pesquisa. Devendo, essa técnica, ser aplicada em concordância com outras metodologias quantitativas presentes nas ciências sociais. Dessa forma, a bibliometria, ou, segundo Scopus (2009) a medição do desempenho científico, é técnica de medir o desenvolvimento, a qualidade e o impacto de uma série de artigos escolhidos, e no qual estão presentes em determinado periódico ou instituto. Marques (2010) salienta que a bibliometria concentra-se, de forma mais direta, na análise de três segmentos: a produtividade de periódicos, a produtividade de escritores e frequência de palavras encontradas. De forma complementar Araújo (2006) afirma que, partindo da bibliometria, pode-se identificar frente de pesquisa, fator de impacto dos

7 7 autores, tipo de documento mais utilizado, idade média da literatura utilizada, obsolescência da literatura e periódicos mais citados. A bibliometria, como área de pesquisada Ciência da Informação, tem papel importante na avaliação da produção científica mundial, uma vez que seus indicadores podem retratar o comportamento e a evolução de um campo de conhecimento. E, segundo as pesquisas de Ferreira e Alvarenga (2011) os relatos de natureza bibliométrica são fontes de grande proveito e fecundidades para o conhecimento e a avaliação de diversas áreas científicas. Na seguinte seção será disposto os principais procedimentos utilizados no desenvolvimento de estudos bibliométricos, envolvendo etapas de definição, análise e elaboração dos relatórios, como também os princípios norteadores da bibliometria como campo de pesquisa e os critérios mais relevantes na avaliação de qualidade das produções científicas. PROCEDIMENTOS APLICADOS AOS ESTUDOS BIBLIOMÉTRICOS Atualmente tem se discutido sobre a árdua e necessária tarefa de mensurar, caracterizar e qualificar a ciência, ou seja, avaliar o resultado da atividade intelectual de pesquisadores e estudiosos, que têm suas pesquisas apresentada de diversas maneiras, tais como: produção intelectual, produção acadêmica, produção do conhecimento e produção científica são termos presentes na literatura e utilizados no meio acadêmico com o mesmo significado, visando objetivos idênticos (FERREIRA e ALVARENGA, 2011). A bibliometria se utiliza de dados extraídos de publicações científicas, ou seja, permuta ou troca informações entre pesquisadores acadêmicos que se utilizam de metodologias matemáticas e estatísticas para realização de uma análise dos estudos que podem ser quantificados (DE MORAES JÚNIOR et al, 2013). Na visão de Pritchard (1969); Sancho (2002); Lopes et. al. (2012) a bibliometria possui as seguintes características: 1) Apontar os estudos em crescimento, 2) Identificar a redução de determinados temas científicos, 3)

8 8 Medir o impactos das revistas cientificas, e 4) Verificar as instituições de ensino e autores que mais possuem produção acadêmica. Diante do contexto os indicadores são atribuídos para medir a qualidade científica baseando-se na avaliação das publicações e dos seus conteúdos, sendo importante ressaltar que todos os indicadores deverão ser aplicados de forma cuidada dado o conjunto de características e limitações que acarretam. Por outro lado, é fundamental considerar que os principais resultados de investigação se transmitem através da comunicação formal, que os trabalhos publicados representam o volume de investigação produzida e que estes trabalhos (fontes primárias) são indexados em bases de dados (fontes secundárias), ferramentas que permitem recuperar informação publicada em qualquer área científica. O desenvolvimento de pesquisas bibliométricas, de natureza quantitativa, deu-se pelo surgimento de novos indicadores de produção, com base na internet e nas técnicas digitais, que facilitaram a análise multidimensional, a visualização de informações e o mapeamento desses dados. Na opinião de Wolfram (2017) quanto maior o volume de informações aplicadas nas pesquisas, proporcionalmente maior será o grau de confiabilidade e generalização dos resultados obtidos. Como exemplo, dentre os diversos grupos de princípios que norteiam a plena e ética evolução das pesquisas em bibliometria, estão citados abaixo, conforme a descrição de Oliveira e Amaral (2017) em estudos baseados no Manifesto de Leiden, no The Metric Tide e no DORA, os princípios utilizados pela CAPES para avaliação do desempenho: I. Os indicadores são ferramentas importantes, mas auxiliares e não únicas. Sugere-se que somado a essas técnicas métricas de avaliação, sejam aplicadas, juntamente, um análise de qualidade científico-acadêmica, que seja desenvolvida por comissões de profissionais qualificados. Conforme o princípio um do Manifesto de Leiden: A avaliação quantitativa deve apoiar a análise qualitativa de especialistas. II. Os indicadores são limitados, e poder ser combinados para melhor atender o objetivo da pesquisa. Todos os indicadores possuem vantagens e

9 9 desvantagens, a questão é saber combinados de modo complementar, e que, ao final, a pesquisa tenha logrado de todo suporte métrico disponível, de acordo com um dos princípios da The Metric Tide Reconhecer a variabilidade entre áreas, e usar uma série de indicadores para refletir e apoiar a pluralidade de trajetórias de pesquisa e carreira. III. Os indicadores são mutáveis. Caso necessário, é possível realizar aperfeiçoamentos para a melhor adequação dessa ferramenta, desde de que seja feita a partir de embasamento metodológicos adequados. IV. Os indicadores pode aparentas uma ilusória precisão. Por esse motivo, é necessário que o autores teste e conheça o nível de Mensuração dos indicadores que serão utilizados. V. As etapas e os resultados das avaliações devem ser públicos, ou seja, estar acessível a quem interessar-se. Isso está em concordância com um dos princípios do Manifesto de Leiden Manter a coleta de dados e processos analíticos abertos, transparentes e simples. VI. É importante respeitar a diversidade e a abrangência de cada pesquisa. Com base disso, as avaliações devem ser feitas conforme os fatores regionais e de impacto. VII. Focar em notabilizar a qualidade das pesquisas, e não apenas em métodos métricos. O foco da avaliação deve ser, além da relevância de seus escritos, todo o conjunto de atividades que um profissional desempenho. Em concordância com um dos princípios de DORA Avalie a pesquisa baseado em seus próprios méritos. VIII. As informações finais devem estar descritas em um padrão confiável, de modo a facilitar e manter a integridade das pesquisas. Partindo da análise dos princípios adotados pela CAPES, conclui-se que as avaliações de desempenho são desenvolvidas com base, não apenas em métricas quantitativas, mas,

10 10 também, em processos que qualificam a produção dos autores, ou seja em aspectos qualitativos, de acordo com a classificação de Qualis Periódicos (classificação de impacto dos periódicos de divulgação), e no qual o trabalho foi publicado. Os principais indicadores utilizados pela instituição são: o Fator de Impacto e a o Cites per Doc. O fator de impacto consiste na divisão do número de citações apresentadas em um periódico, no intervalo de um ano, pelo número de trabalhos publicados nele. Além desse indicador, outro conceito é fundamental para a bibliometria, sendo ele a frente de pesquisa que utiliza o nível de citação feitas a cada autor, em cada período de tempo, relacionado a data de publicação das obras citadas do referido autor. Lembra-se também que o período de tempo utilizado na pesquisa poderá variar conforme os objetivos desejados, assim entrará na pesquisa apenas os trabalhos publicados pelo autor, durante o intervalo de tempo estabelecido. Na prática, Ferenhof e Fernandes (2015) descrevem que a pesquisa bibliométrica pode ser desenvolvida partindo de algumas etapas básicas, e essenciais, sendo elas: as definições base da pesquisa, que estabelece os indicadores de pesquisa, a base de dados utilizadas e o modo como os documentos serão selecionados e padronizados; a consolidação e a análise dos informações obtidas; e ao final, a síntese e a elaboração de relatórios. Por outro lado, e ainda segundo a concepção de Oliveira e Amaral (2017) os principais critérios considerados para a avaliação de desempenho da produções de periódicos são: I. Indicadores utilizados na pesquisa em análise, e sua origem em bases de dados nacionais ou internacionais; II. Presença em bases indexadoras relevantes; III. Aplicação de técnicas quantitativas, naturais a bibliometria, e qualitativas. Apesar das informações abordadas neste artigo, muitos pesquisadores e estudiosos relatam suas críticas na desarmoniosa padronização de títulos de periódicos, dos nomes de autores e de instituições, e dos diversos termos que representam campos científicos diversos,

11 11 refletindo em dificuldades para a realização das pesquisas. Em decorrência, torna-se inevitável, ao longo da pesquisa, diversas pausar afim de efetuar alguns ajustes, relacionados a padronização de informações que, por ventura estejam citados de forma diferente, nas diversas bases de dados. CONSIDERAÇÕES FINAIS A eclosão da bibliometria tem contribuído para a mensuração e compreensão da evolução das produções de conhecimentos científicos, e da avaliação das atividades intelectuais de pesquisadores e estudiosos, com base em técnicas quantitativas e estatísticas. Além disso, possibilita, o reconhecimento dos escritores e a exposição da literatura existente e relevante nas diversas áreas de pesquisa. É inegável que o aumento dos estudos bibliométricos desenvolvidos no meio acadêmico cresce, gradativamente, à medida que novas formas de produção, controle e disseminação da informação surgem no âmbito tecnológico, o que facilita a mensuração dos resultados dessa natureza. No Brasil, a criação de diferentes tipos de bases de dados, contendo informações sobre autores, instituições, periódicos e áreas de pesquisa, foi essencial para o surgimento de indicadores mais próximos da realidade das produções brasileiras. Porém, é necessário aperfeiçoar esses indicadores, de modo a permitir o avanço da bibliometria como uma metodologia de pesquisa, visto que, no conforme Oliveira e Amaral (2017) os indicadores possuem um papel de agregadores e orientadores da pesquisa, em meio a uma infinidade de dados. Deste modo, a bibliometria assume um papel primordial na análise do comportamento da produção científica, e possibilita o aumento da visibilidade das novas fontes de informações e conhecimentos, partindo da avaliação de patentes, teses, dissertações e demais publicações da pesquisa científica.

12 12 THE BIBLIOMETRY IN ACADEMIC RESEARCH Abstract: Bibliometric studies have a fundamental role in understanding the quality and performance of scientific knowledge production activities. This article aims to present bibliometrics through concepts, evolution and techniques of analysis that compose the universe of bibliometric research to provide greater understanding about the nature of this study. It is hoped that this article will help potential authors understand and develop their bibliometric studies adequately. Keywords: Bibliometrics. Scientific production. Indicators. REFERÊNCIAS ARAÚJO, Carlos A. Bibliometria: evolução histórica e questões atuais. Em questão, v. 12, n. 1, BORGMAN, C.; FURNER, J. Scholarly communication and bibliometrics. Annual Review of Information Science and Technology, New Jersey, v. 36, p. 3-72, COSTAS, Rodrigo. Discussões gerais sobre as características mais relevantes de infraestruturas de pesquisa para a cientometria. Bibliometria e Cientometria no Brasil: infraestrutura para avaliação da pesquisa científica na Era do Big Data, p , DE MORAES JÚNIOR, Valdério Freire; ARAÚJO, Aneide Oliveira; REZENDE, Isabelle Carlos Campos. Estudo bibliométrico da área ensino e pesquisa em gestão de custos: triênio do Congresso Brasileiro de Custos. REVISTA REUNIR, v. 3, n. 2, p , FERENHOF, Helio Aisenberg; FERNANDES, Roberto Fabiano. Passo-a-passo para construção da Revisão Sistemática e Bibliometria. Acesso em, v. 18, FERREIRA ARAÚJO, Ronaldo; ALVARENGA, Lidia. A bibliometria na pesquisa científica da pós-graduação brasileira de 1987 a Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, v. 16, n. 31, FORESTI, N.Estudo da contribuição das revistas brasileiras de biblioteconomia e ciência da informação enquanto fonte de referência para a pesquisa Dissertação (Mestrado) Departamento de Biblioteconomia da Universidade de Brasília, UnB, Brasília, GARFIELD, Eugene. Citation indexes in sociological and historical research. Journal of the Association for Information Science and Technology, v. 14, n. 4, p , MARQUES, Andrielle de A. A bibliometria: reflexões para comunicação científica na Ciência da Comunicação e Ciência da Informação. In: CONGRESSO BRASILEIRO DE CIÊNCIAS DA COMUNICAÇÃO, 33, 2010, Caxias do Sul. Anais... Caxias do Sul: INTERCOM, p

13 13 LOPES, Sílvia et al. A Bibliometria e a Avaliação da Produção Científica: indicadores e ferramentas. In: Actas do congresso Nacional de bibliotecários, arquivistas e documentalistas DE OLIVEIRA, Talita Moreira; AMARAL, Livio. Políticas Públicas em Ciência e Tecnologia no Brasil: desafios e propostas para utilização de indicadores na avaliação. Bibliometria e Cientometria no Brasil: infraestrutura para avaliação da pesquisa científica na Era do Big Data, p , OTLET, Paul. Traité de documentation: le livre sur le livre: théorie et pratique. Bruxelles: Mundaneum, PRITCHARD, A. Statistical bibliorgrahy or bibliometricas? Jornaul ofdocumentation, v. 25, n. 4, p , TAGUE-SUTCLIFFE, J. An introduction to informetrics. Information processing & management, Oxford, v. 28, n. 1, p. 1-3, VANTI, N. A. P. Da bibliometria à webometria: uma exploração conceitual dos mecanismos utilizados para medir o registro da informação e a difusão do conhecimento. Ciência da Informação, Brasília, v. 31, n. 2, p , maio/ago DE SOUZA VANZ, Samile Andréa; STUMPF, Ida Regina Chittó. Procedimentos e ferramentas aplicados aos estudos bibliométricos. Informação & Sociedade, v. 20, n. 2, WOLFRAM, Dietmar. Bibliometrics Research in the Era of Big Data: Challenges and Opportunities. Bibliometria e Cientometria no Brasil: infraestrutura para avaliação da pesquisa científica na Era do Big Data, p , 2017.