UNIVERSIDADE FEDERAL DO MARANHÃO CENTRO DE CIÊNCIAS SOCIAIS CURSO DE BIBLIOTECONOMIA DIRETÓRIO ACADÊMICO DE BIBLIOTECONOMIA XIV Encontro Regional de Estudantes de Biblioteconomia, Documentação, Ciência da Informação e Gestão da informação Os novos campos da profissão da informação na contemporaneidade 16 a 22 de janeiro de 2011 INDICADORES CIENTÍFICOS: Uma Análise da Produção do Programa de Pós-Graduação em Sociologia (PPGS) da UFPE a partir dos currículos da Plataforma Lattes (PL) 1 RESUMO Guilherme Alves de Santana Natanael Vitor Sobral Marcio Henrique Wanderley Ferreira Fábio Mascarenhas e Silva Os indicadores científicos são reconhecidamente importantes para a gestão da Ciência, Tecnologia e Inovação (C, T & I), já que demonstram as tendências e variáveis do setor. Sua construção e análise se inserem como fatores indutores à elaboração de estratégias e planos de ações, sejam em âmbito público ou privado. No caso da Universidade Federal de Pernambuco (UFPE), os indicadores servem como balizadores para a formulação de políticas e para a tomada de decisões. Deste modo, este estudo objetiva analisar a produção científica do Programa de Pós- Graduação (Mestrado e Doutorado) em Sociologia (PPGS-UFPE), no período compreendido entre os anos de 2007 a 2009 (último triênio avaliado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior CAPES ). Para tanto, fez-se a coleta dos currículos dos docentes disponíveis na Plataforma Lattes (PL) por meio da ferramenta ScriptLattes, que compilou as listas de produção científicas. Em seguida, realizou-se uma análise qualiquantitativa das publicações com o intuito de identificar os principais aspectos e tendências da produção científica, com vistas à proposição de uma metodologia para a geração de indicadores científicos capazes de subsidiar processos decisórios no âmbito da gestão da C, T & I. Dentre os principais resultados, identificaram-se a quantidade total de publicações, os avanços e retrocessos da produção científica do programa, a média anual de publicações, os principais veículos de comunicação, o nível Qualis CAPES dos periódicos, as principais redes de colaboração dos docentes, os pesquisadores mais influentes, e os grupos e linhas de pesquisa de destaque. Palavras-chave: Plataforma Lattes; Indicadores do PPGS-UFPE; Produção Científica. 1 Trabalho científico de comunicação oral apresentado ao GT 7 Livre. UFPE. Graduando em Gestão da Informação. guilherme.alves.santana@gmail.com UFPE. Graduando em Gestão da Informação. natan_sobral@yahoo.com.br UFPE. Graduando em Gestão da Informação. marcio.wferreira@hotmail.com UFPE. Doutor em Ciência da Informação. Docente do Departamento de Ciência da Informação (DCI UFPE). fabiomascarenhas@yahoo.com.br
1 INTRODUÇÃO Devido à variada dinâmica produtiva existente no setor de Ciência, Tecnologia e Inovação (CT&I), gestores frequentemente necessitam de instrumentos informacionais capazes de monitorar e apontar as principais tendências do setor com a finalidade de formulação de políticas e estratégias de ação. A partir desta realidade, a criação e o uso de indicadores da atividade científica se inserem no contexto da CT&I como fatores indutores para o processo de tomada de decisão em instâncias governamentais e políticas, já que apontam o grau de maturidade, evolução e retrocessos de segmentos ligados ao setor. Todavia, para produzir indicadores que assinalem com proximidade a realidade do setor de CT&I, faz-se necessário desenvolver sólidos e confiáveis instrumentos e metodologias, que aperfeiçoem a geração de informações que contribuam positivamente nas decisões, políticas e no planejamento da gestão do setor. Diante da árdua tarefa de identificação de mecanismos eficientes para a elaboração de indicadores científicos e sua posterior análise adaptada ao contexto explorado, este trabalho objetivou analisar a produção científica do Programa de Pós-Graduação (Mestrado e Doutorado) em Sociologia (PPGS) da Universidade Federal de Pernambuco (UFPE). Para tanto, utilizaram-se estudos métricos das informações contidas nos currículos Lattes dos pesquisadores do PPGS cadastrados na Plataforma Lattes (PL) do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), com a finalidade de gerar indicadores que apóiem o processo decisório de gestores de CT&I do estado de Pernambuco. 2 INDICADORES CIENTÍFICOS COMO INSUMOS PARA O PROCESSO DECISÓRIO NO SETOR DE CT&I O uso de indicadores da atividade científica é fator indutor à mobilização e amadurecimento de diversos segmentos da sociedade, tais como os setores governamentais e políticos. Haja vista a importância desse uso, ressalta-se a existência de incentivos da comunidade acadêmica e dos gestores de CT&I que, através dos citados instrumentos, buscam compreender melhor a dinâmica da produção científica no intuito de subsidiar e avaliar o planejamento e resultados das políticas voltadas a esse ambiente. De acordo com Santos e Kobashi (2005) há um conjunto expressivo de indicadores empregados na análise da produção científica que podem ser divididos em:
Indicadores de Produção Científica construídos pela contagem do número de publicações por tipo de documento (livros, artigos, publicações científicas, relatórios etc.), por instituição, área de conhecimento, país, dentre outros; Indicadores de Citação estabelecidos pela contagem do número de citações recebidas por uma publicação de artigo de periódico. É o meio mais reconhecido de atribuir crédito ao autor; Indicadores de Ligação criados pelas co-ocorrências de autoria, citações e palavras, sendo aplicados na elaboração de mapas de estruturas de conhecimento e de redes de relacionamento entre pesquisadores, instituições e países. Emprega técnicas de análise estatística de agrupamentos. Esses indicadores são empregados como medidas indiretas da atividade da pesquisa científica e contribuem para a compreensão dos objetivos da pesquisa, da estrutura da comunidade científica, do objetivo particular da pesquisa ou do seu impacto social, político e econômico (ASTON & KLAVANS, 1997; SPINAK, 1996 e 1998; TRZESNIAK, 1998; OKUBO, 1997). No Brasil há forte intervenção governamental na gestão da CT&I, assim, as políticas de órgãos públicos como o CNPq, Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), Financiadora de Estudos e Projetos (FINEP), Ministério da Ciência e Tecnologia (MCT), Fundações de Amparo à Pesquisa (FAPs) e as próprias universidades através de suas pró-reitorias de pesquisa necessitam de informações consistentes e confiáveis que auxiliem seus processos decisórios. Nota-se que estes órgãos são membros e parceiros do Sistema Nacional de Ciência, Tecnologia e Inovação (SNCTI) e que frequentemente encontram dificuldades em seus processos decisórios devido à ausência ou ineficácia de indicadores científicos atualizados e confiáveis. Vide o caso da Fundação de Amparo à Ciência e Tecnologia do Estado de Pernambuco (FACEPE), que possui indicadores inconsistentes sobre a realidade da produção de CT&I em âmbito estadual (FACEPE, 2010). Por conseguinte, a construção de instrumentos capazes de construir indicadores é imprescindível à gestão de políticas científicas, e a ausência de análise e contextualização destes indicadores em um ambiente ou atividade específica pode limitar a eficácia do processo, tornando-o indicador sem sentido e utilidade, apenas números sem significado. 2.1 Indicadores Científicos na Gestão de CT&I em Instituições de Ensino Superior (IES) Para as Instituições de Ensino Superior (IES), em especial as que mantêm programas de pós-graduação (PPG) Stricto Sensu, como é o caso da UFPE, a atividade de
construção de indicadores científicos destaca-se como um recurso que possibilita o aperfeiçoamento dos processos de avaliação, acompanhamento e planejamento institucional. Desta forma, os gestores das IES podem e devem utilizar estes indicadores com o propósito de averiguar aspectos qualiquantitativos da produção, buscando o alinhamento com a instância reguladora de sua atividade fim, sendo a CAPES no caso dos PPGs Stricto Sensu, que publica os critérios avaliativos e realiza julgamentos trienais destes programas. Estes indicadores de produção científica podem ser gerados através de dados disponíveis publicamente na base de dados de currículos Lattes dos docentes/pesquisadores e do cruzamento destes dados com os de outras bases importantes, como é o caso do Diretório dos Grupos de Pesquisa no Brasil do CNPQ (DGP/CNPq) (http://dgp.cnpq.br/buscaoperacional/) e do WebQualis (http://qualis.capes.gov.br/webqualis/). Neste caso, vários aspectos da produção são considerados, como: tipologia da produção (livros, capítulos de livro, artigos de periódicos e trabalhos de evento); quantidade de publicações; nível Qualis CAPES dos artigos publicados em periódicos; colaboração dos docentes, e; grupos e linhas de pesquisa de destaque na instituição. Desta maneira, os indicadores científicos servem como balizadores para a formulação de políticas e tomadas de decisões nas IES, já que possuem informações baseadas em dados precisos e consistentes que apontam, com proximidade, a situação real da produção científica da instituição. Neste sentido, o desenvolvimento de metodologias consistentes para a construção dos indicadores científicos é demasiadamente importante, de forma que contribuam para uma demonstração quantitativa das tendências e variáveis das IES, e fornecem subsídios para a interpretação dos modos pelos quais as produções científicas são criadas, comunicadas e acessadas. 3 PROCEDIMENTOS METODOLÓGICOS O método escolhido foi o cientométrico. De acordo com Spinak (1998), os objetivos específicos da cientometria visam investigar o crescimento quantitativo da ciência, o desenvolvimento de disciplinas, o relacionamento entre ciência e tecnologia, a obsolescência dos paradigmas científicos, a estrutura de comunicação entre cientistas, a criatividade e produtividade de pesquisadores e a relação entre o crescimento econômico e o desenvolvimento científico.
Para o desenvolvimento do trabalho, adotaram-se os seguintes procedimentos: Inicialmente foi escolhido um programa de pós-graduação recomendado pela CAPES da UFPE, que foi o Programa de Pós-Graduação em Sociologia (PPGS). Fundado em 1967, PPGS oferece cursos de Mestrado e Doutorado. Na última avaliação trienal da CAPES que compreendeu o triênio de 2007 a 2009, o PPGS obteve o conceito 5, evoluindo 1 ponto em relação à avaliação anterior que corresponde ao período de 2004 a 2006. Em seguida, utilizando a ferramenta ScriptLattes (http://scriptlattes.sourceforge.net/), fez-se a extração e compilação da produção bibliográfica (artigos em periódicos científicos, livros, capítulos de livros e trabalhos em eventos) dos pesquisadores do PPGS, compreendendo o período do último triênio (2007 a 2009) considerado pela CAPES. Logo após a coleta e compilação dos dados foram estabelecidas combinações e correlações entre eles, para tanto foi utilizado o Microsoft Excel para a geração de gráficos de produção científica, linhas de pesquisa, grupos de pesquisa e estratificação Qualis, e ainda utilizou-se o UCINET com a finalidade de geração de gráficos de colaboração. As coletas e experimentos foram realizados na estrutura do Laboratório de Informática do Departamento de Ciência da Informação (LABINF-DCI) em agosto de 2010. Os dados que serão apresentados nos resultados foram extraídos da base de dados da Plataforma Lattes (PL) que, permitiu o acesso ao DGP/CNPq, onde foram realizadas consultas referentes aos grupos de pesquisa mais freqüentes e linhas de pesquisa mais adotadas, ainda utilizou-se dados da base WebQualis para consultar o extrato de qualidade dos periódicos científicos identificados. No processo de identificação da qualidade dos periódicos, foi acessado um aplicativo no site do WebQualis (http://qualis.capes.gov.br/webqualis/consultaperiodicos.faces) que permite a classificação e consulta ao Qualis das áreas e a divulgação dos critérios utilizados para a classificação de periódicos. A pesquisa foi feita por um documento onde constam: título de cada periódico com Qualis na área de sociologia, extrato, e ano base. Dos 43 periódicos, 11 não foram encontrados no WebQualis. 4 ANÁLISE E DISCUSSÃO DE RESULTADOS Para a geração de indicadores da produção científica do PPGS-UFPE no período de 2007 a 2009, objetivou-se extrair e organizar os dados dos currículos dos docentes do
programa a partir da PL do CNPq e da correlação de dados de outras bases. Identificou-se que o PPGS produziu: 61 artigos de periódicos; 26 livros (publicados, organizados ou editados); 106 capítulos de livros; 40 trabalhos completos publicados em anais de eventos; 11 resumos expandidos publicados em anais de eventos, e; 38 resumos publicados em anais de eventos. Totalizando 282 publicações, que podem ser visualizadas no Gráfico 1. Gráfico 1 Produção Científica do PPGS UFPE no triênio de 2007 a 2009 A partir da observação do gráfico 1, percebe-se que o PPGS voltou suas publicações para determinados veículos de comunicação, sendo estes: em primeiro lugar destacam-se os capítulos de livro, em segundo lugar os artigos de periódico, e em terceiro os trabalhos completos em anais de eventos com 106, 61 e 40 itens respectivamente. Ao constatar os três principais veículos que os pesquisadores/docentes do PPGS- UFPE direcionaram suas produções criou-se o gráfico 2, que apresenta a evolução da publicação nos referidos veículos de comunicação científica de acordo com último triênio de avaliação da CAPES (2007 a 2009). Gráfico 2 Veículos mais utilizados e evolução ao longo do triênio (2007 a 2009)
Em relação à avaliação do triênio que compreende os anos de 2007 a 2009, observa-se que a CAPES atribuiu ao critério produção qualificada 50% da nota do quesito produção intelectual, que equivale a 40% do conceito global atribuído aos Programas de Pós-Graduação em Sociologia existentes no Brasil. Este fator certamente estimulou o PPGS a direcionar sua produção aos dois primeiros veículos citados acima, pelo fato de produção qualificada para a CAPES representar, livros, capítulos de livro e artigos de periódicos. Outro ponto a destacar é a concentração da produção em PPGs. Esta consiste na distribuição não equitativa do total publicado pelo número de pesquisadores/docentes membros do quadro permanente de programas de pós-graduação. Amplamente combatida nas avaliações da CAPES, a concentração da produção é determinante no conceito recebido pelos programas de pós-graduação, sendo fator crucial para o seu sucesso ou insucesso. No caso do PPGS, evidenciou-se concentração nos seis primeiros pesquisadores/docentes, explicitada no Gráfico 3. Este indicador apresenta um problema ao PPGS, pois expõe a necessidade do programa em melhor adequar-se aos critérios estabelecidos pela CAPES. A linha verde presente no gráfico 3 é determinada pela média, desta maneira visualiza-se nove docentes/pesquisadores acima da média da produção total que é de 25 trabalhos, já abaixo da média encontram-se 13 docentes, impulsionando negativamente a média do conjunto. Gráfico 3 Concentração da produção científica do PPGS Além dos resultados apresentados anteriormente, foi possível identificar quatro redes de colaboração científica entre os pesquisadores/docentes do PPGS. Destas, duas contém apenas dois membros que publicam entre si, e as duas restantes apresentam seis
indivíduos cada uma. Ainda foi possível notar a presença de seis pesquisadores que publicaram ao longo do triênio avaliado individualmente. Isto não caracteriza uma surpresa, pois este é um fato muito comum na área de ciências humanas. O Gráfico 4 constata estes fatos, nele cada docente é representado pelo D maiúsculo seguido de um número determinado aleatoriamente, (ex. D1 = docente um). Gráfico 4 Redes de colaboração do PPGS A busca realizada no DGP/CNPq permitiu a identificação dos grupos de pesquisa mais presentes na atividade científica do PPGS (Gráfico 5), e também as linhas de pesquisa mais adotadas pelos pesquisadores/docentes do PPGS (Gráfico 6). Gráfico 5 Grupos de pesquisa mais presentes no PPGS
No gráfico 5, Observa-se que os Grupos de Pesquisa com mais pesquisadores dentro do programa são: 1) Sociedade brasileira contemporânea: cultura, democracia e pensamento social (UFPE); 2) Núcleo de cidadania, exclusão e processos de mudança (UFPE); 3) Laboratório de observação permanente sobre as transformações do mundo rural do Nordeste (UFPE), e; 4) Globalização e Agricultura (UFPE). Gráfico 6 Linhas de pesquisa mais adotadas pelo PPGS Constata-se no Gráfico 6 que as linhas de pesquisa mais produtivas do programa foram: 1) Sociologia, saúde e redes sociais; 2) Processos sociais e agrários; 3) Cultura, sociologia crítica e produção do conhecimento na América Latina e África; 4) Cultura política, dominação e identidades coletivas. Com isto percebe-se que o viés do PPGS é bastante diversificado, e compreende várias correntes de pesquisa no âmbito das Ciências Humanas e Sociais. Para uma abordagem mais qualitativa das informações contidas nos currículos, verificou-se o extrato Qualis de cada periódico científico no quais os docentes/pesquisadores do PPGS publicaram seus artigos. Qualis é o conjunto de procedimentos utilizados pela CAPES para estratificação da qualidade da produção intelectual dos programas de pósgraduação. O Qualis Periódicos possui indicadores divididos em oito categorias, em ordem decrescente de valor: A1, A2, B1, B2, B3, B4, B5 e C. Foi importante realizar esta verificação para fins de constatação da qualidade da produção intelectual do PPGS, pois este é um importante aspecto considerado nas avaliações trienais da CAPES. Como resultado percebeu-se que dos 61 artigos de periódicos publicados pelo corpo docente do PPGS, 50 foram em periódicos com Qualis e 11 em periódicos sem extrato
Qualis. A distribuição da quantidade de artigos de periódicos nos extratos determinados pela CAPES podem ser visualizados no Quadro 1 (na página seguinte). Quadro 1 Quantidade de artigos publicados por extrato Qualis Extrato Qualis Periódicos Quantidade de Publicações A1 6 A2 4 B1 3 B2 19 B3 3 B4 9 B5 4 C 2 Em relação à distribuição da publicação por periódicos bem avaliados no Qualis, identificou-se que os docentes voltaram suas publicações para veículos com classificação A ou B. Merece destaque mencionar que a maior quantidade de artigos publicados foi em periódicos B2 e B4, com respectivamente 19 e 9 publicações. 5 CONSIDERAÇÕES FINAIS Ao longo dos anos a Plataforma Lattes se consolidou como um importante repositório de informações relevantes à memória científica e tecnológica nacional. Isto possibilitou maior profissionalização e padronização da gestão da informação do SNCTI à medida que a plataforma é reconhecida em todo cenário nacional como instrumento de apoio às políticas de CT&I. Com isto, o papel da Plataforma Lattes foi se expandindo, e sua utilidade à tomada de decisão no âmbito da Gestão de CT&I foi ganhando elevado grau de maturidade, permitindo que os gestores do setor consultassem informações na base e aplicassem metodologias para a obtenção de indicadores de caráter decisório, subsidiando o planejamento e execução de suas atividades. Ainda que existam metodologias relevantes e pertinentes para a gestão em ciência, tecnologia e inovação, estas ainda podem ser aperfeiçoadas, de forma que propiciem maiores garantias aos indicadores, tornando-os cada vez mais confiáveis e sólidos. Devido à regulação exercida pela CAPES nos programas de pós-graduação Stricto Sensu, as normas foram se tornando mais rígidas e dinâmicas, demandando novos
instrumentos de gestão que pudessem adaptar a realidade dos programas de pós-graduação de todo o Brasil às exigências que lhes eram solicitadas, o que abre um importante espaço para a utilização de indicadores de CT&I. Desta forma, este trabalho mostrou novas possibilidades para a geração de indicadores científicos confiáveis e atualizados da produção científica nacional a um baixo custo. Contudo, fica expressa a preocupação com o destino destes indicadores, afinal, de nada valerá gerar indicadores seguros, se estes não puderem servir a uma finalidade específica no contexto do SNCTI. Estes devem ser úteis, tanto em escala regional (Programas de pósgraduação e Pró-reitorias de Pesquisa), quanto em escalas macros, como as Políticas de CT&I determinadas pelo CNPq, CAPES e outras agências e órgãos reguladores.
SCIENTIFIC INDICATORS: An analysis of Production of the Post-Graduate Program in Sociology (PPGS) UFPE from the curriculums of the Lattes Platform (PL) ABSTRACT The Science and technology indicators are known to be important for the management of Science, Technology and Innovation (ST&I), as quantitatively demonstrate trends and variables of the sector. Its construction and analysis are included as factors inducing the development of strategies and action plans, whether in the public or private. In the case of the Universidade Federal de Pernambuco-UFPE (Federal University of Pernambuco) (UFPE), the indicators serve as benchmarks for policy formulation and decision making. Thus, this study aims to analyze the scientific production of the Post-Graduate (Masters and PhD) in Sociology (PPGS-UFPE) for the period between the years 2007 to 2009 (the last three years evaluated by the Department of Personnel Training Higher Education - CAPES -). As such, there is the collection of resumes of available teachers in the Lattes Platform (PL) through the tool "ScriptLattes", which compiled the lists of scientific production. Then there was a qualitative and quantitative analysis of publications in order to identify key issues and trends of scientific production, with a view to proposing a methodology for generating scientific indicators that can support decision making in the management of C, T & I. Among the key findings were identified within the total quantity of publications, the ebbs and flows of scientific program, the average annual publications, the main means of communication, the level of Qualis CAPES journals, major collaborative networks of teachers, the most influential researchers, and groups and research lines of distinction. Keywords: Science and technology indicators; Lattes Database; Indicators PPGS-UFPE; Scientific Production. REFERÊNCIAS ASTON, W. B.; KLAVANS, R. A.. Keeping abreast of science and technology: technical intelligence for business. Columbus, OH: Batelle Press, 1997. 560p. BRISOLLA, S. N. Indicadores para apoio à tomada de decisão. Ciência da Informação, Brasília, v. 27, n. 2, p. 221-225, maio/ago. 1998. FUNDAÇÃO DE AMPARO À CIÊNCIA E TECNOLOGIA DO ESTADO DE PERNAMBUCO (FACEPE). Indicadores. Disponível em: <http://www.facepe.br/modules.php?name=content&pa=showpage&pid=29>. Acesso em: 26 out. 2010. FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO (FAPESP). Indicadores de ciência, tecnologia e inovação em São Paulo: 2001. Organização de Francisco Romeu Landi. São Paulo: FAPESP, 2002. p. 488. JANNUZZI, P. M. Considerações sobre o uso, mau uso e abuso de indicadores sociais na avaliação de políticas públicas municipais. Revista de Administração Pública, Rio de Janeiro, v. 36, n. 1, p. 51-72, 2002. KONDO, E. K. Desenvolvendo indicadores estratégicos em ciência e tecnologia: as principais questões. Ciência da Informação, Brasília, DF, v. 27, n. 2, p. 128-133, maio/ago 1998. MACIAS-CHAPULA, C. A. O papel da informetria e da cientometria e sua perspectiva nacional e internacional. Ciência da Informação, Brasília, DF, v. 27, n. 2, p. 134-140, maio/ago., 1998.
MUGNAINI, R.; JANNUZZI, P. M.; QUONIAM, L.. Indicadores bibliométricos da produção científica brasileira: uma análise a partir da base Pascal. Ciência da Informação, Brasília, v. 33, n. 2, p. 123-131, maio/ago. 2004. MUNIZ, P. F.; CORRÊA, D. L. V.; FERREIRA, M. S. A plataforma lattes como repositório da memória científica do Departamento de Ciência da Informação da UFPE. In: SILVA, F. M. et al. Estudos sobre tecnologia, ciência e gestão da informação. Recife: NECTAR, 2010. OKUBO, Y. Bibliometric indicators and analysis of research systems: methods and examples. Paris: OECD, 1997, 69 p. (STI Working Papers, 1997/1). PROGRAMA DE PÓS-GRADUAÇÃO EM SOCIOLOGIA DA UFPE. Apresentação. Disponível em: <http://www.ufpe.br/ppgs/index.php?option=com_content&view=article&id=300&itemid=17 5>. Acesso em: 10 dez. 2010. SANTOS, R. N. M.; KOBASHI, N. Y.. Aspectos metodológicos da produção de indicadores em ciência e tecnologia. In: VI Encontro Nacional de Ciência da Informação, 2005, Salvador. Informação, Conhecimento e Sociedade Digital, 2005. SILVA, Fábio Mascarenhas e. Organização da Informação em sistemas eletrônicos abertos de Informação Científica & Tecnológica: Análise da Plataforma Lattes. 2007. Tese (Doutorado em Ciência da Informação) Departamento de Biblioteconomia e Documentação, Universidade de São Paulo, São Paulo, 2007. SPINAK, E. Indicadores cienciometricos. Ciência da Informação, Brasília, v. 27, n. 2, p. 141-148, maio/ago. 1998. Los análisis cuantitativos de la literatura cientifica y su validez pata juzgar la producción latinoamericana. Bol. Oficina Sanit. Panamer, v. 120, n. 2, p. 139-47, 1996. TRZESNIAK, P. Indicadores quantitativos: reflexões que antecedem seu estabelecimento. Ciência da Informação, Brasília, DF, v. 27, n. 2, p. 159-164, maio/ago. 1998. VELHO, L. M. L. S.. Estratégias para um sistema de indicadores de C&T no Brasil. Parcerias Estratégicas, Brasília, Brasil, v. 13, n. -, p. 109-121, 2001.. Indicadores de C&T: Antecedentes e Estratégias. In: IV Taller Iberoamericano/Interamenricano de Indicadores de Ciencia y Tecnologia, 1999, México. Anais del IV Taller Iberoamericano/Interamenricano de Indicadores de Ciencia y Tecnologia. México: RICYT, 1999. p. 45-67.