Autoria: Carolina Rodrigues de Souza, Pierre Ohayon

Transcrição

1 Indicadores de Ciência, Tecnologia e Inovação na Fundação Oswaldo Cruz Fiocruz: Grupos de Pesquisa Atividades em Desenvolvimento Produção Técnico-Científica Resumo Autoria: Carolina Rodrigues de Souza, Pierre Ohayon O objetivo geral do estudo é analisar a maneira pela qual o IOC Instituto Oswaldo Cruz/Fiocruz se adapta ao Plano Plurianual do Governo Federal, alcançando assim sua função social como instituição pública. Para tanto, apontam-se os Indicadores de Ciência, Tecnologia e Inovação (CT&I), focados nos seus Grupos de pesquisa, atividades e produção técnicocientífica. É objetivo específico do estudo propor no âmbito do IOC indicadores que valorizem a transdisciplinaridade na produção do conhecimento como ferramenta para acompanhar e avaliar suas atividades técnico-científicas. Essa pesquisa é interdisciplinar e de caráter exploratório, além de descritiva. É igualmente aplicada, pela necessidade de subsidiar o IOC, na consolidação de um sistema pertinente de indicadores de CT&I, focados nos seus Grupos de pesquisa. Nota-se que a instituição estudada utiliza uma abordagem tradicional na apresentação de indicadores, restrita à divulgação de resultados em relação à produção bibliográfica e tecnológica. O enfoque da instituição explica-se pelo fato dela também atuar no desenvolvimento de atividades de produção, armazenamento, análise e difusão de informações em ciência, tecnologia e inovação para a saúde. O estudo sugere novos indicadores pertinentes ao contexto institucional. 1. Introdução A globalização, a competição cada vez maior, a complexidade e a rapidez das evoluções no campo da ciência, tecnologia e inovação (CT&I), o aumento das incertezas impõem em nível de governo e de organizações de C&T novos modelos de tomada decisão e de ação. A Avaliação e a Análise Estratégica e Prospectiva (AEP) são funções essenciais para o estabelecimento de políticas de CT&I e se fundamentam em documentos analíticos de base que constituem a estrutura cognitiva e factual a partir da qual se constituirão e se confrontarão as posições dos diferentes atores concernidos por uma decisão ou recomendação. Esses documentos de base são constituídos de informações, essencialmente quantitativas, mais freqüentemente apresentadas sob a forma de indicadores. A especificidade dos indicadores em relação a outras categorias de dados quantitativos é tal que estes remetem explicitamente a um projeto ou programa, uma estratégia de desenvolvimento ou mesmo a um determinado ator do sistema de CT&I. Por isso, os indicadores, apoiando-se em dados estatísticos, requerem freqüentemente um trabalho complementar que permite clarear um problema preciso. De fato, os tomadores de decisão reconhecem que é necessário não só dispor de uma base de dados confiável e efetiva sobre CT&I, como também dispor de um sistema de indicadores capaz de dar conta da difícil tarefa de bem avaliar a aplicação dos recursos públicos. Observam-se, ainda hoje, em nível nacional e regional, poucas iniciativas para a elaboração de indicadores de CT&I a exemplo de documentos analíticos produzidos pelo MCT - Ministério da Ciência e Tecnologia ou mesmo FAPESP Fundação de Amparo à Pesquisa do Estado de São Paulo (VIOTTI e MACEDO, 2003; FAPESP, 2005). Verificam-se, também, em nível institucional, esforços isolados na construção e implementação de um sistema consolidado de indicadores de CT&I capazes de avaliar eficaz e adequadamente os resultados dos projetos e programas de pesquisa e desenvolvimento (P&D). 1

2 No âmbito do Ministério da Saúde, a Fundação Oswaldo Cruz Fiocruz vem investindo num planejamento estratégico formal traduzido em uma negociação interna e externa quanto ao estabelecimento de compromissos em torno da missão institucional, não só pela necessidade de priorizar e alocar recursos cada vez mais escassos do orçamento público, como também pela necessidade de estabelecer políticas institucionais congruentes com a Política Nacional das áreas em que atua. Esse desafio é ainda maior não só devido ao tamanho e à complexidade da Fiocruz (14 Unidades Técnico-Científicas) como também pela especificidade de cada uma de suas áreas. Esta mesma preocupação por resultados pode também ser percebida em nível das organizações multilaterais do Sistema das Nações Unidas. Dentre elas destaca-se a Organização Mundial da Saúde, sediada em Genebra, como órgão notavelmente de fomento à pesquisa e Desenvolvimento Tecnológico (P&DT) na área de saúde pública. 2. Objetivos do Estudo O objetivo geral do estudo é analisar a maneira pela qual o IOC Instituto Oswaldo Cruz/Fiocruz se adapta ao Plano Plurianual do Governo Federal, alcançando assim sua função social como instituição pública. Trata-se de focar a atenção nos seus Grupos de pesquisa, atividades e produção técnico-científica. É objetivo específico do estudo propor novos indicadores pertinentes que valorizem a transdisciplinaridade na produção do conhecimento científico, oferecendo ao IOC mais uma ferramenta para acompanhar e avaliar as atividades e produção técnico-científica dos seus Grupos de pesquisa. 3. Metodologia Essa pesquisa é interdisciplinar e de caráter exploratório (VASCONCELOS, 2002) uma vez que visa familiarizar-se com o fenômeno em estudo (sistema de indicadores de Grupos de P&D em nível institucional) e obter compreensão sobre ele (GIL, 1999, p. 43). É também descritiva, já que tem o propósito de observar fenômenos procurando descrevê-los, classificálos e interpretá-los (OLIVEIRA, 2007, p. 68). É igualmente aplicada (GIL, 1999, p. 44) pela necessidade de subsidiar a Fiocruz na consolidação de um sistema pertinente de indicadores de CT&I, notavelmente de Grupos de P&D. O método de pesquisa a ser utilizado neste projeto será essencialmente quantitativo conforme classificação de Richardson (1999), caracterizando-se pelo emprego de quantificação, tanto na coleta de dados como no tratamento da informação (COOPER e SCHINDLER, 2003, P. 367). O meio de investigação envolve pesquisa bibliográfica e busca documental (BALESTRINI, 1997, p. 136). O universo de estudo abrange os Grupos de P&D da Fiocruz que alimentam as bases de dados em nível institucional e nacional (MCT Ministério da Ciência e Tecnologia e MS Ministério da Saúde). 4. Aspectos Conceituais Para a realização da pesquisa foi efetuada uma ampla revisão conceitual na literatura especializada. No entanto, somente alguns dos principais conceitos serão aqui apresentados e relacionados com o modelo de indicadores proposto. 2

3 4.1 Avaliações Entende-se por avaliação uma coleção sistemática de informações acerca de atividades, características e resultados (outcomes) de ações para uso de pessoas específicas com a finalidade de reduzir incertezas, melhorar a efetividade e tomar decisões, em relação ao que estas ações estão fazendo e influenciando. (CLARK, 1999, p. 14 apud LIMA, 2004, p. 6). A avaliação da Pesquisa e Desenvolvimento Tecnológico (P&D) apoiada por recursos públicos merece crescente atenção à medida que os recursos destinados para essas atividades aumentam e em que há uma expectativa crescente em relação aos retornos econômicos e sociais da pesquisa (COZZENS, 2000). Portanto, a avaliação vem a ser uma resposta da eficácia e eficiência do uso dos recursos públicos nas atividades de CT&I (OHAYON, 2007). No que diz respeito à eficiência e à eficácia, o objetivo é mensurar o nível de consecução de metas propostas a partir de recursos investidos, de maneira a produzir um conjunto de indicadores de produtividade. Quanto à efetividade, tem por fim verificar o cumprimento da missão e objetivos estabelecidos para as políticas e projetos e sua avaliação se processa na verificação dos efeitos sobre o alvo destas ações. (CESARO, 2000, p ). O papel da avaliação é permitir a reflexão sobre os dados que esses indicadores apontam a fim de subsidiar ou justificar as ações a serem tomadas nas questões relacionadas à administração das atividades de CT&I. Assim, encontram-se no conceito de avaliação três importantes aspectos: o ato de medição e do controle; a congruência entre o desempenho e os objetivos; e o processo de julgamento por um profissional (OHAYON, 2007, p. 16). 4.2 Indicadores Segundo Ohayon (2007), os indicadores são observações e medidas, freqüentemente quantitativas, apoiadas sobre dados verificáveis e controláveis e, sobre parâmetros, definindo o estado e a dinâmica de CT&I. Para Brisolla (1998), os indicadores dão pistas de fenômenos que não são facilmente mensuráveis devido à sua complexidade. A autora afirma que não se pode cometer o erro de achar que o indicador irá explicar todo o processo, já que funciona apenas como um meio de prestar informação à cerca do fenômeno. Martin et al. (1995 apud Brisolla 1998, p ) ressaltam que os indicadores somente serão validados caso seja possível produzir com regularidade para a formação de séries temporais a fim de permitir e observar uma tendência no tempo. Ademais, os indicadores devem permitir enfocar diferentes áreas e especialidades, propiciar comparação internacional ou de desagregação das estatísticas, ou ainda possibilitar estudar especificamente um centro ou instituto de pesquisa. Outro ponto importante aos dados é a sua ampla divulgação e acessibilidade ao público a fim de permitir o processo de revisão pelos pares com o objetivo de sugerir uma redistribuição dos recursos de CT&I a partir dos impactos de cada atividade. Brisolla (1998) aponta a necessidade de se ter um banco de dados sobre CT&I, a fim de permitir a construção de indicadores robustos capazes de legitimá-los para servir de base em qualquer tomada de decisão. Ademais, os indicadores não devem apenas representar somente insumos e resultados das instituições científicas, mas devem também representar e estabelecer uma relação de causa-efeito entre a atividade cientifica e tecnológica e o impacto provocado por essa atividade no sistema socioeconômico. 3

4 Para Ohayon (2007), os indicadores devem ser agrupados em dimensões, a saber: indicadores de input, de output, de processos, de resultados diretos, resultados indiretos, de utilização dos resultados e dos impactos. Estes grupos ou dimensões de indicadores seriam subdivididos em outras subdimensões de indicadores. Os indicadores de insumo consistiriam basicamente nos recursos financeiros, materiais, humanos e organizacionais. Os outputs diretos seriam obtidos por meio da atividade-fim da instituição de pesquisa, isto é, são seus resultados de atividade. Os indicadores de resultado indireto consistiriam na contribuição cientifica em si, como patentes, produção de pesquisa e inovação. Liberal (2005) aponta a necessidade de desenvolvimento de indicadores de impacto, isto é, indicadores que mensurem os resultados das atividades de CT&I na sociedade. Portanto, os indicadores de impacto ultrapassam o marco inicial dos indicadores de resultados que avalia o produto direto da atividade científica ou tecnológica, como publicações, citações, patentes, inovações, e passa a se preocupar com a mensuração do crescimento, do avanço na qualidade de vida da população nas várias dimensões e condições: econômica, social, política, cultural entre outras. (LIBERAL, 2005, p. 33). 5. A Fundação Oswaldo Cruz e seu Projeto Institucional A Fundação Oswaldo Cruz (Fiocruz) é um dos mais importantes institutos de pesquisa do Brasil e tem como missão Gerar, absorver e difundir conhecimentos científicos e tecnológicos em saúde pelo desenvolvimento integrado em atividade de pesquisa e desenvolvimento tecnológico, ensino, produção de bens e insumos, de prestação de serviços de referência e assistência, informação e comunicação em C&T em Saúde, com a finalidade de atender as demandas do Ministério da Saúde, através do apoio estratégico ao Sistema Único de Saúde (SUS) e a melhoria da qualidade de vida da sociedade como um todo. 1 Para atender à política nacional de inovação, a Conferência Nacional de Ciência, Tecnologia e Inovação, coordenada pelo MCT 2, destacou a necessidade de promover a implementação de sistemas de inovação em diferentes níveis no País. Para responder a essa questão, a Fiocruz identificou a necessidade de elaborar uma visão de futuro, que direcionasse um plano estratégico alicerçado na identificação de demandas sóciosanitárias, das políticas de Estado e das transformações das fronteiras em C&T, confrontandoas com a competência específica acumulada pela Instituição e sua capacidade de atender, de forma competitiva, a novos desafios. Para isso, a Fiocruz deve prover um sistema organizacional e de infra-estrutura que incentive a inovação e a criatividade de seus pesquisadores, articulando a associação de competência individuais à lógica institucional maior (Plano Quadrienal ) 3. A presença de atividades de produção na Fiocruz demonstra a importância de sua participação na cadeia nacional de inovação. O processo de capacitação tecnológica da Fiocruz exige, entretanto, uma maior aproximação entre as unidades de produção e de pesquisa (Termo de Referência para o IV Congresso Interno 2003) 4. Em instituições cuja missão é predominantemente acadêmica, as metas de CT&I costumam ter um forte componente auto referenciado, isto é, baseadas em objetivos de investigação estabelecidos pelos próprios grupos de pesquisa, com algumas exceções vinculadas a programas de indução ou fomento formulados por agências públicas ou privadas nacionais ou estrangeiras. 4

5 A alternativa escolhida pela Fiocruz opõe à auto referência programática, o alinhamento estratégico, e ao financiamento de estruturas, o financiamento de projetos. Assumindo a noção de Projeto, a Fiocruz vem construindo um processo que permita maximizar seu componente profissional científico como elemento estratégico para o desenvolvimento de um Projeto de país. Neste sentido, busca-se o alinhamento do Projeto Institucional com o Projeto de desenvolvimento econômico-social brasileiro, expresso no Plano Plurianual do Governo Federal. No contexto de uma estruturação do planejamento governamental por programas conjuntos de ações voltados para reverter situações problema a construção do modelo teórico para a avaliação do desempenho e formulação de indicadores deve incluir a especificação do(s) problema(s), a população alvo e as condições do contexto e o conteúdo do Plano Estratégico, incluindo os objetivos e resultados esperados (HARTZ, 1999; TROSA, 2001). A análise dos produtos gerados leva aos indicadores de eficácia; a avaliação dos recursos empregados aos de eficiência; e as análises da situação problema, do público alvo, dos projetos estratégicos, objetivos e resultados esperados, remetem aos indicadores de efetividade, ou seja, aqueles que melhor demonstram o quanto a implantação do plano colaborou para eliminar ou reduzir o problema. Parte-se do princípio de que um indicador só pode ser compreendido, julgado válido ou interpretado, quando se conhece a lógica com a qual foi elaborado o Programa. Esta abordagem, simples e pragmática, permite tratar o programa em sua pluralidade e também na singularidade de suas ações, objetivos e projetos. A proposta formulada consiste em estruturar um sistema de indicadores e de informações necessárias à avaliação do desempenho institucional a partir da explicitação da lógica dos seus programas e ações do Plano Plurianual do Governo Federal PPA. Com base no Plano Plurianual elabora-se anualmente o Plano Anual (PA) da Fiocruz, desdobrando cada Programa ministerial e Ação objeto da Fiocruz em objetivos institucionais e projetos das suas respectivas unidades executoras. Esse procedimento é registrado e acompanhado através de um sistema informatizado de programação e monitoramento denominado Sistema Integrado de Informações Gerenciais (SIIG), implantado no início de Desta forma, os indicadores classicamente sistematizados para permitir a avaliação da eficácia, eficiência e efetividade, estarão alicerçados no alinhamento do Plano e na alocação de insumos aos projetos. 6. Os Indicadores Estratégicos Os indicadores estratégicos são gerados a partir da definição da visão estratégica da organização, ou seja, da definição dos valores, da missão, da visão de futuro e dos fatores críticos de sucesso (ENAP 2002) 5. Os indicadores estratégicos informam o quanto a organização se encontra na direção da consecução de sua visão. Refletem o desempenho em relação aos fatores críticos de sucesso e são utilizados em instituições que têm sua gestão voltada para resultados. 5

6 6.1 Indicadores de Eficiência Medem a proporção de insumos com relação às saídas dos processos (produtos). Na Fiocruz são trabalhados dois tipos principais de indicadores, os de eficiência orçamentária e os de eficiência do pessoal. A elaboração de indicadores de eficiência constitui-se em um importante desafio na Fiocruz. A sua dimensão, a variedade e a inter-relação das ações onde atua e a quantidade de objetivos, processos e projetos impõem dificuldades metodológicas para a realização de formação de custos em graus aceitáveis de confiabilidade. Para avançar na composição dos indicadores de eficiência, a Fiocruz está implantando uma metodologia para acompanhamento dos gastos por ação programática e por objetivos institucionais. Tal procedimento, que vincula a realização das compras aos objetivos constantes no Plano Anual de cada unidade, permitirá a identificação dos gastos efetuados para a execução da missão institucional. Embora a Fiocruz seja uma unidade governamental, recebe recursos captados de outras fontes que não o seu orçamento regular como a sua Fundação de Apoio ao Desenvolvimento Científico e Tecnológico (Fiotec), portarias do Fundo Nacional de Saúde, recursos provenientes de agências financiadoras, dentre outras. Desde 2005 a Fiocruz vem, progressivamente, conseguindo incorporar todas as fontes de receita nos seus cálculos dos indicadores de eficiência. São exemplos de indicadores de eficiência orçamentária atualmente utilizados na Fiocruz: valor orçamentário médio por pesquisa realizada ; valor orçamentário médio por produto/ método desenvolvido ; valor orçamentário médio por egresso de curso de pós-graduação lato sensu, valor orçamentário médio por unidade farmacêutica produzida, entre outros. No que diz respeito à eficiência de pessoal utiliza-se como principal indicador o número médio de pesquisas publicadas por pesquisador. 6.2 Indicadores de Eficácia Entende-se por indicadores de eficácia aqueles que permitem avaliar o grau de cumprimento de uma meta previamente estabelecida. Do ponto de vista da eficácia do Projeto Fiocruz, o primeiro desafio reside no estabelecimento de um objeto referencial externo para a fixação de metas cujo alcance, mediado pela provisão necessária de recursos, possa ser avaliado. Um aspecto metodológico importante para a definição dos indicadores de eficácia foi o estabelecimento dos produtos para cada ação do PPA. Os produtos são decompostos em subprodutos que auxiliam na melhor caracterização dos resultados imediatos de cada ação. Assim, por exemplo, ao produto do Desenvolvimento Tecnológico patente, correspondem os seguintes subprodutos: depósito de patente nacional, depósito de patente internacional, concessão de patente nacional, concessão de patente internacional. Os produtos mais importantes são aqueles denominados produtos índice das ações. Ou seja, aqueles que melhor as representam. No caso do Desenvolvimento Tecnológico, por exemplo, o produto índice é o insumo/ método desenvolvido, assim como na Formação de Recursos Humanos o egresso constitui-se no produto principal. 6

7 São exemplos de indicadores de eficácia utilizados na Fiocruz o percentual de pesquisas realizadas ; o percentual de insumos/ métodos desenvolvidos ; o percentual de egressos de pós-graduação stricto sensu, entre outros. Todos eles têm como referência a meta estabelecida. 6.3 Indicadores de Efetividade São aqueles que objetivam medir o grau de modificação da situação problema (impacto) ou de alcance de um objetivo a partir de uma intervenção realizada. Na Fiocruz os indicadores de efetividade buscam estar de acordo com os resultados esperados e os objetivos de médio e longo prazo do Plano Plurianual. Sua função principal é indicar se as atividades que a instituição vem realizando têm capacidade ou potencial para impactar na situação problema que originou o Programa. Entre os principais problemas a serem superados no âmbito da ciência e tecnologia em saúde no Brasil destacam-se: a elevada dependência de conhecimentos gerados em outros países; a dissociação entre pesquisas realizadas e carga das doenças, em especial às doenças negligenciadas; a debilidade das relações entre a produção do conhecimento e a sua utilização para a definição de políticas e programas de saúde; a dificuldade para reter de modo estável trabalhadores qualificados para a pesquisa; as disparidades na produção científica e tecnológica entre as regiões do País; a dificuldade para garantir acesso eqüitativo a bens e insumos de saúde à população e; o elevado déficit da balança comercial. Assim, os indicadores de efetividade da Fiocruz buscam captar em que medida a instituição está contribuindo para a resolução destes problemas. É importante ressaltar que em função da natureza das atividades de CT&I em saúde, nem sempre é possível o estabelecimento de uma relação direta entre a atividade científica e a resolução da situação problema. Deste modo, vários dos indicadores tomam a efetividade como o grau de aproximação da instituição com as prioridades nacionais na área da saúde. O percentual de pesquisas realizadas em consonância com a Agenda Nacional de Prioridades de Pesquisa em Saúde e o percentual de pesquisas realizadas voltadas para as doenças negligenciadas dizem respeito aos problemas de integração entre a produção do conhecimento e a sua utilização nas políticas e programas de saúde. Já o indicador percentual de insumos desenvolvidos incorporados ao processo produtivo, por exemplo, relaciona-se à aplicabilidade imediata do insumo desenvolvido à prática do SUS e à prioridade de reduzir o déficit setorial da balança comercial. 7. Apresentação dos Indicadores de P&D no IOC Os indicadores de resultados do Plano de Objetivos e Metas (PO&M) têm sido adjuvante para a alocação do orçamento da Fiocruz entre suas unidades. Segundo Willcox (2004), são eles: Programa de Pesquisa Publicação indexada; Publicação não indexada; 7

8 Autoria de livro; Capítulo de livro; Conferência em eventos científicos; Organização/Coordenação de eventos científicos. Programa de Desenvolvimento Tecnológico Patente concedida; Desenvolvimento tecnológico de produtos/processos; Tecnologia adquirida; Tecnologia transferida. O IOC não tem tradição de parcerias com o setor industrial. A cultura institucional foi construída com base na geração e difusão de conhecimentos (especialmente publicações científicas) e sua contribuição para a apropriação do conhecimento pelo setor industrial, ou seja, para gerar inovações, resultando em novos produtos ou novos processos colocados no mercado, ainda é bastante incipiente. O IOC também não tem tradição em transferir conhecimentos científicos internamente, ou de estabelecer uma agenda de pesquisa (básica e aplicada) voltada para o interesse das unidades produtivas da Fiocruz. Com base no relatório anual de atividades do IOC (2001) 6, verifica-se que quando o Instituto avalia o desempenho institucional os indicadores mais valorizados ainda são a publicação indexada, a publicação não indexada, a organização de livro, de capítulo de livro, a coordenação de congresso científico e a autoria de livro. Ou seja, apesar de todos os esforços para utilizar a transdisciplinaridade (modo 2; Gibbons et al. 1994) na produção de conhecimento, a Instituição ainda segue a linearidade (modo 1; Gibbons et al. 1994). Embora publique em seu relatório anual apenas os dados de produção científica referentes às publicações dos seus pesquisadores, o IOC utiliza os seguintes indicadores, segundo Willcox (2004): publicação científica indexada; publicação não indexada/divulgação científica; resumo internacional; resumo nacional; resumo em jornal científico; palestra, conferência, simpósio, mesa redonda internacional; palestra, conferência, simpósio, mesa redonda nacional; palestra, conferência, simpósio, mesa redonda eventual; organização de livro publicado; capítulo de livro publicado; publicação técnica (manuais, etc.); organização de congresso científico internacional (>500 participantes); organização de congresso científico internacional (>100 participantes); organização de congresso científico internacional (<100 participantes); organização de congresso científico nacional (>500 participantes); organização de congresso científico nacional (>100 participantes); organização de congresso científico nacional (<100 participantes); organização de reunião científica regional; 8

9 participação em comissões de C&T; pareceres ad hoc; prêmios recebidos em C&T; captação de recursos externos; orientação de recursos externos; orientação de doutorado; elaboração de doutorado no IOC; elaboração de doutorado externo; orientação de monografia Bach; participação em bancas/concursos; coordenação de disciplina no IOC; aulas-carga horária no IOC; disciplina ministrada em outras instituições; estágios/treinamento; manutenção de Centro de Referência; manutenção de Coleções Científicas; fornecimento de material biológico; desenvolvimento/produção kits/ insumos; produto patenteado; assessorias técnicas; exame clínico/laboratorial. Com a inclusão de novos indicadores, que valorizem mais a transdisciplinaridade na produção do conhecimento científico, os cientistas se sentirão mais inclinados a buscar a produção de inovações em seus projetos de pesquisa e o Núcleo de Planejamento Estratégico do IOC irá dispor de ferramentas para acompanhar, avaliar e mensurar a inovação do Instituto. 8. Análise dos Indicadores Adotados pelo IOC A consolidação de um sistema de indicadores passa por um processo de contínuo aprendizado, onde o questionamento constante da validade de cada indicador e de seu potencial para orientar os rumos da instituição é um componente importante. A seguir, faz-se a discussão das potencialidades e dos principais desafios encontrados até o momento na utilização dos indicadores acima apresentados. A adoção do produto pesquisa realizada como componente central do indicador de eficácia representa uma modificação importante na avaliação desta atividade que é comumente acompanhada e mensurada exclusivamente pelo número de publicações, especialmente em revistas indexadas. Ainda que a publicação seja componente fundamental para a avaliação das pesquisas, quando do alinhamento programático dos projetos a objetivos institucionais e da alocação orçamentária para a sua realização dentro de um prazo determinado, a avaliação do andamento dos projetos tem de se dar com base no que foi efetivamente realizado, tenha o projeto neste período gerado publicação ou não. O principal problema para a consolidação do indicador percentual de pesquisa realizada em relação à meta tem sido a dificuldade dos pesquisadores e gestores compreenderem o significado de pesquisa realizada e de se adaptarem a ele. Para superar tal dificuldade 9

10 lançou-se mão de notas técnicas que padronizam os conceitos e as evidências dos produtos etapa de pesquisa e pesquisa concluída que constituem o produto pesquisa realizada. Os indicadores de eficiência utilizados na avaliação da Pesquisa também apresentam algumas particularidades que merecem análise. Um indicador clássico no âmbito das instituições de CT&I como é o caso do número médio de publicações por pesquisador, apresenta algumas dificuldades na Fiocruz. Há a participação de trabalhadores que não são do quadro permanente, como é o caso dos pesquisadores visitantes, mas que contribuem para a produtividade em termos de publicações. Por fim, há ainda um quantitativo de pesquisas que são provenientes dos não-doutores e que também são contabilizados na produção total. A opção por manter como denominador do indicador o número de pesquisadores doutores não pretende desconsiderar estas variâncias. No entanto, parte-se do princípio de que é deste grupo a responsabilidade principal pela produção científica da Fiocruz e que em torno deles se agrupam muitos dos outros que também contribuem para ampliar o número de publicações. Por fim, um breve comentário sobre o indicador percentual de pesquisas publicadas em revistas de prestígio na comunidade científica. Embora a publicação nestas revistas seja um dos objetivos da maioria dos pesquisadores e instituições de CT&I, não deve ser tomado como um valor absoluto. A valorização da publicação pode ser distinta dependendo do contexto e do objeto pesquisado. Deste modo, a divulgação interna, em meios de fácil acesso aos trabalhadores do SUS pode, em determinado momento, ser mais relevante que uma publicação em revista internacional altamente qualificada pelo ISI - Institute for Scientific Information. Assim, são as opções políticas das instituições e pesquisadores que irão determinar o valor de cada tipo de publicação. Como pode se constatar, o IOC seguindo sua cultura de geração e difusão de conhecimentos tem um grande número de indicadores de produção científica, quase todos ligados à área de publicações. Porém, há poucos indicadores que estimulem o desenvolvimento tecnológico e a transferência de tecnologia, o que torna qualquer iniciativa individual de produção de inovação um ato sem reconhecimento quando da avaliação da produção dos pesquisadores. Considerando-se que o IOC executa diversas atividades de desenvolvimento tecnológico, é incompreensível que haja tão poucos indicadores para avaliar estas atividades. Com o objetivo de contribuir para a valorização das atividades de P&D no IOC propõem-se alguns indicadores/medidas de resultados para as áreas de desenvolvimento tecnológico e de transferência de tecnologia. 9. Indicadores Propostos para o IOC Pela falta de indicadores de Desenvolvimento Tecnológico (DT), apesar de o IOC desenvolver essa atividade, Willcox (2004) propõe alguns indicadores que se adequam à sua realidade: número de pedidos de patentes no País; número de pedidos de patentes no exterior; número de registro de direitos autorais (para materiais educativos e de divulgação científica); número de produtos e protótipos desenvolvidos no ano; número de processos e técnicas desenvolvidos no ano. 10

11 A inclusão destas medidas incentivaria os pesquisadores a buscar o DT como resultado de suas pesquisas, e também conhecer, de forma clara e objetiva, qual o status do DT no Instituto. Apesar do IOC desenvolver atividades de inovação, não consta com indicadores para esta área. O presente estudo propõe a utilização dos seguintes indicadores: royalties recebidos; licenças concedidas; técnicas incorporadas aos serviços de referência; produtos produzidos por Biomanguinhos (Instituto de Tecnologia em Imunobiológicos/Fiocruz) e Farmanguinhos (Instituto de Tecnologia em Fármacos/Fiocruz). Espera-se com essas medidas, incentivar os pesquisadores a buscar parcerias para transformar os produtos gerados em DT em inovações. Os pesquisadores do IOC já desenvolvem parcerias importantes para suas pesquisas. Isto, porém, é feito, muitas vezes, de maneira informal. É de elevada importância que a transferência de tecnologias seja não somente oficializada, mas também incentivada, pois já se sabe que o conhecimento científico é gerado como resultado do trabalho multidisciplinar. Neste sentido, são propostos os seguintes indicadores: curso oferecido; estágio oferecido; treinamento à distância nas universidades ou no campo; programas e projetos de cooperação internacional; programas e projetos de cooperação nacional; produção de áudio, vídeo, manuais, para a divulgação de novas técnicas e métodos; organização da informação para base de dados. As medidas aqui propostas deverão servir para que os pesquisadores se interessem mais pela divulgação de seus trabalhos, não apenas por meio de papers, mas também por meio de um contato direto com outros pesquisadores, de outras instituições. 10. Considerações Finais Na década passada, cresceu a percepção de que a orientação da pesquisa patrocinada por recursos públicos deveria ser orientada pelo mercado e pelas necessidades da sociedade. Concomitantemente, cresceu a aceitação de modelos de pesquisa mais orientados pela demanda de tecnologia, o que vem induzindo ao desenvolvimento do enfoque de P&D. A institucionalização de um sistema de avaliação de desempenho compreende este processo como tecno-político e exige um planejamento com algum método estratégico, de modo a viabilizar o Projeto Institucional. Não se avalia o que não se planeja. O monitoramento e a avaliação devem se dar sobre compromissos concretos. 11

12 À medida que o modelo de gestão evolui, cresce a integração entre projetos, que passam a solucionar problemas mais complexos e de maior impacto social e econômico. Os resultados buscados pela P&D não são mais para a solução de problemas pontuais e disciplinares, e sim para os de maior complexidade, demandando o enlace de várias disciplinas e equipes de pesquisa, para construir blocos de conhecimento complementares, que uma vez integrados vão constituir-se em avanços sociais e econômicos. Neste sentido, o alinhamento com o PPA enquanto estratégia para articular o desempenho da organização aos interesses do país e da sociedade constitui-se em uma alternativa aos tradicionais mecanismos utilizados no âmbito das instituições de CT&I para a formulação de indicadores de desempenho. A partir da observação e análise do trabalho desenvolvido no IOC, é possível inferir que ainda falta aos pesquisadores do Instituto, o hábito do trabalho em rede, do desenvolvimento de projetos multidisciplinares e a consciência de que a ciência, hoje, exige parcerias. Face ao exposto percebe-se a necessidade de se iniciar um movimento de mudança de mentalidade no Instituto não só no que se refere à aplicação da pesquisa, ou seja, a aplicação social do conhecimento gerado em termos de sua incorporação em produtos e processos, mas também no que se refere à avaliação. É importante que se passe a ver a avaliação não como instrumento de cobrança de resultados, mas como uma ferramenta a mais para o acompanhamento e melhoria das atividades desenvolvidas no Instituto. Em um contexto como o brasileiro, onde a capacidade de inovação em saúde é descolada da base científica e tecnológica nacional e das necessidades do sistema de saúde, a adoção de um referencial externo à comunidade científica para a avaliação do seu desempenho pode contribuir para a integração e contextualização da ciência. Este processo (de integração e contextualização da ciência) exige não apenas a definição de novos indicadores, mas também o estabelecimento de novos mecanismos de validação, que vão para além da comunidade científica, alcançando os vários setores da sociedade, e que levem em conta não apenas a confiabilidade do conhecimento, mas principalmente as suas implicações sociais. A Fiocruz, com a criação dos mestrados profissionais (Gestão de Ciência e Tecnologia em Saúde e Mestrado Profissional em Tecnologia de Imunobiológicos) e a implementação do programa induzido PDTIS - Programa de Desenvolvimento Tecnológico em Insumos para a Saúde - já vem se aproximando dessa nova tendência. Espera-se que os indicadores propostos nesse estudo venham a auxiliar no acompanhamento e avaliação das diversas atividades executadas pelos Grupos de pesquisa no âmbito do IOC. NOTAS 1 Relatório Anual de Atividades Instituto Oswaldo Cruz Fiocruz. Rio de Janeiro: Fiocruz, MCT- Ministério da Ciência e Tecnologia Disponível em: < Acesso em: 3 jun

13 3 Plano Quadrienal Fiocruz. Diretrizes para Formulação. Versão de 20/07/2007. Rio de Janeiro: Fiocruz, Termo de Referência IV Congresso Interno da Fiocruz, Rio de Janeiro: Fiocruz, ENAP - Escola Nacional de Administração Pública Apostila de apoio: elaboração de Indicadores de Desempenho Institucional. Brasília, DF: ENAP, Relatório Anual de Atividades Instituto Oswaldo Cruz Fiocruz. Rio de Janeiro: Fiocruz, REFERÊNCIAS BALESTRINI, M. A. Como se elabora el proyecto de investigación. Caracas: BL Servicio Editorial, BRISOLLA, S. N. Indicadores para apoio à tomada de decisão. Ciência da Informação, Brasília, v. 27, n. 2, p , maio/ago Disponível em: < Acesso em: 6 jun CESARO, N. H. Avaliação de Impactos do Projeto de Piscicultura do Pólo de Modernização Tecnológica do Médio Alto Uruguai f. Dissertação. (Mestrado em Administração) - Universidade Federal do Rio Grande do Sul, Porto Alegre, CLARK, A. Evaluation Research. Thousand Oaks/CA: Sage Publications, 1999, p. 14. In: LIMA, N. P. C. Avaliação das Ações de Ciência, Tecnologia e Inovação (CT&I): Reflexões sobre métodos e práticas. Brasília/DF: CGEE, 2004, p. 6. COOPER, D. R.; SCHINDLER, P. S. Métodos de pesquisa em administração. 7ª ed. Porto Alegre: Bookman, COZZENS, S. Assessing federally-supported academic research in the United States. Research Evaluation, Cambridge, v. 9. n. 1, p. 5-10, Apr FAPESP. Indicadores de Ciência, Tecnologia e Inovação em São Paulo São Paulo: FAPESP; GIBBONS, M; LIMOGES, C; NOWOTNY, H; SCWARTZMAN, S; SCOTT, P; TROW, M. The New Production of Knowledge: The Dynamics of Science and Research in Contemporary Societies. SAGE Publications, London, GIL, A. C. Métodos e técnicas de pesquisa social. 5ª edição. São Paulo: Atlas, HARTZ, Z. Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz, LIBERAL, C. G. Indicadores de ciência e tecnologia: conceitos e elementos históricos: Ciência & Opinião, Curitiba, v. 2, n. 1/2, jan./dez Disponível em: 13

14 <cienciaeopiniao.up.edu.br/arquivos/cienciaeopiniao/file/volume3/cienciaopiniao3_art6.pdf >. Acesso em: 5 jun MARTIN, B. R.; IRVINE, J.; CROUCH, D. Science indicators for research policy: a bibliometric analysis of ocean currents and protein. Sussex: University of Sussex, In: BRISOLLA, S. N. Indicadores para apoio à tomada de decisão. Ciência da Informação, Brasília, v. 27, n. 2, p , maio/ago Disponível em: < Acesso em: 6 jun OHAYON, P. Modelo Integrado de Indicadores de Ciência, Tecnologia e Inovação no Estado do Rio de Janeiro. Rio de Janeiro: UFRJ, OLIVEIRA, M. M. Conhecendo alguns tipos de pesquisa. In: Como fazer pesquisa qualitativa. Rio de Janeiro: Vozes, RICHARDSON, R. J. Pesquisa Social: Métodos e Técnicas. 3 ed., São Paulo: Atlas, TROSA, S. Gestão Pública por Resultados: quando o Estado se compromete. Brasília/ Rio de Janeiro: ENAP/Revan, VASCONCELOS, E. M. Complexidade e Pesquisa Interdisciplinar: Epistemologia e Metodologia Operativa. Petrópolis: Vozes, VIOTTI, E. B.; MACEDO, M. de M. (Orgs.) Indicadores de Ciência, Tecnologia e Inovação no Brasil. Campinas/SP: Editora da Unicamp, WILLCOX, L. de C. B. Proposta de Indicadores para a Avaliação do Desenvolvimento Tecnológico, da Transferência de Tecnologia e Inovação no Instituto Oswaldo Cruz Fundação Oswaldo Cruz. 2004, 84f. Dissertação (Mestre Modalidade Profissional em Saúde Pública Escola Nacional de Saúde Pública, Rio de Janeiro, 2004). 14