Avaliação dos projetos de P&D da CHESF: passos metodológicos

Transcrição

1 Avaliação dos projetos de P&D da CHESF: passos metodológicos 1 Edmundo Inácio Jr. (FCA/UNICAMP) Cássio Garcia Ribeiro (Franca/UNESP) André Tosi furtado (DPCT/IG/UNICAMP) Gabriela Silva (DPCT/IG/UNICAMP) Abraham Sicsú(FUNDAJ-UFPE) Luciana Távora (FUNDAJ)

2 Estrutura da apresentação 2 1. Introdução 2. Justificativa 3. Modelo subjacente 4. A tarefa de avaliação 5. Breve histórico do Programa 6. Passos metodológicos 6.1 Populaçãoe amostra 6.2 Pesquisa Documental 6.3 Survey 6.4 Workshops 6.5 População e amostra 6.6 Consolidação dos dados 6.7 Estudos de caso 7. Conclusões

3 1. Introdução Década de 90 processo de privatização do setor de energia elétrica brasileira; Criação da Agência Nacional de Energia Elétrica (ANEEL) 1996; Lei 9.991/2000 obrigatoriedade de investir um percentual mínimo de suas Receitas Operacionais Líquidas(ROL) em projetos de P&D; 3 Lei incentivou as atividades de inovação no setor elétrico;

4 2. Justificativas Utilidade: Ciência e Tecnologia têm importância crescente para o desenvolvimento econômico e social; Controle dos Gastos Governamentais; Contabilidade e Transparência dos Resultados; Alimentar com informações as Políticas de C&T; 4

5 3. Modelo subjacente A escolha do que medir, como e quando e a forma de interpretar os resultados depende de um modelo subjacente de inovação; Enfoque neoclássico percebe o progresso técnico como exógeno; Enfoque Alternativo ou Heterodoxo: modelo interativo de inovação. 5

6 4. A tarefa de avaliação Atribuir impactos econômicose sociais a uma determinada intervenção pública; Hiato temporal entre a produção de conhecimentos e a realização dos impactos; Imprevisibilidade dos resultados do processo de inovação; Atribuição da causalidade; Portanto, eficácia das avaliações é limitada: conhecimento incompleto; interpretações diferentes. 6

7 4. A tarefa de avaliação Não é uma atividade rotineira: exige um importante esforço de pesquisa; Contribui para o entendimento do processo de inovação: abrir a caixa preta; A comunidade de avaliação de P&Dainda não está institucionalizada: publicações em relatórios pouco divulgados; pouco debate científico nacional. 7

8 5. Breve histórico do programa 8 Manual de P&D da Aneel define operacionalmente como deverão ser os projetos de P&D e os programas a serem submetidos anualmente pelas concessionárias Houve alterações entre o Manual de 2001 e de 2008, mas para efeito da avaliação valeram as regras do Manual de 2001 Critérios para Avaliação (Manual 2001) O sucesso de um projeto de P&D depende de dois fatores básicos: da natureza dos produtos quanto à criatividade científica e inovação tecnológica, por um lado, e da sua potencialidade aplicativa pelo outro.

9 5. Breve histórico do programa Arranjo Institucional do Programa Empresa Concessionária Contratante do Projeto de P&D: Determina os objetivos gerais do Projeto Financia o Projeto Gerencia e acompanha a execução do projeto Participa da execução do Projeto Implementa a tecnologia na empresa Comercializa a tecnologia Gerente do Projeto Entidade executora do Projeto de P&D Submete o projeto à entidade executora Determina o conteúdo técnico do Projeto Executa o projeto Coordenador do Projeto Aneel determina as regras gerais de funcionamento do programa de P&D aprova os projetos Acompanha a execução dos projetos 9

10 6. Passos metodológicos Temporalidade: ex-post; Fase: resultados e impactos (in)diretos (não concepção e nem implementação); Indicadores: quanti-qualitativos; Dados: Secundários e primários; Técnicas: pesquisa documental; surveys; workshops; entrevistas para estudos de caso. 10 Objetivo: apresentar a proposta metodológica criada e aplicada para avaliar os projetos de pesquisa e desenvolvimento (P&D) da carteira da ANEEL da Companhia Hidro Elétrica do São Francisco(CHESF).

11 6.1 Populaçãoe amostra Tabela 1 Portfólio de Projetos de P&D da CHESF 11

12 6.2 Pesquisa documental Apoiada em dados secundários contidas nos projetos originais e nos relatórios quadrimestrais dos projetos já concluídos; Analise dos 67 projetos concluídos; Por meio dessas tabulações iniciais foi possível a construção de uma visão geral do portfólio de projetos de P&D da CHESF, auxiliando na elaboração dos questionários aplicados no survey; Dados sobre recursos financeiros, entidades participantes, e áreas tecnológicas abrangidas permitiram atestar a validade da amostra do survey; 12

13 6.3 Survey 13 Abordaram questões não capturadas na pesquisa documental; Pré-teste: aplicados a 3 projetos (Houve 5 versões de ambos os questionários). Questionário autoaplicável, enviado por aos respondentes com uma carta de apresentação. Primeiramente foi feito o contato com os respondentes por telefone, para colocá-los a par do estudo, e assim destacar sua importância para a CHESF; 2 Tipos de Questionários: Coordenador e Gerente que enfocam aspectos complementares e pontos de vistas distintos do processo de inovação

14 Impactos: Econômicos, Sociais e Ambientais 6.3 Survey Variáveis Relevantes: Insumos: recursos humanos mobilizados, recursos financeiros Produtos: produção científica, resultados tecnológicos e não tecnológicos (diretos e indiretos), processo de transferência de tecnologia Mudanças Estruturais: formação de capital humano, mudança organizacional, formação de redes; 14 Relações de Causalidade: Consecução dos Objetivos, grau de contribuição do programa, Visão do Programa

15 6.4 Workshop Após três meses do início do survey, de 134 questionários: 30 questionários recebidos pela equipe, o que representa aproximadamente 22% do conjunto de questionários; Os gerentes e coordenadores foram convidados a participar de dois workshops: Recife, na sede da CHESFenoRiodeJaneiro,sededoCEPEL; 15 Após os workshops houve uma ampliação significativa da taxa de retorno.

16 6.5 Populaçãoeamostra Tabela 2 Projetos concluídos, total e com questionários retornados por entidade, segundo ciclo 16

17 6.6 Consolidação dos dados Tratamento e processamento dos dados; Construção do banco de dados; Criação dos indicadores. 17

18 6.6 Consolidação dos dados Tratamento dados faltantes Mesmo após a fase de validação dos questionários, há ainda ocorrência de: Dados faltantes; Dados incorretos; Digitação errada; 18 Nestes casos pode-se: Excluir da tabulação; Substituir pela média; Voltar a consultar a fonte de informação (normalmente custosa).

19 6.6 Consolidação dos dados Screenshotsdo Banco de Dados 19

20 6.6 Consolidação dos dados Screenshotsdo Banco de Dados 20

21 6.6 Consolidação dos dados Screenshotsdo Banco de Dados 21

22 6.6 Consolidação dos dados Screenshotsdo Banco de Dados 22

23 6.6 Consolidação dos dados 23 Criação dos indicadores Introduzido o conceito de Grau de Paternidade ; Indicadores que o utilizam: Recursos humanos formados; Produção científica; Propriedade intelectual e Novo projeto de P&D conseguido. Informado pelos respondentes; De forma simples, o grau de paternidade expressa em que medida (em uma escala de 0 a 10) o projeto CHESF contribuiu para o alcance de determinado resultado.

24 6.6 Consolidação dos dados Criação dos indicadores A racionalidade por traz desse elemento reside no fato da dificuldade de se isolar os efeitos de outras variáveis em uma relação de causalidade nas ciências sociais. Nesse sentido, tome como exemplo a relação entre a formação de um mestre e sua participação no projeto CHESF. A questão é: a formação desse mestre só foi possível devido a sua participação no projeto? 24 GRAU DE PATERNIDADE Medida subjetiva, conversadora dessa causalidade

25 6.7 Estudos de casos 25 Estudos de caso com o intuito de obter mais profundidade (8 casos) sobre os impacto (econômico, social, ambiental) e as questões de TT; Entrevista semiestrutura com: gerente e usuário da tecnologia; Os critérios para a escolha dos Casos foram os seguintes: Projetos concluídos há mais de dois anos; Projetos cujos questionários indicassem resultados relevantes; Projetos oriundos de diferentes áreas de atuação da empresa; Projetos com resultados em diferentes estágios de implementação, desde a fase de protótipo laboratorial atéadeunidadedeprodução; Projetos de diferentes concepções, desde sócioeconômicos ou ambientais, até os estritamente

26 7.Conclusões:survey 26 Sobre os Insumos Recursos financeiros destinaram-se aos Recursos Humanos de Executora Participação Expressiva dos Recursos Humanos da Chesf Sobre a Implementação Proporção elevada de projetos atrasados Resultados : Elevada Consecução dos Objetivos dos Projetos Expressiva formação de recursos humanos nas entidades executoras e na Chesf Expressiva produção científica tanto da executora como da proponente Expressiva produção tecnológica (2 resultados/projeto) Porém: Entidade Executora e Proponente apresentaram importantes obstáculos internos relacionados à burocracia e falta de prioridade estratégica para a implementação das tecnologias e a transferência Parcela menor das tecnologias alcançou o estágio industrial e

27 7.Conclusões:estudosdeCaso Achados: O sucesso na implantação dependeu basicamente de 2 fatores internos à Chesf: Envolvimento de técnicos da Chesf no desenvolvimento das tecnologias do projeto Alinhamento do projeto com as estratégias e as demandas tecnológicas da Chesf Contudo, observou-se que uma parcela significativa dos casos não implantou e nenhum dos casos transferiu a terceiros as tecnologias 27 Obstáculos identificados nas Entrevistas à Inovação na CHESF Falta de valorização da inovação (percebida muitas vezes como prestação de serviços) pela cultura organizacional da empresa; Falta de preocupação em proteger os novos conhecimentos tecnológicos gerados pelos projetos; Falta de mobilização de esforços complementares; Demora causada pelos procedimentos administrativos dos projetos; Dificuldade para aquisição de equipamentos científicos;

28 7.Conclusões:sugestõesdoEstudo 28 Reforço e reconhecimento da atividade de P&D interna na CHESF Criação de um sistema mais efetivo de gestão da inovação dentro da empresa: Alinhamento estratégico da atividade de P&D Gestão mais eficiente dos projetos de P&D(redução dos custos de transação) Inserção do projeto de P&Dem um projeto de inovação que acompanhe o projeto até sua efetiva implementação Mobilização de recursos para a proteção da propriedade intelectual e a difusão da tecnologia

29 5. Conclusões Tal metodologia revelou-se um instrumento bastante adequado para avaliar deforma mais ampla os desdobramentos dos projetos de P&D; Não há um único método que poderia abranger todas as dimensões dos resultados e impactos decorrentes dos programas de P&D; Permitiu à CHESF avaliar sistematicamente os impactos dos investimentos no programa de P&D. 29

30 Referências 30 ANDRADE, M. Introdução à metodologia do trabalho científico. 3. ed. São Paulo: Atlas, COOPER, D. R.; SCHINDLER, P. S. Métodos de pesquisa em administração. Porto Alegre. Bookman, DODGSON, M.; HINZE, S. Indicators used to measure the innovation process: defects and possiblesremedies. ResearchEvaluation, vol. 8, nº 2, pp , August DOSI, G. The nature of innovative process. In: Dosi, G. et al. (orgs.), Technical Change and Economic Theory, Londres& Nova York: Pinter Publisher, p , GIL, A. C. Como classificar as pesquisas? In: Gil, AC. Como elaborar projetos de pesquisa. 4ª edição. São Paulo: Atlas, p GÜNTHER, H. Como elaborar um questionário. Planejamento de Pesquisa nas Ciências Sociais, n. 1, Brasília DF, KLINE, S; ROSENBERG, N. An Overview of Innovation. In: Landau, R; Rosenberg, N. (orgs.), The Positive Sum Strategy, Washington, DC: National Academy of Press, LAKATOS, M. E.; MARCONI, M. Técnicas de pesquisa. São Paulo: Atlas, p. LOUIS LENGRAND e ASSOCIÉS. SMART INNOVATION: A Practical Guide to Evaluating Innovation Programmes LÜDKE, Menga. & ANDRÉ, Marli E. D. A. Pesquisa em educação: abordagens