Critérios de Avaliação dos Projetos de Pesquisa e Desenvolvimento Regulados pela ANEEL e Perfil dos Projetos Reprovados

Transcrição

1 21 a 25 de Agosto de 2006 Belo Horizonte - MG Critérios de Avaliação dos Projetos de Pesquisa e Desenvolvimento Regulados pela ANEEL e Perfil dos Projetos Reprovados Máximo Luiz Pompermayer Centro de Pesquisa e Desenvolvimento em Telecomunicações CPqD maximo@cpqd.com.br Aurélio Calheiros de Melo Junior Agência Nacional de Energia Elétrica ANEEL aucameju@aneel.gov.br RESUMO A finalidade deste trabalho é uma análise dos critérios de avaliação dos projetos de pesquisa e desenvolvimento regulados pela ANEEL e do perfil dos projetos reprovados. Além de identificar o perfil dos projetos reprovados e as principais causas de reprovação, procura-se analisar o peso relativo de cada critério de avaliação nos diferentes perfis de projetos, caracterizados por fatores como o tipo de entidade executora, categoria de pesquisa, segmento do setor elétrico e tema. Entre outras constatações, verificou-se a relevância dos critérios factibilidade do plano de pesquisa, razoabilidade dos custos e benefícios esperados, de onde provêm as principais causas de reprovação. Verificou-se, também, grande variação nos índices de reprovação entre diferentes perfis de projeto. PALAVRAS-CHAVE Pesquisa & Desenvolvimento; Critérios de Avaliação; Projetos Reprovados; Causas de Reprovação. 1. INTRODUÇÃO Uma das etapas importantes do processo de pesquisa e desenvolvimento científico ou tecnológico é a avaliação prévia (ex ante) dos programas ou projetos propostos, seja no âmbito interno de uma organização ou através da submissão aos organismos responsáveis pelo financiamento, regulação ou controle dos recursos disponíveis e investimentos realizados. No âmbito do Setor Elétrico Brasileiro, os principais recursos destinados a pesquisa e desenvolvimento tecnológico são decorrência da instituição da Lei n o 9.991, de 24 de julho de 2000, que obriga as empresas concessionárias, permissionárias e autorizadas à produção independente de energia elétrica a investirem um percentual mínimo da Receita Operacional Líquida em projetos de pesquisa e desenvolvimento (P&D). Como definido em lei, parte desse recurso é regulado pela ANEEL 1. Conforme estabelecido no Manual dos Programas de Pesquisa e Desenvolvimento Tecnológico do Setor Elétrico Brasileiro, as empresas submetem anualmente à aprovação da ANEEL uma proposta de programa, constituída de um ou mais projetos, cujo número depende do montante de recursos disponíveis e das características do programa [ANEEL, 2001]. 1 Os percentuais variam de 0,30% da ROL para as distribuidoras a 0,40% para as demais empresas. 1/11

2 A sistemática de avaliação consiste da submissão dos projetos à apreciação de consultores ad hoc especialistas no tema e credenciados pela ANEEL para emissão de parecer. Cada projeto é avaliado, inicialmente, por dois consultores. Caso os pareceres sejam considerados conflitantes, insuficientes ou inconsistentes, submete-se a proposta à apreciação de um terceiro avaliador. Entre outros aspectos interessantes, destacam-se os critérios de avaliação, os índices e as causas de reprovação e o perfil dos projetos reprovados. Com o intuito de produzir informações relevantes e consistentes sobre esses fatores, fez-se um levantamento dos projetos submetidos à aprovação da ANEEL após a implantação do Sistema Eletrônico de Gestão de P&D (agosto de 2002) e com avaliação concluída até 31 de março de A finalidade maior é a geração de informações, argumentos e reflexões importantes para o aprimoramento dos processos de elaboração, análise e aprovação dos projetos de P&D regulados pela ANEEL. Procura-se, assim, identificar o perfil dos projetos reprovados e as principais causas de reprovação, analisar o peso relativo de cada critério de avaliação nos diferentes perfis de projetos e avaliar a consistência dos resultados obtidos. Trata-se, portanto, de um primeiro levantamento e análise sistemática dos índices de reprovação das propostas de projetos submetidas à aprovação da ANEEL, estratificados por ciclo, empresa proponente (geradoras, transmissoras e distribuidoras), entidade executora (universidade, empresa, fundação e centro de pesquisa), categoria de pesquisa, tema, duração e custo. Entre outras constatações, verificou-se a importância dos critérios de avaliação factibilidade do plano de pesquisa, razoabilidade dos custos e benefícios esperados, de onde provêm as principais causas de reprovação. Verificou-se, também, grande variação nos índices de reprovação entre diferentes perfis de projetos, caracterizados por fatores como empresa proponente, entidade executora, tema e categoria de pesquisa. 2. CRITÉRIOS DE AVALIAÇÃO Como disposto no Manual dos Programas de Pesquisa e Desenvolvimento Tecnológico do Setor Elétrico Brasileiro [ANEEL, 2001] e no respectivo formulário de avaliação, os critérios utilizados na avaliação dos projetos submetidos à aprovação da ANEEL são os descritos no Quadro 1, abaixo. Quadro 1: Critérios utilizados na avaliação dos projetos submetidos à aprovação da ANEEL. Insuficiente Aceitável Excelente Factibilidade do plano de pesquisa 2. Transferência dos resultados 3. Qualificação do coordenador 4. Disponibilidade do coordenador 5. Qualificação da equipe do projeto 6. Disponibilidade da equipe 7. Razoabilidade dos custos 8. Benefícios do projeto A factibilidade do plano de pesquisa diz respeito à viabilidade técnica ou de execução do projeto, considerando-se os objetivos, a metodologia, as etapas e respectivos cronogramas e os recursos previstos. Avalia-se, portanto, a clareza dos objetivos do projeto e se eles são factíveis e coerentes com a metodologia a ser empregada, o cronograma proposto e os recursos previstos, além de se verificar se a proposta apresentada é de interesse do setor de energia elétrica. Avaliam-se, também, os riscos técnicos, financeiros e de atraso na execução do projeto, cuja classificação (baixo, médio, alto) deve ser devi- 2/11

3 damente justificada pelos proponentes. Os riscos técnicos podem ser decorrência de dificuldades logísticas ou operacionais, como a instalação de equipamentos, pesquisas de campo e a realização de testes ou ensaios em laboratório. Os financeiros podem ser decorrência de flutuações na taxa de câmbio, quando da importação de equipamentos, ou de dificuldades na cotação do preço de algum item importante. O atraso no cronograma pode ocorrer por fatores não-controláveis ou de difícil previsão, como fenômenos da natureza (chuvas, tempestades, ventos, secas, etc.), além das tradicionais dificuldades na contratação de parceiros ou entidades executoras, principalmente os submetidos à Lei n o 8.666, de 21 de junho de Tão ou mais importante que a factibilidade do projeto é a transferência dos resultados para a empresa de energia elétrica, demais empresas do setor e instituições de pesquisa. Isso porque o retorno dos investimentos para os consumidores finais responsáveis pelo pagamento das contas via tarifa de energia elétrica depende da incorporação dos resultados do projeto nas atividades cotidianas da empresa de energia elétrica, exceto nos casos em que os benefícios provêm da comercialização dos produtos gerados. As vantagens e benefícios proporcionados às instituições de pesquisa (melhorias de infra-estrutura, capacitação profissional, participação em eventos, publicações, etc.) não são um fim em si, mas um meio de ampliar a capacidade produtiva dessas instituições, para que novos conhecimentos sejam gerados, transferidos ao setor de energia elétrica, incorporados ao dia-a-dia das empresas e transformados em benefícios para o consumidor final. Portanto, um dos mecanismos mais eficientes e eficazes de transferência dos resultados para a empresa de energia elétrica é sua participação efetiva e exemplar na execução dos projetos. Um dos itens de grande relevância na avaliação das propostas é a qualificação da equipe técnica, principalmente a do coordenador do projeto, quando há parceria com instituição de P&D. O coordenador é o principal responsável pela execução do projeto perante a empresa e, portanto, deve ter formação compatível com o tema proposto e sólida experiência no assunto. Entre os itens para avaliação do perfil e da qualificação do coordenador e da equipe, destacam-se os seguintes: formação acadêmica, titulação, atuação profissional e produção técnico-científica na área de estudo e/ou áreas afins. Tão importante quanto a qualificação da equipe é sua disponibilidade e dedicação às atividades do projeto. Avaliam-se, portanto, nesse item a disponibilidade dos pesquisadores e a coerência na alocação da carga horária por etapa e perfil do profissional alocado. Ressalte-se aqui a possibilidade de conflito entre esse item e o anterior, tento em vista a freqüente e inversa relação entre disponibilidade e qualificação profissional. Há que se verificar, portanto, a coerência entre as atividades profissionais declaradas e a carga horária alocada. Para avaliação da razoabilidade dos custos, os seguintes elementos são considerados: recursos humanos, materiais e equipamentos, viagens e diárias e serviços de terceiros, cujos custos devem ser compatíveis com os valores praticados no mercado e com os resultados e benefícios esperados. Em relação a recursos humanos, os valores praticados são influenciados por aspectos regionais, institucionais, profissionais e, até mesmo, pessoais. Apesar da objetividade aparente (variável quantitativa), trata-se de um critério de difícil ponderação, visto que diferentes instituições e categorias profissionais têm diferentes estruturas de custo e formas de atuação. De qualquer forma, um critério importante na avaliação da razoabilidade dos custos referentes a pessoal é a reputação dos profissionais envolvidos, o que se mede pela competência demonstrada na execução de trabalhos anteriores (sem limitar, porém, a participação de profissionais menos titulados ou mais jovens e, ainda, oriundos de instituições menos conceituadas nacionalmente). A avaliação do custo dos demais itens é mais objetiva, e pode ser feita por meio de pesquisas de mercado e análises comparativas. Além disso, os valores praticados devem ser comprovados por meio de nota fiscal ou documento equivalente. Nesse caso, a avaliação é mais rigorosa em relação à quantidade e à tipologia dos materiais, equipamentos e demais recursos necessários à execução do projeto. No último item, avaliam-se os benefícios do projeto para a empresa de energia elétrica, instituição de pesquisa ou entidade executora, demais empresas do setor, comunidade científica e sociedade. Avaliase, portanto, o impacto (efetivo ou potencial) do projeto nas atividades da empresa, incluindo possíveis melhorias em seus processos internos e na qualidade dos serviços prestados. As melhorias podem ser 3/11

4 decorrência da simplificação, do aprimoramento ou da adição de etapas, reduzindo tempo e custo de execução das atividades. Devem, portanto, proporcionar melhoria no desempenho técnico-econômico da empresa, transformando-se em benefícios para o consumidor (melhoria da qualidade ou ampliação dos serviços prestados e modicidade tarifária). É necessário, portanto, evidenciar a aplicabilidade do conhecimento adquirido e/ou dos produtos gerados nas atividades da empresa de energia elétrica e/ou demais empresas do setor. 3. ÍNDICES DE REPROVAÇÃO E PERFIL DOS PROJETOS REPROVADOS Conforme os dados da Tabela 1, foram avaliadas no período mencionado propostas de projeto, das quais 281 foram reprovadas. Isso corresponde a um índice médio de reprovação de aproximadamente 16,6%, o que significa uma reprovação a cada seis propostas submetidas à avaliação da ANEEL. Verifica-se, também, uma variação considerável entre os ciclos analisados. Não se observa, porém, tendência de aumento ou redução, visto que os valores se alternam de um ciclo para outro. Constata-se, portanto, um índice de reprovação moderado e compatível com a orientação da ANEEL em relação aos projetos reservas, de forma que o valor da carteira de projetos submetidos à aprovação da ANEEL supere em 20% o valor mínimo estabelecido em lei. Tabela 1: Projetos aprovados e reprovados e índice de reprovação por ciclo. Ciclo Aprovados Reprovados Total Índice 2001/2002 [1] ,7% 2002/2003 [2] ,6% 2003/ ,9% 2004/ ,2% Total ,6% [1] Nesse ciclo, apenas três empresas (Chesf, Eletronorte e Furnas) utilizaram o Sistema Eletrônico de Gestão de P&D para o carregamento de seus programas. [2] Os dados são parciais, visto que ainda havia projetos em avaliação até a data de referência (31/03/2006). Quanto ao segmento a que pertence a empresa proponente, o índice é consideravelmente superior à média no segmento de transmissão e um pouco inferior à média no segmento de geração (Tabela 2). Uma hipótese para o maior índice de reprovação no segmento de transmissão pode ser a existência de um número considerável de empresas recentes e com pouco ou nenhum histórico de atuação em projetos de P&D. No segmento de distribuição, onde estão 61% dos projetos analisados, o maior índice relativo pode ser decorrência de mudanças estruturais provocadas pela privatização da grande maioria das empresas, dificultando a criação ou manutenção de uma área específica para o gerenciamento dos programas de P&D. Tabela 2: Projetos aprovados e reprovados e índice de reprovação por segmento. Segmento Aprovados Reprovados Total Índice Distribuição ,7% Geração ,1% Transmissão ,2% Total ,6% Relativamente ao tipo de entidade executora, verificam-se grandes variações: um alto índice de reprovação nas empresas (24,6%) e um baixo índice nas universidades (13,6%). Tal fato sinaliza a falta de tradição das empresas brasileiras no desenvolvimento de projetos de pesquisa, particularmente na área de energia elétrica, cujos projetos estão fortemente concentrados em universidades e centros de pesquisa, como verificado em POMPERMAYER & DE MELO JR (2005). Os índices de reprovação nos centros de pesquisa são similares aos das fundações (Tabela 3). 4/11

5 Tabela 3: Projetos aprovados e reprovados e índice de reprovação por tipo de entidade. Tipo de entidade Aprovados Reprovados Total Índice Empresa ,6% Fundação ,5% Centro de pesquisa ,3% Universidade ,6% Total ,6% Em relação à categoria ou tipo de pesquisa, observa-se que os projetos de pesquisa básica dirigida apresentaram índices de reprovação ligeiramente superiores aos demais (Tabela 4). O índice médio nessa categoria foi de 20,3%, contra 15,9% e 16,8% em pesquisa aplicada e desenvolvimento experimental, respectivamente. O maior índice de reprovação em pesquisa básica deve-se ao peso relativo dos itens transferência dos resultados e benefícios do projeto durante as avaliações. Projetos dessa categoria tendem a produzir resultados mais difusos e/ou intangíveis, o que dificulta a comprovação dos benefícios proporcionados e de sua aplicabilidade no dia-a-dia das empresas de energia elétrica. Tabela 4: Projetos aprovados e reprovados e índice de reprovação por categoria de projeto. Categoria Aprovados Reprovados Total Índice Desenvolvimento experimental ,8% Pesquisa aplicada ,9% Pesquisa básica dirigida ,3% Total ,6% Quanto ao tema, foram observadas variações consideráveis nos índices de reprovação: 10,6% a 25%, conforme os dados da Tabela 5. Temas como meio ambiente e supervisão, controle e proteção de sistemas elétricos apresentaram baixos índices de reprovação, ao passo que temas como transmissão de dados por rede elétrica e eficiência energética apresentaram índices bastante superiores à média. É difícil identificar os motivos dessas variações entre os índices de reprovação por tema, tendo em vista a quantidade e a natureza dos critérios de avaliação. Uma hipótese para o contraste entre meio ambiente e eficiência energética seria o tipo de entidade executora, com predominância de universidades e instituições experientes em projetos de pesquisa na área de meio ambiente e maior participação de empresas de consultoria e base tecnológica nos projetos ligados à área de eficiência energética. Tabela 5: Projetos aprovados e reprovados e índice de reprovação por tema. Tema Aprovados Reprovados Total Índice Distribuição de energia elétrica ,0% Eficiência energética ,7% Energia renovável ,1% Geração de energia elétrica ,4% Medição ,0% Meio ambiente ,6% Pesquisa estratégica ,9% Qualidade ,7% Supervisão, controle e proteção ,6% Transmissão de dados por rede elétrica ,0% Transmissão de energia elétrica ,0% Total ,6% Quanto à duração dos projetos, verificou-se um valor ligeiramente superior para os projetos aprovados (25,1 meses, contra 19,4 meses para os reprovados). Portanto, os projetos com maior duração tiveram, 5/11

6 em média, maior aceitação do que os de curta duração. Já em relação ao valor, não se verificou diferença significativa entre as duas categorias de projetos (aprovados e reprovados). Em resumo, não se observou tendência de aumento ou redução no índice de reprovação ao longo dos ciclos analisados; verificou-se menor propensão à reprovação no segmento de geração; menor índice de reprovação nas universidades e centros de pesquisa, ocorrendo o inverso nas empresas de consultoria ou de base tecnológica; maior proporção de projetos reprovados na categoria pesquisa básica dirigida; e grandes variações nos índices de reprovação entre diferentes temas ou áreas de pesquisa. 4. CAUSAS DE REPROVAÇÃO Entre os oito itens ou critérios de avaliação acima descritos e analisados, destacam-se os seguintes em relação às causas de reprovação: factibilidade do plano de pesquisa, benefícios proporcionados e razoabilidade dos custos. Esses três itens foram os principais motivos de reprovação, tendo em vista que 79,4% dos projetos reprovados foram considerados não-factíveis, 75,4% não apresentaram benefícios relevantes ou os benefícios não foram devidamente explicitados e 74,7% apresentaram custos incompatíveis (Tabela 6). Os índices oscilaram de 28,5% a 49,5% entre os demais critérios de avaliação. Para identificar as principais causas de reprovação, tomou-se como referência os 281 projetos reprovados e a proporção de projetos cuja pontuação no item foi considerada insuficiente isto é, menor do que 3. A Tabela 6 apresenta os resultados para cada um dos três segmentos considerados (geração, transmissão e distribuição). Os dados indicam, portanto, que 79,4% dos projetos reprovados apresentaram pontuação insuficiente no item factibilidade, contra um índice de 28,5% em relação à qualificação do coordenador da equipe. Como se observa, os índices variam bastante entre os segmentos, principalmente em relação ao segmento de transmissão, onde os valores são atípicos e bastante inferiores à média, exceto em relação à qualificação do coordenador. Ao contrário do que ocorreu nos demais segmentos, o critério benefícios esperados foi um dos itens mais bem pontuados neste segmento apenas 26,9% dos projetos reprovados apresentaram pontuação insuficiente neste item, contra um índice 82,9% no segmento de geração. Ressalte-se, porém, que apenas 6,9% dos projetos analisados pertencem ao segmento de transmissão, contra um índice de 61,1% para o segmento de distribuição. Tabela 6: Resultado das avaliações dos projetos reprovados por segmento e critério de avaliação. Segmento Factibilidade Transferência Coordenador* Equipe* Custos Benefícios Geração 86,6 57,3 30,5 37,8 80,5 82,9 Transmissão 65,4 30,8 34,6 26,9 53,8 26,9 Distribuição 78,0 48,6 26,6 31,2 75,1 79,2 Total 79,4 49,5 28,5 32,7 74,7 75,4 Nota: os números correspondem ao percentual de projetos cujo critério de avaliação foi considerado insuficiente; os critérios coordenador e equipe são relativos à qualificação (idem para as demais tabelas). Em termos institucionais, verificou-se um peso maior do critério razoabilidade dos custos nas universidades, onde 81,1% dos projetos reprovados obtiveram pontuação insuficiente nesse item, contra um índice de 68,8% nas fundações e de 71% nas empresas (ver Tabela 7). De certo modo, esses dados contrariam expectativas, tendo em vista que os valores médios praticados por universidades são bastante inferiores aos praticados por empresas de consultoria e centros de pesquisa. O valor médio dos projetos desenvolvidos por universidades é cerca de 14% inferior à média nacional e 32% inferior ao valor dos projetos executados por centros de pesquisa. O custo médio do homem-hora (incluindo todas as categorias profissionais e titulações) nas universidades é aproximadamente 10% inferior aos valores praticados no mercado e 31% inferior aos praticados pelos centros de pesquisa. Já em relação à qualificação da equipe, constatou-se que os índices são melhores nos centros de pesquisa e nas universidades do que nos demais tipos de entidade executora. Por exemplo, 77,5% dos projetos reprovados em centros de pesquisa obtiveram pontuação suficiente nesse quesito, contra um índice de 60% nas empresas. 6/11

7 Tabela 7: Resultado das avaliações dos projetos reprovados por tipo de entidade executora (%). Entidade executora Factibilidade Transferência Coordenador Equipe Custos Benefícios Universidade 80,3 49,2 24,6 27,9 81,1 78,7 Empresa 80,4 54,2 41,1 39,3 71,0 72,9 Fundação 75,0 43,8 26,0 33,3 68,8 75,0 Centro de pesquisa 73,2 32,4 19,7 25,4 74,7 60,6 Total 79,4 49,5 28,5 32,7 74,7 75,4 Em relação à categoria ou tipo de pesquisa (Tabela 8), os índices relativos à maioria dos critérios de avaliação foram ligeiramente superiores à média em pesquisa básica dirigida, exceto para capacitação do coordenador e da equipe. Tal fato se justifica pela natureza dos projetos dessa categoria de pesquisa, cujos resultados tendem a ser mais difusos e de difícil mensuração, o que dificulta a comprovação de viabilidade técnica e aplicabilidade. Quanto à qualificação do coordenador e da equipe, particularmente, os baixos índices de reprovação nesses itens se justificam pela predominância de universidades (que possuem pessoal bem qualificado) na proposição de projetos de pesquisa básica. Tabela 8: Resultado das avaliações dos projetos reprovados por categoria de pesquisa (%). Categoria de pesquisa Factibilidade Transferência Coordenador Equipe Custos Benefícios Desenvol. Experimental 74,6 47,8 31,3 40,3 76,1 71,6 Pesquisa aplicada 80,6 50,3 27,4 31,4 73,1 76,0 Pesquisa básica dirigida 82,1 48,7 28,2 25,6 79,5 79,5 Total 79,4 49,5 28,5 32,7 74,7 75,4 Quanto ao tema (Tabela 9), verificam-se menores índices em transmissão de energia, onde, em média, 46,5% dos projetos reprovados apresentaram pontuação insuficiente nos itens de avaliação. Os temas energia renovável, supervisão e controle e geração de energia também apresentaram índices bastante inferiores à média. Em média, os piores índices foram observados em transmissão de dados via rede elétrica, medição e meio ambiente. O tema transmissão de dados via rede elétrica, embora apresente os maiores índices, tem pouca representatividade, visto que apenas 6 dos 281 projetos reprovados foram enquadrados nessa categoria. Verificou-se, também, que a qualificação da equipe pesou bem mais em transmissão de dados e medição do que nos demais temas; a factibilidade foi mais decisiva nas áreas de transmissão de dados e meio ambiente ; a transferência dos resultados teve pouca influência na reprovação dos projetos de transmissão de energia, distribuição de energia e qualidade ; a razoabilidade dos custos pesou mais em medição e menos em geração e os benefícios esperados foram mais decisivos em meio ambiente, transmissão de dados e pesquisa estratégica. Tabela 9: Resultado das avaliações dos projetos reprovados por tema ou área de pesquisa (%). Tema Factibilidade Transferência Coordenador Equipe Custos Benefícios Distrib. de energia 85,3 41,2 32,4 26,5 85,3 76,5 Eficiência energética 82,6 60,9 34,8 34,8 78,3 69,6 Energia renovável 73,7 42,1 10,5 31,6 68,4 73,7 Geração de energia 84,2 68,4 15,8 15,8 52,6 73,7 Medição 86,7 66,7 33,3 46,7 86,7 80,0 Meio ambiente 92,9 71,4 28,6 35,7 85,7 92,9 Pesquisa estratégica 81,7 45,1 26,8 36,6 76,8 82,9 Qualidade 64,7 41,2 29,4 23,5 82,4 76,5 Supervisão e controle 71,4 53,6 17,9 35,7 64,3 64,3 Trans. de dados 100,0 83,3 66,7 66,7 66,7 83,3 Trans. de energia 62,5 25,0 45,8 25,0 66,7 54,2 Total 79,4 49,5 28,5 32,7 74,7 75,4 7/11

8 Ainda em relação ao tema, observa-se que as maiores variações foram relativas à transferência de resultados e qualificação da equipe, incluindo a coordenação do projeto. As menores variações foram em relação à factibilidade do plano de pesquisa e aos benefícios esperados. Quanto ao comportamento ao longo dos ciclos analisados, verificou-se pouca variação, notadamente em relação à factibilidade do plano de pesquisa e à razoabilidade dos custos, onde as oscilações em torno dos índices médios (total no período) foram inferiores a 10% (Tabela 10). Tabela 10: Resultado das avaliações dos projetos reprovados por ciclo e item de avaliação (%). Ciclo Factibilidade Transferência Coordenador Equipe Custos Benefícios 2001/ ,5 31,3 31,3 37,5 81,3 87,5 2002/ ,2 54,3 34,6 35,8 70,4 80,2 2003/ ,3 37,4 21,5 29,9 73,8 69,2 2004/ ,0 64,9 31,2 32,5 79,2 76,6 Total 79,4 49,5 28,5 32,7 74,7 75,4 Uma análise geral das avaliações indica que os resultados foram bastante consistentes. As principais causas de reprovação estiveram sempre ligadas à factibilidade do plano de pesquisa, aos benefícios esperados e à razoabilidade dos custos, independentemente do perfil de projetos. Verificou-se, contudo, variação considerável no peso relativo dos critérios de avaliação entre diferentes perfis de projeto. A razoabilidade dos custos foi mais decisiva nos projetos dos centros de pesquisa; benefícios esperados e factibilidade tiveram maior peso nos projetos de pesquisa básica; e houve grandes oscilações entre os diferentes temas. 5. IMPORTÂNCIA E CONSISTÊNCIA DOS CRITÉRIOS DE AVALIAÇÃO Conforme indicado, os dados considerados no item anterior foram relativos apenas ao conjunto dos projetos reprovados, visto que a finalidade maior era identificar as principais causas de reprovação. Com o intuito de avaliar a consistência e o peso relativo dos critérios de avaliação em diferentes ciclos e perfis de projeto, apresenta-se, neste item, uma análise a partir de todos os projetos avaliados, independente do resultado da avaliação (aprovado ou reprovado). A Tabela 11 apresenta o resultado das avaliações por ciclo e critérios de avaliação. Como se observa, não houve evolução na pontuação média dos critérios de avaliação ao longo dos quatro ciclos analisados. Os resultados confirmam, também, a melhor pontuação média dos itens relativos à qualificação do coordenador e da equipe técnica. Verifica-se, também, que o item custos é o que apresenta a menor pontuação em todos os ciclos analisados. Tabela 11: Resultado das avaliações por ciclo e critério de avaliação (pontuação média). Ciclo Factibilidade Transferência Coordenador* Equipe* Custos Benefícios Total 2001/2002 3,15 3,38 3,85 3,58 2,92 3,35 3, /2003 3,25 3,38 3,92 3,68 3,14 3,48 3, /2004 3,18 3,42 4,00 3,65 3,01 3,52 3, /2005 3,30 3,29 3,97 3,71 3,08 3,49 3,47 Total 3,24 3,36 3,96 3,68 3,07 3,49 3,47 *Dados referentes à qualificação (idem para as demais tabelas). Quanto ao segmento a que pertence a empresa proponente, verificam-se variações insignificantes na pontuação média (Tabela 12). Em termos relativos, o maior desvio observado foi em relação à factibilidade e ao segmento de geração, cujo índice médio foi cerca de 4% superior à média geral. 8/11

9 Tabela 12: Pontuação média dos critérios de avaliação por segmento a que pertence a empresa. Segmento Factibilidade Transferência Coordenador Equipe Custos Benefícios Total Geração 3,37 3,39 4,00 3,75 3,14 3,55 3,53 Transmissão 3,26 3,42 3,91 3,61 3,15 3,50 3,47 Distribuição 3,18 3,34 3,95 3,65 3,03 3,46 3,43 Total 3,24 3,36 3,96 3,68 3,07 3,49 3,47 De modo similar, as variações na pontuação média de cada critério de avaliação são pouco expressivas em relação ao tipo de entidade executora (Tabela 13). Os maiores desvios não ultrapassam, também, a casa dos 4% em relação à média geral. Esperava-se, por exemplo, notas maiores para os critérios de qualificação da equipe/coordenador nos projetos de universidades, onde estão, em geral, os pesquisadores mais qualificados. Esperava-se, também, como já observado anteriormente, que os projetos de universidades apresentassem uma pontuação média bem maior no critério razoabilidade dos custos, tendo em vista que os valores médios praticados por essas instituições são bastante inferiores aos de empresas de consultoria e centros de pesquisa. Tabela 13: Pontuação média dos critérios de avaliação por tipo de entidade executora. Tipo de entidade Factibilidade Transferência Coordenador Equipe Custos Benefícios Total Universidade 3,28 3,35 3,98 3,71 3,13 3,52 3,49 Centro de pesquisa 3,28 3,45 3,88 3,61 2,97 3,49 3,45 Empresa 3,10 3,32 3,88 3,62 2,99 3,47 3,40 Fundação 3,24 3,33 4,03 3,71 3,10 3,46 3,48 Total 3,24 3,36 3,96 3,68 3,07 3,49 3,47 Os dados indicam, portanto, que, embora os preços médios praticados pelos centros de pesquisa sejam bastante superiores aos das universidades, o critério razoabilidade dos custos tem sido pouco favorável às universidades. No âmbito dos projetos reprovados, esse critério foi até mais favorável aos centros de pesquisa, como analisado no item anterior (ver Tabela 7). Quanto ao tipo de projeto ou categoria de pesquisa, as variações na pontuação média dos critérios de avaliação são ainda menores. Conforme os dados da Tabela 14, os desvios médios giram em torno de 1% em relação à média geral. Tabela 14: Pontuação média dos critérios de avaliação por categoria de pesquisa. Categoria Factibilidade Transferência Coordenador Equipe Custos Benefícios Total Des. experimental 3,24 3,34 3,91 3,63 3,08 3,49 3,45 Pesquisa aplicada 3,24 3,38 3,98 3,68 3,07 3,49 3,47 Pesquisa básica 3,23 3,30 3,96 3,73 3,06 3,48 3,46 Total 3,24 3,36 3,96 3,68 3,07 3,49 3,47 Outro aspecto importante são possíveis lacunas ou sobreposições entre os critérios de avaliação. Em relação a lacunas, verifica-se a falta de um critério de enquadramento da proposta como projeto de P&D. Esse item deveria ser o primeiro dos critérios, evitando, assim, avaliações desnecessárias, no caso de não-enquadramento da proposta. No formulário atual de avaliação, esse critério é avaliado, geralmente, no item benefícios esperados, o último da lista. Quanto a sobreposições ou redundâncias, a Tabela 15 mostra que os únicos itens que apresentaram correlação estatística expressiva no resultado das avaliações (pontuação atribuída) foram os relativos à qualificação do coordenador e da equipe. Além de reforçar a consistência dos resultados obtidos, esses dados indicam que não há redundância significativa nas avaliações. 9/11

10 Tabela 15: Matriz de correlação entre os critérios de avaliação, segundo a pontuação atribuída. Factibilidade Transferência Coordenador Equipe Custos Benefícios Factibilidade 1,00 0,20 0,24 0,22-0,02 0,23 Transferência 1,00 0,20 0,24 0,22-0,02 Coordenador 1,00 0,69 0,06 0,03 Equipe 1,00-0,07 0,05 Custos 1,00 0,19 Benefícios 1,00 Analisou-se, também, a relação entre a duração/custo dos projetos e o resultado das avaliações. A Tabela 16 apresenta os coeficientes de correlação, considerando-se as duas variáveis (duração e custo) e a pontuação atribuída a cada um dos critérios de avaliação. Embora os coeficientes não sejam estatisticamente significativos, verifica-se uma correlação positiva dessas variáveis com a factibilidade do plano de pesquisa, a transferência dos resultados e a qualificação da equipe/coordenador, nenhuma correlação com os benefícios esperados e uma correlação negativa com a razoabilidade dos custos. Tabela 16: Matriz de correlação entre duração/custo do projeto e critérios de avaliação. Perfil do Critério de avaliação Projeto Factibilidade Transferência Coordenador Equipe Custos Benefícios Duração 0,188 0,139 0,185 0,130-0,182 0,058 Custo 0,204 0,125 0,157 0,196-0,304 0, CONCLUSÕES E RECOMENDAÇÕES Apesar da subjetividade dos critérios de avaliação e das dificuldades no cumprimento da sistemática estabelecida pela ANEEL, os resultados das avaliações realizadas no período de agosto de 2002 a março de 2006 mostraram-se consistentes e relevantes. Dois aspectos merecem atenção especial: i) proporção e perfil dos projetos reprovados; e ii) importância, variabilidade e consistência dos critérios de avaliação. Relativamente ao índice de reprovação, verificou-se um valor médio moderado e coerente com a proporção de projetos-reserva sugeridos pela ANEEL nos programas submetidos à sua aprovação. Por outro lado, a proporção de projetos reprovados atinge valores demasiadamente elevados em alguns segmentos ou áreas, como no caso de projetos de empresas de consultoria ou de base tecnológica e em temas como transmissão de dados por rede elétrica, eficiência energética e energia renovável. Além disso, esperava-se uma redução gradual no índice de reprovação ao longo dos ciclos analisados, em virtude do aprendizado adquirido. Esse tipo de análise, porém, pode ter sido prejudicado pela brevidade do período analisado (quatro ciclos de P&D, dos quais o primeiro apresenta apenas dados sobre três empresas do segmento de geração) e pelas dificuldades no cumprimento da sistemática de avaliação estabelecida em resolução. A falta de orçamento, pessoal e instrumentos jurídicos para a contratação de avaliadores (consultores ad hoc) são exemplos de fatores que dificultam o aprimoramento e a consolidação de um processo regular e sistemático de avaliação dos programas de P&D. Quanto às causas de reprovação, verificou-se que as principais falhas ou insuficiências foram relativas à factibilidade do plano de pesquisa, à razoabilidade dos custos e aos benefícios esperados. Já os requisitos de qualificação da equipe foram os mais bem pontuados, apesar das restrições verificadas em casos específicos. Verificou-se, também, uma variabilidade considerável no peso relativo dos critérios de avaliação no âmbito dos projetos reprovados. Constatou-se, entretanto, que, ao comparar diferentes entidades executoras, o critério razoabilidade dos custos não foi mais decisivo na reprovação de projetos de instituições cujos custos médios são bastante superiores aos valores praticados no mercado. A consistência dos critérios de avaliação e dos resultados das avaliações realizadas no período em referência pode ser verificada por meio da comparação dos índices de reprovação e do peso relativo 10/11

11 dos critérios entre diferentes perfis de projetos. A matriz de correlação entre os critérios de avaliação reforça a consistência dos resultados e a ausência de sobreposições ou redundâncias desnecessárias. Em termos de recomendações, sugere-se a extensão desse tipo de análise a todos os projetos submetidos à avaliação da ANEEL e a superação dos entraves à aplicação sistemática e regular dos critérios e procedimentos de avaliação acima descritos e analisados. A mudança de critérios e/ou procedimentos sem uma análise rigorosa dos resultados obtidos e das conseqüências de sua alteração pode prejudicar o processo de avaliação e, conseqüentemente, a efetividade dos programas de P&D. 7. REFERÊNCIAS BIBLIOGRÁFICAS ANEEL Agência Nacional de Energia Elétrica. Manual dos Programas de Pesquisa e Desenvolvimento Tecnológico do Setor Elétrico Brasileiro. Brasília DF, novembro de ANEEL Agência Nacional de Energia Elétrica. Sistema de Gestão de Pesquisa e Desenvolvimento. POMPERMAYER, M. L. & DE MELO JR., A. C. Perfil dos projetos de pesquisa e desenvolvimento tecnológico no setor elétrico brasileiro. Anais do XVIII Seminário Nacional de Produção e Transmissão de Energia Elétrica SNPTEE. Curitiba PR, 16 a 21 de outubro de /11