Avaliação de Políticas: em que momento avaliar e como melhorar sem condenar a política? Alessandro Maffioli División de Competitividad e Innovación

Transcrição

1 Avaliação de Políticas: em que momento avaliar e como melhorar sem condenar a política? Alessandro Maffioli División de Competitividad e Innovación

2 POR QUE AVALIAMOS?

3 3 Eficácia no desenvolvimento Fazer as coisas certas Em que medida são cumpridos os objetivosdas intervenções de desenvolvimento, tendo em conta a sua importância relativa Dar prioridade às políticas relativas as principais necessidades estabelecidas pelo país Fazendo as coisas corretamente Quanto do valor previsto, na verdade, foi entregue? (Gestão, Monitoramento e Avaliação) Asavaliações de impacto (AI) é uma ferramenta essencial para avaliar se estamos fazendo as coisas corretamente.

4 4 Por que avaliar? Para produzir evidências para informar o desenho de políticas públicas (1) APRENDERsobre o que funciona e não funciona (2) MELHORAR a concepção e implementação de políticas (3) APOIAR (VALIDAR) decisões de políticas públicas (4) PROMOVER A TRANSPARÊNCIA

5 5 Mas nós realmente queremos aprender?... somoshomensdeação!!!!!!

6 O QUE É UMA AVALIAÇÃO DE IMPACTO?

7 Cadeia de resultados e avaliação de impacto Insumos Atividades Produtos Resultados Implementação (Oferta) Resultados (Oferta + Demanda) MONITORAMENTO AVALIAÇÃO (AI)

8 8 O que é a Avaliação de Impacto? Identificar e medir a relação CAUSA E EFEITO entre uma intervenção e um resultado

9 Impacto ou efeito causal é a diferença entre... Os resultados obtidos pelos beneficiários depois do programa ou política vs. Resultados que esses mesmos beneficiários haveriam obtido nesse mesmo ponto do tempo, se eles não tivessem participado no programa ou política CONTRAFACTUAL

10 Avaliação de Impacto: conceitos-chave Pregunta principal São os resultados atribuíveis à intervenção? Problema empírico O contrafactual não é observável Enfoque empírico Construir um contrafactual artificial com um grupo controle (1) Métodos experimentais (2) Métodos não-experimentais

11 Contrafactual observável?

12 Precisamos estimar um contrafactual!!! Vendas Y Início do programa Tempo

13 O QUE NÓS QUEREMOS APRENDER?

14 O que queremos aprender I GEN Perguntas de avaliação Atribuição básica: é o projeto eficaz para atingir seus objetivos de desenvolvimento (final e intermediário)? Implicações da política Expansão, rescisão ou modificação da política 1. Heterogeneidade: Os efeitos são diferentes para diferentes categorias de beneficiários? 2. Efeito dose (efeitos marginais): Os efeitos dependem da intensidade do apoio? Segmentação dos beneficiários Dimensionamento do apoio IIGEN 3. Efeitos dinâmicos: em quanto tempo vocêpode observar os efeitos do projeto e como eles mudam ao longo do tempo? Qual é a sequência de efeitos? Identificar possíveis gargalos / Definição dos fluxos de benefício (ACB & ACE) 4. Multitratamentos: Os efeitos são diferentesquando combinada com outras intervenções? Qual é a sequência de intervenções mais efetivas? 5. Externalidades, spillovere efeitos estruturais: o programa produz externalidades positivas (ou negativas) e / ou efeitos de equilíbrio geral? 6 Coordenação de políticas públicas Definição dos fluxos de benefício (ACB & ACE)

15 PASSOS CHAVE EM UMA AI

16 Pasos chave no desenho de uma AI Definira teoria da mudança Feedback nas políticas Definir o mecanismo de execução Comunicar os resultados Definir as perguntas de avaliação Analisar Definir métricas apropriadas Identificar (produzir) os dados Identificar o método de avaliação

17 QUANDO AVALIAR?

18 Quando começar a avaliar? Definira teoria da mudança Feedback nas politicas Definir o mecanismo de execução Comunicar resultados Ex-ante Definir as perguntas de avaliação Analisar Definir métricas apropriadas Identificar (produzir) os dados Identificar o método de avaliação

19 Quando é que podemos aprender? Programa de promoção da inovação empresarial Adicional de desempenho Produtividade laboral PTF Exportações Adicional de Comportamento Adoção de práticas e / ou tecnologias Inovação em processos e produtos Adicional na alocação de recursos Investimento em P & D investimento em atividades de inovação CURTO PRAZO MÉDIO PRAZO LARGO PRAZO

20 EXEMPLOS DE LIÇÕES APRENDIDAS

21 Adicionalidade a nível do investimento (16 AI) (1) Aumenta o investimento em inovação em todos os casos. (2) Aumento do investimento privado líquido em vários casos (mais elevados no caso de incentivos fiscais ou de crédito). (3) Matching-grants induzindo a colaboração universidade-empresa tem um impacto máximo. (4) Efeito dos matching-grants é maior em empresas jovens. (5) Problemas de endogamia, necessidade de incluir estratégias de saída na concepção.

22 Adicionalidade a nível desempenho (6 EI) Problema: em muitos casos, os impactos no desempenho foram procurados no curto prazo resultados têm sido mistos (não é surpreendente). programas foram reavaliados com dados de longo prazo. (1) Aumentos na produtividade de 6% no caso de FONTEC até 15%, no caso de co-financiamento na Colômbia. (2) Em todos os casos há efeitos temporais importantes entre 3-4 anos depois de ter recebido o benefício. (3) Em alguns casos, há importantes sinergias entre os programas (Chile) ganhos de produtividade de 24%.

23 Heterogeneidade temporal Efeito do programa ao longo do tempo: Time Relative to Adoption - Employment Time Relative to Adoption - Exporter time to treatment time to treatment LN employment lemp_inf Exporter export_inf lemp_sup export_sup Time Relative to Adoption - Labor Productivity Time Relative to Adoption - TFP time to treatment time to treatment LN Labor Productivity lql_inf Ln TFP tfp_inf lql_sup tfp_sup

24 Heterogeneidade e concorrência Efeitos do programa na produtividade de acordo com o grau de concorrência que existe na indústria :

25 Heterogeneidade nas doses Quanto devo subsidiar? Isso é importante? Treatment Effects vs. % of grant Avergate Treatment Effect on Treated dosis Disbursement based on Herfindhal

26 Spillovers- mobilidade dos trabalhadores

27 Spillovers- proximidade geográfica Não beneficiários A "economia" local Município, cidade População-alvo do programa: Efeitos de Spillover: - Externalidades, - Efeitos de equilíbrio geral - Efeitos grupo (peer) Indivíduos / empresas envolvidos no programa

28 Resultados - Efeitos indiretos (1) Política de APL(Minas e São Paulo) (2) FONTEC-FONDEF (Chile): Os efeitos indiretos sobre produtividade dependem mais do programa para a difusão do conhecimento. (3) FONTARArgentina Emprego Valor exportações Probabilidade de exportar Diretos +17% +90% + 8 pp Indiretos + 15% + 2 pp Emprego V. Exp. Pr. Exp Supervi. Salários Directos +5% +10% +4pp +2pp +1% Indirectos +4% +10% +2pp +1pp +1%

29 Resultados multi-tratamento Complementariedade entre Prochile e FONTEC/FONDEF Políticas de promoção das exportações corrigem a falha do mercado que se origina no externalidades de pesquisa de mercado. Da mesma forma as políticas de promoção da inovação corrigem as externalidades de conhecimento. Sequência INOVAÇÃO-EXPORT é a que dá o melhor resultado 29

30 OLHANDO PARA O FUTURO: EXPERIMENTAÇÃO DE POLÍTICA

31 31 Rumo a um laboratório de políticas Evidência Fonte: Jeff Brown GIF 2015 Tamanho de investimento

32 32 Rumo a um laboratório de políticas Evidência Fonte: Jeff Brown GIF 2015 Tamanho de investimento

33 33 Experimentação de política 1. Três fases: (i) Teste de conceito (ii) Teste de eficácia (iii) Escalabilidade 2. Identificação participativa de problemas e soluções 3. Seleção com base em custo-efetividade (potencial) e escalabilidade 4. Aceitação do fracasso em estágios iniciais como método para de-risk grandes investimentos