AVALIAR O IMPACTO Transfrmar Prmessas em Evidências Bénédicte de la Brière, Banc mundial Presentaçã baseada n material desnvlvid n Impact Evaluatin in Practice tlkit www.wrldbank.rg/ieinpractice
Entã vcê pretende fazer uma Avaliaçã de Impact Assunts Operacinais
Assunts de Implementaçã 1 2 3 4 Esclher que avaliar Cm fazer a avaliaçã de impact de plíticas Encntrar grups de cntrle Estuds retrspectivs versus estuds prspectivs Trnar desenh cmpativel cm as perações Questões éticas Dads: Crdenar s Sistemas de AI & de Mnitria
1. Esclher que avaliar Usar s recurss de avaliaçã de frma inteligente Nã é necessári avaliar tud Critéris Grande parte d rçament Afeta muita gente Pucas evidências dispnivéis sbre impact para a ppulaçã alv
2. Impact da avaliaçã deplíticas Qual é bjectiv das plíticas? Frnecer elements para decisões urgentes Desenhar a avaliaçã cm s decisres Planear a revisã e a utilizaçã ds resultads de avaliaçã
Cm fazer a avaliaçã de plíticas Dar enfque em questões relevantes, em terms de plíticas Quais as questões de plítica que precisam de respstas? Quais s resultads respndem a estas questões? Quais s indicadres medem s resultads? Os indicadres sã SMART(eSpecífics, Mensuráveis, Atribuíveis, Realistas, a alv)? Qual nível de mudança ns resultads para sucess? Exempl: prjet pilt? Critéris: É necessári pel mens de X% de aument médi d resultad ns beneficiaris a lng de um dad períd
Impact da avaliaçã de plíticas Mudança Cultural Da avaliaçã retrspectiva à avaliaçã prspectiva Mudança em incentivs Olha para trás e julga Decida que precisa aprender. Experimente cm alternativas. Meça e infrme. Adpte melhres alternativas cm temp. Recmpensa pela mudança de prgramas. Recmpensa pela geraçã de cnheciment. Separaçã d desempenh n trabalh da geraçã de cnheciment.
3. Encntrar Grups de Cntrle A estratégia de avaliaçã depende das regras de peraçã A estratégia de identificaçã depende da implementaçã d prgrama Retrspectiva vs. Prspectiva
Análise Retrspectiva A Análise Retrspectiva é necessária quand tems de trabalhar cm um prgrama previamente fixad (extensã de um prgrama existente) e (esperems!) dads existentes (linha de base?) Exempls: 3 estuds d Punjab, Pakistã de transferências mnetárias cndicinadas para meninas em idade esclar
Análise Prspectiva Na Análise Prspectiva, faz-se a avaliaçã em paralel cm a atribuiçã d prgrama e cletam-se s dads da linha de base. Exempls: Prgresa/Oprtunidades (Méxic); Incentivs para s prfessres n Andra Pradesh (vide India) Subsidis para as esclas prvidas n Sindh cm incentivs para a assistência (Paquistã)
Desenh de avaliaçã prspectiva Aprveita prtunidades para criar mecanisms eficazes de cntrle Na mairia ds prgramas nã é pssivel atribuir benefícis a tda a ppulaçã elegível Limitações rçamentais: Beneficiáris elegíveis que recebem s benefícis frnecem um ptencial grup de tratament Beneficiáris elegíveis que nã recebem benefícis frnecem um ptencial grup de cntrle Limitações Lgisticas: Aqueles que sã cnsiderads em primeir lugar sã ptencialmente s d grup de tratament Aqueles que sã cnsiderads mais tarde sã ptencialmente s d grup de cntrl cntrles s Nem tds elegíveis se beneficiam d prgrama Prmçã aleatória
O métd depende das regras de peraçã Alv Universal Em fases Sem crte Cm crte Aleatóri Expansã aleatória RD/DeD Emparelhament/DeD Imediatamente Sem crte Cm crte Prmçã aleatória RD/DeD Empar./DiD Prmçã aleatória Prmçã aleatória
Quem recebe prgrama? Critéris de elegibilidade Os benefícis sã fcalizads? Cm sã fcalizads? Pdems classificar s elegíveis pr priridade? As medidas sã suficientemente bas para a bterms classificações detalhadas? Expansã Iguais prtunidades de expansã pr fases?
Cnsiderações éticas Nã atrasar cm s beneficis Expansã cm base nas limitações rçamentais /administrativas Equidade Os beneficiáris cm direits iguais merecem prtunidades iguais de cnsideraçã cm critéris de cntestaçã se necessari Métd transparente & cntestavel Prprcinar uma chance igual a tds s elegíveis Se a classificaçã tiver cm base algum critéri, critéri deve ser quantitativ e públic
Gestã pr resultads Avaliaçã Prspectiva Adequar às questões de plítica Estimativas precisas e imparciais Utilizar s recurss de frma sensata Melhres métds Dads mais barats Respstas em temp útil para as mudanças ns prgramas Melhria de resultads n camp
4. Dads: Crdenar s Sistemas de Avaliaçã de Impact & Mnitrament Os prjects/prgramas clectam regularmente dads para a gestã Cnteúd típic Lista de beneficiáris Distribuiçã de benefícis Despesas Resultads Avaliaçã d prcess em curs A avaliaçã de impact precisa desta infrmaçã
Infrmaçã de mnitrament utilizada para : Verificar quem é beneficiári Quand iniciu Que beneficis fram realmente frnecids Cndiçã necessária para prgrama ter impact: s benefícis devem chegar as beneficiaris alvs.
Recapituland Avaliaçã de Impact É útil para: Validar desenh d prgrama Ajustar a estrutura d prgrama Cmunicar a ministéri das finanças & à sciedade civil Desenh da avaliaçã Resultante de regras de peraçã de prgrama claras e transparentes Um bm desenh requer a estimaçã da situaçã cntrafactual: O que acnteceria as beneficiaris se nã tivessem prgrama? Saber prquê de alguns beneficiáris receberam prgrama & utrs nã
Mensagens sbre desenh Respnder as questões de plítica O imprtante é que gvern precisa e irá utilizar. Cmprmiss das partes. Mais fácil de utilizar desenhs prspectivs. Bns sistemas de mnitria & dads administrativs pdem melhrar a Avaliaçã de Impact.
Obrigad
Q & A