Impact Evaluation Medindo Resultados e Avaliando Impacto: De Promessas a Evidências Paul Gertler Universidade da Califórnia, Berkeley Human Development Human Network Development Network Middle East and North Africa Region http://www.worldbank.org/hdchiefeconomist World Bank Institute Spanish Impact Evaluation Fund Como transformar este professor 2 1
neste professor? 3 Três Perguntas a serem respondidas: 1. Por que avaliação é importante? 2. O que faz uma boa avaliação de impacto? 3. Como implementar uma avaliação de impacto? 4 2
Por que avaliar? Necessidade de evidências sobre o que funciona Orçamento limitado e más políticas podem prejudicar Melhorar a implementação do programa/política Desenho: elegibilidade, benefícios Operação: eficiência e focalização Informação é chave para a sustentabilidade Negociação do orçamento Informar à opinião pública e à imprensa Agenda de resultados & eficácia da ajuda 5 Como alocar resursos limitados? Análise de Custo-Benefício Permite comparar diferentes alternativas Indica o maior retorno ao investimento Benefícios: Mudanças nos indicadores de resultados medidos pela avaliação de impacto Custos: Custo adicional associado ao benefício Custos econômicos versus Contábeis 6 3
A avaliação de impacto responde... Qual o efeito do programa nos resultados? Quanto melhorou a situação dos beneficiários devido ao programa/política? Como mudariam os resultados se alterássemos o programa? O programa é custo-efetivo? O M&A tradicional não responde a estas perguntas 7 A avaliação de impacto responde... Qual o efeito de bolsas de estudo na freqüência escolar e no desempenho (resultados de exames)? Subcontratar cuidados de saúde básica leva a um incremento em seu acesso? A substituição do piso de terra batida por cimentado reduz verminoses e melhora a saúde infantil? A melhora em estradas incrementa o acesso a postos de trabalho e leva ao aumento salarial? 8 4
Tipos de avaliação de impacto Eficácia: Prova do conceito Piloto sob condições ideais Efetividade: Condições e capacidades normais Menor impacto Impacto em maior escala será diferente Custos diferentes pelas economias de escala 9 Utiliza-se avaliação de impacto para Ampliar programas/intervenções piloto Eliminar programas Ajustar os benefícios do programa Informar (ex: SHCP & Imprensa) Ex: PROGRESA no México Transição entre períodos presidenciais Expansão para 5 milhões de lares Mudanças nos benefícios Batalha com a imprensa Educar o mundo (Brasil versus México) 10 5
Três Perguntas a serem respondidas: 1. Por que avaliação é importante? 2. O que faz uma boa avaliação de impacto? 3. Como implementar uma avaliação de impacto? 11 Como medir impacto Ex: Em que medida um programa educacional melhora os resultados nos exames (aprendizagem)? Qual é a nota no exame dos beneficiários do programa comparado com os não-beneficiários? Formalmente, o impacto do programa é: α = (Y P=1) - (Y P=0) Comparação do mesmo indivíduo com e sem o programa no mesmo ponto no tempo. 12 6
Resolvendo o problema da avaliação Contrafactual: o que teria acontecido sem o programa A estimativa do impacto é a diferença entre a observação tratada (com o programa) e o contrafactual Não é possível observar o mesmo indivíduo no mesmo ponto do tempo com e sem o programa Necessidade de estimar o contrafactual Contrafactual é fundamental na avaliação de impacto 13 Critério contrafactual Tratamento e Contrafactual Possuir características idênticas, exceto pelos benefícios da intervenção Não deve haver outra razão para as diferenças nos resultados do tratamento e do contrafactual A única razão para a diferença nos resultados deve ser a intervenção 14 7
2 Falsos Contrafactuais 1. Antes e depois: Mesmo indivíduo antes do tratamento 2. Indivíduos que não aderiram Aqueles que escolhem não aderir ao programa Aqueles aos quais não foi oferecido aderir ao programa Problema: Não é possível saber exatamente o por quê o grupo tratado recebeu o tratamento e os demais não. 15 1. Exemplos de Antes e Depois Programa de assistência agrícola Auxílio financeiro para a compra de insumos Comparar a colheita de arroz antes e depois Antes ocorreram chuvas, mas depois é época de seca Há uma queda na colheita O programa falhou? Não se pode separar (identificar) o efeito do programa de auxílio financeiro do efeito da chuva Programa de bolsas escolares na quantidade de matrículas 16 8
1. Antes e depois Comparar Y antes e depois da intervenção α i = (Y it P=1) - (Y i,t-1 P=0) Estimar o contrafactual (Y i,t-1 P=0) = (Y i,t P=0) Y Before A B After Não controla para fatores que variam ao longo do tempo t-1 t C Time 17 2. Não-Participantes. Comparar os não-participantes com os participantes Contrafactual: resultados dos nãoparticipantes Impacto estimado: α i = (Y it P=1) - (Y j,t P=0), Hipótese: (Y j,t P=0) = (Y i,t P=0) Problema: por que não participaram? 18 9
2. Não-participantes Exemplo 1 Programa de capacitação para o trabalho Compare o emprego e a renda daqueles que se increveram com aqueles que não se increveram Quem se inscreveu? Aqueles que provavelmente irão se beneficiar mais, i.e. os mais capacitados Teriam um maior nível de renda que os nãoparticipantes sem a capacitação para o trabalho Estimador ruim do contrafactual 19 2. Não-participantes Exemplo 2 Seguro de Saúde Compare o uso de serviços médicos dos indivíduos que possuem seguro com aqueles que não possuem Quem adquire seguro social: aqueles que esperam ter grandes despesas médicas Quem não adquire: os indivíduos saudáveis Sem seguro: Aqueles que não adquiriram o seguro têm menores despesas médicas do que aqueles que adquiriram Estimador ruim do contrafactual 20 10
O que está errado? Viés de seleção: As pessoas escolhem a participar por razões específicas Muitas vezes as razões estão relacionadas ao interesse no resultado Capacitação para o trabalho: habilidade e renda Seguro de saúde: condição de saúde e despesas médicas Não se pode identificar separadamente o impacto do programa e dos outros fatores/razões 21 Exemplo de implementação de programa O governo oferece um programa de planejamento familiar nas comunidades com altos índices de natalidade Comparar os índices de natalidade das comunidades onde o programa é oferecido com os índices de natalidade de outras comunidades Programa desenhado com base nas taxas de natalidade, então Grupo de tratamento possui alta natalidade Contrafactuais possuem baixa natalidade Confunde-se o impacto estimado do programa com o critério de seleção de beneficiários 22 11
É necessário saber É necessário saber todas as razões pelas quais uns indivíduos são beneficiários do programa e outros não Razões pelas quais uns indivíduos estão no grupo de tratamento versus o grupo controle Se as razões estão correlacionadas com o resultado Não é possível identificar/separar o impacto do programa de outras explicações de diferenças nos resultados 23 Soluções Possíveis É necessário garantir a comparabilidade dos grupos de controle e tratamento ÚNICA diferença restante deve ser a proveniente da intervenção Neste seminário, iremos considerar Desenho experimental/aleatorização Quase-experimentos Regressão por Descontinuidade Duplas diferenças Variáveis instrumentais 24 12
Todas estas soluções envolvem Saber como os dados foram gerados Aleatorização Dar a todos a mesma oportunidade de pertencer ao grupo de controle ou tratamento Garantir que todos os fatores/características serão, em média, iguais entre os grupos A única diferença é a intervenção Caso contrário, é necessário critério transparente e observável para aqueles a quem será oferecido o programa 25 Roteiro: os próximos 5 dias Hoje: O Contexto Por que resultados são importantes? Ligando monitoramento a avaliação Importância da evidência para as políticas Hoje, Segunda e Terça: As ferramentas Estratégias de identificação Tamanho da amostra e poder Questões operacionais Quarta, Quinta e Sexta: A Experiência Grupo de trabalho sobre desenho de avaliação e apresentações 26 13
Obrigado 27 14