DIME Impact Evaluation Workshop. Innovations for Agriculture June 2014, Kigali, Rwanda

Transcrição

1 DIME Impact Evaluation Workshop Innovations for Agriculture June 2014, Kigali, Rwanda

2 Impact Evaluation Workshop Innovations for Agriculture Medindo o Impacto II Métodos Não-Experimentais David Evans, Banco Mundial Kigali, Ruanda Terça-feira, 17 de Junho de June 2014 Kigali, Rwanda A maioria desses slides são de autoria de David Evans, entretanto alguns são adaptados de Impact Evaluation in Practice, por Gertler et al.

3 Seleção aleatória Desenho Descontínuo Diferenças-em-Diferenças Dif-em-Dif Matching (Pareamento) P-Score matching (pareamento no p-score) Métodos AI Caixa de Ferramentas

4 Para compreender os métodos nãoexperimentais. temos que ter certeza que entendemos inferência causal ENTÃO, RECAPITULANDO RAPIDAMENTE

5 O que é o contrafactual? Lições de ontem O que teria acontecido na ausência do programa? O que teria acontecido com Beatrice se ela não tivesse recebido o livro texto? O que teria acontecido com Ken se ele não tivesse recebido o treinamento?

6 Critério para contrafactual Grupo de tratamento e comparação Tem características iguais na média (observadas e não-observadas) A única diferença é o tratamento Então, a única razão para qualquer diferença nos resultados é o tratamento Questão chave: O que o participante seria se não tivesse recebido o programa? 6

7 Experimento perfeito 1. Identificar o público alvo (beneficiários) 2. Clone-os! São idênticos por fora (observável) Somo dois puppets com 5 anos de idade Kami Nós dois adoraríamos participar da nova intervenção de saúde! Tami Idênticos por dentro (não-observável) Muppet photos copyright Sesame Workshop 7

8 Experimento perfeito Dê a intervenção para um conjunto de clones Kami Tami 8

9 Experimento perfeito Observe algum tempo depois Kami Tami Porque os grupos são idênticos (por dentro e por fora), a diferença é devida aos mosquiteiros. 9

10 Na ausência de clones Qual é o melhor contrafactual? DESENHO DE SELEÇÃO ALEATÓRIA

11 Desenho de seleção aleatória Atribuir aleatoriamente potenciais beneficiários para o grupo de controle e comparação Tratamento e comparação tem as mesmas características (observadas e não observadas), na média, então Qualquer diferença no resultado é devida ao tratamento 11

12 Porque aleatorização funciona? Aleatorização com dois não funciona! Tratamento Comparação Mas diferenças somem na média com grandes amostras Tratameto Comparação Na média a mesma quantidade de Kamis e Grovers Observável E não-observável Resultado: Mede o impacto verdadeiro do programa 12

13 Como fazer a aleatorização Mais pessoas são elegíveis do que disponibilidade de benefícios para distribuir Não é possível distribuir os benefícios para todo mundo em um primeiro momento Explorar qual versão do programa tem maior custo-efetivo Aleatorização entre as pessoas que precisam mais

14 E se a aleatorização não for possível? O projeto realmente vai estar estendido a todos? Estamos tão certos de que temos o pacote certo de benefício que não queremos testar? Benefício maior vs benefício menor (programas de transferência) Diferentes mecanismos pra atingir o público alvo (community vs proxy means) Pacotes diferentes (treinamento de professor: conteúdo vs treinamento pedagógico)

15 Como realizar a aleatorização? (simples) Funciona com grandes amostras

16 Como realizar a aleatorização (avançado) Incluir dado pré-existente para garantir balanceamento ESTRATIFICAÇÃO Útil em pequenas amostras

17 Seleção aleatória Desenho Descontínuo Diferenças-em-Diferenças Dif-em-Dif Matching (Pareamento) P-Score matching (pareamento no p-score) Métodos AI Caixa de Ferramentas

18 Desenho descontínuo Muitos programas sociais selecionam beneficiários usando um índice ou nota: Programas de combate à pobreza Aposentadoria Focalização em indivíduos abaixo de um dado nível de pobreza (índice/renda) Focalização em pessoas acima de uma certa idade Educação Agricultura Bolsas focalizadas para estudantes com notas altas em um exame padronizado Programa de fertilização focalizado em pequenos agricultores (com menos de um determinado número de hectares)

19 Nossa própria descontinuidade Meta: Ajudar qualquer um chegar a 2 metros de altura Intervenção: programa de nutrição baseado nas escolas Como avaliar? Seleção aleatória entre as pessoas que mais precisam

20 Em um mundo sem seleção aleatória

21 Exemplo: fertilizante grátis para fazendeiros pobres Meta Aumentar uso de fertilizante entre os fazendeiros pobres o o Método Indivíduos com um nível de rendimentos 50 são pobres Indivíduos com um nível de rendimentos > não são pobres Intervenção Indivíduos pobres recebem fertilizante grátis

22 Regressão com desenho descontínuo- linha de base Rendimento C B B A Não elegível Elegível

23 Regressão com desenho descontínuo-pós Rendimento intervenção IMPACTO

24 Desenho descontínuo Temos um índice contínuo que define o ponto de corte o Indivíduos com índice corte são elegíveis o o Indivíduos com índice > corte são não elegíveis Ou vice-versa Explicação intuitiva do método o o Unidades logo acima do corte são muito similares aos que estão logo a baixo comparação boa. Comparar resultados Y apenas para unidades logo acima e logo a baixo do corte.

25 Tenha em mente! Desenho descontínuo Desenho de descontinuidade requer critério contínuo de elegibilidade com linha de corte clara. Fornece uma estimativa não viesada do efeito do tratamento: Observações próximas a linha de corte são boas comparações Não há necessidade de excluir um grupo elegível de domicílios/ indivíduos do tratamento. Em algumas casos pode usar programas que já estão em andamento.

26 Tenha em mente! Desenho descontínuo Desenho de descontinuidade produz uma estimativa local: o o Efeito do programa próximo ao ponto de corte/descontinuidade. Isto não é sempre generalizado. Poder: o Precisamos de muitas observações a cerca do ponto de corte. Nos diz o impacto para Ernies mas não para Sweetums ou Kermits??

27 Seleção Aleatória Desenho Descontínuo Diferença em Diferença Dif-em-Dif Matching/Pareamento P-Score matching Métodos de AI Caixa de Ferramentas

28 Diferença em diferença (Dif-em-dif) Y= Taxa de uso de irrigaçao P= Programa de encorajar a irrigação Participantes Depois Antes Não Participantes - = Diferença Dif-em-Dif: Impacto=(Y t1 -Y t0 )-(Y c1 -Y c0 )

29 E se usarmos o antes e depois? Y= Taxa de uso de irrigaçao P= Programa de encorajar a irrigação Participantes Depois Antes Não Participantes - = Diferença Impacto sobre-estimado!

30 Diferença em diferença (Dif-em-dif) Y= Taxa de uso de irrigaçao P= Programa de encorajar a irrigação Participantes Depois Antes Não Participantes - = Diferença Dif-em-Dif: Impacto=(Y t1 -Y c1 )-(Y t0 -Y c0 )

31 E se usarmos participantes e nãoparticipantes? Y= Taxa de uso de irrigaçao P= Programa de encorajar a irrigação Participantes Depois Antes Não Participantes = - Diferença Impacto sub-estimado!

32 LEMBRE-SE! Antes e depois Participantes / não participantes NUNCA FORNECERÁ UMA ESTIMATIVA CONFIDENTE DO IMPACTO REAL (a não ser que você selecione participantes aleatoriamente)

33 Voltando à dif-em-dif Y= Taxa de uso de irrigaçao P=Programa de encorajar a irrigação Participantes Depois Antes Não- Participantes - = Diferença Dif-em-Dif: Impacto=(Y t1 -Y t0 )-(Y c1 -Y c0 )

34 Uso de irrigação moderna Impacto =(A-B)-(C-D)=(A-C)-(B-D) Não- participantes Participantes D=0.78 C=0.81 A=0.74 Impacto=0.11 E essas duas linhas? B=0.60 O que teria sido T=0 T=1 Tempo

35 Dif-em-dif Mais convincente quando combinado com aleatorização É o segundo mais convincente com dados de tendência pré-intervenção

36 Progresa Recomendação para Política Econômica? Impacto de Progresa sobre o Consumo (Y) Caso 1: Antes & Depois 34.28** Caso 2: Participantes & Não Participantes Caso 3: Seleção Aleatória 29.75** Caso 4: Divulgação Aleatória 30.4** Caso 5: Desenho Descontínuo 30.58** Caso 6: Diferença em Diferença 25.53** Nota: Se o efeito é estatisticamente significante ao nível de 1%, designamos duas estrelas (**) ao impacto estimado

37 Tenha sempre em Mente! Diferença em diferença Diferenças em Diferenças juntam Participantes & Não Participantes com Antes & Depois. Inclinação: Gera contrafactual para mudança nos resultados Para testar isso, ao menos 3 observações são necessárias: o 2 observações antes o 1 observação depois. Tendências inclinação- é a mesma entre tratamento e comparação (Pressupostos fundamentais).

38 Seleção Aleatória Desenho Descontínuo Diferença em diferença Dif-em-Dif Matching/Pareamento P-Score matching Métodos de AI Caixa de Ferramentas

39 Ideia Matching/Pareamento Para cada unidade tratada selecione a melhor unidade de comparação (par/match) de uma outra fonte de dados. Como? Pares são selecionados com base em características similares observadas. Problema? Se há características não-observadas e estas influenciam participação: Viés na seleção!

40 Um exemplo Um voluntário para este exemplo Agora vamos achar um par Qual é a diferença chave?

41 Exemplos Observáveis Não observáveis Idade Gênero Registrado no programa Escolaridade Nível de motivação Auto-controle Interesse em educação Aversão a participação de meninas na escola Personalidade Medo de trabalho diferente

42 Bolsas para professoras Identificar beneficiário Outras com as mesmas características observáveis Observar aulas posteriormente Quem foi uma professora melhor anteriormente? Quem já estava aprendendo mais rápido para ser uma professora melhor antes? Muito difícil de saber: Este é o mesmo impacto do treinamento ou outras características?

43 Lições de Matching/Pareamento Não é um método seguro por si só Muitas características não observadas!

44 Qual a origem dos grupos de comparação? As regras de operação do programa determinam a estratégia de avaliação. Podemos quase sempre achar um grupo controle válido se: as regras de operação para selecionar beneficiários são igualitárias (direitos iguais), transparente e confiáveis; a avaliação foi desenhada com prospectos futuros.

45 Regras de operação e desenhos com prospectos futuros Use oportunidades para gerar bons grupos de comparação e assegurar a coleta dos dados para a linha de base. 3 questões para determinar qual método é apropriado para determinado programa Dinheiro: Os programas têm recursos suficientes para obter escala e atingir cobertura total para todos os beneficiários elegíveis? Regras grupo-alvo: Quem é elegível para os benefícios do programa? O programa visa o grupo-alvo baseado em linha de corte de elegibilidade ou é disponível para todos? Tempo: Como beneficiários potenciais se inscrevem no programa de uma vez só ou em fases ao longo do tempo?

46 Escolhendo o(s) método(s) da sua AI Dinheiro Demanda excessiva Sem demanda excessiva Determinar Alvo Determinar Tempo Implementação em fases Implementação imediata Público alvo 1 Seleção aleatória 4 RDD 1 Seleção aleatória 4 RDD Universal Público alvo Universal 1 Seleção aleatória 2 Divulgação aleatória 3 DD com 5 Matching/ pareamento 1 Seleção aleatória 2 Randomized Promotion 3 DD com 5 Matching/ Pareamento 1 Seleção aleatória 4 RDD 4 RDD 1 Seleção aleatória com fases 2 Aleatoriação para promover adesão posterior 3 DD with 5 matching If less than full Take-up: 2 Randomized Promotion 3 DD with 5 Matching

47 Lembre-se O objetivo da avaliação de impacto é estimar o efeito causal ou impacto sobre os indicadores de interesse

48 Lembre-se Para estimar o impacto, necessitamos estimar o grupo contrafactual. O que teria acontecido na ausência do programa e use comparações ou grupo controle.

49 Lembre-se Temos uma caixa de ferramentas com vários métodos para identificar bons grupos de comparação.

50 Lembre-se Escolha o melhor método de avaliação que é viável dentro do contexto operacional do programa.

51 Lembre-se Aleatorização oferece as estimativas de impacto com maior credibilidade.

52 Lembre-se Outros métodos requerem Pressupostos muito mais fortes.