METÓDOS EXPERIMENTAIS PARTE 1. Seminário de Avaliação de Impacto Luanda, Angola

Transcrição

1 METÓDOS EXPERIMENTAIS PARTE 1 Seminário de Avaliação de Impacto Luanda, Angola Novembro 19 20, 2015

2 Referência Versão em Espanhol & Versão em Francês e também disponível em Portuguese. Download gratuito:

3 Avaliação de Impacto Roteiro Estrutura Lógica Medindo Impacto Como o programa funciona na teoria Metódos para identificar impacto Plano Operacional Recursos

4 Nosso Objetivo Estimar o efeito causal (impacto) do programa (P) sobre um resultado (Y). Impacto= Y T - Y C P = Programa ou Tratamento Y = Indicador, Medida de Sucesso Y T = Resultado com o programa Y C = Resultado sem o programa (controlo)

5 Exemplo: CCT Progresa Programa nacional de combate a pobreza no México Transferência de renda condicionada ao comparecimento a escola e sistema de saúde Público-alvo Eligibilidade baseada no índice de pobreza Tempo: Iniciado em 1997 Extendido ate 5 milhões de beneficiarios em 2004

6 Pergunta do Estudo Qual é o Impacto da. transferência de renda condicionada (P) no consumo da família (Y)

7 Desafio Não contrafactual Impacto= Y T - Y C Nós não observamos o que poderia ter acontecido aos alunos se eles não tivessem recebido nenhuma renda (o contrafactual)?

8 CLONE CONTRAFACTUAL PERFEITO

9 Experimento Perfeito Primeiro, identifique os beneficiários-alvo

10 Experimento Perfeito - Clones e então clone os beneficiários-alvo

11 Experimento Perfeito - Clones Distribua renda condicionada a um grupo de clones

12 Experimento Perfeito - Clones e compare o consumo medio dos dois grupos algum tempo depois Porque as pessoas que receberam renda são exatamente as mesmas que não a receberam, podemos atribuir ao programa a diferença do consumo entre os dois grupos

13 Antes & Depois Comparando inscritos e não inscritos CONTRAFACTUAIS RUINS

14 Caso 1: Antes & Depois (1) Observe somente os beneficiários Y 268 A (2) Duas observações de tempo: Consumo em 1997 Consumo em t=1997 t=1998 B $35 Tempo ESTIMATIVA DO IMPACTO =A-B= $35

15 Caso 1: Antes & Depois Consumo (Y) Consumo depois do início do programa (tratamento) Consumo antes do início do programa (grupo de controlo (contrafactual)) Estimativa do Impacto 35.3*** Estimativa do Impacto no Consumo (Y) Regressão Linear 35.27** Regressão Linear Multivariada 34.28** Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**).

16 Caso 1: Problema: não sabemos o que poderia ter acontecido sem o programa Crescimento Economico: o Impacto Real=A-C o A-B Impacto superestimado Recessão Economica: o Impacto Real=A-D o A-B Impacto subestimado Y T=0 T=1 A C? B D? Impacto? α = $35 Impacto? Tempo

17 Caso 2: Algumas pessoas se inscrevem, outras não Inelegíveis (Não-Pobre) Elegíveis (Pobre = Populalaçãoalvo) Não Inscritos Inscritos

18 Caso 2: Algumas pessoas se inscrevem, outras não GRUPO DE TRATAMENTO GRUPO DE CONTROLO

19 Caso 2: Inscricao selectiva E se aqueles que escolheram não se inscrever são diferentes?

20 Caso 2: Inscricao selectiva E, se não podemos observar (controlar) estas diferenças

21 Caso 2: Inscricao selectiva E, se estas diferenças influenciarem os resultados? Os fatores que determinam a inscrição são correlacionados com o consumo?

22 Caso 2: Algumas pessoas se inscrevem, outras não Consumo (Y) Consumo com o programa (inscritos - tratamento) Consumo sem o programa (não inscritos - controle) Estimativa do Impacto -22** Estimativa do Impacto no Consumo (Y) Regressão Linear -22** Regressão Linear Multivariada Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**).

23 Recomendação de Política do Progresa? Impacto no Consumo (Y) Caso 1: Antes & Depois Caso 2: Inscritos & Não Inscritos Regressão Linear 35.27** Regressão Linear Multivariada 34.28** Regressão Linear -22** Regressão Linear Multivariada Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**).

24 Lembre-se Comparação Antes-e-Depois Problema: outros fatores importantes também mudam ao longo do tempo. Compare os que se inscreveram com os que não Problema: Inscricao selectiva. O inscrito pode ser diferente, e não observamos estas diferenças. Ambos os grupos de comparação podem levar a estimativas enviesadas no impacto do programa.

25 ALOCAÇÃO ALEATÓRIA CONTRAFACTUAL BOM

26 Alocação aleatória: criando grupos similares Com uma grande amostra, dois grupos tem características muito similares EM MÉDIA

27 Validade Externa e Interna Alocação Aleatória População-alvo Amostra Aleatória Validade Externa Validade Interna

28 A extração de uma amostra aleatória de dois grupos não os torna comparáveis. Amostra Aleatória NÃO é o mesmo que Alocação Aleatória! Participantes Não Participantes

29 Caso 3: Alocação Aleatória na Progresa Como sabemos se temos bons clones do grupo de tratamento? Na ausência da Progresa, tratamento e comparação devem ser idênticos Vamos comparar suas caracteristicas na origem da intervencao (t=0)

30 Caso 3: Características balanceadas na origem Consumo ($ mensal per capita) Idade do chefe da família (anos) Idade do Cônjuge (anos) Educação do chefe da família (anos) Alocação Aleatória Tratamento Comparação teste T ** Educação do Cônjuge (anos) Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas

31 Case 3: Características balanceadas na origem Chefe da família é do sexo feminino=1 Alocação Aleatória Tratamento Comparação teste T Indígena= Número de membros do domicílio Banheiro= Hectares de Terra Distância do Hospital (km) Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**).

32 Medida do Impacto=A-B= $29 criar o contrafactual correto Y 268 A Impacto Verdadeiro 239 B 233 t=1997 t=1998

33 Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**). Caso 3: Alocação Aleatória Grupo de Tratamento (aleatoriamente escolhido) Contrafactual (aleatoriamente escolhido para Comparação) Impacto Origem (t=0) Consumo(Y) Fase posterior (t=1) Consumo (Y) ** Estimativa do Impacto no Consumo (Y) Regressão Linear 29.25** Regressão Linear Multivariada 29.75**

34 Recomendação de Política do Progresa? Impacto do Progresa no Consumo (Y) Caso 1: Antes & Depois Caso 2: Inscrito & Não Inscrito Case 3: Alocação Aleatória Regressão Linear Multivariada 34.28** Regressão Linear -22** Regressão Linear Multivariada Regressão Linear Multivariada 29.75** Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**).

35 EXEMPLO DO PROGRESA RANDOMIZAÇÃO NA PRÁTICA

36 Programa Opera na Comunidade

37 Randomização na Comunidade Assignação aleatória de comunidades para receber o programa 320 tratamento 506 comunidades 186 controlo

38 Programa foi aleatóriamente introduzido Antes Durante e Depois Tempo período de avaliação

39 Lembre-se Alocação Aleatória Na Alocação Aleatória, amostras suficientemente grandes, produzem dois grupos estatísticamente equivalentes. Nós identificamos o perfeito clone!

40 Teste Surpresa!

41 Qual é o problema quando comparamos aqueles que se increveram com aqueles que escolheram não se inscrever? A. Aqueles que não se inscreveram podem ser muito diferentes daqueles que se inscreveram, e as diferencas podem estar correlacionadas com os resultados do programa. B. Aqueles que não se increveram também irão querer receber o programa. C. Aqueles que não se inscreveram podem ser muito diferentes dos que se inscreveram, mas as diferencas NÃO estão correlacionadas com os resultados do programa. Those not enrolled could... Aqueles não inscritos podem Aqueles não inscritos irão Aqueles não inscritos podem 0% 0% 0% Those not enrolled will al.. Those not enrolled could...

42 Qual é o maior problema em fazer uma comparação antes-e-depois? Tamanho da amostra pode Qualquer diferença observada Você pode não encontrar Sample size might not be... 0% 0% 0% Any difference we obser.. You might not find the... A. Tamanho da amostra pode não ser grande o suficiente B. Qualquer diferença do resultado que observamos no antes-edepois pode ser devido a outros fatores que mudaram com o tempo. C. Você pode não encontrar as pessoas pesquisadas no começo.

43 O que é contrafactual? A. Um argumento B. É o que teria acontecido se o programa não tivesse ocorrido. C. Um tipo de vacina. D. Contrário aos fatos. Um argumento É o que teria acontecido Um tipo de vacina. Contrário aos fatos 0% 0% 0% 0% An argument It is what would have h... A type of vaccination. Contrary to the facts

44 Por que a randomização pode criar um contrafactual correto? A. É justo porque todos tem uma change igual de receber o programa. B. Clona cada pessoa. C. Aqueles que receberam o programa são, em média, os mesmos que não receberam o programa. É justo porque todos Clona cada pessoa. Aqueles que receberam 0% 0% 0% It is fair because everyon... It clones each person. Those who receive the p...

45 Obrigado!