Métodos Não-Experimentais. Caio Piza - DIME 22/06/2015 ieconnect Impact Evaluation Workshop Rio de Janeiro, Brazil June 22-25, 2015

Tamanho: px

Começar a partir da página:

Download "Métodos Não-Experimentais. Caio Piza - DIME 22/06/2015 ieconnect Impact Evaluation Workshop Rio de Janeiro, Brazil June 22-25, 2015"

Alana Belmonte Bento
7 Há anos
Visualizações:

1 Métodos Não-Experimentais Caio Piza - DIME 22/06/2015 ieconnect Impact Evaluation Workshop Rio de Janeiro, Brazil June 22-25, 2015

2 Tudo o que você gostaria de saber sobre métodos não-experimentais, mas tinha vergonha de perguntar Em 1 hora!

3 Motivação

4 Lição # 1:

5 Qual o Desafio de Qualquer AI? Obter um bom contrafactual para identificar o efeito causal de uma intervenção comparando O que aconteceu Com O que teria ocorrido se o programa não existisse? Problema fundamental de inferência causal

6 Contrafactual: Intuição Grupos de tratamento (T) e controle (C) Características observáveis e não-observáveis idênticas, na média. A diferença entre as variáveis (indicadores) de resultado dos grupos de T e C é exclusivamente devida à intervenção (ou tratamento)

7 Ferramentas para obter o contrafactual Não é uma boa estratégia Boas estratégias desde que algumas hipóteses sejam observadas Efeito causal Antes Depois Participantes Não-Participantes Diferença-em-diferenças Regressão descontínua Experimentos Randomized Control Trials

8 Ferramentas para obter o contrafactual Não é uma boa estratégia Antes Depois Participantes Não-Participantes Boas estratégias desde que algumas hipóteses sejam observadas Diferença-em-diferenças Regressão descontínua Efeito causal Experimentos Randomized Control Trials

9 Análise do Contrafactual Método experimental: Compara grupos que, na média, são idênticos Métodos não-experimentais: Compara grupos, na média, similares

10 Estudo de caso: Subsídio para uso do transporte público (bilhete único) Problema: População de baixa renda e desempregada que mora na área periférica do município do RJ Política pública: subsidiar o transporte público para tais pessoas por tempo determinado para procurarem emprego no centro da cidade Subsídio: 25% de desconto no bilhete Público-alvo: 1000 famílias Variável de resultado: taxa de emprego entre o públicoalvo do programa

11 Como avaliar esse programa? Participantes Não-Participantes As 1000 famílias são convidadas a participar de um evento promovido pela prefeitura no começo do mês O bilhete subsidiado foi oferecido a todas as 1000 famílias desempregadas No final do mês 403 usaram o bilhete único e 597 não usaram Como medir o efeito da política? Comparar a taxa de emprego entre os usuários (403) do bilhete único e o não-usuários

12 Participantes Não-Participantes Método Tratamento Comparação Diferença Efeito em % Participantes VS. Não-participantes 64% 55% 9 pp. 9/55 = 16.4% Problema: Viés de Seleção. Por que apenas 403 usaram? - São as que tem melhores qualificações, maior mercado experiência no mercado de trabalho etc. (essas características são observáveis) - Famílias mais motivadas, mais bem informadas etc. (essas características são nãoobserváveis)

13 Lição # 2 VS.

14 Lição # 2 VS.

15 Avaliação de Impacto Obtém a média da variável de resultado ao longo do tempo para os grupos de T e comparação Compara O que aconteceu com O que teria acontecido na ausência do programa (contractual) Identifica o efeito causal Controlando por todos demais fatores que mudam no tempo 15

16 Métodos Não-Experimentais 1. Pareamento 2. Diferença-em-diferenças (DD) 3. Regressão descontínua

17 Métodos Não-Experimentais 1. Pareamento 2. Diferença-em-diferenças (DD) 3. Regressão descontínua

18 1. Pareamento (matching) Intuição do método de pareamento? 1. O programa foca um grupo-alvo com certas características observáveis ((e.g. famílias desempregadas que moram na periferia) 2. O pesquisador CONHECE as características das famílias que as tornam elegíveis para entrar no programa 3. Famílias com características observáveis similares àquelas que decidem participar deveriam ser um bom grupo de comparação 4. Na prática gera-se um indicador (escore de propensão -- propensity score) que sintetiza um conjunto de características num indicador e parea-se T e C com mesmos valores do indicador 18

19 19 1. Pareamento Na maioria dos casos não há pares para todos! Exemplo Suporte comum Não-participantes Participantes Indicador

20 Participantes Não-Participantes Pareados Método Tratamento Comparação Diferença Efeito em % Participantes VS. Não-participantes 62% 57% 5 pp. 5/57 = 8.8% Problema: Viés de Seleção. Por que apenas 403 usaram? - São as que tem melhores qualificações, maior mercado experiência no mercado de trabalho etc. (essas características são observáveis) Isso eliminamos com o pareamento! - Famílias mais motivadas, mais bem informadas etc. (essas características são nãoobserváveis)

21 2. Diferença-em-Diferenças Plano: combinar a dimensão temporal da análise antes-e-depois com a decisão de participação (participantes vs. não-participantes) (Sob algumas hipótese) este método resolve: Efeito do tempo: outras coisas podem ter ocorrido e afetado o programa ao longo do tempo Viés de seleção: não sabemos porque alguns participaram e outros não, mas essa decisão depende de características que não variam no tempo

22 Começo do mês 2. Antes-e-Depois Final do mês Método Tratados (depois) Comparação (antes) Antes-e-Depois 64% 61% 3 pp. Diferença Efeito em % 3/61 = 4.9% Problema: Efeito do tempo. Outras coisas podem ter acontecido nesse período. - A economia pode ter crescido, outras programas de crédito subsidiado foram criados etc.

23 Antes-e-Depois % Impacto = (P depois - P antes ) = = + 3 pp. 64% 61% P depois -P antes = 3 pp. participants

24 Antes-e-Depois + Não-Participantes: Diferença-em-Diferenças % Impact = (P depois -P antes ) -(NP depois -NP antes ) = 3pp 1pp = + 2pp 64% 61% 54% 55% P depois -P antes = 3 pp. participants non-participants NP depois -NP antes = 1pp

25 Você também pode usar uma tabela Taxa de lucro Antes Depois Diferença (Antes-Depois) Participantes (P) 61% 64% 3 pp Não-participantes (NP) 54% 55% 1 pp Diferença (P-NP) 7 pp 9 pp 2 pp 25

26 Você também pode usar uma tabela Taxa de lucro Antes Depois Diferença (Antes-Depois) Participantes (P) 61% 64% 3 pp Não-participantes (NP) 54% 55% 1 pp Diferença (P-NP) 7 pp 9 pp 2 pp 26

27 Você também pode usar uma tabela Taxa de lucro Antes Depois Diferença (Antes-Depois) Participantes (P) 61% 64% 3 pp Não-participantes (NP) 54% 55% 1 pp Diferença (P-NP) 7 pp 9 pp 2 pp 27

28 Hipótese de tendência comum (ou paralela) % Impacto = +2 pp participants non-participants

29 Conclusão O bilhete único ajudou algumas famílias desempregadas a encontrarem empregro. A hipótese de tendência comum é plausível?

30 Use dados históricos se possível combine os métodos de DD com pareamento! % participants non-participants

31 31 Observação: Na prática o paramento é um pouco mais complicado! Source: Caliendro, 2008: 41.

32 32 Passos importantes para o pareamento Source: Caliendro, 2008: 33

33 33 Passos importantes para o pareamento Não se desespere! Há uma forma de se evitar tudo isso! Source: Caliendro, 2008: 33

34 Métodos Não-Experimentais 1. Diferença-em-diferenças (DD) 2. DD com pareamento 3. Regressão descontínua (RDD)

35 Como avaliar esse programa? Regressão Descontínua Plano: subsídios oferecidos a famílias desempregadas com renda familiar per capita Todas as 1000 famílias demonstraram interesse em receber o bilhete único, mas apenas as com renda familiar per capita até 200 reais mês reberão o bilhete Público-alvo: famílias com renda < = 200 Idéia: comparar taxa de emprego das famílias com renda familiar per capita pouco abaixo de 200 (elegíveis ao programa de crédito subsidiado) com famílias com renda per capita pouco acima de 200 (não-elegíveis ao programa)

36 Taxa de Emprego em % 65% 60% 55% 50% Elegíveis Nãoelegíveis 200

37 RDD Após a Intervenção Taxa de Emprego em % 65% RDD identifica o efeito médio local para o grupo ao redor da linha de corte 60% 55% Efeito do tratamento 50%

38 RDD Método poderoso se houver: Uma variável ou indicador contínuo que define eligibilidade Uma linha de corte (cut-off) claramente definido e não manipulável Quanto maior a adesão melhor! Método Tratamento Comparação Diferença Regressão Descontínua 55% 57.5% 2.5 pp Importante: O impacto é válido apenas para aqueles indivíduos que estão próximos à linha de corte Esse é um grupo interessante para o seu programa?

39 Resumo dos efeitos obtidos com diferentes métodos Método Tratamento Comparação Diferença Participantes - Nãoparticipantes Efeito em % 64% 55% 9 pp 16.4% Pareamento 62% 57% 5 pp 8.8% Diferença-em-diferenças 64% 62% 2 pp 3.7% Regressão Descontínua 57.5% 55% 2.5 pp 4.5%

40 Quão fácil (ou difícil) é tudo isso?! Preciso de um drink!

41 Amanhã vocês verão uma maneira muito mais fácil, simples e confiável de se medir o impacto de um programa!

Documentos relacionados

DIME Impact Evaluation Workshop. Innovations for Agriculture June 2014, Kigali, Rwanda

DIME Impact Evaluation Workshop Innovations for Agriculture 16-20 June 2014, Kigali, Rwanda Impact Evaluation Workshop Innovations for Agriculture Medindo o Impacto II Métodos Não-Experimentais David Evans,