Econometria para Avaliação de Políticas Públicas

Transcrição

1 Aula 1: Propensity Score Itaú Social 08/01/2016

2 Revisão Introdução O problema da identi cação Como determinar se há efeito causal de um programa social em alguma variável de interesse. Exemplo 1: Programa de treinamento/quali cação de trabalhadores: Comparam-se trabalhadores submetidos ao programa com trabalhadores não submetidos ao programa. Em geral, pode-se dizer que a diferença média de renda do trabalho entre os grupos é devida, de forma inequívoca, ao efeito do treinamento?

3 O problema da identi cação Exemplo 2: Bolsa-escola, bolsa-família: Comparam-se crianças cujas famílias pertencem ao programa com crianças que não pertencem ao programa. Em geral, pode-se dizer que a diferença média de escolaridade (medida de alguma forma, como matrícula, defasagem, número de reprovações) entre os grupos de crianças é devida, de forma inequívoca, ao efeito do programa?

4 O problema da identi cação Quais são as condições em que se pode determinar se há efeito causal? Desenho da avaliação: Grupos escolhidos de forma aleatória; Grupos escolhidos com base em características observáveis; Grupos auto-selecionados; Hipóteses sobre auto-seleção: Feita com base em variáveis observáveis ao pesquisador; Feita com base em variáveis não observáveis ao pesquisador.

5 O problema da identi cação Comparação de médias entre tratados e não tratados só tem interpretação causal se o programa tivesse sido alocado de maneira aleatória. Por quê? Seja Y a variável de interesse (resultado) e T uma dummy que indica se o indivíduo (ou família) está no programa. Comparação entre médias de tratados e não-tratados pode ser escrita como G = E [Y jt = 1] E [Y jt = 0]

6 O problema da identi cação Pergunta: esse é o efeito causal do programa sobre Y? Para responder, precisamos pensar qual teria sido o resultado dos indivíduos tratados caso eles não tivessem recebido tratamento. De na Y 1 como resultado potencial de ser tratado. De na Y 0 como resultado potencial de não ser tratado. Observamos resultado Y = Y 1 T + Y 0 (1 T ). Isto é, observamos Y 1 jt = 1 e Y 0 jt = 0.

7 O problema da identi cação Mas nunca observamos Y 1 jt = 0 ou Y 0 jt = 1. Esse problema é conhecido como problema fundamental da inferência causal (Holland, 1986). É um problema pois um potencial parâmetro de interesse é o efeito médio sobre os tratados (ATT ) ATT = E [Y 1 jt = 1] E [Y 0 jt = 1] = E [Y 1 Y 0 jt = 1] ATT é o ganho médio causado pelo programa, para a subpopulação que é atendida pelo programa. Note que Y 1 Y 0 é o ganho associado ao programa

8 O problema da identi cação A diferença entre G e ATT é o viés B, também chamado de viés de seleção: B = G ATT = E [Y jt = 1] E [Y jt = 0] (E [Y 1 jt = 1] E [Y 0 jt = 1]) = E [Y 1 jt = 1] E [Y 0 jt = 0] (E [Y 1 jt = 1] E [Y 0 jt = 1]) = E [Y 0 jt = 1] E [Y 0 jt = 0] Viés surge do uso de um grupo de comparação inadequado. Os indivíduos que não foram tratados podem ter um comportamento muito diferente daquele que os indivíduos tratados teriam tido caso não o tivessem recebido tratamento.

9 O problema da identi cação A m de eliminar ou reduzir o viés, precisamos re etir sobre a auto-seleção ao programa. Feita com base em variáveis observáveis ao pesquisador; Feita com base em variáveis não observáveis ao pesquisador. Contudo, se a seleção tivesse sido aleatória, isto é, T independente de Y 1 e Y 0, então B = 0. Isto ocorre pois B = E [Y 0 jt = 1] E [Y 0 jt = 0] = E [Y 0 ] E [Y 0 ] = 0.

10 Seleção nos Observáveis Até aqui de nimos ATT = E [Y 1 jt = 1] E [Y 0 jt = 1] = E [Y 1 Y 0 jt = 1], o efeito do tratamento médio sobre os tratados, como sendo o parâmetro de interesse, pois ele captura o efeito causal do programa ou tratamento para a subpopulação dos tratados. Contudo, há outros parâmetros que podemos de nir como sendo de interesse para o analista: ATE = E [Y 1 ] E [Y 0 ] = E [Y 1 Y 0 ] ATNT = E [Y 1 jt = 0] E [Y 0 jt = 0] = E [Y 1 Y 0 jt = 0]

11 Seleção nos Observáveis O ATE é o efeito do tratamento sobre toda a população. Corresponde a tratar todos e comparar com não tratar ninguém. Note que precisa de dois contrafactuais: E [Y 1 jt = 0] e E [Y 0 jt = 1]. O ATNT é o efeito do tratamento apenas sobre os não-tratados. Usa apenas um contrafactual, E [Y 1 jt = 0]

12 Seleção nos Observáveis Sob aleatorização esses três parâmetros são idênticos, pois ) (Y 1, Y 0 )? T E [Y1 jt = 1] = E [Y 1 jt = 0] = E [Y 1 ] E [Y 0 jt = 1] = E [Y 0 jt = 0] = E [Y 0 ] ) ATE = E [Y 1 ] E [Y 0 ] = E [Y 1 jt = 1] E [Y 0 jt = 1] = ATT = E [Y 1 jt = 0] E [Y 0 jt = 0] = ATNT

13 Seleção nos Observáveis Exemplo: Aleatorização dos Planos de Saúde Experimento de 1974 a indivíduos com idade entre 14 e 61 anos. EUA: 6 regiões diferentes Participantes foram aleatoriamente alocados em 14 planos de saúde. Participantes não tinham que pagar os planos, mas os planos tinham opções diferentes relacionados a co-pagamentos e coberturas. O mais generoso oferecia cobertura completa de graça. O pior plano era praticamente nenhuma cobertura. As famílias participantes cavam nos planos de 3 a 5 anos, e tinham que deixar qualquer plano anterior. As famílias recebiam mensalmente um pagamento xo mensal que não precisava estar ligados a gastos com saúde.

14 Seleção nos Observáveis Pergunta: Quando e quanto o cuidado com a saúde cai quando os preços aumentam? Os tamanhos dos grupos de tratados em cada uma das opções é muito pequeno. Para fazer uma análise estatística, precisaram agrupar os diversos planos. O agrupamento foi feito pelo grau de cobertura: sem cobertura, dedutível, co-pagamento e de graça.

15 Seleção nos Observáveis Comparar que tem com quem não tem plano de saúde, pode gerar viés de seleção.

16 Seleção nos Observáveis

17 Seleção nos Observáveis Findings: Indivíduos no plano de graça teve um cuidado maior com a saúde que os demais (na média). Indivíduos no plano de graça gastaram mais em saúde (2/3 na média) do que os indivíduos que praticamente não tinham plano de saúde. No entanto, os níveis de colesterol, pressão arterial e os índices de saúde no geral são bem similares entre os dois grupos.

18 Introdução Seleção nos Observáveis

19 Seleção nos Observáveis Seleção baseada em observáveis: Dado X, resultado potencial é independente do tratamento, ie, T independente de Y 1 e Y 0 j X. Escrito formalmente: Pr [T = 1jY (1), Y (0), X ] = Pr [T = 1jX ] p (X ) onde p (X ), ou a probabilidade de ser tratado dado X, é o assim chamado propensity-score.

20 Seleção nos Observáveis A hipótese de independência condicional (em X ) entre T e os resultados potenciais Y (1) e Y (0) também é conhecida como hipótese de ignorabilidade do tratamento. T é ignorável se Pr [T = 1jY 1, Y 0, X ] = Pr [T = 1jX ] ou (Y 1, Y 0 )? T jx

21 Seleção nos Observáveis A hipótese sobre seleção é que condicional em X não há nada sistemático que faça com que um indivíduo seja ou não tratado. Isto é, apenas algo estritamente aleatório faz com que alguém seja ou não tratado. A probabilidade de ser tratado, contudo, depende de X e é p(x ). Este é um caso em que pode-se pensar que há auto-seleção e que o analista conhece e observa todas as características relevantes, a menos de um erro aleatório. A hipótese de seleção em observáveis é não-testável. Note que ela envolve sempre ou variáveis aleatórias que apresentam dados faltantes, como quando escrevemos (Y 1, Y 0 )? T jx

22 Seleção nos Observáveis Lembrem-se que ATT = E [Y 1 jt = 1] E [Y 0 jt = 1] = E [Y jt = 1] E [Y 0 jt = 1] ATE = E [Y 1 ] E [Y 0 ] = E [Y 1 jt = 1] Pr [T = 1] + E [Y 1 jt = 0] Pr [T = 0] (E [Y 0 jt = 1] Pr [T = 1] + E [Y 0 jt = 0] Pr [T = 0]) = E [Y jt = 1] Pr [T = 1] + E [Y 1 jt = 0] Pr [T = 0] (E [Y 0 jt = 1] Pr [T = 1] + E [Y jt = 0] Pr [T = 0])

23 Seleção nos Observáveis A primeira forma de se identi car as médias é pensando em um método de imputação ou de regressão: ATE = E [Y 1 ] E [Y 0 ] = E [E [Y 1 jx ]] E [E [Y 0 jx ]] = E [E [Y 1 jx, T = 1]] E [E [Y 0 jx, T = 0]] = E [E [Y jx, T = 1]] E [E [Y jx, T = 0]] ATT = E [Y 1 jt = 1] E [Y 0 jt = 1] = E [Y jt = 1] E [E [Y 0 jx, T = 1] jt = 1] = E [Y jt = 1] E [E [Y 0 jx, T = 0] jt = 1] = E [Y jt = 1] E [E [Y jx, T = 0] jt = 1]

24 Seleção nos Observáveis Portanto, para cada valor de X, identi camos a distribuição de Y 0 jt = 1 usando Y jt = 0. Isto é, imputamos os valores dessa distribuição usando observações do grupo de controle (T = 0) que tenha o mesmo X do grupo de tratamento (T = 1). Depois, como estamos interessados na distribuição não-condicional de Y 0 jt = 1, precisamos tirar uma média usando a distribuição de X jt = 1. O primeiro método usado para estimar estes "contrafactuias" é o de regressão.

25 Podemos escrever os resultados potenciais como: Y i (1) = Xi T α + β + ε 1i Y i (0) = Xi T α + ε 0i Sob a hipótese de seleção nos observáveis, E [ ε 0i j X i ] = 0

26 Usando os resultados de uma regressão linear de Y em X para amostra de não-tratados, podemos estimar o efeito médio do tratamento sobre os tratados: [ATT = 1 N 1 N T i (Y i bµ 0 (X i )) i=1 bµ 0 (X i ): valor previsto para o grupo de tratamento usando os coe cientes estimados por MQO para a regressão dos controles e as características (X ) dos tratados. Para este método funcionar precisamos que esta extrapolção seja válida (Hipótese do ).

27 Antes é importante notarmos que implicitamente lançamos mão de uma outra hipótese, a qual garante comparabilidade entre os dois grupos T = 1 e T = 0. Trata-se da hipótese de suporte comum: 0 < p (x) < 1 8x 2 X onde X é o suporte da distribuição de X. Dito de outra forma, não há valor de X para o qual se possa dizer com certeza a que grupo (T = 1 ou T = 0) o indivíduo pertence, usando apenas informação obtida pelo X. A combinação das hipóteses de ignorabilidade e do suporte comum é conhecida como ignorabilidade forte (Rubin, 1977).

28 Se tivéssemos feito a imputação para cada observação tratada (T = 1), teríamos feito o que chamamos de matching, ou o nosso segundo método de identi cação. O procedimento seria muito parecido: para cada observação tratada acharíamos um match (par) no grupo de controle (T = 0) com um mesmo X e imputaríamos o valor que aquele indivíduo tratado teria tido caso não tivesse sido tratado usando a observação do seu match no grupo de controle. Depois que tivéssemos isso para todos os tratados, calcularíamos a média. Essa média (populacional), sob a hipótese de seleção em observáveis, será E [Y 0 jt = 1].

29 Para indivíduo i, se Y i (1) é observado (T i = 1), então Y i (0) é faltante (missing). Encontram-se indivíduos j, tais que T j = 0, e que satisfaçam: kx j X i k kx l X i k, 8 l, T l = 0 Suponha que encontremos apenas um j satisfazendo restrição anterior. Então by i (0) = Y j (0) = Y j. De forma análoga, faz-se o mesmo se T i = 0. Imputa-se Y i (1) com by i (1) = Y j (1) = Y j.

30 Estima-se E [Y (1)] como: be [Y (1)] = 1 N portanto, estima-se ATE como e ATT por date match,1 = 1 N [ATT match,1 = 1 N 1 N T i Y i + (1 T i ) by i (1) i=1 N T i Y i + (1 T i ) by i (1) i=1 N 1 N (1 T i ) Y i + T i by i (0) i=1 N T i Y i by i (0) i=1

31 Algumas questões relevantes na implementação: 1 Com mais de uma unidade como candidata a par (se há empate, por exemplo), como escolher? 2 Se for usar mais de uma unidade, deve-se repor unidade que serviu como par? Ou fazer matching sem reposição? 3 Que noção de distância kk deve ser usada?

32 Observação: Matching, ao contrário do método da imputação (usando toda a amostra), não é e ciente. Razão para isso é que matching tipicamente xa o número de matches

33 De ne-se um balancing-score, b (X ), como uma função de X tal que a distribuição de X nos dois grupos esteja equilibrada, i.e., X? T jb (X ) Pode-se mostrar que o b (X ) de menor dimensionalidade é o propensity-score: X? T jp (X ) Importante: Esse resultado não é dependente da hipótese de ignorabilidade: (Y 1, Y 0 )? T jx

34 Ele é um simples resultado de teoria da probabilidade: X? T jp (X ), Pr [T = 1jX, p (X )] Pr [T = 1jp (X )] Podemos rescrever o lado direito como: Pr [T = 1jp (X )] = E [Pr [T = 1jX, p (X )] jp (X )] Contudo, novamente temos Pr [T = 1jX, p (X )] = p (X ), o que nos dá: Pr [T = 1jp (X )] = E [p (X ) jp (X )] = p (X ).

35 Um segundo resultado, mais interessante, diz que sob a hipótese de ignorabilidade, se b (X ) é balancing-score, então: (Y 1, Y 0 )? T jb (X ) e em particular (Y 1, Y 0 )? T jp (X )

36 Usamos a mesma lógica anterior para provar esse resultado: (Y 1, Y 0 )? T jp (X ), Pr [T = 1jY 1, Y 0, p (X )] Pr [T = 1jp (X )] Vimos que o lado direito da equivalância é simplesmente p (X ). O lado esquerdo pode ser reescrito como Pr [T = 1jY 1, Y 0, p (X )] = E [Pr [T = 1jY 1, Y 0, p (X ), X ] jy 1, Y 0, p (X )] = E [Pr [T = 1jY 1, Y 0, X ] jy 1, Y 0, p (X )] = E [Pr [T = 1jX ] jy 1, Y 0, p (X )] = E [p (X ) jy 1, Y 0, p (X )] = p (X ).

37 Qual vantagem de se usar p (X ) em vez de X? Principal é redução da dimensionalidade. Qual desvantagem de se usar p (X ) em vez de X? Principal é que verdadeiro p (X ) é uma função desconhecida de X e precisa, portanto, ser estimada. Estimação do p (X ) em um primeiro estágio pode afetar variância do estimador do segundo estágio.

38 Vamos ver três métodos baseados no escore de propensão: 1 Regressão usando propensity-score estimado. Rodamos uma regressão de Y em T e o p(x ) estimado. Como p (X ) é estimado, temos que fazer correção nos erros-padrão reportados. Além disso, método é válido se con armos na hipótese sobre a forma funcional da média condicional. Mais sobre isso em breve.

39 1 Matching no propensity-score estimado: Embora bastante popular, apenas muito recentemente foi estabelecida teoria assimptótica para esse caso (Abadie and Imbens, 2009). 2 Reponderação usando p-score estimado Esse método parece que usa versão da ignorabilidade condicionando em p(x ).

40 Reponderação ATE = E [E [Y jx, T = 1]] E [E [Y jx, T = 0]] = E [E [T Y jx, T = 1]] E [E [(1 T ) Y jx, T = 0]] E [T Y jx ] E [(1 T ) Y jx ] = E E p (X ) 1 p (X ) T 1 T = E p (X ) Y E 1 p (X ) Y

41 usamos aqui E [TY jx ] p (X ) (1 p (X )) = E [TY jx, T = 1] + E [TY jx, T = 0] p (X ) = E [TY jx, T = 1] + 0 = E [Y jx, T = 1] e T E p (X ) Y = E E T p (X ) Y jx = E E [TY jx ] p (X )

42 Fazendo-se contas similares, chegamos para ATT : ATT = E [Y jt = 1] E [E [Y jx, T = 0] jt = 1] = E [T Y ] E [p (X ) E [Y jx, T = 0]] p p onde p = Pr [T = 1]. O resultado acima deriva de E [T Y ] 1 p = E [T Y jt = 1] + E [T Y jt = 0] p p = E [Y jt = 1] e da regra de Bayes: f X jt (xj1) = p (x) f X (x) p f X jt (xj0) = 1 p (x) f X (x) 1 p

43 Assim: ATT = E [T Y ] p T = E p Y T = E p Y T = E p Y T = E p Y T = E p Y E [p (X ) E [Y jx, T = 0]] p p (X ) E E [Y jx, T = 0] p p (X ) E E [(1 T ) Y jx, T = 0] p p (X ) E [(1 T ) Y jx ] E p 1 p (X ) p (X ) 1 T E p 1 p (X ) Y p (X ) 1 p E p 1 p (X ) 1 T 1 p Y

44 P(X ) aparece como um peso nas equações acima. Procedimento em dois passos: Passo 1: Estimamos P(X ) por um modelo Probit ou Logit. Passo 2: Obtemos estimadores consistentes dos parâmetros de interesse: 0 1 date rew,norm = 1 N T i 1 T i bp(x i ) 1 bp(x i ) A i=1 N T j j=1 N Y 1 T i l bp(x j ) l=1 1 bp(x l ) 0 1 [ATT rew,norm = 1 N N i=1 T bp (X i i ) Ti 1 bp(x i ) N j=1 T j N l=1 bp (X l ) 1 Tl 1 bp(x l ) A Y i

45 Como isso se relaciona com regressão? De na bλ ATE,i como: bδ = bλ ATE,i = T i bp (X i ) b λ ATE,i T i Y i b λ ATE,i 1 T i 1 bp (X i ) = T i bp (X i ) bp (X i ) (1 bp (X i )) o coe ciente associado ao T na regressão ponderada de Y em T e uma constante, usando bλ ATE,i como peso é: bλ ATE,i T i bλ ATE,i Y i = 1 N 0 i=1 λ b ATE,i Ti 2 λ b ATE,i T i bp(x i ) T j j bp(x j ) λ b ATE,i λ b ATE,i 2 bλ ATE,i T i λ b ATE,i 1 T i 1 bp(x i ) j 1 T j 1 bp(x j ) 1 A Y i = date rew,norm

46 De na bλ ATT,i como: bλ ATT,i = T i bp bp (X i ) bp 1 T i 1 bp (X i ) = T i bp (X i ) bp (1 bp (X i )) o coe ciente associado ao T na regressão ponderada de Y em T e uma constante, usando bλ ATT,i como peso é: bδ = = 1 N b λ ATT,i T i Y i b λ ATT,i 0 i=1 λ b ATT,i Ti 2 λ b ATT,i T i N j=1 T j bλ ATT,i T i bλ ATT,i Y i λ b ATT,i λ b ATT,i 2 bλ ATT,i T i λ b ATT,i bp (X i ) 1 Ti 1 bp(x i ) N l=1 bp (X l ) 1 Tl 1 bp(x l ) 1 A Y i = ATT [ rew,norm

47 Matching Mesma ideia do matching baseado no vetor X. Escolhemos os indvíduos no grupo de controle que se parecem mais com os indivíduos no grupo de tratamento em termos do escore de propensão. O pareamento baseado no escore de propensão também irá depender de uma métrica pré-determinada, que de nirá a proximidade do escore de propensão dos indivíduos tratados em relação ao escore de propensão dos indivíduos não-tratados. Exemplo: The Nearest Neighbor Matching - usa o resultado de M indivíduos do grupo de controle.

48 Sendo H M o conjunto das M observações com o menor valor de P b (X j ) bp (X i ), podemos construir o análogo amostral para o resultado potencial do indivíduo caso ele não fosse tratado, como: by i (0) = 1 M Y j j2h M (i) e estimamos os parâmetros de interesse.

49 Regressão Como (Y (1), Y (0))? T jp (X ) temos que ATE = E [Y (1)] E [Y (0)] = E [E [Y (1) jp (X )]] E [E [Y (0) jp (X )]] = E [E [Y (1) jp (X ), T = 1]] E [E [Y (0) jp (X ), T = 0] = E [E [Y jp (X ), T = 1]] E [E [Y jp (X ), T = 0]]

50 Podemos estimar as médias condicionais através de regressões. Por exemplo, o que acontece se E [Y jp (X ), T = 1] = α 1 + β 1 p (X ), E [Y jp (X ), T = 0] = α 0 + β 0 p (X )? E [Y jp (X ), T ] = α 0 + β 0 p (X ) + (α 1 α 0 ) T + (β 1 β 0 ) p (X ) mas ATE = (α 1 α 0 ) + (β 1 β 0 ) p = δ

51 e E [Y jp (X ), T ] = α 0 + β 0 p (X ) + δ T + (β 1 β 0 ) (p (X ) p) T Portanto, nesse caso, regressão de Y em T, p (X ) e interação p (X ) T, onde p (X ) = p (X ) p, identi ca ATE.

52 Em alguns casos, escolhemos modelos paramétricos para o p-score ou para E [Y jt, X ] sem a necessária con ança de que eles se aproximem dos objetos populacionais da maneira adequada. Métodos que surgiram dá combinação dos métodos acima são menos sensíveis a essas hipóteses. Exemplos: Pareamento e Regressão Linear Regressão Linear e Reponderação

53 Pareamento e Regressão Linear ey i (0) = 1 M (Y j + bµ 0 (X i ) bµ 0 (X j )) j2h M (i) bµ 0 (X i ), bµ 0 (X j ) : valores previstos de Y para os indivíduos no grupo de controle e também para os indivíduos no grupo de tratamento obtidos com os coe cientes da regressão de Y em X somente para a subamostra de indivíduos que não receberam tratamento

54 e e ATT por date matchreg,1 = 1 N [ATT matchreg,1 = 1 N 1 N T i Y i + (1 T i ) by i (1) i=1 N 1 N (1 T i ) Y i + T i by i (0) i=1 N T i Y i by i (0) i=1

55 Regressão Linear e Reponderação Y i = α 0 + τt i + X T i α 1 + T i X i X 1 T α2 + ε i X 1 : média amostral de X na subamostra de indivíduos tratados. τ: efeito médio do tratamento sobre os tratados (ATT) Estimamos esta regressão podenderada por: ˆP(X i ) w(t, X ) = T i + (1 T i ) 1 ˆP(X i )

56 Para obter o ATE, estimamos a seguinte regressão: Y i = α 0 + τt i + X T i α 1 + T i X i X T α2 + ε i X : média amostral de X na amostra como um todo. Ponderada por: w(t, X ) = T i ˆP(X i ) + 1 T i 1 ˆP(X i )