Impact Evaluation Linha Técnica Sessão I: Inferência Causal Human Development Human Network Development Network Middle East and North Africa Region World Bank Institute Spanish Impact Evaluation Fund www.worldbank.org/sief Questões políticas são causais por natureza Relações de causa-efeito são parte do trabalho de formuladores de políticas: A descentralização das escolas melhora a qualidade da educação? Um ano a mais de educação causa maior renda? Transferências condicionais de renda causam melhores resultados de saúde infantil? Como melhoramos o aprendizado de um aluno? 2 1
Questões políticas são causais por natureza mas a Estatística que você aprendeu na escola/universidade não lida com isso 3 Análise estatística padrão Ferramentas: verossimilhança e outras técnicas de estimação Objetivo: inferir parâmetros de uma distribuição a partir de amostras retiradas dessa distribuição Utilidade: com o auxílio desses parâmetros, pode-se: Inferir associação entre variáveis Estimar a probabilidade de eventos passados e futuros Atualizar a probabilidade de eventos a partir de novas evidências ou novas medidas Condição para que isso funcione corretamente: condições experimentais devem permanecer inalteradas 4 2
Análise estatística padrão Condição: condições experimentais devem permanecer inalteradas Mas nossas questões políticas eram Se eu descentralizar as escolas, a qualidade melhora? Se eu encontrar uma forma de fazer com que uma criança permaneça mais tempo na escola, ela ganhará mais dinheiro? Se eu começar a dar dinheiro às famílias, suas crianças serão mais saudáveis? Se eu treinar os professores, seus alunos aprenderão mais? As condições mudam!!! 5 Análise causal Para questões causais, devemos inferir aspectos do processo gerador de dados Em outras palavras, precisamos ser capazes de deduzir: a probabilidade de eventos sob condições estáticas (como na Análise Estatística Padrão) assim como a dinâmica de eventos sob condições variáveis 6 3
Análise causal dinâmica de eventos sob condições variáveis inclui: 1. Prever os efeitos de intervenções 2. Prever os efeitos de mudanças espontâneas 3. Identificar as causas de eventos relatados 7 Causalidade vs. correlação Análise estatística padrão / teoria da probabilidade: A palavra causa não está em seu vocabulário Nos permite dizer que dois eventos são mutuamento correlacionados ou dependentes Isso não é suficiente para formuladores de políticas Eles buscam motivos para decisões de política: se fizermos XXX, obteremos YYY? Precisamos de um vocabulário para causalidade 8 4
O MODELO CAUSAL DE RUBIN: VOCABULÁRIO PARA CAUSALIDADE 9 População e variável de resultado Defina a população por U Cada unidade em U é denotada por u O resultado de interesse é Y Também chamada de variável de resposta Para cada u U, há um valor associado Y(u) 10 5
Causas / Tratamento Rubin define causa Causa é aquilo que pode ser tratamento em experimentos hipotéticos Para simplificar, supomos que há apenas dois estados possíveis: Unidade u é exposta ao tratamento Unidade u é exposta ao controle 11 A variável de tratamento Seja D uma variável indicando o estado ao qual cada unidade de U é exposta: D = De onde vem o D? 1 se a unidade u é exposta ao tratamento 0 se a unidade u é exposta ao controle Em um estudo controlado: construído pelo experimentador Em um estudo não-controlado: determinado por fatores além do controle do experimentador 12 6
Relacionando Y e D Y = variável de resposta D = variável de tratamento A resposta Y é potencialmente afetada pelo fato de u receber ou não tratamento Portanto, precisamos de duas variáveis de resposta: Y 1 (u) é o resultado se a unidade u é exposta ao tratamento Y 0 (u) é o resultado se a unidade u é exposta ao controle 13 Efeito do tratamento sobre o resultado Variável de tratamento D: D = 1 se a unidade u é exposta ao tratamento D = 0 se a unidade u é exposta ao controle Variável de resposta Y: Y 1 (u) é o resultado se a unidade u é exposta ao tratamento Y 0 (u) é o resultado se a unidade u é exposta ao controle Para qualquer unidade u, o tratamento causa o efeito δ u = Y 1 (u) - Y 0 (u) 14 7
Mas há um problema Para qualquer unidade u, o tratamento causa o efeito δ u = Y 1 (u) - Y 0 (u) Problema fundamental da inferência causal: Para uma dada unidade u, observamos ou Y 1 (u) OU Y 0 (u) É impossível observar o efeito do tratamento sobre um mesmo u! Não observamos o contrafactual Se tratamos u, não podemos observar o que teria acontecido com u na ausência do tratamento 15 O que fazemos, então? Em vez de medir o efeito do tratamento sobre a unidade u, identificamos o efeito de tratamento médio para a população U (ou para sub-populações) Y ( u) Y ( u) u 1 0 ATE ETM U EU [ Y1( u) Y0( u)] E [ Y ( u)] E [ Y ( u)] Y U Y 1 0 1 U 0 ( 1) 16 8
Estimando o ETM Então, Substitua o que é impossível observar: o efeito de tratamento de D sobre uma unidade específica de u pelo que é possível estimar: a média do efeito de tratamento de D em uma população U de tais unidades Embora E U (Y 1 ) e E U (Y 0 ) não possam ser calculadas, elas podem ser estimadas A maioria dos métodos econométricos busca construir, a partir de dados observacionais, estimadores consistentes de E U (Y 1 ) = Y 1 e E U (Y 0 )= Y 0 17 Um estimador simples do ETM U Queremos estimar: ETM U = E U (Y 1 ) - E U (Y 0 ) = Y 1 - Y 0 (1) Considere o seguinte estimador simples: δ = [ Y 1 D = 1] - [ Y 0 D =0 ] (2) Note que: a equação (1) é definida para toda a população a equação (2) é um estimador a ser calculado a partir de uma amostra obtida dessa população 18 9
Um lema importante Lema: Supondo que Y 1 0 e 1 D Y 1 D Y 0 D 1 Y 0 D 0 Então ^ ^ ^ Y 1 D 1 Y 0 D 0 é um estimador consistente de Y 1 Y 0 19 Condições fundamentais Portanto, uma condição suficiente para que o estimador simples estime consistentemente o verdadeiro ETM é dada por: Y 1 1 0 1 D Y D O resultado médio sob tratamento Y 1 é o mesmo para os grupos de tratamento (D=1) e controle (D=0) E Y 1 0 0 0 D Y D O resultado médio sob controle Y 0 é o mesmo para os grupos de tratamento (D=1) e controle (D=0) 21 10
Quando essas condições serão satisfeitas? É suficiente que a designação do tratamento D seja não-correlacionada com a distribuição de resultados potenciais Y 0 and Y 1 Intuitivamente: não pode haver correlação entre uma pessoa receber o tratamento e quanto essa pessoa potencialmente se beneficia do tratamento A forma mais fácil de alcançar essa não-correlação é através da aleatorização da designação do tratamento 22 Uma outra forma de olhar para isso Com alguma álgebra, mostra-se que: ^ Y 0 D 1 Y 0 D 0 estimador simples impacto verdadeiro diferença na linha de base 1 -π D 1 D 0 resposta heterogênea ao tratamento 23 11
Uma outra forma de olhar para isso (em palavras) Há duas fontes de viés que devem ser eliminadas das estimativas de efeitos causais: Diferença na linha de base / viés de seleção Resposta heterogênea ao tratamento A maioria dos métodos disponíveis lida somente com o viés de seleção 24 Tratamento nos Tratados O Efeito de Tratamento Médio nem sempre é o parâmetro de interesse Frequentemente, é o efeito de tratamento médio nos tratados que desperta interesse: TOT ETT E [ Y ( u) Y ( u) D 1] 1 0 E [ Y ( u) D 1] E [ Y ( u) D 1] 1 0 25 12
Tratamento nos Tratados Se precisamos estimar o Tratamento nos Tratados TOT ETT E [ Y ( u) D 1] E [ Y ( u) D 1] 1 0 O estimador simples (2) ˆ [ Y ˆ D 1]-[ Y ˆ D 0] 1 0 estima consistentemente o Tratamento nos Tratados se: [ Y D 1] [ Y D 0] 0 0 não há diferença na linha de base entre os grupos de tratamento e controle 26 Referências Judea Pearl (2000): Causality: Models, Reasoning and Inference, Cambridge University press. (Book) Chapters 1, 5 and 7. Trygve Haavelmo (1944): The probability approach in econometrics, Econometrica 12, pp. iii-vi+1-115. Arthur Goldberger (1972): Structural Equations Methods in the Social Sciences, Econometrica 40, pp. 979-1002. Donald B. Rubin (1974): Estimating causal effects of treatments in randomized and nonrandomized experiments, Journal of Educational Psychology 66, pp. 688-701. Paul W. Holland (1986): Statistics and Causal Inference, Journal of the American Statistical Association 81, pp. 945-70, with discussion. 27 13