Linha Técnica Sessão IV Variáveis Instrumentais

Transcrição

1 Impact Evaluation Linha Técnica Sessão IV Variáveis Instrumentais Human Development Human Network Development Network Middle East and North Africa Region World Bank Institute Spanish Impact Evaluation Fund Um exemplo para começar... Gostaríamos de avaliar um programa de capacitação voluntária Qualquer pessoa desempregada é elegível Alguns optam por se inscrever ( participantes ) Outros optam por não se inscrever ( não-participantes ) Algumas formas simples (mas não muito boas) de avaliar o programa: Comparar a situação antes e depois no grupo de participantes Comparar a situação de participantes e não-participantes depois da intervenção Comparar a situação de participantes e não-participantes antes e depois da intervenção 2 1

2 Programa de capacitação voluntária Digamos que decidimos comparar os resultados daqueles que participam com os resultados daqueles que não participam: Um modelo simples para fazer isso: Onde y 1 2 P x P = 1 se pessoa participa do treinamento P = 0 se pessoa não participa do treinamento x = variáveis de controle (exógenas e observáveis) Por que isso não funciona direito? 2 problemas: Variáveis que omitimos (por diversos motivos), mas que são importantes Decisão de participar do programa é endógena 3 Problema #2: decisão endógena de participar Modelo verdadeiro: com y = γ 0 + γ 1 x + γ 2 P + η P = π 0 + π 1 x + π 2 M 2 + ξ Onde M 2 é um vetor de características não-observadas / omitidas i.e. não sabemos exatamente porque as pessoas decidem participar Como não observamos M 2, podemos estimar apenas um modelo simplificado: y = β 0 + β 1 x + β 2 P + ε β 2, OLS é um estimador não-viesado de γ 2? 6 2

3 Problema #2: decisão endógena de participar Modelo estimado: Modelo verdadeiro: β 2, OLS é um estimador não-viesado de γ 2? y = β 0 + β 1 x + β 2 P + ε y = γ 0 + γ 1 x + γ 2 P + η com P = π 0 + π 1 x + π 2 M 2 + ξ Corr (ε, P) = corr (ε, π 0 + π 1 x + π 2 M 2 + ξ) = π 1 corr (ε, x)+ π 2 corr (ε, M 2 ) = π 2 corr (ε, M 2 ) Se houver uma correlação entre as variáveis omitidas que determinam a participação (ex. talento) e os resultados que não são explicados pelas características observadas, então o estimador MQO será viesado 7 O que podemos fazer para resolver esse problema? Estimamos y = β 0 + β 1 x + β 2 P + ε O problema é a correlação entre P e ε Que tal susbtituirmos P por alguma outra coisa? Chamemos essa outra coisa de Z: Z deve ser semelhante a P Mas não pode ser correlacionada com ε 8 3

4 De volta ao programa de capacitação P = participação ε = a parte dos resultados que não é explicada nem pela participação no programa, nem pelas características observáveis Procuro uma variável Z que: é intimamente relacionada à participação P e afeta os resultados das pessoas Y somente através de seu efeito sobre a participação Essa variável deve, portanto, vir de fora 9 Uma variável externa para o programa de capacitação Digamos que uma assistente social visite desempregados para incentivá-los a participar do programa Ela visita apenas 50% das pessoas que constam de sua lista E escolhe aleatoriamente quem visitar Se ela for boa no que faz, muitos dos visitados se inscreverão Haverá uma correlação entre receber a visita e se inscrever A visita, porém, não tem um efeito direto sobre os resultados (ex. renda), afetando-os apenas através da inscrição no programa de capacitação 10 4

5 Uma variável externa ou instrumental Defina uma nova variável Z Z=1 se a pessoa foi aleatoriamente escolhida para receber a visita de incentivo da assistente social Z=0 se a pessoa foi aleatoriamente escolhida para não receber a visita de incentivo da assistente social Corr ( Z, P ) > 0 É mais provável que os visitados participem, comparados àqueles que não recebem a visita Corr ( Z, ε ) = 0 Não há correlação entre receber uma visita e se beneficiar do programa, exceto pelo efeito da visita sobre a participação Z é chamada de variável instrumental 11 Mínimos Quadrados em Duas Etapas (MQ2E) Recordemos o modelo original com P endógeno: y x P Etapa 1: regredir a variável endógena P sobre a(s) variável(eis) instrumental(ais) Z e outros regressores exógenos x Z P Calcular o valor previsto de P para cada observação: Dado que Z e x não são correlacionados com, P também não o será Precisamos de uma variável instrumental para cada regressor potencialmente endógeno P 12 5

6 Mínimos Quadrados em Duas Etapas (MQ2E) Etapa 2: regredir y sobre o valor predito variáveis exógenas: y x P e demais Notar que os erros-padrão da segunda etapa de MQO devem ser corrigidos, pois P não é um regressor fixo Na prática: usar o comando ivreg do STATA, que faz as duas etapas de uma só vez e reporta os erros-padrão corretos Intuição: ao usar Z para P, limpamos P de sua correlação com Pode-se mostrar que, sob determinadas condições, 2,VI gera um estimador consistente de 2 (Teoria de Amostra Grande) P 13 Onde encontramos variáveis instrumentais? Procurando por uma difícil! Criando uma a partir de informação Se todos são elegíveis para participar do tratamento Mas alguns têm mais informação que outros É mais provável que aqueles com mais informação participem mais Fornecimento de informação adicional de forma aleatória 14 6

7 Exemplo 1: Programa de Capacitação Voluntária População elegível para programa de treinamento Amostra aleatória designação aleatória Apenas Pacote de Informação Padrão Pacote de Informação Padrão + Visita Adicional Renda mensal 1 ano depois = 700 Renda mensal 1 ano depois = 850 Participação de 30% Participação de 90% Pergunta: qual é o impacto do programa de capacitação? 15 Apenas Pacote de Informação Padrão Pacote de Informação Padrão + Visita Adicional Renda mensal 1 ano depois = 700 Renda mensal 1 ano depois = 850 Participação de 30% Participação de 90% Pergunta: qual é o impacto do programa de capacitação? Diferença entre o grupo bem informado e o grupo mal informado. Corrigida pelas diferentes taxas de participação. Praticamente: Impacto =. 16 7

8 Retomando a fórmula de estimação Etapa 1: Regredir a participação no treinamento sobre uma variável binária indicando se pessoa recebeu visita adicional (modelo linear) Calcular valor predito da participação Etapa 2: Regredir salários sobre o valor predito da participação 17 Exemplo 2: autonomia escolar no Nepal Objetivo é avaliar A. Gestão autônoma das escolas pelas comunidades B. Boletins escolares Dados Você pode incluir 1000 escolas na avaliação Cada comunidade escolhe voluntariamente se participa ou não Boletins escolares feitos por ONGs Cada comunidade tem exatamente uma escola Tarefa: desenhar a implementação do programa tal que ele possa ser avaliado propor método de avaliação 18 8

9 Autonomia escolar no Nepal Intervenção B: Intervenção sobre boletim escolar pela ONG Sim Não Total Variável instrumental para Intervenção A: ONG visita a comunidade para informá-la sobre os procedimentos da transferência da escola para gestão comunitária Sim Não Total Um lembrete e um alerta corr (Z, ε) = 0 se corr (Z, ε) 0 instrumento ruim Encontrar um bom instrumento é difícil! Mas você pode construir seu próprio instrumento através de um desenho de incentivo aleatorizado corr (Z, P) 0 Instrumentos fracos : a correlação entre Z e P deve ser suficientemente forte Caso contrário, o viés permanece grande até em amostras grandes 20 9

10 De volta ao ETM e ETT Algumas vezes, unidades elegíveis são selecionadas aleatoriamente para participar do grupo de tratamento e a elas é oferecido o tratamento, mas nem todas o aceitam Calculando o Efeito de Tratamento Médio (ETM) Diferença direta dos resultados médios entre o grupo ao qual se ofereceu tratamento e aquele ao qual não se ofereceu tratamento Calculando o Efeito de Tratamento nos Tratados (ETT) Usar a oferta aleatorizada como uma variável instrumental (Z) para a aceitação do tratamento (P) 21 10