Linha Técnica Sessão II: Ensaios Aleatórios

Transcrição

1 Impact Evaluation Linha Técnica Sessão II: Ensaios Aleatórios Human Development Network Spanish Impact Evaluation Fund Ensaios Aleatórios Como pesquisadores aprendem sobre os estados contrafactuais do mundo na prática? Em muitas áreas, a evidência sobre contrafactuais é gerada através de ensaios ou experimentos aleatórios. Ex. pesquisa médica Sob determinadas condições, ensaios aleatórios garantem que os resultados do grupo de controle de fato capturam o contrafactual para o grupo de tratamento. 2 1

2 Aleatorização para inferência causal Estatísticos recomendam um modelo formal de aleatorização em duas etapas: Primeira etapa: uma amostra aleatória de unidades é selecionada de uma população definida Segunda etapa: essa amostra de unidades é aleatoriamente designada aos grupos de tratamento e controle 3 Universo / População Elegível amostra aleatória Amostra Grupo de Tratamento designação aleatória Grupo de Controle 4 2

3 Por que aleatorização em duas etapas? Primeira etapa: para Validade Externa I.e. garantir que os resultados na amostra serão representativos dos resultados na população dentro de um nível definido de erro amostral Segunda etapa: para Validade Interna I.e. garantir que o efeito observado sobre a variável dependente deve-se ao tratamento e não aos demais fatores de confundimento Você se lembra das duas condições? 5 Ensaios aleatórios em duas etapas Em amostras grandes, ensaios aleatórios em duas etapas garantem que: Y 1 D 1 Y 1 D 0 e Y 0 D 1 Y 0 D 0 Por que isso é verdade...? 6 3

4 A Lei dos Grandes Números LGN diz que Quando você aleatoriamente seleciona uma amostra de unidades de uma população grande, E à medida que o número de unidades que você seleciona aumenta, A média de qualquer característica da sua amostra tende a se aproximar de seu valor esperado. Se o número de unidades na sua amostra aumenta, a amostra se parecerá, em média, com sua população original 7 Universo / População Elegível amostra aleatória Amostra designação Grupo de Tratamento aleatória Grupo de Controle 8 4

5 Ensaios aleatórios em duas etapas Em amostras grandes, ensaios aleatórios em duas etapas garantem que: Y 1 D 1 Y 1 D 0 e Y 0 D 1 Y 0 D 0 Portanto, o estimador ^ ^ ^ Y 1 D 1 Y 0 D 0 consistentemente estima o Efeito de Tratamento Médio, ETM. 9 População vs. grupo selecionado? Se a aleatorização ocorre em um grupo selecionado de unidades o que estaremos estimando??? O efeito de tratamento naquele grupo selecionado de unidades! 10 5

6 População vs. grupo selecionado? Universo / População Elegível não aleatório Grupo Não Selecionado Grupo Selecionado, ex. voluntários Amostra aleatório Grupo de Tratamento designação aleatória Grupo de Controle 11 Designação aleatorizada: como? Se você quer designar 50% da amostra ao tratamento e 50% ao controle: jogue uma moeda para cada pessoa. Se você quer designar 40% da amostra ao grupo de tratamento: jogue um dado para cada pessoa. Os valores 1 ou 2 são tratamento; os valores 3, 4, 5 ou 6 são controle. Outras porcentagens: deixe que o Excel atribua um número aleatório a cada unidade. Decida quantas unidades estarão no grupo de tratamento (chame isso de X). Designe as X unidades que receberem os maiores números ao grupo de tratamento. 12 6

7 Exemplo COMPUTADORES PARA EDUCAR BARRERA E LINDEN (2009) 13 Ensaio aleatorizado na Colômbia, América Latina Atividades do programa: Restaurar computadores doados por firmas privadas e instalá-los em escolas públicas Treinar professores para o uso pedagógico dos computadores com o apoio de uma universidade local 2006: 97 escolas sujeitas à aleatorização 48 receberam computadores 49 não receberam computadores 2008: pesquisa de follow-up 14 7

8 Etapa 1: questão de avaliação Qual é o impacto da intervenção D sobre a variável de interesse Y? Pacote de intervenção D D = 1 se a escola foi selecionada para a instalação de computadores + treinamento de professores D = 0 caso contrário Variável de interesse Y aprendizado do aluno (resultado final) prática em sala de aula (resultado intermediário) número de professores treinados (produto) número de computadores funcionando nas escolas (produto) 15 Etapa 2: verificar balanceamento Objetivo: verificar se as características estão balanceadas entre os grupos de tratamento e controle Regressão: Y ij 0 1T j ij i é para o aluno i j é para a escola j T j = variável binária indicando se a escola j foi designada ao tratamento durante o processo de aleatorização Método: MQO com erros-padrão clustered no nível da escola 16 8

9 Verificar balanceamento: Notas nos Testes Notas Padronizadas Tratamento Controle Diferença Espanhol (0.10) (0.08) (0.13) Matemática (0.08) (0.08) (0.11) Total (0.11) (0.10) (0.15) 17 Verificar balanceamento: características demográficas Características Demográficas Tratamento Controle Diferença Sexo (0.02) (0.02) (0.03) Idade (0.27) (0.36) (0.45) N o pais no domicílio (0.02) (0.02) (0.03) N o irmãos (0.22) (0.20) (0.30) Recebe mesada (0.02) (0.03) (0.03) N o amigos (1.91) (1.15) (2.22) Horas de trabalho (0.40) (0.73) (0.83) 18 9

10 Etapa 3: estimar impacto Em palavras: comparar o Y médio para o grupo de tratamento com o Y médio para o grupo de controle Em uma tabela: % das questões respondidas corretamente Tratamento Controle Diferença Simples Espanhol Matemática Em uma regressão: Y ij 0 1T j Cluster no nível da escola 19 É daqui que tiramos os erros-padrão ij Etapa 3: resultados % das questões respondidas corretamente Tratamento Controle Diferença Simples Espanhol (0.01) (0.01) (0.02) Matemática (0.02) (0.01) (0.02) 20 10

11 Etapa 4: estimar impacto, multivariado Em palavras comparar o Y médio para os grupos de tratamento e controle adicionar controles para características na linha de base Em uma regressão multivariada Y ij 0 1T j 2 X ij ij X ij é um vetor de características na linha de base para o aluno i na escola j 21 Etapa 5: resultados % das questões respondidas corretamente Tratamento Controle Diferença Simples Diferença com Controles (multivariado) Espanhol (0.01) (0.01) (0.02) (0.02) Matemática (0.02) (0.01) (0.02) (0.02) Variável de Resultado Tratamento Controle Diferença Simples Número computadores na escola *** (1.28) (0.75) (1.49) % Professores treinados *** (0.03) (0.04) (0.05) Escola tratada *** (0.03) (0.03) (0.04) 22 11

12 Resultados Pouco efeito nas notas dos alunos Para todas as séries, matérias e sexos Por quê? Computadores não incorporados ao processo educacional 23 OUTRAS CONSIDERAÇÕES SOBRE ENSAIOS ALEATORIZADOS 24 12

13 Possíveis problemas Não-adesão Nem todas as unidades designadas ao tratamento de fato receberão o tratamento (não-adesão) Algumas unidades designadas à comparação podem receber tratamento mesmo assim (não-adesão) Para não-adesão limitada: usar variáveis instrumentais (ver sessão IV) Evasão: talvez não possamos observar o que acontece com todas as unidades Cuidado com evasão diferencial! 25 Mais possíveis problemas Efeito Hawthorne: a simples observação das unidades altera o comportamento das mesmas Tende a desaparecer ao longo do tempo Efeito John Henry: unidades no grupo de controle se esforçam mais para compensar o não-tratamento 26 13

14 Nível de aleatorização Distrito, vila, família, criança? Nível de aleatorização determina o poder do ensaio Mais unidades nos grupos de tratamento e controle estimativa da diferença entre grupos de tratamento e controle torna-se mais precisa Quanto menor o nível Maior o potencial para contaminação crianças em uma turma, famílias em uma vila E maior a dificuldade em administrar o programa Em geral: escolha o menor nível viável do ponto de vista administrativo 27 Ensaios aleatorizados vs. não-aleatorizados Experimentos aleatorizados Premissas desempenham um papel pequeno, Ou até mesmo nenhum papel, ao testar a hipótese de ausência de efeito de tratamento Na ausência de dificuldades como não-adesão ou evasão Métodos não-aleatorizados Requer premissas fortes a fim de validar o contrafactual Evasão é um problema tão relevante quanto em ensaios aleatorizados 28 14

15 Referências Rosenbaum, Paul (2002): Observational Studies, Springer. Chapter 2. Cochran, W. G. (1965): The planning of observational studies of human populations, Journal of the Royal Statistics Association Series A 128, pp , with discussion. Angrist, J., E. Bettinger, E. Bloom, E. King and M. Kremer (2002): Vouchers for Private Schooling in Colombia: Evidence from a Randomized Natural Experiment, American Economic Review, 92, pp Angrist, J. and V. Lavy (2002): The Effect of High School Matriculation Awards: Evidence from Randomized Trials, NBER Working Paper. Barrera-Osorio, F. and L. Linden (2009): The Use and Misuse of Computers in Education: Evidence from a Randomized Experiment in Colombia, World Bank Policy Research Working Paper WPS