Como aleatorizar? (Nome professor) (Universidade) Abdul Latif Jameel Poverty Action Lab www.povertyactionlab.org
Resumo da apresentação Restrições do mundo real e alguns exemplos bem sucedidos Unidade e método de aleatorização Variações em análises tratamento controle simples
Como aleatorizar: estratégias Na primeira aula desta manhã vimos por que aleatorizar traz grandes vantagens. Agora veremos como fazê lo. Tanto do ponto de vista operativo, como do mecanismo em si. Antes de fazer isto, vamos ver a distinção entre amostra aleatória e tratamento aleatório.
Amostragem aleatória vs. Alocação aleatória Amostra aleatória para representar a população
Amostragem aleatória vs. Alocação aleatória Alocar aleatoriamente para tratamento e controle para evitar viés de seleção
Como aleatorizar: estratégias Normalmente a primeira reação ao propor a aleatorização é a resistência por razões éticas ou políticas. Na maior parte dos casos aleatorizar é mais justo do que outra metodologia de seleção, e não é tão complicado quanto se pensa. 1. Em projetos piloto: antes de implementar um programa a grande escala, é comum fazer um piloto. Para poder avaliá lo bem, convém escolher aleatoriamente as unidades onde será implementado. O Programa Oportunidades, antes de ser expandido a dezenas de milhares de localizações, foi implementado em mais de 200 localizações piloto selecionadas aleatoriamente, deixando mais de 200 como controle. Ao provar que funcionava, foi expandido. Este é um fator que contribui para a continuidade do programa.
Como aleatorizar: estratégias 2. Método de excesso de demanda: se houver mais demanda do que se pode atender, necessariamente teremos que deixar alguns de fora. Escolher aleatoriamente quem entra além de ser transparente e justo nos permite ter um grupo de controle. Na Colômbia foi implementado um sistema de Vouchers para escolas. Como havia excesso de demanda por escolas, foi escolhido por sorteio qual aluno entrava ou não. 3. Aleatorização no ponto de corte: Consiste em deixar entrar pessoas que ficaram de fora por pouco. Isto tem a vantagem de só mudar um pouco o método de seleção na margem. Karlan e Zinman fizeram empréstimos de modo aleatório a pessoas que tinham sido rejeitadas mas estavam perto do ponto de corte do banco. Isto permitiu medir se a política do banco era rígida demais.
Como aleatorizar: estratégias 4. Ordem de implementação aleatório: consiste em implementar o programa para diferentes unidades em diferentes momentos, porém a ordem é aleatória. Em um projeto de desparasitação de crianças nas escolas, 75escolas foram escolhidas para reciber medicamentos, no entanto 25 entraram no 1º ano, 25 no 2º e as restantes no 3º. 5. Aleatorização por subgrupos: Um exemplo explica melhor: No programa de Balsakhi, em algumas escolas as crianças do 3º ano tiveram tutor, e em outras, as do 4º ano. O ano a escolher em cada escola foi determinado de forma aleatória. Desta forma todas as escolas foram atendidas ao mesmo tempo.
Como aleatorizar: estratégias 6. Desenho de convite aleatório: consiste em aleatorizar quem recebe promoção/convite especial para receber o tratamento (não é a mesma coisa que aleatorizar o tratamento). Pode se dizer que este método é menos intervencionista, porque não proíbe ninguém de entrar no programa e também não obriga ninguém a utilizá lo. No entanto possui algumas desvantagens: o que se estuda não é em si o efeito do programa senão o efeito do programa induzido pelo convite. Pode se estimar o efeito do programa naqueles que foram convencidos pelo convite, e não na população em geral. Se o efeito do convite é baixo, são necessárias amostras muito grandes.
A população a ser estudada É importante notar que as conclusões são estritamente válidas só para a população que foi aleatorizada. Dependendo do contexto pode se ou não generalizar o resultadoforadaamostra. Por isso, para obter resultados para a população elegível, algumas avaliações fazem alocação aleatória para as pessoas que já passaram pelos critérios de seleção e pelos filtros do programa. Se a pregunta é: como o programa afetaria os que não são elegíveis por exemplo, porque querem modificar a elegibilidade então a avaliação deverá ser realizada sobre esta população
Como aleatorizar: mecanismo Depois de decidir a estratégia de aleatorização (acabamos de ver 6) e a unidade de aleatorização (que ainda vamos ver), o mecanismo é muito fácil. Se você tem uma lista em Excel ou Stata ou outro programa, onde cada linha corresponde a uma unidade: ex. uma escola, uma pessoa, um município, uma sucursal, etc. Em excel, digite =RAND() e isso genera um número entre 0 e 1. Em Stata, digite =uniform(). Se você quer selecionar ½ da amostra, crie uma variável que seja=1 se a variável random é < 0.5.
Como aleatorizar: mecanismo Caso não seja possível ter uma lista, podemos usar outros métodos menos rigorosos como: Tirar papéis de uma cesta Usar a primeira letra do nome First come first served Note que isto pode trazer problemas: Exemplos? Sempre verifique que o resultado final pareça aleatório (ex.: testes de médias ou de distribuições entre os grupos). Se não for assim então volte a alocar aleatoriamente.
Unidade de aleatorização: individual?
Unidade de aleatorização: individual?
Unidade de aleatorização: unidades agrupadas? Grupos de pessoas : estudo aleatório em unidades agrupadas
Unidade de aleatorização: classe?
Unidade de aleatorização: classe?
Unidade de aleatorização: escola?
Unidade de aleatorização: escola?
Unidade de aleatorização Em que nível aleatorizamos: aluno, sala, ano escolar, escola, município? Depende de várias coisas: 1. Restrições institucionais: pode ser percibido como injusto que um aluno tenha livros escolares grátis e o aluno do lado não, por isso podemos preferir por exemplo o nível escola. Pode ser também que pela forma de operar seja mais fácil aleatorizar por área. 2. Restrições de contágio/contaminação: usando o exemplo anterior podemos não querer fazê lo a nível de aluno, porque poderia compartir o livro com o vizinho, contaminando o controle. 3. Em que nível é implementado o programa na vida real. 19
Unidade de aleatorização Se esperamos que o efeito total se reflita em unidades grandes, deveríamos aleatorizar a este nível de unidades grandes. Por exemplo, um programa de apoio a provedores ajuda várias empresas de uma localidade, portanto seria necessario aleatorizar localidades. Desta forma não somente evitamos o problema de contaminação, mas também o estudamos. Às vezes por razões operativas ou políticas temos que aleatorizar em níveis maiores. Por exemplo: se em um programa de empréstimo tratarem algumas pessoas de forma diferente, outros poderão se incomodar. 20
Unidade de aleatorização Observem que às vezes usar unidades de aleatorização maiores (i.e. mais agregadas) significa precisar de amostras de beneficiários maiores dentro dessas unidades. Isso acontece porque as pessoas tendem a se comportar de forma parecida ao seu grupo, ou porque são afetados pelas mesmas coisas, ou porque há imitação. Se isso é verdade, significa que as observações não são independentes. Afinal, se todos são clones uns dos outros e fazem exatamente a mesma coisa, possuir informação de cada pessoa no grupo equivale a ter informação sobre uma só pessoa. 21
Tratamentos múltiplos Às vezes a questão central é decidir entre as diferentes intervenções possíveis Você pode aleatorizar estes programas Isto nos ensina sobre o benefício de alguma intervenção particular? Existe um grupo de controle? Cómo aleatorizar, Parte I - 22
Tratamentos múltiplos Tratamento 1 Tratamento 2 Tratamento 3
Interação de tratamento Testa combinações de diferentes componentes de um tratamento Testa se esses diferentes componentes são substitutos ou complementos Qual é a combinação mais econômica? Vantagem: situação onde todos ganham pode ser útil para responder perguntas além do simples impacto!
Variando intensidade no tratamento Algumas escolas recebem tratamento completo Todas as crianças recebem pílulas Algumas escolas recebem tratamento parcial 50% das crianças recebem pílulas Em outros experimentos: mudar o preço que é cobrado por um bem ou serviço
Estratificação Objetivo: equilibrar a amostra quando tiver uma amostra pequena O que é? dividir a amostra em diferentes subgrupos selecionar o tratamento e controle dentro de cada subgrupo Vantagem: garantir que haja unidades de tratamento e controle para subpopulações de interesse. Aumentar o poder estatístico.
Quando estratificar Estratificar em variáveis que poderiam ter um impacto importante na variável de resultado (com um pouco de intuição) Estratificar em subgrupos que interessam particularmente (onde o impacto do programa poderia ser diferente) A estratificação é mais importante quando as bases de dados são pequenas, porque garante que você tenha tratamento e controle em cada estrato. 27
Perguntas, Comentários, Dúvidas (Nome professor) (Universidade) Abdul Latif Jameel Poverty Action Lab povertyactionlab.org