Metodos Praticos de Amostragem para Avaliações de Impacto

Transcrição

1 Vincenzo Di Maro (DIME, World Bank) Metodos Praticos de Amostragem para Avaliações de Impacto Workshop de Avaliação de Impacto de Políticas Públicas São Paulo Março, de

2 Sumário 1. Componentes para determinar tamanho da amostra Minimo efeito que se pode detectar Poder estatistico Variância dos resultados Clustering (agrupamento) 2. Aperfeiçoamentos Braços de tratamento múltiplos Resultados desagregados por grupos 3. Problemas Adesão Qualidade dos dados 2

3 Determinar tamanho da amostra Pense no tamanho da amostra como a precisão de um dispositivo de medição: Mais observações você tem e mais preciso sera o seu dispositivo de medição Mais precisão significa que você está confiante sobre as conclusões de sua avaliação Exemplo: Adivinhe a frase abaixo sabendo apenas 2 letras E a a a a a e a O numero de letras reveladas é análogo ao numero de observações onde cada letra, por exemplo, custa dólares Você tem US $ 2.7 milhões com os quais pode descobrir até 27 letras (todas elas) Se você errar, você perde todo o seu investimento 3

4 Determinar tamanho da amostra Vamos aumentar o número de "observações" (neste caso letras) E g o s o d a a a l i a c a o d e m a c t o Mais observações Mais precisão Mais confiança 4

5 Amostragem para avaliacao de impacto Para avaliacao de impacto: o objetivo e ter uma amostra suficiente para estimar o impacto com validez estatistica. Os conceitos estatisticos sao os mesmos, mas para avaliacao de impacto voce tem que considerar algumas especificidades. Em geral, a amostra que voce precisa para estimar impactos e maior do que voce precisa para estimar medias.

6 Componentes para determinar tamanho da amostra para IE Isso se aplica a experimentos (aleatorizacao) Efeito minimo detectável Poder estatistico Variancia dos resultados Clustering (agrupamento)

7 Efeito minimo detectável Detectar diferenças menores é mais difícil Quem é mais alto? Quanto maior for a amostra o mais preciso é o dispositivo de medição é mais fácil detectar efeitos menores Maior amostra maior precisao (do dispositivo de medicao) 7

8 Efeito minimo detectável Como escolhemos? Como é que escolhemos o tamanho do efeito detectável? O efeito mínimo que implicaría uma resposta política O efeito mínimo que permitiria dizer que o programa não foi um fracasso Este programa aumentou as vendas em 40% e este efeito é significativo do ponto de vista estatístico Ótimo - Vamos pensar como é que conseguimos expandi-lo Este programa aumentou as vendas em 10% e este efeito é significativo do ponto de vista estatístico Ótimo.oops..espera aí: gastamos este dinheiro todo e as vendas aumentaram apenas em 10%? 8

9 Poder estatistico Poder estatistico (Erro tipo 2) Não se consegue detectar que de fato há um impacto do programa Relacionado a Erro tipo 1: Detectar um impacto do programa quando não existe (normalmente estabelecido a 1% ou 5%) Na prática: Poder normalmente colocado a 80% ou 90% 20% ou 10% é a probabilidade que haja um efeito que não conseguimos detectar Amostras maiores maior poder 9

10 Variância dos Resultados Como a variação do resultado afeta a nossa capacidade de detectar um impacto? Exemplo: Quais os animais são maiores? Quantas observações de cada círculo que você precisa para decidir? 10

11 Variância dos Resultados A comparação é mais complicada, neste caso, de tal forma que você precisa de mais informações (ou seja, uma amostra maior) resposta pode depender de quais membros dos grupos azul e vermelho você observa 11

12 Variância dos Resultados Em suma: Mais variância (heterogeneidade) Mais difícil detectar diferença Precisamos de amostra maior Complicado: Como é que nós sabemos sobre a heterogeneidade antes de decidir o tamanho da amostra e coletar os dados? Ideal: dados pré-existentes... mas muitas vezes inexistente Pode usar dados pré-existentes a partir de uma população semelhante Senso comum 12

13 Clustering (agrupamento) Em muitos casos práticos, randomização é feita a nível de cluster o grupos (escola ou postos de saúde). Problemas é que as unidades em clusters são normalmente semelhantes, então: - Unidade adicional (aluno) de um cluster diferente (escola) vai lhe dar mais informações. - Unidade adicional (aluno) do mesmo cluster vai lhe dar menos informações Conclusão: Quando correlação dentro do cluster é alta você precisa de uma amostra maior (porque precisa de mais clusters). 13

14 Outras questões 1. Braços de tratamento múltiplos 2. Resultados desagregados por grupos 3. Adesão 4. Qualidade dos dados 14

15 Outras questões Braços de tratamento múltiplos Compara-se cada tratamento separadamente com o grupo de comparação Comparar grupos de tratamento implica amostras muito grandes Especialmente se os tratamentos forem parecidos, as diferenças entre os grupos de tratamento serão provavelmente menores De fato, é como corrigir um tamanho do efeito detectável muito pequeno Resultados desagregados por grupos São os efeitos diferentes para homens e mulheres? E para diferentes setores? Se os sexos/setores são esperados reagir de uma forma semelhante, então estimar as diferenças no impacto do tratamento também requer amostras muito grandes 15

16 Outras questões Resultados desagregados por grupos Para garantir equilíbrio entre os grupos de tratamento e de comparação, é aconselhavel estratificar a amostra antes de alocar o grupo de tratamento Estratos Sub-populações Estratos habituais: localização, sexo, sector, valores iniciais do resultado de interesse Alocação ao grupo de tratamento (ou amostragem) é efectuada dentro destes grupos 16

17 Por que é que necessitamos de estratos? Exemplo de estratos com base na região = T = C

18 Por que é que necessitamos de estratos? Qual é o impacto numa região em particular? E dificil de dizer com confiança

19 Por que é que necessitamos de estratos? Randomização do tratamento dentro das unidades geográficas Dentro de cada tratamento, ½ sera tratada, ½ será do grupo de comparação. Lógica semelhante para sexos, setor, tamanho da empresa, etc

20 Outras questões Adesão Adesão baixa aumenta o tamanho do efeito detectável Na prática diminui o tamanho da amostra Só se consegue detectar um efeito se for realmente grande Exemplo: Oferecer subsídios a PMEs na forma de serviços de apoio ao desenvolvimento do negócio Oferta a 5,000 empresas Apenas 50 participam Provavelmente só se consegue dizer com confiança que há um efeito nas vendas se elas se tornarem parte das empresas do Fortune 500! 20

21 Outras questões Qualidade dos dados Qualidade dos dados Dados de pouca qualidade aumentam na prática o tamanho da amostra necessário Observações em falta Aumento do ruído estatistico Pode ser mitigado em parte com um coordenador no terreno a monitorar a obtencao de dados 21

22 Outras questões Nao-experimentais e na pratica Isso aplicava a experimentos (aleatorizacao): Metodos nao-experimentais precisam amostras maiores (por exemplo RDD 3 ou 4 vezes maiores) Na pratica: - Pergunta a especialistas de amostragem - Software: - Optimal design (complexo, muitas opcoes) - Stata (simple, menos opcoes). 22

23 Resumo final Mais precisao (poder estatistico) Unidades semelhante nos grupos Clustering Mais variância Adesão e Qualidade dos dados Pequeno efeito Amostra maior Tratamentos multiplos e Estratos