Arianna Legovini Head, Development Impact Evaluation Initiative (DIME) World Bank. O Uso de Avaliações Aleatoria para Melhorar Políticas e Programas

Tamanho: px

Começar a partir da página:

Download "Arianna Legovini Head, Development Impact Evaluation Initiative (DIME) World Bank. O Uso de Avaliações Aleatoria para Melhorar Políticas e Programas"

Oswaldo Campos Lombardi
6 Há anos
Visualizações:

2 Arianna Legovini Head, Development Impact Evaluation Initiative (DIME) World Bank O Uso de Avaliações Aleatoria para Melhorar Políticas e Programas 2

3 Objetivo Identificar o Verdadeiro Efeito de um Programa Separar o impacto do programa de outros fatores Qual o efeito causal de um programa? Necessidade de descobrir o que teria ocorrido sem programa Não se pode observar a mesma pessoa com e sem o programa Conta com análise contrafatual (grupo de controle) 3

4 Ilustração: Programa de Vales para Fertilizante (1) Produtividade Before Antes After Depois (+) Impacto do programa (+) Impacto de outros fatores (externos) 4

5 Ilustração: Programa de Vales para Fertilizante (2) Produtividade Grupo de controle Grupo de tratamento (+) Medida ENVIESADA do impacto do programa Antes Depois 5

6 Correlação não é causalidade 1) Uso de Alta fertilizante produtividade OU 2) Conhecimento das tecnologias Alta produtividade Uso de fertilizante

7 Motivação Difícil distinguir a causalidade da correlação na análise estatística dos dados existentes Independente da complexidade da estatística, só mostra que X vai com Y Difícil corrigir características não observadas, como motivação / habilidade Motivação / habilidade podem ser os principais fatores a serem corrigidos Viés de seleção: um grande problema para a avaliação do impacto Os projetos tiveram início em determinado tempo e local por motivos particulares Os participantes podem selecionar os programas Os primeiros agricultores a adotarem uma nova tecnologia provavelmente serão muito diferentes dos agricultores médios; ao analisar sua produtividade, você terá uma impressão enganosa sobre os benefícios de uma nova tecnologia. 7

8 Motivação Avaliação retrospectiva de impacto: Ao coletar os dados depois do evento, você não sabe como os participantes e não participantes podiam ser comparados antes do início do programa É necessário tentar entender porquê o projeto foi implementado naquele local e naquele período, após o evento. A avaliação prospectiva permite elaborar a avaliação para que responda à pergunta que você precisa responder Permite a coleta dos dados necessários 8

9 Desenho Experimental Todos os participantes do estudo têm a mesma chance de estar no grupo de tratamento ou de controle Intencionalmente, os grupos de tratamento e de controle têm as mesmas características (observadas e não observadas), na média A única diferença é o tratamento Com grandes amostras, todas as características convergem para a média Estimativas de impacto não enviesadas 9

10 Opções de Randomização Sorteio (apenas alguns entram no programa) Entrada gradual (todos entram eventualmente) Variação no tratamento (cobertura integral, diferentes opções) Desenho de incentivo (no caso de adesão parcial) Todos podem entrar, alguns são encorajados a fazê-lo 10

11 Exemplo na Agricultura Sorteio Sorteio para receber informações de uma nova tecnologia agrícola Entrada gradual aleatoria (até o final, todos entram) Treinar alguns grupos de agricultores a cada ano Variação no tratamento Alguns obtêm informações sobre novas sementes, outros têm acesso a crédito, outros conseguem um lote demonstrativo em suas terras, etc. Desenho de incentivo Alguns centros de apoio ao agricultor por bairro Alguns agricultores recebem um vale-passagem para frequentar o centro 11

12 Loteria entre os elegíveis Deve recebir o programa Aleatorizar quem recebe o programa Inelegível para o programa

13 Oportunidades para a aleatorização As limitações orçamentárias impedem a cobertura integral A distribuição aleatória (sorteio) é justa e transparente Capacidade limitada de implementação A introdução gradual oferece a todos a mesma chance de serem os primeiros Inexistência de evidências sobre qual a melhor alternativa Distribuição aleatória para alternativas com a mesma chance ex ante de sucesso 13

14 Oportunidades para a aleatorização Adesão ao programa existente não é completa Fornecer informações ou incentivos para a adesão de alguns Um novo programa piloto Boa oportunidade de testar o desenho antes de expandi-lo Mudanças operacionais em programas em andamento Boa oportunidade de testar as mudanças antes de expandi-las Introduzir innovaçoes de manera aleatoria 14

15 Aleatorização em diferentes níveis Individual Fazenda Associação de Agricultores Bloco de Irrigação Nível da aldeia Associação de mulheres Grupos jovens Nível da escola 15

16 Aleatorização individual ou em grupo? A aleatorização è feita o mesmo nivel que o nivel de intervenção Mais fácil obter amostras grandes o bastante se os indivíduos forem aleatorizados Aleaorização individual Aleaorização de grupos

17 Unidade de Aleatorização A aleatorização em nível mais alto às vezes é necessária: Limitações políticas a tratamentos diferenciados na comunidade Limitações práticas confusão para implementar diferentes versões Os efeitos sobre unidades vizinhas podem demandar uma aleatorização em nível mais alto Aleatorizar ao nível de grupo requer muitos grupos por causa da correlação dentro da comunidade 17

18 Elementos do desenho experimental População alvo Fazendeiros Comerciais Participantes potenciais Produtores de milho Produtores de arroz Amostra de avaliação Grupo de Tratamento Participantes Desistentes Alocação randômica Grupo de Controle 18

19 Validade Externa e Interna (1) Validade externa A amostra é representativa da população total Os resultados na amostra representam os resultados na população Podemos aplicar as lições a toda a população Validade interna O efeito estimado da intervenção ou do programa sobre a população avaliada reflete o impacto real naquela população Ou seja, os grupos de intervenção e de controle são comparáveis 19

20 Validade Externa e Interna(2) Uma avaliação pode ter validade interna sem validade externa Exemplo: uma avaliação randomizada sobre o incentivo às mulheres tomarem parte das eleições na área urbana pode não dizer muito sobre o impacto de um programa semelhante nas áreas rurais Uma avaliação sem validade interna não pode ter validade externa Se você desconhece se um programa funciona em um local, então você não sabe nada sobre se ele funciona em qualquer outro lugar. 20

21 Validade externa & interna População Nacional Randomização Amostras da População Nacional Randomização 21

22 Validade interna População Estratificação Amostras do Estrato da População Estrato do População Randomização 22

23 Representativo porém enviesado: inútil População Nacional Randomização Distribuição Enviesada INÚTIL! 23

24 Exemplo: Programa de Vale Fertilizante, validade interna Amostra de Agricultores Comerciais Distribuição Randômica 24

25 Exemplo: CDD em Serra Leoa Sequência básica de tarefas para a avaliação Listar as comunidades elegíveis nas áreas alvo o As comunidades não atendidas por outros programas e com tamanho razoável Dados básicos das comunidades Distribuição para o GoBifo, alguns sorteios públicos Projeto GoBifo implementado Pesquisa de acompanhamento e exercício participativo 25

26 Eficácia e Efetividade Eficácia Prova de conceito Menor escala Piloto em condições ideais Efectividad Em escala Arranjos de implementação prevalentes vida real Maior ou menor impacto? Maiores ou menores custos? 26

27 Vantagens de experimentos Impacto causal claro e preciso Em relação a outros métodos Muito mais fácil de analisar Mais barato (tamanhos menores de amostra) Mais fácil de explicar Mais convincente para os formuladores de política Metodologicamente incontroverso 27

28 E se houver restrições sobre a aleatorização? Limitações orçamentárias: randomizar entre os mais necessitados Limitações de capacidade de implantação: randomizar quem recebe primeiro (ou a seguir se você já houver começado) Promover o programa aleatoriamente para alguns 28

29 Quando é realmente impossível? O tratamento já foi alocado e anunciado e sem possibilidade de expansão do tratamento O programa já acabou (retrospectiva) Já há adesão universal O programa é nacional e não excludente Liberdade de imprensa, política de câmbio (às vezes alguns componentes podem ser randomizados) A amostra é muito pequena para ser válida 29

30 Divulgação Randômica (Desenho de Encorajamento) Quem recebe divulgação tem maior chance de participar Como quem recebe foi escolhido aleatoriamente, não há relação com observáveis / não observáveis Compare os resultados médios dos dois grupos: com / sem divulgação Efeito da oferta do programa (Intenção de Tratar) Efeito da intervenção (Tratamento Médio no Tratado) ATT= efeito da oferta do programa / proporção dos que aderiram

31 Aleatorização Alocado para tratamento Alocado para controle Diferença Impacto: efeito médio do tratamento sobre os tratados Não-tratados Tratados Proporção tratada Resultado médio 100% 0% 100% Impacto da alocação Estimativa da intenção de tratar 100% 23/100%=23 Tratamento médio sobre os tratados

32 Incentivo randômico Incentivados Não incentivados Diferença Impacto: efeito médio do tratamento sobre os que aderiram Não tratados (não aderiram) Tratados (aderiram) Proporção tratada 70% 30% 40% Impacto do incentivo 100% Resultado Estimativa da intenção de tratar 8/40%=20 Tratamento médio sobre os que aderiram

33 Erros comuns a evitar Cálculo incorreto da amostra Randomizar um distrito para tratamento e outro para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas Coleta de dados diferente no tratamento e no controle Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle não desfaça sua randomização!!! 33

Documentos relacionados

DIME WORKSHOP OCTOBER 13-17, 2014 LISBON, PORTUGAL

DIME WORKSHOP OCTOBER 13-17, 2014 LISBON, PORTUGAL Métodos Experimentais Arianna Legovini October 13, 2014 DIME/Banco Mundial Provocações! 1. Você acha que o seu projeto é um sucesso ou vai se tornar quando