Teoria da Mudança, Indicadores e Medição de Impacto

Transcrição

1 Teoria da Mudança, Indicadores e Medição de Impacto (Nome professor) (Universidade) Abdul Latif Jameel Poverty Action Lab

2 Programa do curso 1. Avaliações de impacto: O que são? Por que fazê las? Quando fazê las? 2. Teoria da Mudança, indicadores e medição de impacto 3. Por que aleatorizar? 4. Como aleatorizar? 5. O tamanho da amostra 6. Implementar uma avaliação 7. Análise e inferência

3 Programa do curso 1. Avaliações de impacto: O que são? Por que fazê las? Quando fazê las? 2. Teoria da Mudança, indicadores e medição de impacto 3. Por que aleatorizar? 4. Como aleatorizar? 5. O tamanho da amostra 6. Implementar uma avaliação 7. Análise e inferência

4 Objetivos da apresentação 1. A avaliação de impacto requer um conhecimento PROFUNDO do funcionamento e objetivos do programa 2. A TEORIA DA MUDANÇA facilita a avaliação e medição de um programa Articula objetivos de insumos, produtos, resultados e impactos Simplifica a definição da hipótese de investigação Facilita a construção de indicadores para diferentes metas do programa 4

5 Programa da apresentação 1. Teoria da Mudança 2. Resultados e indicadores 3. Noções básicas de medição de impacto 5

6 Programa da apresentação 1. Teoria da Mudança O que é? Como se desenvolve? Exemplo: Informação e eleições locais no México 2. Resultados e indicadores 3. Noções básicas de medição de impacto 6

7 Programa da apresentação 1. Teoria da Mudança O que é? Como se desenvolve? Exemplo: Informação e eleições locais no México 2. Resultados e indicadores 3. Noções básicas de medição de impacto 7

8 Teoria da Mudança Representa visualmente a cadeia CAUSAL entre: Necessidades/Objetivos Insumos Produtos Resultados intermediários Impactos (esperados e não esperados/desejados) Facilita a definição da hipótese a ser verificada

9 Resumo da apresentação 1. Teoria da Mudança O que é? Como se desenvolve? Exemplo: Informação e eleições locais no México 2. Resultados e indicadores 3. Noções básicas de medição de impacto 9

10 Cadeia de causalidade Objetivos Insumos Produtos Resultados Intermediários Impactos

11 Cadeia de causalidade Objetivos Insumos Produtos Resultados Intermediários Impactos Melhoram a compreensão do programa Reforçam conclusões Facilitam a aprendizagem de lições

12 Cadeia de causalidade OBJETIVOS 1. Respondem a uma necessidade 2. Especificam uma população alvo 3. São possíveis de medir

13 Cadeia de causalidade INSUMOS 1. O que posso fazer para alcançar o objetivo? 2. Factíveis 3. São possíveis de medir

14 Cadeia de causalidade PRODUTOS 1. Consequência direta da minha atuação/ intervenção 2. São possíveis de medir 3. Representam o primeiro resultado observável da minha intervenção

15 Cadeia de causalidade RESULTADOS INTERMEDIÁRIOS 1. São os fatores de transição que conectam os produtos com os impactos 2. São possíveis de medir

16 Cadeia de causalidade IMPACTOS 1. O que quero modificar com o programa 2. Diretamente relacionados com os objetivos 3. São possíveis de medir

17 Resumo da exposição 1. Teoria da Mudança O que é? Como se desenvolve? Exemplo: Informação e eleições locais no México 2. Resultados e indicadores 3. Noções básicas de medição de impacto 17

18 Exemplo: Informação antes das eleições locais 18

19 Exemplo: Informação antes das eleições locais Quais são os objetivos principais da Auditoria Superior da Federação (ASF)? Quais são as principais características da campanha de folhetos destinados ao público? 19

20 O uso da Informação Por que foi considerado necessário disseminar informação fornecida pela ASF antes das eleições municipais? Se a informação é importante, por que a maioria das pessoas não usa a informação gratuita dada pela ASF para tomar decisões de voto? 20

21 Teoria da Mudança dos folhetos de informação Quais são as possíveis cadeias de causalidade no caso dos folhetos de informação? Quais são as etapas necessárias para obter impactos finais? Quais são os possíveis impactos finais? 21

22 Teoria da Mudança dos folhetos de informação Necessidades Insumo Produto Resultado Intermediário Impacto Objetivo a longo prazo?????? 22

23 Teoria da Mudança dos folhetos de informação Necessidades Insumo Produto Resultado Intermediário Impacto Objetivo a longo prazo Informação pública relevante para os votantes não é utilizada. Os governos locais tendem a desperdiçar dinheiro sem represálias? Melhor uso dos recursos públicos locais e melhor prestação de serviços O que faço para alcançar meu objetivo 23

24 Tratamento 1

25 Tratamento 2

26 Tratamento 3

27 Controle

28 Teoria da Mudança dos folhetos de informação nivel local y mejora Necessidad es Insumo Produto Resultado Intermediário Impacto Objetivo a longo prazo Informação pública relevante para os votantes não é utilizada. Os governos locais tendem a desperdiçar dinheiro sem represálias Folhetos: Campanha de informação prévia às eleições municipais focadas nos responsáveis de fornecer certos serviços públicos?? Consequência direta da minha atuação 28

29 Teoria da Mudança dos folhetos de Informação Necessidades Insumo Produto Resultado Intermediário Impacto Objetivo a longo prazo Informação pública relevante para os votantes não é utilizada. Os governos locais tendem a desperdiçar dinheiro sem represálias Folhetos: Campanha de informação prévia às eleições municipais focadas nos responsáveis de fornecer certos serviços públicos Votantes tornam se mais conscientes do desempenho de seus representantes municipais.? Fatores que conectam o produto com o impacto? 29

30 Teoria da Mudança das quotas Necessidades Insumo Produto Resultado Intermediário Impacto Objetivo a longo prazo Informação pública relevante para os votantes não é utilizada. Os governos locais tendem a desperdiçar dinheiro sem represálias Folhetos: Campanha de informação prévia às eleições municipais focadas nos responsáveis de fornecer certos serviços públicos Votantes tornam se mais conscientes do desempenho de seus representante s municipais. Mais votantes trocam de partido para votar na oposição (vota se menos por partido e mais por gestão)? Aquilo que eu quero afetar diretamente, com relação ao objetivo => HIPÓTESE CHAVE 30

31 Possíveis impactos? Vamos enumerar todos os possíveis impactos dos folhetos de informação 31

32 Vários possíveis impactos Suponhamos que você reúna dados de 20 indicadores de impacto diferentes Encontra um que é muito positivo Encontra um que é muito negativo Encontra que para 18, os resultados são muito similares e não são significativamente diferentes O que você pode concluir? Defina as hipóteses chave antes do início do experimento 32

33 Definir hipóteses chave Quais poderiam ser exemplos de algumas hipóteses chave a serem provadas? 33

34 Teoria da Mudança das quotas Necessidades Insumo Produto Resultado Intermediário Impacto Objetivo a longo prazo Informação pública relevante para os votantes não é utilizada. Os governos locais tendem a desperdiçar dinheiro sem represálias Folhetos: Campanha de informação prévia às eleições municipais focadas nos responsáveis de fornecer certos serviços públicos Votantes tornam se mais conscientes do desempenho de seus representantes municipais. Mais votantes trocam de partido para votar na oposição (Vota se menos por partido e mais por gestão) Candidatos e/ou partidos com melhor rendimento ganham mais eleições Melhor uso dos recursos públicos locais e melhor prestação de serviços 34

35 Programa da apresentação 1. Modelos lógicos O que são? Como se desenvolvem? Exemplo: Informação e eleições locais no México 2. Resultados e indicadores 3. Noções básicas de medição do impacto 35

36 Medição Descreve o âmbito no qual se realiza a intervenção/ o experimento Quantifica insumos na intervenção Permite avaliar a implementação da intervenção Quantifica os resultados e impactos Registra as percepções da intervenção 36

37 Medição Descreve o âmbito no qual se realiza a intervenção/ o experimento Quantifica insumos na intervenção Permite avaliar a implementação da intervenção Quantifica os resultados e impactos Registra as percepções da intervenção É FEITA ATRAVÉS DE INDICADORES 37

38 O que é um indicador????

39 Indicadores são Variáveis quantitativas ou qualitativas que nos permitem de forma simples e confiável: Detectar necessidades Medir insumos Caracterizar implementação/processos Quantificar resultados/impactos Registrar percepções

40 Conselhos sobre levantamento de indicadores Medição da pressão arterial em Udaipur, Índia

41 CREA: Características de bons indicadores (Kusek & Rist 2004) C (laros): precisos e sem ambigüidade R (elevantes): apropriados para a medição em questão E (conômicos): fáceis de medir e recolher A (dequados): suficientes para detectar impactos em hipóteses chave

42 Modelo lógico com indicadores Necessidades Insumo Produto Resultado Intermediário Impacto Objetivo a longo prazo Informação pública relevante para os votantes não é utilizada. Os governos locais tendem a desperdiçar dinheiro sem represálias Folhetos:de informação prévio às eleições municipais Votantes tornam se mais conscientes sobre o desempenho de seus representantes municipais. Mais votantes trocam de partido para votar na oposição (Vota se menos por partido e mais por gestão) Candidatos e/ou partidos com melhor rendimento ganham mais eleições Melhor uso dos recursos públicos locais e melhor prestação de serviços INDICADORES:??? 42

43 Modelo lógico com indicadores Necessidades Insumo Produto Resultado Intermediário Impacto Objetivo a longo prazo Informação pública relevante para os votantes não é utilizada. Os governos locais tendem a desperdiçar dinheiro sem represálias Folhetos de informação prévio às eleições municipais Votantes tornam se mais conscientes do desempenho de seus representante s municipais. Mais votantes trocam de partido para votar na oposição (Vota se menos por partido e mais por gestão) Candidatos e/ou partidos com melhor rendimento ganham mais eleições Melhor uso dos recursos públicos locais e melhor prestação de serviços INDICADORES: Mudança de votos entre partidos Eleições vencidas por partidos oficiais vs partidos de oposição Quantidade e tipo de gastos municipais Nº de serviços públicos disponíveis Uso e percepção de serviços municipais43

44 Resumo da apresentação 1. Modelos lógicos O que são? Como se desenvolvem? Exemplo: Informação sobre desempenho municipal no México 2. Resultados e indicadores 3. Noções básicas de medição de impacto 44

45 Como medir o impacto? O que teria acontecido sem o programa para aqueles que participaram? Diferença entre O que aconteceu (com o programa) O que teria acontecido (sem o programa) = IMPACTO do programa 45

46 Impacto: O que é? Intervenção Impacto Impacto Tempo

47 Impacto e o contrafatual Contrafatual: O que teria acontecido sem o programa para aqueles que participaram? Não posso observar uma pessoa que participa e não participa no programa ao mesmo tempo. Objetivo fundamental de todos os métodos de avaliação de impacto é construir ou replicar o contrafatual. Escolhendo um grupo não afetado pelo programa, um grupo de comparação (ou grupo de controle )

48 Construindo o contrafatual Experimental: Se baseia na aleatorização do programa para criar um grupo de controle que imite o contrafatual. Não experimental: Argumenta que um certo grupo excluído é uma réplica do contrafatual. 48

49 Observando o contrafatual Eleitores do México continuam apoiando seu próprio partido!!! Mesmo quando informados sobre a má administração dos seus representantes, eles decidem apoiá-los

50 Observando o contrafatual Eleitores fazem com que a oposição consiga mais votos nos estados menos povoados e nos quais domina o partido oficial

51 Conclusão 1. Avaliação de impacto requer um PROFUNDO conhecimento sobre o funcionamento e objetivos do programa 2. TEORIA DA MUDANÇA facilita a avaliação e medição de um programa Articula objetivos insumos, produtos, resultados e impactos Simplifica definição de hipóteses de pesquisa Facilita construção de indicadores para diferentes metas do programa Ajuda a pensar em um cenário contrafatual 51