Avaliação de Impacto Objetivos e Forma Laura B. Rawlings Banco Mundial Segundo Workshop Internacional sobre Programas de Transferência Condicional de Renda São Paulo, Brasil - Abril 2004
Esquema Monitoramento vs. Avaliação Avaliações de impacto Avaliações qualitativas Planejamento e avaliação - dicas Avaliaçõesde Programasde Transferência Condicional de Renda (TCR) Conclusões
Definições Monitoramento Medindo o que acontece Uma responsabilidade fiduciária Abrangente Avaliação Inferindo porque isto aconteceu Um investimento para um maior conhecimento Seletiva
Monitoramento vs. Avaliação AVALIAÇÃO Impacto Resultados Efeitos do programa sobre o bem-estar Acesso, utilização e satisfação com os serviços MONITORAMENTO Produção Elementos Bens e serviços gerados Indicadores financeiros e físicos
Avaliações de Impacto Avaliam mudanças no bem-estar atribuídas a uma intervenção em particular (por exemplo, a um programa em particular). * Os indicadores mudaram? * Quanto eles mudaram? * As mudanças devem-se ao programa? Podem também avaliar * Os impactos variaram dentre os diferentes grupos, regiões ou ao longo do tempo? * Como o formato do programa pode ser modificado para aumentar o impacto? * Quão efetivo é o programa se comparado a intervenções alternativas?
Avaliações de Impacto Características * Componente chave de um plano abrangente de monitoramento e avaliação * Diferente mas complementar ao monitoramento e a outros tipos de avaliação * Foco quantitativo baseado na análise de dados de pesquisa (especialmente pesquisas domiciliares) aplicado tanto ao tratamento quanto aos grupos de comparação/controle * Foco sobre resultados generalizáveis para a população de interesse, baseado em amostras representativas
Entendendo a Avaliação de Impacto Como estariam as vidas dos beneficiários se o programa não tivesse existido? Não se podem observar as contraprovas, mas pode-se fazer uma aproximação através da construção de um grupo de controle ou de comparação apropriado. Para modelar as contraprovas, estabeleça grupos de controle/comparação (aqueles que não participam do programa) e compare com o grupo de tratamento (aqueles que participam). Se a metodologia for sólida, as diferenças podem ser atribuídas ao projeto. A questão chave é como selecionar ou identificar os não participantes. A escolha do método determina o formato da avaliação.
Formas de Avaliações de Impacto Formato experimental/aleatório Determina de forma aleatória as comunidades em tratamento e os grupos de controle. Mais rigorosa. Necessita de planejamento durante a criação do projeto. Formatos Quasi-experimentais Comparação reflexiva compara o mesmo grupo antes e depois. Entretanto, a situação dos participantes muda por diversos motivos, é difícil estabelecer a causa Comparação por pares métodos estatísticos para a construção de um grupo de comparação. Metodologias podem ser complexas.
Avaliações Qualitativas Foco sobre a análise social e o entendimento dos processos, comportamentos e condições como percebido por aqueles sendo estudados Gera reflexões críticas nas perspectivas, processos e contexto dos beneficiários Fornece uma interpretação mais profunda e detalhada das descobertas
Técnicas Qualitativas Entrevistas com grupos de interesse chave Discussões em grupo com beneficiários Observação de participantes Estudos de caso Geralmente complementadas por técnicas de Avaliação Rural Participatória tais como mapeamento, classificação e análise de tendência. Uso de triangulação - comparação de fontes de dados, métodos de coleta, investigadores e teorias para determinar o grau de obliqüidade e confiabilidade da informação. Foco sobre a validade da informação.
Combinação de Métodos Quantitativos e Qualitativos Combinações ou abordagens de método misto são recomendadas para uma avaliação abrangente. Abordagens quantitativas e qualitativas podem ser utilizadas em seqüência * Método qualitativo pode informar o formato/ conteúdo das pesquisas de avaliação de impacto * Método qualitativo pode esclarecer os resultados das avaliações de impacto ajuda a responder porque, explorar o contexto, desenvolver paradigmas * Pode focalizar o trabalho qualitativo sobre os forasteiros ou casos extremos
Planejando uma Avaliação Para determinar a escala e a complexidade da avaliação, responda as seguintes perguntas o mais cedo possível: Objetivos Quais são as principais perguntas que necessitam ser respondidas? Metodologia Que tipos de avaliação são necessários? É necessária uma avaliação de impacto? Cronograma - Depende da profundidade e da abrangência da avaliação, do formato e da disponibilidade de dados existentes. Deve ter passado tempo suficiente para que tenham sido produzidos resultados para uma avaliação de
Custo - tem grande variação: fica em média entre 0,25% e 2,0% dos custos do projeto. A coleta de dados é geralmente o custo mais alto. Financiamento geralmente baixo; pode ser financiado pelo projeto, com outros recursos do governo, doações ou combinações de fontes. Explore recursos de doadores dado o valor público dos resultados. Capacidade - a coordenação e a execução são um desafio. Deve haver equilíbrio entre a utilização de assistência técnica internacional e de capacidade local.
Planejando uma Avaliação de Impacto Avalie o impacto quando: o projeto for inovador o projeto for replicável o projeto for estrategicamente relevante para a redução da pobreza a avaliação do projeto for suprir hiatos de conhecimento o projeto causar impacto político substancial Ingredientes para o sucesso: Apoio político e financeiro Planejamento antecipado Conhecimento do contexto Envolvimento de grupos de interesse
Por Que Avaliar o Impacto dos Programas de TCR? Foco inovador sobre o desenvolvimento Combina foco sobre alívio da pobreza no curto e no longo prazo Incentivos pelo lado da demanda vs. subsídios tradicionais pelo lado da oferta Foco multisetorial: educação, saúde, nutrição Dimensões de gênero Replicável o modelo expandiu-se nacionalmente e foi replicado internacionalmente Estrategicamente relevante para a redução da pobreza elementos chave de muitos sistemas de proteção social Hiato de conhecimento - Pouco se conhecia sobre efetividade Impacto político formuladores de políticas muito interessados nos resultados
Qual o foco das avaliações de programas de TCR? Adequação da administração do programa Focalização de áreas e famílias pobres Existência e tamanho dos impactos do bem-estar sobre a acumulação de capital humano Educação: matrícula, freqüência, promoção, repetência, nível de escolaridade Saúde e nutrição: utilização dos serviços de saúde, consumo; medidas específicas para a idade (desnutrição infantil, vacinas, diarréia); mortalidade materno-infantil Efeitos imprevistos Dinâmicas da comunidade e da família Percepções do beneficiário/ grupos de interesse Custo-efetividade
Avaliações priorizadas na fase de elaboração do programa permitido para coleta de dados parâmetro; coleta aleatória Formato experimental de avaliação (formato de controle aleatório) usado na maioria dos programas de primeira geração Honduras PRAF, México PROGRESA e Nicarágua RPS Considerada a abordagem mais robusta de avaliação porque a coleta aleatória trata das questões de seleção Coleta aleatória baseia-se na expansão do programa; uso oportunista de restrições sobre os recursos Coleta aleatória feita no nível geográfico Métodos de pares usados na maioria das avaliações de segunda geração Jamaica, Colômbia, área urbana do México, Turquia Abordagens de Avaliação de Impacto de Programas de TCR
O Impacto das Avaliações de Impacto dos TCRs As avaliações de impacto forneceram evidências claras de impactos positivos sobre os resultados do desenvolvimento humano Avaliações qualitativas geraram reflexões sobre as dinâmicas sociais e as percepções dos beneficiários As evidências de impacto são extremamente importantes para a sobrevivência do programa ao longo das mudanças nas administrações políticas Os resultados foram cruciais para a expansão nacional e para a adoção internacional
Conclusões Um forte apoio e um planejamento precoce produziram avaliações rigorosas A existência de uma avaliação ajudou na focalização dos objetivos do programa As avaliações são importantes para a transparência e a confiança pública É necessário financiamento internacional de avaliações de impacto de programas inovadores; conhecimento da efetividade do desenvolvimento é um bem público As avaliações de impacto são cruciais, mas limitadas Um bom monitoramento é essencial para o sucesso da administração do programa O contexto afeta os resultados - os programas de TCR não são umafórmulamágicaparaa reduçãodapobreza