Banco Mundial Região da América Latina e do Caribe e Rede de Desenvolvimento Humano Com o generoso apoio do Fundo de Avaliação de Impacto Espanhol (SIEF) SEMINÁRIO REGIONAL DE AVALIAÇÃO DE IMPACTO Avaliando o Impacto dos Programas de Desenvolvimento: Transformando Promessas em Evidências Rio de Janeiro, Brasil 26-30 de abril de 2010 Este workshop tem como objetivo oferecer aos participantes uma ampla visão de avaliação de impacto. Nele estão inclusas técnicas de fronteiras da avaliação de impacto, uma concepção da sua importância para a formulação de políticas e de design de programa, uma compreensão transparente de como construir uma cadeia de resultados e habilidades práticas na aplicação de técnicas de avaliação de impacto para seus próprios projetos. Esse evento é uma combinação altamente interativa de sessões em grupos, de pequeno e de grande porte, envolvendo hands on, ou seja, aplicar na prática o conteúdo do que foi aprendido ao longo da semana. No primeiro dia será conduzida uma discussão em plenário com todos os participantes. No 2º e 3º dia do curso, os participantes irão selecionar, entre linhas paralelas: 1) com o alvo centrado nos formuladores de políticas; e 2) com o alvo centrado para os investigadores ambas abrangem os mesmos temas, mas com níveis diferentes de econometria. As duas linhas foram traçadas para assegurar a coerência e a difusão de mensagens-chave para ambos os grupos. Desde o primeiro até o último dia do curso os participantes (formuladores de política, técnicos e gerentes de projetos do Banco Mundial) irão trabalhar juntos, como equipes de projeto, com moderadores peritos em "handson" na concepção de uma avaliação de impacto de alta qualidade e de planos de implementação para seus projetos. No 5º e último dia do seminário, as equipes apresentarão seus planos de projetos de avaliação para todo o grupo e receberão uma troca de orientações do grupo dos moderadores do curso. A Estrutura do Workshop: O curso está organizado em sessões de grupo plenárias, paralelas e de pequenas empresas. As sessões plenárias são para todos os participantes, enquanto as sessões paralelas são divididas entre as linhas de "Formuladores de Políticas" e de "Linha Técnica. - As Sessões de Formuladores de Políticas são projetadas para profissionais com habilidade operacional e responsáveis pela supervisão, implementação e logística das avaliações de impacto. Essas sessões fornecem bases teóricas para a identificação de causas e metodologias de avaliação distintas. As sessões de política compreendem também técnicas práticas para a formulação de avaliações de impacto de alta qualidade para novos programas, incluindo a amostragem, estratégias de implantação e outras ferramentas operacionais. - As Sessões de Linha Técnica são endereçadas aos profissionais que desejam aprofundar seus conhecimentos acerca de metodologias de estimativas econométricas conforme aplicadas nas avaliações de impacto. Essas sessões tratam da fundamentação teórica para identificação de causalidade e das diferentes metodologias de avaliação utilizadas para conduzir avaliações de impacto, usando dados estatísticos e econométricos, bem como estudos de casos que ilustrem uma relação clara entre teoria e prática. - As Sessões em Grupos Pequenos são para reforçar o material abordado nas linhas plenárias e paralelas e fomentar a participação e interação entre os participantes. Os 1
moderadores irão trabalhar no sentido de orientar o diálogo e fornecer suporte técnico a cada grupo. No 1º, 2º e 4º dias do curso, os grupos irão se dedicar ao desenvolvimento de um projeto rigoroso de avaliação de impacto para seus próprios projetos. No 3º dia, os grupos irão trabalhar em um estudo de caso. No 5º dia, os grupos apresentarão o plano de avaliação de impacto de seus projetos para obter comentários do grupo maior. 1. Avaliação para os formuladores de políticas: estudos de gestão e utilização de resultados para programas mais eficazes 1. Por que avaliar e o problema de causalidade 2. Empregar resultados de avaliação para a tomada de decisões 3. Integrar sistemas de monitoramento/dados e de avaliação de impacto 4. Coesão da avaliação de impacto e a política baseada em evidência para o centro dos sistemas governamentais 5. Métodos de Avaliação de Impacto 6. Concepção e planejamento de uma avaliação 7. Gerenciar uma avaliação 8. Lidar com restrições operacionais 9. Estudos de caso dos profissionais e dos formuladores de políticas 2. Avaliação para Técnicos: teoria e métodos 1. Implicação causal 2. Projetos experimentais: Randomização 3. Projetos quasi-experimentais: Diferença na diferença 4. Variáveis instrumentais 5. Descontinuidade da regressão 6. Matching 7. Estudos de Caso de profissionais e formuladores de políticas 2
Segunda-feira, 26 de abril de 2010 8:30-9:00 AM Saudações e Observações Introdutórias Chingboon Lee, Rede de Desenvolvimento Humano, Banco Mundial Pedro Flores Urbano, Coordenador Geral, AECID, Espanha 9:00-10:30 AM Avaliação de Impacto: De Promessa a Evidência Paul J. Gertler, Universidade da Califórnia, Berkeley Por que avaliar? A política de impacto de avaliação rigorosa Tipos de avaliações Contrafactual (ponto de divergência) Introdução aos métodos quantitativos para avaliar programas de desenvolvimento 10:30 11:00 AM Coffee Break (intervalo) 11:00 11:30 AM A Demanda por Políticas baseada em Evidências no Brasil Makhtar Diop, Diretor do Banco Mundial para o Brasil Joaquim Levy, Secretário de Estado da Fazenda do Rio de Janeiro 11:30-12:30 PM Avaliação do Impacto para a Tomada de Decisão em Tempo Real Arianna Legovini: Banco Mundial 2:00-2:30 PM 2:30-3:45 PM Exercício Plenário: Onde no Mundo? Adam Ross, Banco Mundial Desenvolvimento de um Sistema de Monitoramento e Avaliação: A experiência do México Gonzalo Hernandez, CONEVAL, México Debatedores: Francisco Gaetani, Secretário Executivo Adjunto, Ministério do Planejamento, Orçamento e Gestão, Brasil 3:45 4:00 PM Introdução a Equipes de Projeto e à Nota de avaliação Conceitual Adam Ross, Banco Mundial 4:00 4:30 PM Coffee Break 4:30 6:00 PM (Sessão em Grupo) Trabalho em Grupo 1: Estabelecer uma Cadeia de Resultados Os participantes serão encaminhados para grupos setoriais. Cada grupo selecionará um projeto no qual irá trabalhar durante a semana. Nessa sessão, o grupo criará uma cadeia de resultados para o projeto escolhido. No final da sessão, cada grupo entregará ao moderador seus resultados em formato eletrônico, utilizando apresentação em PowerPoint. 6:30 8:00 PM Recepção Claudia Costin, Secretária da Educação, Município do Rio de Janeiro 3
Terça-feira, 27 de abril de 2010 9:00 9:30 AM Avaliando Impacto Introdução a Sessões Paralelas Sebastian Martinez, Banco Mundial 9:30-12:30 PM (Sessão Paralela) 10:30 11:00) SESSÃO FORMULADORES DE POLÍTICA Sebastian Martinez, Banco Mundial Avaliando o Impacto I Avaliação de Impacto Eficácia vs. Escalabilidade Causalidade SESSÃO ESPECIALISTA TECNICO Claudio Ferraz, PUC-Rio Pedro Carneiro, Colégio Universidade de Londres Avaliando o Impacto I: Inferência Causal Design Experimental Diferença na Diferença 2:00-2:30 PM 2:30-4:00 PM Exercício Plenário: Onde no Mundo (Resultados do Exercício) Adam Ross, Banco Mundial Conhecimento Global sobre o Que Funciona para melhorar os resultados na Educação Coordenadora: Barbara Bruns, Banco Mundial 4:00-4:30 PM Coffee Break Brasil: Pagamento dos Professores por Desempenho Claudio Ferraz, PUC-Rio Brasil: Doações para as Escolas para Melhorias Ricardo Paes de Barros, IPEA 4:30-6:00 PM (Sessão em Grupo) Trabalho em Grupo II: Questões de Pesquisa, Indicadores e Dados Cada grupo continuará seu trabalho no projeto escolhido. O grupo vai determinar as questões de pesquisa a serem respondidas pela avaliação de impacto e os seus respectivos indicadores e dados. Os resultados serão registrados em sua apresentação de PowerPoint. 6:00 7:00 PM *****************OPCIONAL************************ Introdução a STATA Sebastian Martinez, Banco Mundial Paloma Acevedo, Banco Mundial 4
Quarta-feira, 28 de abril de 2010 9:00-12:30 PM (Sessão Paralela) 10:30 11:00) SESSÃO FORMULADORES DE POLÍTICAS Sebastian Martinez, Banco Mundial Avaliando Impacto II Desenvolver uma Avaliação em um Contexto Operacional Amostragem e poder estatístico SESSÃO ESPECIALISTAS TÉCNICOS Claudio Ferraz, PUC Rio Pedro Carneiro, Colégio Universidade de Londres Avaliando Impacto II: Variáveis Instrumentais Regressão com Descontinuidade Matching 2:00 3:30 PM Conhecimento Global Sobre Desenvolvimento da Primeira Infância Coordenador: David Evans, Banco Mundial 3:30 4:00 PM Coffee Break Brasil: Programa Rio Creche sobre Desenvolvimento da Primeira Infância Ricardo Paes de Barros, IPEA O impacto dos programas de CCT (Transferência Condicional de Renda) no Desenvolvimento da Criança: Evidências do Equador e da Nicarágua Norbert Schady, BID Banco Interamericano de Desenvolvimento 4:00-5:30 PM (Sessão em Grupo) Trabalho em Grupo III: Campanhas de Telefone para Estimular a Vacinação de Crianças (cortesia do MIT-JPAL) Barbara Bruns, Banco Mundial Os conceitos teóricos discutidos nas sessões políticas e técnicas do 2º e 3º dias serão reforçadas através de um trabalho de grupo em um estudo de caso. O estudo de caso refletirá na identificação de diferentes estratégias e metodologias para a construção de um contrafactual. 5:30-6:00 PM Campanhas de Telefone para Estimular a Vacinação de Crianças: Discussão Plenária do Trabalho em Grupo III Barbara Bruns, Banco Mundial 6:00-7:30 PM *****************OPCIONAL************************ Treinamento STATA para Avaliação de Impacto Sebastian Martinez, Banco Mundial Paloma Acevedo, Banco Mundial 5
quinta-feira, 29 de abril de 2010 9.00-10:00 AM Planejar a Dimensão das Amostras para as Avaliações de Impacto David Evans, Banco Mundial 10:00-10:30 AM Coffee Break 10:30-11:30 AM 11:30-12:30 PM Questões Operacionais: Como Incorporar Avaliação de Impacto em Projetos Paul J. Gertler, Universidade da Califórnia - Berkeley Conhecimento Global sobre a Qualidade dos Serviços de Saúde Coordenador: Michele Gragnolati, Banco Mundial As Evidências sobre a Prevenção ao HIV Arianna Legovini, Banco Mundial Pagamento por Desempenho de Serviços em Saúde na Ruanda Paul J. Gertler, Universidade da Califórnia Berkeley 2:00-6:00 PM (Sessão em Grupo) 3:30 4:00) Avaliação Clínica Trabalho em Grupo IV (Continuação) As equipes irão trabalhar em pequenos grupos, em conjunto com os moderadores, no sentido de desenhar uma estratégia de avaliação de impacto para o projeto escolhido. Os grupos também analisarão através da amostragem, implantação e outras questões de planejamento. O projeto proposto será gravado em apresentação de PowerPoint. 6
Sexta-feira, 30 de abril de 2010 9:00-12:00 PM 10:00 10:15) Avaliação das Propostas de Projeto: Apresentações em Grupo (Dividir em 2 ou 3 salas) As equipes utilizarão apresentação em PowerPoint para expor seus resultados para o grupo plenário. Os grupos receberão comentários práticos dos moderadores e de outros grupos sobre o projeto, sua execução e acompanhamento. Os moderadores investigarão se o projeto de avaliação de impacto é robusto e se há um processo bem especificado para a integração da avaliação de impacto para a implementação do projeto. Cada equipe concluirá o workshop com um projeto de avaliação totalmente desenvolvido e um plano de implementação. 12:00 12:30 PM Certificados e Conclusão Palestrantes do Workshop, Corpo Docente e Moderadores: Adam Ross, Economista, Banco Mundial Arianna Legovini, Diretor, DIME, Banco Mundial Barbara Bruns, Economista Líder em Educacao, Banco Mundial Chingboon Lee, Rede de Desenvolvimento Humano, Banco Mundial Claudia Costin, Secretaria de Educacao, Municipio do Rio de Janeiro Claudio Ferraz, Professor Assistente, Departamento de Economia, PUC-Rio David Evans, Economista, Banco Mundial Francisco Gaetani, Ministerio de Planejamento, Brasil Gonzalo Hernandez, CONEVAL, México Joaquim Levy, Secretário de Estado da Fazenda do Rio de Janeiro Makhtar Diop, Diretor, Banco Mundial Michele Gragnolati, Sector Leader, Banco Mundial Norbert Schady, Assessor Economico, Inter-American Development Bank Paloma Acevedo, Especialista em Monitoramento & e Avaliação, Banco Mundial Paul Gertler, Professor, Universidade da Califórnia, Berkeley Pedro Carneiro, Palestrante, Colégio Universidade de Londres Pedro Flores Urbano, Coordenador Geral, AECID, Espanha Ricardo Paes de Barros, IPEA Sebastian Martinez, Economista, Banco Mundial 7