Sobre os impactos da redução da pobreza através de avaliação e monitoramento inovadores Os sistemas de avaliação e monitoramento são, com freqüência, os componentes menos abordados durante a criação e implementação de um projeto. No entanto, esses sistemas apresentam um potencial considerável para aumentar o impacto dos projetos. O que contribui para um monitoramento e avaliação eficientes? Apenas alguns projetos do Banco Mundial podem fornecer informações documentadas e claras a respeito de seus impactos sobre a pobreza. Com freqüência, a implementação do projeto continua sem uma compreensão da situação básica dos grupos-alvo e da natureza de seus problemas. Como resultado disso, a maioria dos relatórios de conclusão de implementação do Banco não avalia de modo eficaz nem documenta sistematicamente as lições do projeto. Os métodos participativos de monitoramento e avaliação, introduzidos recentemente, fornecem análises rápidas e são utilizados como substitutos para uma avaliação completa. Porém, em sua maior parte, esses métodos não utilizam medidas quantitativas mas interrupções do processo para rastrear sistematicamente o impacto de um projeto sobre os beneficiários. Contudo, alguns projetos recentes do Banco incluem mecanismos quantitativos e participativos para acompanhar o impacto do projeto e das mudanças. O Projeto de Desenvolvimento da Primeira Infância e Nutrição de Uganda é um exemplo. A estratégia de monitoramento e avaliação do projeto inclui amostras aleatórias para documentar o impacto de determinados componentes, bem como um sistema de monitoramento, avaliação e informação que utiliza métodos de avaliação participativa contínua para estimar as contribuições e os resultados. O projeto de Uganda é direcionado ao processo, envolvendo programas locais prioritários de saúde, nutrição, educação de primeira infância, assistência à infância e, geração de renda e poupança. O projeto está sendo implementado por uma rede de organizações não-governamentais (ONGs), contratadas pelo governo, para motivar as comunidades e fornecer informações aos participantes do projeto (Quadro 1). Essa rede também está sendo utilizada para transmitir informações aos gerentes do projeto. O projeto baseia-se no monitoramento sistemático das entradas de dados e nos resultados que fluem através das organizações implementadoras do projeto. Nas comunidades, essas entradas, os resultados e as conseqüências sobre as crianças são monitorados continuamente e relatados aos níveis superiores da estrutura organizacional do projeto por exemplo, da ONG que o lidera para o comitê coordenador do distrito e, finalmente, ao escritório de coordenação do projeto (Figura 1). Como o projeto abrange a maioria das regiões em Uganda, ele envolve necessariamente diferentes níveis de organização. Entretanto, a participação do escritório coordenador e a organização do projeto foram mantidas restritas e, além disso, a participação comunitária no planejamento e monitoramento possibilita o feedback de baixo para cima, através dos canais estabelecidos. Em sua maioria, os níveis no gráfico organizacional têm funções de consultoria e nem todos os elementos do projeto necessariamente passam por todos os níveis. Essa característica é uma vantagem do sistema de monitoramento e avaliação porque garante a transparência e o envolvimento ativo dos principais interessados. As fichas de saúde são o principal instrumento de coleta de dados para monitorar os impactos do projeto sobre os beneficiários finais (as crianças). Esses cartões registram determinados eventos do desenvolvimento de cada criança como peso e altura, saúde e imunização, além da matrícula préescolar. Uso de uma abordagem aleatória Mais do que monitorar regularmente os beneficários, o projeto de Uganda acompanha o seu impacto através de enquetes aleatórias com crianças e famílias para assegurar a eficácia do projeto e orientar o
planejamento de sua segunda fase. Utilizando um modelo experimental aleatório, as pesquisas contínuas e de linha de base avaliam o impacto de: Tratamentos de desverminação e atividades gerais do projeto sobre o desenvolvimento cognitivo, saúde e nutrição de crianças com menos de seis anos. Educação de auxiliares de saúde e um programa de comunicação de massa sobre conhecimento, posturas e práticas relacionadas aos cuidados infantis dos principais auxiliares de saúde. Treinamento de coordenação para as populações mais pobres, atividades de geração de renda e formação de grupos de poupadores, além do fornecimento de doações para o bem-estar da comunidade. Os tratamentos de desverminação estão limitados a um subconjunto aleatório de comunidades para a verificação de sua eficácia. A medicina provou serem seguros e eficientes nas clínicas, mas até recentemente a maioria dos programas de desverminação em massa destinava-se às crianças em idade escolar. Não foi dedicada atenção suficiente ao tratamento em massa de crianças em idade pré-escolar, um esforço que produziria recomendações de melhores práticas. O projeto experimental tem como objetivo fornecer essas informações. Além disso, a utilização de fichas de saúde e uma revisão rápida dos dados permitirão dimensionar esse aspecto do fornecimento do serviço na metade do projeto, se for provado que é proveitoso para o desenvolvimento das crianças. A pesquisa de linha de base é conduzida antes do fornecimento dos serviços às comunidades. Uma pesquisa de acompanhamento junto às mesmas famílias ocorre após dois anos. Essas pesquisas apresentam informações adicionais sobre o panorama educacional e sócio-econômico das pessoas que participam das feiras trimestrais no dia da criança. Além disso, elas permitem uma análise dos efeitos do projeto sobre o desenvolvimento cognitivo das crianças pequenas. Finalmente, as pesquisas de linha de base e de acompanhamento incluem as famílias fora dos subdistritos incluídos no projeto inicial - permitindo um controle adicional para analisar o impacto do projeto. Os questionários para domicílios e comunidades são os principais instrumentos para esta avaliação. Seus módulos incluem as características sócio-econômicas, o conhecimento, as posturas e práticas, dados antropométricos, saúde infantil e um modo, adaptado ao local, de análise do desenvolvimento cognitivo das crianças. Além disso, as pesquisas comunitárias abrangem informações demográficas, econômicas e de infra-estrutura sobre as condições e práticas agrícolas locais, a educação e os serviços de saúde. Avaliação participativa contínua A avaliação participativa contínua está intimamente ligada ao planejamento participativo local. Apoiado por coordenadores recrutados localmente e pela equipe de assistência técnica, o projeto mobiliza grupos de mães e pais para iniciar a sensibilização quanto aos cuidados infantis, à educação e às atividades para criar capacitação, bem como aos projetos locais em pequena escala, com base em pequenas doações às comunidades e no atendimento às necessidades da comunidade. Foram desenvolvidos três manuais para os coordenadores a fim de serem utilizados no processo de planejamento participativo (Quadro 2). Os manuais abrangem uma série de etapas que correspondem ao processo de planejamento e à implementação do projeto. As e as organizações comunitárias, juntamente com o escritório de coordenação do projeto, são os principais componentes do modelo e operação do sistema de avaliação contínua participativa (ver Figura 1). O escritório de coordenação do projeto é responsável pelo modelo e supervisão do sistema, bem como pelo estabelecimento de vínculos e interações com os participantes interessados de alto nível. Quatro representantes regionais do escritório de coordenação do projeto, conhecidos como os grupos de assistência técnica nacional, são responsáveis pelo treinamento das de cada distrito para monitoramento e avaliação. Por sua vez, a ONG líder treina as organizações comunitárias. Através de seu monitoramento e avaliação, os comitês de coordenação distritais atuam para facilitar a coordenação, o feedback e a comunicação, interagindo basicamente com as e suas unidades de monitoramento e avaliação. O sistema de avaliação contínua participativa apresenta dois fluxos de informação. O primeiro é descendente e está encarregado do modelo, preparação e treinamento necessários à operação do sistema. O segundo é ascendente e envolve a coleta de dados e o acompanhamento das informações, em diferentes níveis, pela sistematização, análise e síntese. Um dos principais objetivos do sistema é facilitar a interação em tempo hábil com os tomadores de decisão em diferentes níveis, para que possam responder rapidamente às solicitações dos níveis inferiores da estrutura de implementação.
Para que os fluxos de informação fossem administráveis e eficientes, os projetos definiram claramente alguns pontos para revisão, consolidação, síntese e geração de relatórios. No nível inferior da estrutura, as unidades de monitoramento e avaliação das coletam e sintetizam os dados obtidos das comunidades e das organizações comunitárias. Essas unidades produzem relatórios para o ponto de consolidação de nível superior do sistema e para o escritório de coordenação do projeto que, em seguida, se reportarão aos participantes envolvidos e aos tomadores de decisão, acima de seus níveis. Benefícios do monitoramento e avaliação proativos A avaliação e o monitoramento participativo, complementares e contínuos, incluindo o planejamento de uma avaliação quantitativa, oferecem duas vantagens claras para o combate à pobreza. Primeiro, a avaliação participativa contínua permite contribuições oportunas às decisões administrativas locais e centralizadas. Essas contribuições promovem um alinhamento melhor administrado e mais responsivo à entrada de dados do projeto para que seus objetivos sejam atingidos. A natureza dinâmica da maioria dos projetos durante a implementação requer um mecanismo de resposta para que a entrada de dados se ajuste aos ambientes em mutação e ao mesmo tempo constituam um meio de verificar o impacto sobre os beneficiários, no momento em que isso ocorrer. Segundo, os métodos quantitativos utilizados nas pesquisas domiciliares e comunitárias são importantes para analisar o impacto de um projeto e verificar os determinantes desse impacto. A análise e verificação são especialmente essenciais durante a revisão, na metade de um projeto, quando as entradas de dados podem ser realinhadas conforme a necessidade. Esses procedimentos também podem gerar mais informações para a próxima fase do projeto. Esta nota foi escrita por Marito Garcia (Economista-sênior de Desenvolvimento Humano, Desenvolvimento Humano 1, Região da África), Harold Alderman (Consultor de Política de Alimentos e Nutrição, Grupo de Pesquisa sobre Desenvolvimento, Vice-Presidência para Economia do Desenvolvimento) e Anders Rudqvist (Especialista em Participação, Divisão de Pobreza, Rede PREM). Se você tiver interesse em tópicos semelhantes, considere a possibilidade de participar do Grupo Temático para Reforma Administrativa e do Serviço Público. Entre em contato com Kalanidhi Subbarao (x33898) ou Anders Rudqvist (x84230), ou clique em Thematic Groups, na Rede PREM. Page 1 Banco Mundial PREM Associada à Rede de Desenvolvimento Humano O u t u b r o 1 9 9 9 n ú m e r o 3 2 Pobreza Vice-presidência para economia do desenvolvimento e rede de redução da pobreza e gestão econômica
Page 1 Margin text São necessários métodos quantitativos e participativos para avaliar o impacto de um projeto sobre a pobreza Page 2 - Box 1 Quadro 1 Projeto de Desenvolvimento da Primeira Infância e Nutrição de Uganda O Projeto de Desenvolvimento da Primeira Infância e Nutrição de Uganda oferece apoio ao Programa Nacional de Ação para a Criança, cujo objetivo é melhorar o status cognitivo, nutricional e de saúde de crianças com menos de 8 anos. O projeto aumenta a capacidade dos pais e da comunidade de cuidar das crianças, ensinando-lhes novas técnicas de assistência à infância e criando oportunidades de aumento de renda. O projeto comunitário no valor de US$40 milhões é implementado por ONGs contratadas pelo governo em bases competitivas, que trabalham como agentes de mudança em colaboração com os governos distritais. Em sua primeira fase, com duração de 5 anos (1998-2003), será implementado em 25 dos 45 distritos de Uganda. O projeto apresenta três componentes: Um pacote integrado de intervenções para assistência à infância, que fornece informações sobre boas práticas de cuidados infantis, incluindo recomendações sobre alimentação, monitoramento e promoção do desenvolvimento das crianças. As intervenções são promovidas por menores trabalhadores da comunidade e em feiras infantis, acompanhadas de um programa de comunicação de massa. Além disso, as mães e assistentes que recebem aconselhamento sobre cuidados infantis são incentivadas a formar grupos de microempresas para ajudar a melhorar seus meios de sobrevivência. Fornecimento de doações para apoio e inovações à comunidade e a grupos de mulheres com o objetivo de impulsionar atividades de assistência à criança. Essas atividades podem incluir a criação de centros de assistência infantil domésticos ou externos, a produção de alimentos para crianças que estão sendo desleitadas, ou a formação de microempresas. Apoio nacional ao monitoramento e avaliação, vinculado ao programa nacional de comunicação de massa. Page 2 - Figure 1 Figura 1 A estrutura de implementação e monitoramento do projeto Ministério de Gênero Ministério da Saúde Ministério da Educação
Page 2 Nota PREM 32 Outubro 1999 Page 3 Box 2 Quadro 2 Os manuais de planejamento participativo do projeto Para facilitar o planejamento e a implementação participativos, o Projeto de Desenvolvimento da Primeira Infância e Nutrição criou três manuais para os facilitadores do projeto. O primeiro, Issues Facing Our Children (Questões relativas às nossas crianças), tem como objetivo aperfeiçoar as habilidades dos facilitadores comunitários e fornecer recursos básicos para planejamento, coleta e análise de dados ao interagir com os participantes locais do projeto. O manual explica o projeto, enfocando o diagnóstico de crianças na primeira infância. Além disso, são detalhadas técnicas de análise de gênero e de meios de sobrevivência, mapas sociais e classificações de bem-estar. Fornece também diagramas e análises que relacionam os estágios do desenvolvimento infantil às necessidades, serviços e oportunidades específicos, bem como formatos para síntese e apresentação dessas análises. O segundo manual, Problems Facing Our Small Children (Problemas de nossas crianças pequenas), baseia-se no conhecimento adquirido na aplicação do primeiro manual. Detém-se na análise dos problemas e das condições identificadas no primeiro estágio e na maneira de ajudar as comunidades a planejar as atividades adequadas à resolução das deficiências. Fornece técnicas como a análise hierárquica de problemas, e classificação por preferência e pelo método de comparação par a par, com a finalidade de priorizar, comparar e discutir oportunidades, problemas e soluções; assim como a análise da viabilidade das soluções propostas e os formatos de relatórios. O terceiro manual, On the Road to Improved Child Care Practices (Práticas aprimoradas dos cuidados infantis), descreve o planejamento da implementação e gestão dos projetos, bem como o desenvolvimento de sistemas de avaliação e monitoramento participativos. Fornece técnicas para articular os objetivos da comunidade, dentro de 5 a 10 anos, harmonizando-os com as metas das agências, ONGs, planejadores centrais e organizações comunitárias que participam do projeto, decidem quais são os recursos necessários (internos e externos), determinam o ritmo e os prazos, definem os indicadores e pontos de referência, as funções, responsabilidades e a prestação de contas na comunidade. Os três estágios abordados nos manuais devem ser seguidos pela implementação real de projetos e atividades locais, avaliações dos resultados e definição de novas etapas. Page 3 Margin text A avaliação participativa contínua está intimamente ligada ao planejamento participativo em nível local
Page 3 Nota PREM 32 Outubro 1999 Page 4 Esta série de notas destina-se a resumir as recomendações sobre práticas corretas e as principais políticas sobre os tópicos relacionados à PREM. As Notas PREM são distribuídas para toda a equipe do Banco Mundial e também estão disponíveis no site da rede PREM na Web, (http://prem). Se você tiver interesse em escrever uma Nota PREM, envie a sua idéia por correio eletrônico para Sarah Nedolast. Para obter cópias adicionais desta nota, entre em contato com o PREM Advisory Service, no telefone x87736. Preparado para a equipe do Banco Mundial