Avaliação de Impacto do Programa Bolsa Família: uma proposta preliminar

Transcrição

1 Avaliação de Impacto do Programa Bolsa Família: uma proposta preliminar Trabalho Final do Grupo I Carla Márcia de Lacerda Alves Dillian Adelaide da Silva Goulart Guilherme Coelho Rabelo Márcia Regina Gonçalves Muchagata Mônica Vasconcelos Ribeiro Raimundo Rainero Xavier Sônia Christina Brant Woff Dezembro de

2 ÍNDICE 1-INTRODUÇÃO METODOLOGIA DIAGNÓSTICO IDENTIFICAÇÃO DO PROBLEMA CENTRAL IDENTIFICAÇÃO DOS ATORES RELEVANTES E ANÁLISE DE ENVOLVIMENTO ANÁLISE DAS ALTERNATIVAS PARA A IMPLEMENTAÇÃO DO PROGRAMA ANÁLISE DE CONTEXTO E PRESSUPOSTOS - MARCO LÓGICO DO PROGRAMA MATRIZ DE PLANEJAMENTO DO PROGRAMA O DESENHO DA AVALIAÇÃO A IDENTIFICAÇÃO DOS USUÁRIOS OBJETIVOS E PERIODICIDADE CRITÉRIOS DE AVALIAÇAO INDICADORES E SUAS LINHAS DE BASE MÉTODOS E TÉCNICAS DE AVALIAÇAO IDENTIFICAÇÃO DOS DADOS QUALITATIVOS NECESSÁRIOS E MEIOS DE VERIFICAÇÃO IDENTIFICAÇAO DOS DADOS QUANTITATIVOS NECESSÁRIOS, SUAS FONTES E MEIOS DE VERIFICAÇÃO, DEFINIÇÃO DE MÉTODOS E PERÍODO DE COLETA DE DADOS, DEFINIÇÇAO DOS MÉTODOS E TÉCNICAS DE ANÁLISE DE DADOS DESCRIÇÃO DOS LIMITES E RESTRIÇÕES DA PESQUISA AVALIATIVA EQUIPES NECESSÁRIAS E ORÇAMENTO DISCUSSÃO E CONCLUSÃO REFERÊNCIAS LEGISLAÇÃO

3 1-INTRODUÇÃO O objetivo da realização do exercício Este trabalho teve como objetivo simular o processo de formulação, planejamento e avaliação de uma política social, no âmbito de um processo de formação de gestores públicos para avaliação de políticas sociais. Construído ao longo do curso, este trabalho descreve os métodos e resultados do exercício de elaboração de uma avaliação de impacto do Programa Bolsa Família. O Programa Bolsa Família foi escolhido por duas razões básicas: é um programa social prioritário do governo federal, com grande abrangência e enfoque integrado, que dispõe de uma base de dados importante e que, portanto, apresentas as condições necessárias para a realização de uma simulação completa. Por outro lado, o PBF é um programa com o qual alguns membros do grupo têm bom nível de conhecimento e facilidade de acesso aos documentos e bancos de dados do programa, o que tenderia a facilitar e contribuir para a qualidade do exercício. Não se incorporou neste exercício o debate de questões éticas e outras relativas ao programa Bolsa Família, porque o grupo realizou esta tarefa relacionada a outro programa, tendo iniciado a avaliação Bolsa Família em momento posterior do curso, tendo isso ficado acordado com a coordenação do curso. A avaliação de um programa social Conforme colocado por Sanders (2003), a avaliação é um processo sistemático de fazer perguntas sobre o mérito e a relevância de um objeto. A avaliação de programas sociais é importante para o contínuo processo de planejamento e aperfeiçoamento de políticas, sendo essencial em um quadro de escassez de recursos e necessidades incrementadas. A avaliação de um programa social tem a pretensão de comparar um padrão almejado (a direção para qual se orienta a ação) com a realidade, isto é, o que realmente aconteceu em decorrência da ação desenvolvida (Cohen e Franco, 1993). 3

4 Existem diferentes tipos de avaliação, organizadas em função dos objetivos de quem avalia ou demanda a avaliação, tais como a avaliação de processos, de produtos ou de qualidade. No caso específico deste exercício optou-se pela realização de uma avaliação de impacto. Inicialmente, o grupo pensou em realizar avaliação de resultados do programa, relativa ao cumprimento das condicionalidades de saúde, tomando como indicador a vacinação, pela facilidade de obtenção de dados e pela possibilidade de inferir que as crianças que têm a vacinação em dia poderiam ter também outros aspectos de sua saúde monitorados pelas equipes de saúde. Contudo, por orientação da professora, Maria das Graças Rua, que ponderou com o grupo que uma avaliação de impacto seria mais abrangente e mais viável pelo tempo de implementação do programa. O indicador pesoxidade, registrado no Cartão da Criança e no Sistema de Vigilância Alimentar e Nutricional - SISVAN poderia oferecer condições de se avaliar o impacto do Bolsa Família na saúde, considerando que o Bolsa Família não só transfere renda, mas tem duas condicionalidades agregadas que visam ampliar o acesso dessas famílias à saúde e à educação. Além disso, tanto o programa Bolsa Família, quanto o anterior Bolsa Alimentação partem da premissa que as famílias pobres não investem o suficiente em capital humano e que por meio da transferência monetária passariam a investir mais em saúde e em educação, a exemplo de programas de outros países como Honduras, México, Colômbia e Nicarágua. Por todo o exposto, optou-se avaliar o impacto do Bolsa Família na saúde. A avaliação de impacto A avaliação de impacto é provavelmente a mais importante, mas também um dos mais difíceis tipos de avaliação, já que uma completa avaliação só é possível anos após a conclusão dos programas/políticas, ainda que vários impactos possam ser mensurados ao longo da vida do projeto/programa. Outra dificuldade importante é a existência de várias externalidades que podem interferir no alcance dos objetivos primários visados. Segundo Cohen e Franco (1993), a avaliação de impacto requer a aplicação de modelos experimentais ou quasi-experimentais, considerando dois momentos (antes e depois) e requer também controlar os efeitos não atribuíveis ao projeto. Ela pressupõe que se 4

5 aceita existência de uma tecnologia de transformação social que seja ótima, isto é, que existe um modo melhor que outros de produzir as mudanças necessárias. Neste trabalho procuramos integrar um desenho de avaliação com método quasi- experimental à adoção de métodos qualitativos.. O Programa Bolsa Família O Bolsa Família é um programa de transferência de renda destinado às famílias em situação de pobreza, com renda per capita de até R$ 100,00 (cem reias) mensais, que associa à transferência do benefício financeiro o acesso aos direitos sociais básicos saúde, alimentação, educação e assistência social. O programa foi criado para atender duas finalidades básicas: enfrentar o maior desafio da sociedade brasileira, que é o de combater a miséria e a exclusão social, e também promover a emancipação das famílias mais pobres. O Programa Bolsa Família unificou os programas de transferência de renda anteriormente existentes Bolsa Escola, Bolsa Alimentação, Auxílio-Gás e Cartão Alimentação. A medida proporcionou mais agilidade na liberação do dinheiro a quem precisa, reduziu burocracias e criou mais facilidade no controle dos recursos, dando assim mais transparência ao programa. O recebimento do benefício é vinculado ao cumprimento de compromissos por parte dos beneficiários nas áreas de saúde, alimentação e educação. Esses compromissos são também denominados condicionalidades. A desigualdade social é tema que está em pleno debate na sociedade brasileira e se caracteriza por não ser um assunto novo. A desigualdade na distribuição e renda é tendência das últimas décadas, conforme aponta Barros, Henriques e Mendonça (2000). O Brasil é um dos países com maior nível de desigualdade no mundo, apresentando uma enorme estabilidade nestes níveis internamente ao país. Ali vemos que desde 1977 até 1999 cerca dos 10% mais ricos apropriam cerca de 50% da renda. Percebe-se, pois, que este é um problema de difícil equacionamento e solução. 5

6 O Programa Bolsa Família contribui para reduzir as desigualdades regionais do país. Em cada dez famílias atendidas pelo Programa no final do ano de 2004, seis estão nas regiões norte e nordeste. Ao todo, 3,9 milhões de famílias nessas áreas recebem o benefício. O valor repassado de R$ 346,2 milhões é equivalente a 30,5% do Fundo de Participação dos Municípios (FPM) no Nordeste e 18,4% no Norte. O impacto redistributivo das transferências de renda não se limita ao nível das famílias. Nos municípios de pequeno porte e com parcela significativa de população em situação de pobreza, o volume de recursos injetados na economia local é extremamente significativo, sendo em muitos casos superior às transferências do Fundo de Participação dos Municípios e aos repasses efetuados no âmbito do SUS Transferências Constitucionais para os Municípios e Transferência de Renda do MDS TRANSFERÊNCIAS CONSTITUCIONAIS PARA OS MUNICÍPIOS DEZ/2004 REGIÃO (a) FPM Total das Transf. Constitucionais (b) Total dos Progr. de Transferências de Renda (c) PTR / FPM (c / a) PTR / Transf. Const. (c / b) CENTRO- OESTE , , ,00 20,2 12,1 NORDESTE , , ,00 48,9 30,5 NORTE , , ,00 32,7 18,4 SUDESTE , , ,00 24,9 11,8 SUL , , ,00 18,1 10,9 Total Geral , , ,00 32,5 18,1 Fonte: Ministério do Desenvolvimento Social e Combate à Fome Dez/2004 Além da visão de que a Desigualdade Social se expressa pela desigualdade de renda, o programa Bolsa Família entende que a desigualdade social no Brasil também se expressa pela desigualdade na situação educacional e de saúde em relação a pobres e ricos. As ditas condicionalidades, que são impostas 1 às famílias para que tenham direito ao benefício, em tese, diminuem as distâncias na qualidade de vida das famílias pobres 1 - As condicionalidades servem para o monitoramento contínuo da população alvo para que, caso seja necessário, haja algum tipo de intervenção no programa ou diretamente na população que não estiver em dia com tais preceitos. 6

7 na educação e saúde, em relação às famílias mais abastadas. Em Macedo (2000) está colocado que os Programas de Renda Mínima (uma outra forma de caracterizar o Programa Bolsa Família com foco na população pobre) se destacam como eficientes instrumentos de redistribuição de renda, embora incapazes de combater o estado de pobreza da população se não estiverem associados a outras iniciativas. Assim, em resumo, o Programa Bolsa Família percebe a desigualdade social de forma coerente com outros programas redistributivos de renda e os ataca basicamente através de três flancos: a desigualdade de renda, de educação e de saúde, distribuindo renda e colocando a necessidade de que as famílias atendam a um conjunto de condicionalidades na educação e na saúde. Os conselhos de controle social do Programa Bolsa Família são órgãos colegiados de caráter permanente, com funções de acompanhar, avaliar e fiscalizar a execução da política de transferência de renda e inclusão social. Sua composição deve ser ampla de modo a assegurar às suas deliberações a máxima representatividade e legitimidade, compostos por integrantes das áreas da assistência social, da saúde, da educação, da segurança alimentar e da criança e do adolescente, quando existentes, sem prejuízo de outras áreas que o Município julgar conveniente. O número de vagas para as entidades ou organizações representantes da sociedade e dos beneficiários deve ter representação de pelo menos a metade do total de participantes dos conselhos. De acordo com o decreto que regulamenta o Bolsa Família, o conselho pode ser constituído especificamente para o Programa ou suas funções podem ser desempenhadas por outros conselhos formalmente constituídos, desde que atendidos os princípios de intersetorialidade e de composição paritária entre governo e sociedade. Os beneficiários Os beneficiários do PBF são famílias com renda familiar mensal per capta de até R$ 100,00 (cem reais), distribuídos em dois grupos: extremamente pobres, renda de até R$ 50,00 (cinqüenta reais) e pobres, renda de R$ 50,01 a R$ 100,00 (cem reais) per capta. As famílias extremamente pobres têm direito a um benefício básico cujo valor é de R$ 50,00 (cinqüenta reais) e a um benefício variável (R$ 15,00 a R$ 45,00), dependendo do número de crianças e adolescentes na família ou gestante. Assim, o beneficio a que cada família tem direito é de no mínimo R$ 15,00 e no máximo R$ 95,00. 7

8 A maioria dessas famílias é chefiada por mulheres, com baixa escolaridade. Os demais dados sobre o perfil dos usuários serão melhor detalhados durante a pesquisa com levantamento no Cadastro Único. Desenvolvimento e organização do trabalho Na simulação de formulação do programa, através do desenvolvimento de uma árvore de problemas e de objetivos de PBF, o grupo resolveu restringir o foco do trabalho à avaliação de aspectos relacionados ao desenvolvimento nutricional de crianças de 0 a 6 anos. Dados o escopo, abrangência e enfoque integrado do programa, seria por demais complexo elaborar uma avaliação do seu conjunto. Este trabalho apresenta então as diversas etapas de formulação e planejamento da política, com a identificação do problema central e o design das árvores de problemas e de objetivos do PBF, elenca os atores relevantes, faz uma análise das alternativas disponíveis, o que culmina com a elaboração do marco lógico do programa. A seguir, é apresentado o desenho da avaliação com seus objetivos, critérios de avaliação, indicadores adotados e os métodos quantitativos e qualitativos a serem utilizados. Aponta também, limites do trabalho proposto e apresenta o orçamento para a proposta de avaliação. Ao final, é apresentada a discussão e as conclusões gerais deste processo de elaboração/simulação de planejamento para avaliação deste importante Programa Social. 8

9 2 -METODOLOGIA A metodologia aplicada correspondeu à realização de um diagnóstico do Programa Bolsa Família seguindo um roteiro previamente planejado, que ao final permitisse conhecimento acerca do programa e geração de um desenho de avaliação do programa. O roteiro de diagnóstico e de criação do plano de avaliação foi baseado em Rua (2005). É importante ressaltar que diversas etapas da realização do diagnóstico envolvem procedimentos pertinentes com a implementação de um programa, e que, eventualmente, possam já ter sido desenvolvidos no âmbito do programa em questão. A realização desses procedimentos teve como objetivo a construção do desenho de avaliação. Roteiro para a realização do Diagnóstico Identificação do problema central Criação de uma Árvore de Problemas Criação de uma Árvore de Objetivos Identificação dos atores relevantes e Análise de envolvimento Análise das Alternativas para a implementação do programa Análise de contexto e pressupostos, também denominado de Marco Lógico do programa Criação da Matriz de Planejamento do Programa Definição dos indicadores e linha de base Roteiro para o desenho da avaliação Identificação dos usuários Definição dos Objetivos e Periodicidade Definição dos Critérios de avaliação Definição dos Indicadores e suas linhas de base Definição dos Métodos e técnicas para a avaliação 9

10 Identificação dos Dados Qualitativos necessários, suas fontes e meios de verificação Identificação dos Dados Quantitativos necessários, suas fontes e meios de verificação Definição dos Métodos e período de coleta de dados Definição dos Métodos e técnicas de análise de dados Descrição dos Limites e restrições da pesquisa avaliativa Descrição das equipes necessárias e orçamento 10

11 3- DIAGNÓSTICO IDENTIFICAÇÃO DO PROBLEMA CENTRAL Após a realização de reuniões técnicas e análise documental, definiu-se/identificou-se que o problema central abordado pelo Programa Bolsa Família era o elevado número de famílias no Brasil excluídas do produto social 2, conforme está explicitado na árvore de problemas apresentada nas Figuras 1, 2 e 3. Foram identificados três problemas possíveis causadores dessa exclusão, que são o baixo acesso aos serviços de saúde, a descontinuidade da escolarização (ou abandono escolar) e a baixa renda. O programa Bolsa Família atua principalmente na questão da renda, transferindo renda monetária para os beneficiários, e atua de forma complementar em outros aspectos, com as ações de condicionalidade na educação e na saúde. As figuras 1, 2 e 3 trazem a árvore de problemas e as figuras 4, 5 e 6 trazem as árvores de objetivos. A título de esclarecimento, as árvores são construídas segundo a hipótese de que os componentes de baixo são causadores dos componentes mais acima, até o limite do problema principal. A partir do problema principal para cima, temos os ramos da árvore, que são os impactos resultados dos problemas ou dos objetivos. Em alguns casos temos componentes circulares, que se afetam simultaneamente. Na árvore porém, supõe-se uma relação causal uni-direcional. 2 Produto Social geração de produtos para a sociedade com percepção de remuneração por esta atividade. 11

12 Figura 1 Arvore de problemas (Parte 1) 12

13 Figura 2 Arvore de problemas (Parte 2) 13

14 Figura 3 Arvore de problemas (Parte 3) 14

15 Figura 4 Arvore de objetivos (Parte 1) 15

16 Figura 5 Arvore de objetivos (Parte 2) 16

17 Figura 6 Arvore de objetivos (Parte 3) 17

18 3.2 -IDENTIFICAÇÃO DOS ATORES RELEVANTES E ANÁLISE DE ENVOLVIMENTO O Programa Bolsa Família é gerido por um Conselho Gestor CGPBF, composto pelos seguintes órgãos: Ministério do Desenvolvimento Social e Combate à Fome; Ministério da Educação; Ministério da Saúde; Ministério do Planejamento, Orçamento e Gestão; Minstério da Fazenda; Casa Civil da Presidência da República e Caixa Econômica Federal. O Ministério do Desenvolvimento Social e Combate à Fome é o coordenador do Comitê Executivo do CGPBF, e a Secretaria Executiva do PBF é a Secretaria Nacional de Renda de Cidadania SENARC, responsável pela coordenação e execução geral do programa. Os ministérios da Saúde e da Educação são responsáveis respectivamente pelo acompanhamento do cumprimento das condicionalidades de saúde e educação do PBF. O PBF adota um modelo descentralizado de gestão onde há responsabilidades compartilhadas entre a União, estados e municípios. O governo federal é responsável pelo pagamento dos benefícios, por buscar suprir as deficiências na oferta de serviços sociais aos entes federados, pelo acompanhamento das condicionalidades, e monitoramento e avaliação do programa. Os estados promovem principalmente articulações para assegurar o caráter interinstitucional do PBF e apoio aos municípios, que são os principais gestores do programa junto às famílias. Suas principais atribuições são cadastrar e selecionar as famílias beneficiárias, articular as instituições afetas ao programa; assegurar a oferta de serviços essenciais de saúde, educação, acompanhamento alimentar e nutricional para viabilizar o cumprimento de condicionalidades e atender os beneficiários. Há ainda outros atores que têm envolvimento importante com o programa por participarem de seu financiamento, fiscalização, controle social ou por serem seus usuários, principais interessados. A planilha a seguir explicita a análise de envolvimento dos principais atores do PBF. 18

19 Análise de Envolvimento (Parte I) Principais atores do PBF ENTIDADE FUNÇÃO/ATIVIDADE POTENCIAIS Ministério do Desenvolvimento Social e Combate à Fome - MDS Gestor do PBF Decisão Política Coordenação da execução do Secretaria Nacional de Renda de Programa operacionalização e Boa articulação com Estados, Cidadania SENARC/MDS articulação política Municípios e Ministérios Secretaria de Planejamento Orçamento e Administração SPOA/MDS Consultoria Jurídica CONJUR/MDS Secretaria de Avaliação e Gestão da Informação - SAGI/MDS Ministério da Saúde - MS Ministério da Educação Caixa Econômica Federal - CAIXA Estados Municípios Casa Civil Ministério da Fazenda Ministério do Planejamento Tribunal de Contas da União Organismos Internacionais Instâncias de Controle Social Entidades de representação das áreas de saúde, educação e assistência social Beneficiários Liberação dos recursos disponibilizados ao PBF Avaliação e aprovação da regulação dos atos normativos do PBF Avaliação e monitoramento da gestão do PBF Controle e Monitoramento do cumprimento das condicionalidades de saúde Controle e Monitoramento do cumprimento das condicionalidades Agente operador Responsável pelo sistema de cadastro único e pela folha de pagamento dos beneficiários Apoio técnico-institucional aos municípios do respectivo Estado; Promoção de ações de sensibilização e articulação com os gestores municipais do Estado. Gestão local do programa (cadastro e operacionalização), oferta dos serviços de saúde e educação e controle das condicionalidades Define prioridades da ação governamental e realiza as articulações interministeriais Controle da liberação de recursos Definição do montante dos recursos e monitoramento e avaliação do Programa Monitoramento e avaliação do programa liberação de empréstimos e avaliação e monitoramento do programa Controle social do PBF Participa da definição de diretrizes e apóia a implementação do PBF Cumprimento das condicionalidades; atualização cadastral e participação dos programas complementares. Tempestividade na liberação dos recursos Boa articulação com a SENARC e comprometimento com o PBF Apoio na definição dos rumos do PBF Existência prévia de sistemas de acompanhamento das condicionalidades Existência prévia de sistemas de acompanhamento das condicionalidades Experiência em programas sociais Maior articulação com os municípios Contato mais próximo com os beneficiários 19

20 Análise de Envolvimento (Parte II) Principais atores do PBF (Parte II) ENTIDADE INTERESSES TEMORES Ministério do Desenvolvimento Social e Combate à Fome - MDS Promoção da inclusão social das famílias beneficiárias do PBF Acontecimentos internacionais que afetem a economia e inviabilizem sua continuidade Secretaria Nacional de Renda de Cidadania SENARC/MDS Alcance da meta do programa Descontinuidade do Programa Secretaria de Planejamento Orçamento e Administração SPOA/MDS Consultoria Jurídica CONJUR/MDS Secretaria de Avaliação e Gestão da Informação - SAGI/MDS Ministério da Saúde - MS Ministério da Educação Caixa Econômica Federal - CAIXA Estados Municípios Casa Civil Ministério da Fazenda Ministério do Planejamento Tribunal de Contas da União Organismos Internacionais Instâncias de Controle Social Entidades de representação das áreas de saúde, educação e assistência social Beneficiários Execução dos recursos destinados ao PBF Acompanhar e avaliar a gestão do PBF Ampliar a cobertura de acompanhamento nutricional da população (crianças de 0 a 6 anos) Utilização dos dados da freqüência escolar para outras ações Maior visibilidade nacional a partir da parceria com um dos principais programas do governo federal Maior projeção política no cenário nacional Desenvolvimento socioeconômico dos municípios Projeção política; melhoria do desenvolvimento local. Desenvolvimento socioeconômico do país e projeção política do atual governo Garantir a sociedade a correta e regular aplicação dos recursos públicos, segundo os princípios da legalidade, impessoalidade, moralidade, publicidade e eficiência Redução de problemas sociais no mundo Melhoria da capacitação dos profissionais, da qualidade da oferta dos serviços. Melhoria da qualidade de vida Sáude é direito, não deveria ser tratada como condicionalidade do PBF Do foco ficar na quantidade de crianças e adolescentes na escola e não na qualidade do ensino Descontinuidade do Programa Descontinuidade do Programa Extinção ou sua exclusão do programa sem ter conseguido sua emancipação 20

21 3.3 -ANÁLISE DAS ALTERNATIVAS PARA A IMPLEMENTAÇÃO DO PROGRAMA Na análise das alternativas para a implementação do programa, segundo os problemas e objetivos levantados na metodologia da construção das árvores de problemas e objetivos, as alternativas de ação são pontuadas segundo um critério ordenado (1=Baixa viabilidade, 2=Média viabilidade e 3=Alta viabilidade). Este estudo simulou uma análise de alternativas, caso o programa ainda necessitasse desta definição e, ao final, a alternativa de implementação do programa culminou na alternativa da atuação na renda das famílias. Porém para efeito da avaliação de impacto optou-se pela questão saúde, por já ter sido constatado por outros programas de transferência de renda que o investimento no capital humano por parte das famílias relaciona-se à renda, conforme abordado na introdução desta proposta. O Quadro 1 traz a Análise das alternativas. Quadro 1 Análise das alternativas Alternativa/Critério Renda Saúde Escolarização Enfoque Integrado Viabilidade Financeira Impacto Político Horizonte Temporal Complementariedade com outros projetos Pontos Classificação 1º 3º 2º 2º Notas (1) Escala de valores: 1=Baixa viabilidade, 2=Média Viabilidade, 3=Alta viabilidade (2) Horizonte temporal de 1 (um) ano 21

22 3.4 -ANÁLISE DE CONTEXTO E PRESSUPOSTOS - MARCO LÓGICO DO PROGRAMA Quadro 2 NÍVEL DE INTERVENÇÃO OBJETIVO SUPERIOR / FINALIDADE ÚLTIMA OBJETIVO DO PROJETO ESTRATÉGIA Melhoria do estado nutricional de crianças (0 a 6 anos) Famílias com renda adequada para subsistência Distribuir renda através do Programa Bolsa Família - definição do PBF como prioridade Política METAS 100 % das crianças de 0 a 6 anos beneficiárias do PBF 11,2 milhões de famílias até dez/2006 Programa definido como prioridade no PPA INDICADORES MEDIDAS Peso/idade Número de famílias recebendo o benefício Dados do PPA MEIOS DE VERIFICAÇÃO Sistema de Vigilância Alimentar e Nutricional (SISVAN) Folha de pagamento do Programa em comparação com o Cadastro Único e estimativa de famílias pobres - PNAD Relatórios de Gestão PRESSUPOSTOS Acompanhamento regular do crescimento e desenvolvimento infantil com anotação no cartão da criança Manutenção do pacto político Não contingenciamento de recursos do Programa RESULTADOS Dotação orçamentária Pactuação do Programa com entes federados e áreas de governo envolvidas Estabelecimento do plano operacional do Programa Programa definido como prioridade no PPA Termos de adesão assinados com metas / portarias interministeriais assinadas Portarias assinadas e sistemas de gestão implementados (cadastro, folha de pagamento, sistemas de monitoramento de condicionalidades Dados do PPA Mecanismos de acompanhamento implementados e gerando dados Sistemas de gestão implementados e gerando dados Prestação anual de contas Termos e planos de metas / relatórios de acompanhamento dos sistemas e bases de dados Relatórios de auditoria dos sistemas e bases de dados Estabilidade econômica do país Manutenção dos pactos com entes federados e com áreas de governo envolvidas Manutenção de contratos com terceirizados 22

23 Quadro 3 Distribuir renda através do Programa Bolsa Família - definição do PBF como prioridade Política Dotação orçamentária RESULTADOS Pactuação do Programa com entes federados e áreas de governo envolvidas Estabelecimento do plano operacional do Programa 23

24 3.5 - PLANEJAMENTO DO PROGRAMA Em articulação com três esferas de governo envolvidas, congresso e sociedade civil definir os marcos legais para operacionalização do programa, definir fontes orçamentárias, critérios para inclusão de beneficiários, procedimentos para acesso ao programa, parâmetros para o estabelecimentos dos valores do benefício, estabelecer condicionalidades a serem acompanhas, mecanismos de controle interno e social; Elaborar e implementar o Cadastro Único; Organizar de ações de capacitação para operacionalização do programa em nível municipal para gestores municipais, diretores de escola e unidades de saúde; Estabelecer mecanismos para a geração de folhas de pagamento e pagamento de benefícios; Elaborar e implementar mecanismos e indicadores para o controle de condicionalidades nas áreas de saúde e educação; Regulamentar mecanismos de controle social; Instalar/adequar os conselhos de controle social do Programa Bolsa Família; Capacitar agentes envolvidos com o controle social; Implementar sistema de monitoramento do programa; Implementar mecanismos de fiscalização e apuração de denúncias, estabelecendo métodos, critérios e padrões técnicos. Estabelecer regras de sanção em caso do não cumprimento das condicionalidades; Implementar campanhas de utilidade pública para divulgação do programa, dos critérios para inclusão de beneficiários e das formas de acesso ao mesmo. 4 -O DESENHO DA AVALIAÇÃO 4.1- A IDENTIFICAÇÃO DOS USUÁRIOS Os usuários são os gestores do programa Bolsa Família. Os gestores participam da definição de diretrizes e dos processos de implementação desde o cadastramento das famílias até a oferta dos serviços de saúde, no caso dos gestores municipais. Já os gestores federais são os grandes responsáveis pela definição de diretrizes. A avaliação servirá de base para verificar o quanto o programa está contribuindo para a melhoria das condições de saúde das famílias beneficiárias, podendo fornecer indícios de necessidade de mudança de estratégias, caso o impacto não seja positivo OBJETIVOS E PERIODICIDADE A avaliação tem como objetivo averiguar as necessidades de intervenção e identificar quais os ajustes para melhorar a obtenção dos resultados esperados pelos gestores do Programa Bolsa Família. A avaliação será semestral e tem como proposta avaliar o 24

25 impacto do programa Bolsa Família na Saúde, mais especificamente com relação às crianças de 0 a 6 anos de idade CRITÉRIOS DE AVALIAÇAO O critério de avaliação será o da efetividade, que permite avaliar os resultados permanentes produzidos pelas ações do programa e os seus efeitos colaterais e externalidades negativas. Na avaliação proposta, pretende-se avaliar a contribuição do Programa Bolsa Família para a melhoria das condições de saúde das crianças de 0 a 6 anos atendidas pelo programa, verificando os registros no SISVAN e a percepção das famílias quanto a esse resultado INDICADORES E SUAS LINHAS DE BASE Pesquisa quantitativa Indicadores para medir o impacto - Peso versus idade de crianças de 0 a 6 anos, verificados no Sistema de Vigilância Alimentar e Nutricional SISVAN. Linha de base -Indicadores medidos no último ano de vigência do Programa Bolsa Alimentação (dados disponíveis na internet (SISVAN) em textos analíticos e planilhas com resultados) MÉTODOS E TÉCNICAS DE AVALIAÇAO A proposta é avaliar o impacto do programa Bolsa Família na Saúde, mais especificamente com relação às crianças de 0 a 6 anos de idade. A pesquisa quantitativa será feita por meio da verificação da relação peso X idade, registrado no Sistema de Vigilância Alimentar e Nutricional - SISVAN; e a pesquisa qualitativa, com aplicação de questionários e entrevistas com vinte grupos focais, nas cinco regiões geográficas do país, área urbana e rural. Pesquisas quantitativa e qualitativa, sendo a quantitativa uma avaliação de impacto, com delineamento quase-experimental, com a comparação das medidas em dois tempos de coleta. A pesquisa qualitativa será do tipo Grupo Focal IDENTIFICAÇÃO DOS DADOS QUALITATIVOS NECESSÁRIOS E MEIOS DE VERIFICAÇÃO Aplicação de questionários e entrevistas com vinte grupos focais, nas cinco regiões geográficas do país, área urbana e rural. 25