Treinamento em Monitoria e Avaliação para o Governo de Moçambique 27 de fevereiro a 03 de março de 2017 Maputo Aula 06
PROGRAMA RENDA MELHOR: da formulação à avaliação Parte 2 Curso de Monitoria e Avaliação Maputo, Moçambique 27 de fevereiro a 03 de março de 2017 Antonio Claret Campos Filho Especialista em Políticas Públicas e Gestão Governamental
Atividades Ibsumo Teoria da Mudança e sistema de M&A Programa Renda Melhor, Governo do Rio de Janeiro Sistema de Monitoria e Avaliação Indicadores Fontes de Verificação Melhoria nas Condições de Vida da População do Estado do RJ Redução da taxa de trabalho infantil Produtps Resultados Resultados Finais Impacto Aumento da segurança alimentar Pesquisa Avaliação de Impacto A renda per capita das famílias beneficiadas é elevada até a linha de extrema pobreza Aumento da renda Famílias em pobreza extrema recebem os benefícios financeiros do Programa Renda Melhor Taxa de cobertura da população alvo do programa como um todo e de grupos de especial interesse Portal Rio Sem Miséria Repasse financeiro ao agente pagador Folha de Pagamento do Renda Melhor elaborada Nº benefícios pagos Recursos transferidos Sistema de Gestão do Renda Melhor Acompanhar desembolsos financeiros Selecionar Beneficiários Acompanhar Condicionalidades Sistema de Gestão do Renda Melhor Revisar Folha de Pagamento Benefícios Bolsa Família Cadastro Único Regras de negócio do programa definidas Manual Operatrivo Lei Orçamentária Algoritmos e sistema de informações Articulação Interinstitucional estabelecida Marco normativo estabelecido (leis, decretos, acordos de cooperação etc.)
Manual Operativo do Programa Renda Melhor O Manual Operativo (MOP) tem como objetivo fornecer informações sobre o Programa Renda Melhor, desde a sua concepção, bases legais e demais informações, com especial foco nos aspectos técnicos e operacionais, permitindo transparência e maiores esclarecimentos às demais Subsecretarias da SEASDH, aos demais Secretários de Estado e instituições responsáveis pela execução dos diversos serviços e atividades de gestão técnica, operacional e financeira do programa.
Estruturação do MOP CAPÍTULO 1. ALCANCE E UTILIZAÇÃO DO MANUAL OPERATIVO o Apresenta o Manual Operativo no que diz respeito à sua finalidade, estrutura, cobertura institucional, escopo, usuários e procedimentos para a sua atualização. CAPÍTULO 2. PLANO RIO SEM MISÉRIA o Apresenta a estratégia definida para o Plano Rio Sem Miséria e a metodologia desenvolvida pela FGV de predição de renda e implementada pela SEASDH com o apoio operacional do PRODERJ. CAPÍTULO 3. SOBRE O PROGRAMA RENDA MELHOR o Descreve os objetivos e as principais características do Programa Renda Melhor. Apresenta também uma retrospectiva sobre o Projeto Piloto, as expansões de 2012 (48 municípios) e 2013 (40 municípios) e o processo de revisão dos benefícios.
Estruturação do MOP (cont.) CAPÍTULO 4. ORGANIZAÇÃO DO PROGRAMA o Apresenta a estrutura organizativa e operacional do programa Renda Melhor relacionando os principais atores interinstitucionais e intrainstitucionais e respectivos papéis na operacionalização do programa. CAPÍTULO 5. GESTÃO ORÇAMENTÁRIA E FINANCEIRA DO PROGRAMA o Detalha os papéis e procedimentos que estão sob a responsabilidade da SEASDH/SSPOA, SEPLAG e SEFAZ, descrevendo as principais etapas e procedimentos relacionados ao processo mensal de pagamento dos benefícios do Programa Renda Melhor. CAPÍTULO 6. MODELO DE OPERAÇÃO E GESTÃO o o Apresenta as ferramentas desenvolvidas em parceria institucional com o PRODERJ - Sistema de Gestão do Programa Renda Melhor e Sistema Estadual de Consulta ao CadÚnico - destacando seus objetivos, características e sua relevância para apoiar a gestão e o monitoramento do Renda Melhor. Apresenta, também, o Modelo Operacional do programa, detalhando as principais etapas e fluxos do ciclo mensal de pagamento.
Estruturação do MOP (cont.) CAPÍTULO 7. MONITORAMENTO E AVALIAÇÃO o Apresenta o Portal de Informações Gerenciais do Rio Sem Miséria, descrevendo os objetivos, características, principais informações disponibilizadas - gráficos e relatórios -, público alvo e sua relevância para o monitoramento do Plano Rio Sem Miséria. o Aborda também as parcerias institucionais estabelecidas entre a SSIPS/SEASDH, o CEPERJ, o BIRD, a SAE e o MDS para realizar a pesquisa de campo domiciliar do Programa Renda Melhor. o Ademais, apresenta um resumo das auditorias de controle externo realizadas, bem como suas recomendações e providências tomadas pela SEASDH para atendê-las. CAPÍTULO 8. MARCO NORMATIVO o Apresenta as normativas que foram publicadas sobre o Programa Renda Melhor decretos, lei e resoluções.
Avaliação do Renda Melhor
OBJETIVO: Avaliação do Programa Renda Melhor Avaliar os impactos da transferência de recursos adicionais do Programa Renda Melhor sobre as famílias beneficiárias.
Atividades Ibsumo Teoria da Mudança e sistema de M&A Programa Renda Melhor, Governo do Rio de Janeiro Sistema de Monitoria e Avaliação Indicadores Fontes de Verificação Melhoria nas Condições de Vida da População do Estado do RJ Redução da taxa de trabalho infantil Produtps Resultados Resultados Finais Impacto Aumento da segurança alimentar Pesquisa Avaliação de Impacto A renda per capita das famílias beneficiadas é elevada até a linha de extrema pobreza Aumento da renda Famílias em pobreza extrema recebem os benefícios financeiros do Programa Renda Melhor Taxa de cobertura da população alvo do programa como um todo e de grupos de especial interesse Portal Rio Sem Miséria Repasse financeiro ao agente pagador Folha de Pagamento do Renda Melhor elaborada Nº benefícios pagos Recursos transferidos Sistema de Gestão do Renda Melhor Acompanhar desembolsos financeiros Selecionar Beneficiários Acompanhar Condicionalidades Sistema de Gestão do Renda Melhor Revisar Folha de Pagamento Benefícios Bolsa Família Cadastro Único Regras de negócio do programa definidas Manual Operatrivo Lei Orçamentária Algoritmos e sistema de informações Articulação Interinstitucional estabelecida Marco normativo estabelecido (leis, decretos, acordos de cooperação etc.)
AVALIAÇÃO DE IMPACTO RENDA MELHOR SEASDH/SAE/ MDS/ CEPERJ/ BANCO MUNDIAL Hipóteses: Impactos diretos - Por se tratar de um Programa de transferência de renda, espera-se que essa transferência tenha impactos diretos sobre aspectos da vida das famílias Impactos diferenciados pela magnitude da transferência e pelas características dos receptores - O impacto pode ser maior ou menor dependendo da magnitude da renda transferida e do tipo de beneficiário que recebe essa renda adicional Efeitos indiretos - ex: Informacional (renda adicional pode dar para a família informação, afetando suas preferências); Mudança na alocação do tempo dos beneficiários; Aprendizado (p. ex.: deixar de consumir os bens que entram no cômputo dessa renda)
PARCERIAS DA SEASDH para a Avaliação do Programa Renda Melhor Fundamentais para superar limitações internas. CEPERJ: coordenação das entrevistas aos beneficiários em duas rodadas, 2012 e 2013. Banco Mundial: apoiou a contratação de consultor individual responsável por analisar os dados coletados nas entrevistas para aferir o impacto do programa. MDS: Avaliação prevista no Termo de Cooperação (2011); apoio na discussão metodológica e análise de dados SAE/PR: apoio na discussão metodológica e análise de dados
PESQUISA CAMPO - CEPERJ AMOSTRA: Amostra original: 3.950 famílias (1.975 beneficiárias do Bolsa Família e do Renda Melhor e 1.975 famílias beneficiárias apenas do Bolsa Família) COLETA EM DOIS MOMENTOS NO TEMPO: Março a Abril de 2012: 3.848 domicílios (15.867 pessoas)- 38,41% Controle (apenas PBF) e 61,59% tratamento (PBF e RM) Maio de 2013: 3.880 domicílios (15.703 pessoas) - 38,87% Controle (apenas PBF) e 61,13% tratamento (PBF e RM) OBS.: 13,70% dos domicílios entrevistados na 1ª rodada não foram localizados na segunda rodada realização de reposições;
PESQUISA CAMPO - CEPERJ A avaliação foi aplicada em 14 municípios da Região Metropolitana do Rio de Janeiro. Questionários (80 questões) Permitiu conhecer os domicílios e famílias do Programa (caracterização) Permitiu coletar dados para a análise de impacto Possibilitou também realizar estudos preliminares para aferir a adequação do mecanismo de predição de renda
Cobertura Espacial da Pesquisa
METODOLOGIA: AVALIAÇÃO DE IMPACTO RENDA MELHOR Diferenças em diferenças: contrastou-se o resultado observado em uma determinada característica de interesse nas famílias beneficiadas (Renda Melhor mais Bolsa Família) e não beneficiadas (apenas Bolsa Família) antes do Programa (pesquisa Linha de Base) e após o Programa (Pesquisa Seguimento). Regressão Descontínua (RD): contrasta os resultados nas características de interesse entre famílias com renda predita muito similares e próximas ao ponto de corte de R$100 na renda familiar per capita
AVALIAÇÃO DE IMPACTO RENDA MELHOR INDICADORES: Foram selecionados 260 indicadores para representar as condições de bemestar e socioeconômicas do grupo de interesse: Educação (80) Saúde (6) Bem-Estar de Crianças e Jovens (11) Consumo alimentar (44) Condições Habitacionais (73) Trabalho (46)
MODELOS PARA A AVALIAÇÃO DE IMPACTO Foram utilizados 8 modelos que variam de acordo com os controles e suas especificidades; Os modelos 1 a 4 controlam pelo processo de seleção, controlando ou pela renda presumida ou pelas variáveis que determinam a renda presumida. Esses modelos utilizam o princípio metodológico de Regressão Descontínua. Modelos 5, 6, 7 e 8 não controlam pelo processo de seleção, não incluem nem a renda presumida nem os determinantes da renda presumida. Esses modelos utilizam o princípio metodológico de Diferenças em Diferenças.
RESULTADOS DA AVALIAÇÃO DE IMPACTO IMPACTO SOBRE A RENDA A diferença entre a renda apresentada pelo grupo de tratamento (beneficiários) após o programa e a renda esperada na ausência do programa para esse mesmo grupo é de R$ 84,00 esse é o impacto observado do programa sobre a renda domiciliar
RESULTADOS DA AVALIAÇÃO DE IMPACTO IMPACTO SOBRE A RENDA No caso da renda per capita, o impacto é de R$ 14 OBS.: O impacto na renda per capita foi menor que o impacto na renda famílias porque o número de pessoas nas famílias que recebem o Renda Melhor diminuiu menos que nas famílias do grupo controle (teria o programa favorecido a permanência dos jovens por mais tempo em suas casas?)
RESULTADOS DA AVALIAÇÃO DE IMPACTO IMPACTO SOBRE OUTRAS DIMENSÕES EDUCAÇÃO e SAÚDE Não foram detectados impactos significativos do programa sobre essas dimensões Impacto do PBF se dá muito pelas condicionalidades. PRM não impõe nenhuma nova condicionalidade BEM ESTAR DE CRIANÇAS E JOVENS Existe um efeito pequeno mas significativo em relação a redução do trabalho infantil de crianças de 10 a 13 anos
RESULTADOS DA AVALIAÇÃO DE IMPACTO TRABALHO Há muitos indicadores com impacto positivo e inclusive estatisticamente significante para trabalho. O programa apresenta maior impacto sobre o trabalho que sobre a educação Aumento na participação de jovens e adultos na população economicamente ativa e na ocupação
RESULTADOS DA AVALIAÇÃO DE IMPACTO IMPACTOS SOBRE OUTRAS DIMENSÕES CONSUMO ALIMENTAR Não foi observado efeito na percepção das famílias quanto a sua segurança alimentar Mas teve impacto positivo e significativo sobre o consumo de carnes e frutas ORÇAMENTO FAMILIAR: Efeito relevante sobre a redução dos domicílios onde o peso do aluguel é o fator mais relevante no orçamento CARACTERÍSTICAS DOS DOMICILIOS: A maioria dos indicadores não apresentou impactos significativos Os destaques foram para a redução de domicílios alugados; aumentos de bens duráveis (computador e telefone celular).
Resultados: Os impactos são muito dispersos entre as diferentes áreas e indicadores; A Dimensão Trabalho apresenta resultado médio positivo e significativo. Esse efeito tem grande influência do componente Condição de Ocupação; A outra Dimensão que se mostrou bastante relevante foi a de Habitação, especialmente a partir do subcomponente de Infraestrutura e Posse. INDICADOR SINTÉTICO RESULTADOS DA AVALIAÇÃO DE IMPACTO Busca captar as diferentes possíveis aplicações do recurso adicional recebido pelas famílias a partir do Programa.
RESULTADOS DA AVALIAÇÃO DE IMPACTO O processo e os resultados da avaliação abriram duas novas frentes de trabalho: 1. Novos estudos de avaliação Necessidade de aprofundar a análise de indicadores sintéticos que possibilitem também analises quanto a: a) heterogeneidade do impacto do benefício (em que medida o impacto é diferente em diferentes grupos) b) heterogeneidade da intervenção (em que medida pessoas que receberam um benefício maior tiveram mais impacto que aquelas que receberam um benefício menor) 2. Avaliação do Preditor de Renda Analisar o grau de focalização e análise da qualidade do preditor Construção e teste de um indicador de renda presumida, baseado nas Pesquisas de campo, que seja mais adequado
RESULTADOS DA AVALIAÇÃO DE IMPACTO PREDITOR DE RENDA Análises iniciais demonstram que: A renda presumida diminui erro de inclusão mas aumenta o erro de exclusão em relação à renda declarada no CADÚNICO. Entretanto, no somatório dos erros de inclusão e exclusão, o mecanismo de predição de renda apresenta valores mais favoráveis que a renda declarada para identificar as famílias pobres. Estudos iniciais apontam para a possibilidade de aprimoramento do mecanismo de predição de renda.
AVALIAÇÃO DE IMPACTO Renda Melhor Jovem Desenvolvida por Pereira & Ferraz (PUC-RJ) Método: diferenças em diferenças O programa impacta de forma positiva o fluxo escolar, aumentando as taxas de aprovação e reduzindo o abandono escolar. Dentro do subconjunto dos alunos elegíveis, são os alunos mais pobres, os meninos, e aqueles com maior risco de abandono que mais se beneficiam do programa. Não encontrada evidência de que os efeitos encontrados possam ser explicados pelo efeito renda advindo dos programas Cartão Família Carioca e RM.
OBRIGADO! antonio.claret@ipea.gov.br antonio.claret@ipc-undp.org Curso de Monitoria e Avaliação Maputo, Moçambique 27 de fevereiro a 03 de março de 2017