Avaliação como Processo de aprendizagem organizacional e inovação no desenho e gestão de programas sociais: a experiência da SAGI/MDS Paulo Jannuzzi Secretaria de Avaliação e Gestão da Informação Ministério de Desenvolvimento Social e Combate à Fome
Estrutura do MDS: Secretaria para produzir Informação e Conhecimento para suas Políticas e Programas
As Políticas e Programas de Desenvolvimento Social e o Plano Brasil Sem Miséria foram criados para mitigar e superar a Pobreza, entendida como fenômeno Multi-determinado, Multifacefato e Mutidimensional de privação de direitos Desempregados e subempregados urbanos Agricultores familiares População em situação de rua População Pobre Trabalhador rural Quilombolas Indigenas Ribeirinhos
A superação da Pobreza requer esforço de Articulação Multi-setorial, assegurando direitos, serviços e benefícios, universais, redistributivos e compensatórios Programas de natureza redistributiva, afirmativa e transversal Agricultores familiares População em situação de rua Políticas e Programas universais Desempregados e subempregados urbanos População Pobre Trabalhador rural Quilombolas Indigenas Ribeirinhos Bolsa Família Ben.Prest. Cont. Acesso Agua e Alimento Oportunidades de Incl.Produtiva Serviços Socio- Assistenciais Educação Saúde Trabalho Ass. Social
Também é necessário um grande esforço de Coordenação e Pactuação Federativa, envolvendo um conjunto amplo de agentes públicos e sociais Programas de natureza redistributiva, afirmativa e transversal Agricultores familiares População em situação de rua Políticas e Programas universais Desempregados e subempregados urbanos Mais de 600 mil agentes públicos e sociais envolvidos População Pobre Trabalhador rural Quilombolas Indigenas Ribeirinhos Bolsa Família Ben.Prest. Cont. Acesso Agua e Alimento Oportunidades de Incl.Produtiva Serviços Socio- Assistenciais Educação Saúde Trabalho Ass. Social
A complexidade do desenho e operação da estratégia de superação da Pobreza requer a produção, disseminação e apropriação de um volume considerável de Informação e Conhecimento Pesquisas de Avaliação- segundo estágio do ciclo de um programa: Diagnósticos de Públicos-Alvo Prospecção de Experiências e Desenho de Programas Avaliações de Implementação de ações de Programas Avaliações de Resultados e Impactos Estudos de Custo-Efetividade
Disponibilização pública de todas as pesquisas, com ficha técnica, sumário executivo/publicação e microdados, com o objetivo de potencializar disseminação e análises posteriores
Diagnósticos de Públicos-Alvo Censo da População em Situação de Rua em 2007/08 Censo da População Quilombola em Comunidades Tituladas em 2011 Estudo de Demanda de Qualificação Profissional e Outras ações de Inclusão Produtiva em 2012 Pesquisa sobre Segurança Alimentar de Crianças de 0 a 5 anos do Cadastro Único em Entre os mais pobres (ED2), 18% da pesquisa, somente 10% haviam feito algum curso de qualificação em sua vida, a larga maioria pagando do próprio bolso 2013 http://aplicacoes.mds.gov.br/sagirmps/simulacao/su m_executivo/pdf/sumario_145.pdf
Prospecção de Experiências e Desenho de Programas Estudo sobre o desenho, a gestão a implementação e os fluxos de acompanhamento das condicionalidades de saúde para povos indígenas em 2012 Pesquisa com Grupos Focais de Beneficiários do Bolsa Família para Qualificação de Cartas e Mensagens em 2013 Suplemento de Inclusão Produtiva da Pesquisa de Informações Básicas Estaduais e da Pesquisa de Informações Básicas Municipais em 2014 http://aplicacoes.mds.gov.br/sagirmps/simulacao/su m_executivo/pdf/sumario_150.pdf
Avaliação de Implementação de Programas Censo do Sistema Único da Assistência Social, anual desde 2007 Perfil das famílias que sofreram repercussões sobre o benefício do PBF em decorrência do processo de revisão cadastral em 2012 Avaliação Qualitativa do Pronatec em 2013 Estudo da Cobertura, Oferta e Desempenho dos alunos no Pronatec em 2014... as unidades ofertantes têm, em maior ou menor medida, se adaptado ao Pronatec/BSM. As unidades ofertantes com menor expressão tendem a ser mais flexíveis na relação com os interlocutores municipais. Elas mantêm contatos mais constantes com os gestores, atendendo com maior frequência às suas demandas de aberturas de cursos, turmas e flexibilidade de horários... O SENAI e, em menor grau, o SENAC, tendem a ser mais resistentes às demandas dos gestores, às mudanças solicitadas em termos de estrutura, horários e especialmente às regras e padrões de condutas impostos aos alunos do Pronatec/BSM... http://aplicacoes.mds.gov.br/sagirmps/simulacao/su m_executivo/pdf/sumario_141.pdf
Total de matrículas Taxa de conclusão Indivíduos não inscritos no CadÚnico Indivíduos apenas inscritos no CadÚnico Beneficiários do Bolsa Família Avaliação de Implementação de Programas Censo do Sistema Único da Assistência Social, anual desde 2007 81,4 Perfil das famílias que sofreram repercussões sobre o benefício do PBF em decorrência do processo de revisão cadastral em 2012 76,5 79,3 Avaliação Qualitativa do Pronatec em 2013 79,0 Estudo da Cobertura, Oferta e Desempenho dos alunos no Pronatec em 2014 65,0 70,0 75,0 80,0 85,0 http://aplicacoes.mds.gov.br/sagirmps/ferramentas/ docs/caderno%2024%20- %20Inclus%C3%A3o%20Produtiva%20Urbana.pdf
Avaliação de Resultados e Impactos Avaliação de Impacto do Bolsa Família 2005 e 2009 Suplemento de Segurança Alimentar e Nutricional nas PNADs 2004, 2009 e 2013 Estudo Nutricional de Crianças de 0 a 5 anos do Bolsa Família mediante integração longitudinal Cadastro e Sisvan em 2014 Estudo dos efeitos do Pronatec na empregabilidade formal e formalização de microempreendimentos em 2015 http://aplicacoes.mds.gov.br/sagirmps/simulacao/su m_executivo/pdf/sumario_148.pdf
Avaliação de Resultados e Impactos Avaliação de Impacto do Bolsa Família 2005 e 2009 Suplemento de Segurança Alimentar e Nutricional nas PNADs 2004, 2009 e 2013 Estudo Nutricional de Crianças de 0 a 5 anos do Bolsa Família mediante integração longitudinal Cadastro e Sisvan em 2014 Estudo dos efeitos do Pronatec na empregabilidade formal e formalização de microempreendimentos em 2015 http://aplicacoes.mds.gov.br/sagirmps/simulacao/est udos_tecnicos/pdf/110.pdf
Indicadores de Monitoramento e Avaliação Painel de Conjuntura e Programas Sociais Indicador de Insegurança Alimentar na PNAD Indicador de Prevalência de Subalimentação da FAO Indicador de Pobreza e Extrema Pobreza, com tratamento de Renda zero e Sem declaração na PNAD 1992 a 2013 Indicador de Pobreza Multidimensional (efeitos integrados das políticas) 35,0 30,0 25,0 20,0 15,0 10,0 5,0 0,0 31,6 31,3 30,6 30,3 14,0 13,8 13,0 12,9 31,1 23,4 23,7 23,4 23,6 23,923,8 24,0 22,3 21,9 22,5 22,8 22,6 22,8 23,223,123,3 20,6 21,5 21,1 13,5 9,0 9,8 9,2 8,5 8,8 8,2 8,9 8,4 7,7 8,0 19,9 16,6 15,5 16,0 13,6 12,5 14,8 13,0 10,4 9,3 8,7 8,6 11,9 8,2 8,0 7,4 6,9 9,9 8,6 5,6 7,9 7,9 5,3 7,8 4,4 6,7 4,3 7,5 3,9 6,1 3,1 3,3 5,0 4,6 3,9 3,7 3,5 2,7 2,9 http://aplicacoes.mds.gov.br/sagirmps/simulacao/est udos_tecnicos/pdf/88.pdf 7,8 3,1
Evolução da Pobreza Multidimensional Brasil 1992 a 2013 (%) 35.000.000 30.000.000 25.000.000-2,9 %aa 20.000.000 +9,2%aa -6,6 %aa -7,7 %aa 15.000.000-3,7 %aa 10.000.000-13,6 %aa 5.000.000 +18,9%aa -11,8 %aa 0 Crônicos Carentes Vulneráveis Transitórios 1992 1995 1999 2003 2004 2009 2013
Finalizando... Os princípios de trabalho na produção de informação e conhecimento nas avaliações Avaliação como instrumento de aprendizado organizacional e inovação no desenho e gestão de programas Envolvimento de técnicos das secretarias finalísticas na especificação e acompanhamento da avaliação Avaliação necessária para o estágio do programa em seu ciclo de implantação Avaliação possível frente aos custos, tempestividade e oportunidade Triangulação de métodos: não há um método universal ou padrão-ouro Triangulação de sujeitos: gestores, técnicos, beneficiários e não-beneficiários Triangulação de avaliadores: externo, interno, mista e participativa Envolvimento do IBGE, IPEA, pesquisadores do CNPq Transparência ativa dos estudos e avaliações Disseminar resultados é tão importante quanto produzir, para todos envolvidos Customizar produtos e estratégias de disseminação para ampliar apropriação
Criando capacidades de apropriação da Informação e Conhecimento produzido nos técnicos e gestores no país: 3 Cursos à distância SAGI/CEGOV 2.886 alunos 6.349 alunos certificados de Janeiro de 2014 a junho de 2015 1.253 alunos
Apropriação e Uso das informações: processo gradual e complexo, que começa com o envolvimento das equipes dos programas no processo de avaliação
Obrigado! Visite Portal SAGI: www.mds.gov.br/sagi