SISTEMAS DE MONITORAMENTO E AVALIAÇÃO NA ADMINISTRAÇÃO PÚBLICA. Humberto Falcão Martins. Rio de Janeiro, outubro de 2007

Transcrição

1 SISTEMAS DE MONITORAMENTO E AVALIAÇÃO NA ADMINISTRAÇÃO PÚBLICA Humberto Falcão Martins Rio de Janeiro, outubro de 2007

2 Definições de Partida Monitoramento informações sobre o andamento (follow up) e desempenho Avaliação informações sobre desempenho e explicação de suas causas Monitoramento & Avaliação são instrumentos de Accountability vertical (órgãos de controle) ou horizontal (sociedade civil), que busca responsabilizar agentes públicos pelo uso de recursos públicos Aprendizado gerencial aprimorar o processo decisório, a qualidade do gasto, os resultados de políticas públicas Sistema de M&A conjunto estruturado de ações, sob um domínio institucional demarcável, que gera de forma regular/estável informações sobre o desempenho de projetos, programas, organizações, serviços etc. e busca inseri-las nos processos decisórios de formuladores e implementadores em tempo hábil (feedbacks curtos) como forma de (re)orientá-las.

3 O Estudo Estudo Comparado (13 países) sobre Sistemas de Avaliação e Monitoramento no Setor Público na América Latina, Banco Mundial/CLAD Brasil: Sistema de Monitoramento e Avaliação do Plano Plurianual Sistema de Monitoramento de Metas Presidenciais Sistema de Monitoramento e Avaliação de Políticas e Programas Sociais Sistema de Avaliação Externa de Programas Governamentais O enfoque Qualidade e uso da informação Integração entre sistemas de M&A Comparações e analises do conjunto A metodologia Entrevistas e conversas Documentos Validação

4 Amplitude e sobreposição dos sistemas Sistema de Monitoramento e Avaliação do PPA Sistema de Monitoramento de Metas Presidenciais AÇÃO GOVERNAMENTAL Sistema de Avaliação Externa de Programas de Governo Sistema de Monitoramento e Avaliação de Programas e Políticas Sociais

5 Sistema de Monitoramento e Avaliação do PPA Secretaria de Planejamento e Investimentos Estratégicos do Ministério do Planejamento, Orçamento e Gestão. Comissão de Monitoramento e Avaliação do PPA (CMA) e de Unidades de Monitoramento e Avaliação (UMAs) em cada órgão setorial (ministérios). Monitora e avalia anualmente cerca de 370 programas do PPA (programa, ministérios e PPA) e programas selecionados (ex ante). As avaliações são auto-avaliações segundo roteiro próprio. Instrumento: roteiros no SIGPLAN Alocação de recursos

6 Sistema de Monitoramento de Metas Presidenciais Subchefia de Articulação e Monitoramento da Casa Civil da Presidência da República. Gerentes das metas (Ministérios setoriais), Monitores SAM (Casa Civil), e Monitores parceiros (SPI/MPOG, Subchefia de Assuntos Parlamentares -SUPAR e Subchefia de Acompanhamento da Ação Governamental-SAG, as duas ultimas na Casa Civil). Monitora mensalmente cerca de 80 Metas Presidenciais e a remoção de obstáculos para o seu alcance. Instrumento: SMP/SIGOV Coordenação governamental

7 Sistema de Monitoramento e Avaliação de Programas e Políticas Sociais Secretaria de Avaliação e Gestão da Informação (SAGI) do Ministério do Desenvolvimento Social. Módulo de Monitoramento e Módulo de Avaliação. Monitora em bases anuais a execução físico-financeira dos 21 programas sociais das secretarias finalísticas do MDS. Instrumentos: a Matriz de Informações Sociais (MI Social) e o Dicionário de Variáveis e Indicadores de Programas (DICI-VIP).e Avalia, por meio de pesquisas externas, os resultados dos programas, segundo metodologias sob medida para cada caso. Há 29 estudos realizados. Planejamento setorial

8 Sistema de Avaliação Externa de Programas de Governo Secretaria de Fiscalização e Avaliação de Programas de Governo, ligada à Secretaria Geral de Controle Externo do TCU. O sistema avalia anualmente uma carteira de cerca de 30 programas de governo. Metodologia própria de avaliações rápidas proporcionando uma análise abrangente da concepção à ponta implementadora (atingindo usuários e partes locais envolvidas) Aprendizado

9 Integração Sistema de Monitoramento e Avaliação do PPA Sistema de Monitoramento de Metas Presidenciais Sistema de Monitoramento e Avaliação de Programas e Polít icas Sociais Sistema de Avaliação Externa de Programas de Governo A integração intra-(mp- UMAS) sistema burocratizada. Integração direta com orçamento. Não integra com as demais unidades (gestão, RH, logística e tecnologia da informação). A integração com outros sistemas de M&A é dinâmica e aberta, com fácil interlocução técnica. Não integra diretamente com níveis subnacionais. A integração intra (SAM- Gerentes) burocratizada, exceto em relação à gestão de obstáculos. Integra equipes e sistemascom SMA PPA. Não integra diretamente com níveis subnacionais. Integração direta com orçamento. Não integra com as demais unidades (gestão, RH, logística e tecnologia da informação). A integração intra (SAGI- MDS) é fluída, aberta e dinâmica. A integração com outros sistemas de M&A é dinâmica e aberta, com fácil interlocução técnica. Não integra diretamente com níveis subnacionais. Interação fluída com planejamento e pontual com orçamento. A interação intra-(seprog- TCU) é fluída, mas potencialmente tensa (punição x aprendizado). Integra diretamente com níveis subnacionais. A integração com outros sistemas de M&A é dinâmica e aberta, com fácil interlocução técnica, incluindo o Controle Interno (CGU). Integração direta com planejamento. Não integra com as demais unidades (gestão, RH, logística e tecnologia da informação).

10 Qualidade da Informação e Acesso Sistema de Monitoramento e Avaliação do PPA Sist ema de Monitoramento de Metas Presidenciais Sistema de Monitoramento e Avaliação de Programas e Políticas Sociais Sistema de Avaliação Externa de Programas de Governo Combinações e verificações com outras fontes são essenciais. Percepção geral é de que a qualidade é limitada porque maioria dos programas não corresponde à realidade das ações de governo. Fatores críticos: a) da qualidade dos instrumentos e detalhamentos metodológicos; b) equipes técnicas envolvidas e da forma como processam a interlocução com as unidades setoriais; c) da adesão das unidades setoriais e seu grau de maturidade gerencial; e d) articulação com elementos da ponta. O acesso é online e amplo (sob permissão) dentro e fora do Poder Executivo. Combinações e verificações com outras fontes são essenciais. Percepção geral é de que a qualidade é limitada porque informações dos ministérios em geral não é confiável. A informação está restrita à Presidência da República e ao Ministério do Planejamento, que a acessa online. Proximidade SAGI-MDS e instituições externas contribuem para a credibilidade da informação. Problema de qualidade dos dados oriundos de instâncias subnacionais. O acesso é online e amplo dentro e fora do Poder Executivo. As avaliações relâmpago (rapid assessment) coletam e tratam informações de maior qualidade porque são as únicas que chegam à ponta, ouvindo atores diretamente envolvidos com a entrega do programa, inclusive o beneficiário. O acesso é online e amplo dentro e fora do Poder Legislativo.

11 O uso e apropriação da informação Sistema de Monitoramento e Avaliação do PPA 1. A própria SPI. O sistema serve ao PPA. 2. Os demais sistemas de M&A, que combinam e testam a consistência das informações. 3. As áreas de orçamento (SOF/MPOG) e finanças (STN/MF) 4. As áreas setoriais 5. O congresso e a sociedade civil apresentam um baixíssimo grau de consumo Sistema de Monitoramento de Metas Presidenciais 1. Casa Civil e, indiretamente e esporadicamente, o President e, com muitas limitações. 2. Sistema de M&A do PPA Sistema de Monitoramento e Avaliação de Programas e Polít icas Sociais 1. Secretarias finalísticas do MDS 2. Demais sistemas de M&A. 3. Academia, que se beneficia dos microdados 4. Organizações nãogovernamentais que atuam na defesa de direitos e monitoram o desempenho social do Governo. Sistema de Avaliação Externa de Programas de Governo 1. organizações/ programas avaliados e os auditores do TCU. 2. Demais sistemas de M&A. 3. Organizações nãogovernamentais e cidadãos interessados em conhecer o desempenho do Governo.

12 Pontos Fortes e Resultados Sistema de Monitoramento e Avaliação do PPA Sistema de Monitoramento de Metas Presidenciais Sistema de Monitoramento e Avaliação de Programas e Polít icas Sociais Sistema de Avaliação Externa de Programas de Governo Abrangência, visão geral e regularidade (dados periódicos dentro de um padrão aceitável). Integração planejamentoorçamento Demarcou um espaço da avaliação no processo de gestão para resultados. Melhorou a gestão do PPA, proporcionando um melhor redesenho e seleção de programas Pouco impacto junto à gestão diuturna dos projetos, nas unidades setoriais Foco e seletividade. Interatividade com as instâncias coordenadas, proporcionando a remoção de obstáculos. Facilitou o diálogo na cúpula de governo e contribuiu para melhorar a coordenação governamental e o exercício da liderança executiva principal em bases mais técnicas e efetivas. Qualidade customizada das avaliações. Promoveu a melhoria e a focalização de programas e políticas sociais. Proporcionou valiosos dados para que pesquisas acadêmicas. Produz elementos para responder e ou enunciar questões relevantes de políticas sociais. Há rigor, confiabilidade e transparência. Penetração na ponta implementadora, envolvendo atores locais e beneficiários e promovendo ampla divulgação. Gerou aprendizado na ponta e dentro do próprio TCU, diminuindo e pautando a orientação punitiva.

13 Limitações Sistema de Monitoramento e Avaliação do PPA Sistema de Monitoramento de Metas Presidenciais Sistema de Monitoramento e Avaliação de Programas e Políticas Sociais Sistema de Avaliação Externa de Programas de Governo Exclusividade da autoavaliação. Qualidade da informação na ponta. Pouca abertura à sociedade civil. Perfis de liderança executiva do Presidente e da ministra da CC impedem um melhor aproveitamento das informações. Lócus institucional: não faz sentido uma Secretaria Nacional para avaliação de programas no âmbito do próprio Ministério. As informações geradas servem a propósitos de auditoria e geram desconfiança por parte das unidades implementadoras. Abrangência (falta de foco e seletividade) e mito do controle absoluto). Concepção de gestão de projetos (rigidez e orientação para tarefa). Centralismo e dirigismo da SPI Relação gerente x estrutura.

14 Desafios Sistema de Monitoramento e Avaliação do PPA Sistema de Monitoramento de Metas Presidenciais Sistema de Monitoramento e Avaliação de Programas e Políticas Sociais Sistema de Avaliação Externa de Programas de Governo flexibilização do modelo de gest ão do PPA. Fortalecer a micro-gerência Introduzir mecanismos de avaliação múltipla, com a participação de outros atores, principalmente usuários, diminuindo as restrições da auto-avaliação (que tende à autolerância). Alinhar o PPA à estratégia de desenvolvimento de longo prazo. Fortelecer a coordenação macro-governamental em bases mais estruturadas. Integrar o processo de avaliação à mecanismos (instâncias) de coordenação: câmaras de governo, comitês, forças-tarefa etc., inclusive com a participação de interessados externos. Proporcionar uma efetiva gestão do PAC. Melhorar a integração com os demais sistemas de M&A. Aprofundar as conexões com as pontas nas unidades subnacionais. Expandir os objetos de avaliação para fora do domínio do MDS. Melhorar a integração com os demais sistemas de M&A. Aumentar a quantidade de programas avaliados. Investir em metaavaliação, certificando as demais entidades avaliadoras. Melhorar a integração com os demais sistemas de M&A. Abrir o sistema, sem restrições e sem permissões, a qualquer interessado. Melhorar a integração com os demais sistemas de M&A.

15 Questões gerais e reflexões finais Os limites da sobreposição: integração ou fragmentação? Diversos sistemas integrados permitem uma melhor avaliação que um sistema isolado Se complementam e se integram mais para reduzir suas falhas Se se fortalecem, se institucionalizam demais e se tornem capazes de resolver suas falhas e inconsistências isoladamente, a tendência fragmentária predominaria Custo absoluto é insignificante (aprox. R$ 24,1 milhões/ano ou 0,0058% do orçamento), mas a questão é obter maior benefício

16 Questões gerais e reflexões finais Integração dos sistemas informatizados (interoperabilidade; bancos de dados consolidados para públicos específicos) Sistemas legados (Sigplan) x soluções exógenas (Sigov): falta de flexibilidade e customização Os sistemas se mostram e se abrem uns aos outros, mas não se integram Avaliações conjuntas (híbridas), comparativas e concomitantes de um rol seleto de objetos e questões dinâmicas Objetos multifacetados e dinâmicos Há objetos coincidentes, mas não há avaliações integradas, nem em caráter experimental PAC

17 Questões gerais e reflexões finais Qual a melhor estratégia de institucionalização: pela oferta ou pela demanda? Pela oferta! Criando demanda. Isto requer experimentos, iniciativa, aprendizado, meta-avaliações e divulgação Os sistemas são uma condição necessária, mas não suficiente, para geração de uma cultura de avaliação e aprendizado... que é um aprendizado gerencial mais complexo e está na base do bom aproveitamento das ofertas e da geração de demandas Start simple and improve: SAMPPS, SAEPG, SMMP Tratar os sistemas como episódios de políticas de gestão para compreender melhor sua gênese