Órgão de Cooperação Técnica Internacional: Organização das Nações Unidas para a Educação, a Ciência e a Cultura (UNESCO). APRESENTAÇÃO DA PESQUISA

Transcrição

1 CONSTRUÇÃO DE METODOLOGIA DE MONITORAMENTO, AVALIAÇÃO E INDICADORES DOS PROGRAMAS DO MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME E VALIDAÇÃO POR MEIO DE ESTUDO PILOTO EM DEZ MUNICÍPIOS DE CINCO REGIÕES BRASILEIRAS FICHA TÉCNICA Instituição executora: Fundação Instituto de Pesquisas Econômicas (FIPE). Equipe responsável: Antonio C.C. Campino, Denise C. Cyrillo, Leda Maria Paulani, José Afonso Mazzon. Equipe SAGI: Luis Otávio Farias, Jose Iturri de La Mata e Maria Cristina Abreu Martins de Lima. Órgão de Cooperação Técnica Internacional: Organização das Nações Unidas para a Educação, a Ciência e a Cultura (UNESCO). Projeto: 914BRA3026 Gestão da Política de Segurança Alimentar, Desenvolvimento Local e Combate à Pobreza. Período de realização: junho de 2006 a maio de APRESENTAÇÃO DA PESQUISA Objetivos Construir um modelo validado de monitoramento dos programas, políticas e ações do Ministério do Desenvolvimento Social e Combate à Fome (MDS), contendo indicadores de estrutura, processo e resultado, que possibilitasse a visualização das iniciativas do MDS no nível municipal. A concepção do sistema foi orientada para o aporte principal em bases secundárias, com indicadores que fizessem uso de sistemas de informação já em operação junto ao MDS ou de acesso público, e, alternativamente, indicadores que pudessem ser construídos a partir de informações prestadas regularmente pelos gestores locais dos programas, serviços e ações. A metodologia desenvolvida foi testada em uma amostra pequena de municípios escolhidos pelo próprio MDS, segundo os critérios de maiores e menores investimentos já realizados e diversidade regional. 190 Cadernos de Estudos - Desenvolvimento Social em Debate Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd /06/ :05:45

2 Procedimentos metodológicos Para permitir, a cada momento, não só uma visão particular de cada política, ação ou programa, mas também uma visão da atuação do MDS nos municípios, bem como a possibilidade de se efetuar comparações entre eles, adotou-se os seguintes princípios: a) horizontalidade seus indicadores são simples e, na maior medida possível, gerais, ou seja, aplicáveis a quaisquer das categorias de programas e ações, possibilitando comparações entre políticas e comparações entre municípios; b) menor custo sempre que possível procurou-se propor indicadores que utilizassem dados de bases estatísticas já existentes, particularmente aqueles abrigados no próprio MDS (por exemplo, o SUASWeb), reduzindo-se a utilização de dados primários ao estritamente indispensável e c) praticidade apesar de sua complexidade, para viabilizar o suporte para o processo de tomada de decisões dentro do MDS, a metodologia deveria ser simples e ágil, o que se buscou atingir a partir da existência de fichas dos indicadores, de idicadores sintéticos e de uma tipologia de municípios. Do ponto de vista da construção da proposta metodológica, o trabalho incluiu diversas oficinas com a equipe técnica da SAGI e das secretarias finalísticas para definição preliminar dos indicadores e das suas fontes. Acordou-se, entrementes, estender a validação em campo, originalmente pensada para ser feita em 10 municípios, a saber: Águas Lindas de Goiás (GO), Bela Vista do Piauí (PI), Belo Horizonte (MG), Buritis (RO), Diamante d Oeste (PR), Moju (PA), Nova Petrópolis (RS), Rondonópolis (MT), São Gonçalo (RJ) e Tibau do Sul (RN); foram também incorporados os municípios de Mauá e Campinas, ambos em São Paulo, a fim de viabilizar o teste dos indicadores para o Programa de Aquisição de Alimentos (PAA), além da realização de um piloto. Resultados Os indicadores que constituem o SMAAP (Sistema de Monitoramento e Avaliação das Ações e Políticas do MDS) estão divididos em três grandes categorias: a) indicadores de estrutura trazem informações sobre as características socioeconômicas e demográficas dos municípios que abrigam os diversos programas e sobre a estrutura operacional de que dispõem as administrações municipais para executar os programas e políticas do MDS; b) indicadores de processo destinam-se a permitir o monitoramento dos programas e políticas, seja na fase de sua implementação, seja em seu andamento e c) indicadores de resultado destinam-se a fornecer informações sobre o impacto e o grau de sucesso das diversas intervenções. Dos 146 indicadores propostos, 29 são de estrutura, 85 são de processo e 32 são de resultado, os quais se combinaram, seguindo a tendência atualmente vigente quando se trata da construção de indicadores. Esses devem lidar com uma variada gama de aspectos e possibilitar a comparabilidade entre os agentes e a construção de uma tipologia de municípios. Síntese das Pesquisas de Avaliação de Programas Sociais do MDS 191 Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd /06/ :05:45

3 Os indicadores sintéticos foram construídos, em sua maioria, ainda que não exclusivamente, por combinação linear. A tipologia de municípios foi construída a partir dos indicadores sintéticos de estrutura. A consideração conjunta da tipologia e dos indicadores sintéticos de processo e de resultado permite a utilização de uma sinaleira de comparação entre os municípios, bem como entre as três políticas: Política de Transferência de Renda (PTR), Política Nacional de Assistência Social (PNAS) e Política de Segurança Alimentar e Nutricional (PSAN) em um mesmo município e entre municípios. A sinaleira aponta, para cada município, ao lado de sua classificação tipológica (município tipo A condição boa, tipo B condição regular ou tipo C condição ruim, e município com vocação agrícola ou não), sua situação geral e por política quanto a processo e a resultados (vermelho ruim, amarelo regular e verde boa). Para a construção dos indicadores sintéticos, foi necessária, na maioria dos casos, a normatização dos diferentes tipos de indicadores, com sua variada gama de possíveis unidades de medida, no sentido de que todos eles fossem transformados em números que variassem entre 0 e 1. Os parâmetros utilizados para a elaboração das normatizações, bem como para a classificação dos municípios, seja no que concerne aos indicadores sintéticos de processo e de resultado, seja no que se refere à tipologia, foram, em sua maioria, construídos endogenamente, ou seja, retirados da própria amostra. Os indicadores sintéticos de estrutura socioeconômica e demográfica são de dois tipos: os que indicam a situação social e econômica do município a partir de indicadores como produto interno municipal, proporção de famílias pobres e razão de dependência familiar, e aqueles que, a partir de informações, como importância da população rural e a estrutura produtiva do município, indicam se o município tem ou não vocação agrícola. Os indicadores sintéticos de estrutura operacional são o resultado da agregação de três outros indicadores sintéticos de ordem inferior, os quais foram construídos a partir dos indicadores originais do SMAAP. São eles: indicadores de condição financeira, indicadores de infraestrutura física e indicadores de recursos humanos. Os indicadores sintéticos de processo são o resultado da agregação de quatro outros indicadores sintéticos de ordem inferior, alguns dos quais construídos a partir dos indicadores originais do SMAAP e outros construídos a partir de indicadores sintéticos de ordem ainda menor. São eles: indicadores sintéticos de andamento, indicadores sintéticos de eficiência, indicadores sintéticos de controle social e indicadores sintéticos de avaliação do MDS pelos gestores municipais. Os indicadores sintéticos de andamento são o resultado da agregação de seis outros 192 Cadernos de Estudos - Desenvolvimento Social em Debate Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd /06/ :05:45

4 indicadores sintéticos de ordem inferior, os quais foram construídos a partir dos indicadores originais do SMAAP. São eles: indicadores sintéticos de cumprimento de metas e cobertura, indicadores sintéticos de cumprimento de regras e condicionalidades, indicadores sintéticos de foco, indicadores sintéticos de demanda, indicadores sintéticos de satisfação e indicadores sintéticos de visibilidade. Os indicadores sintéticos de eficiência são o resultado da agregação de dois outros indicadores sintéticos de ordem inferior, os quais foram construídos a partir dos indicadores originais do SMAAP. São eles: indicadores sintéticos de eficiência técnica e indicadores sintéticos de eficiência econômica. Tanto os indicadores sintéticos de estrutura operacional, quanto os indicadores sintéticos de processo, em suas diferentes ordens de agregação, são apresentados no geral e por política. Além disso, sempre que possível, apresenta-se duas versões dos indicadores sintéticos, fazendo-se ou não uso de pesquisas primárias junto a beneficiários finais. Os indicadores sintéticos de resultado são o resultado da agregação de três outros indicadores sintéticos de ordem inferior, os quais foram construídos a partir dos indicadores originais do SMAAP. São eles: indicadores sintéticos de resultados relativos à renda, indicadores sintéticos de resultados relativos à assistência social e indicadores sintéticos de resultados relativos à segurança alimentar e nutricional. No caso dos indicadores sintéticos de resultado, seus componentes por tipo de resultado (relativos à renda, relativos à assistência social e relativos à segurança alimentar e nutricional) não são representativos da atuação de suas três secretarias finalísticas (SENARC, SNAS e SESAN) as quais se encarregam de suas três políticas (PTR, PNAS e PSAN) mas sim dos resultados dessas políticas tal como se classificam economicamente. Por exemplo, apesar de não estar incluído na PTR e sim na PNAS, o Programa Agente Jovem (PAJ) acaba por alterar o nível de renda das famílias deles beneficiárias, sendo esse impacto capturado pelo indicador sintético de resultados relativo à renda. Resumidamente, pode-se dizer que o SMAAP é um sistema de monitoramento e avaliação das ações e políticas do MDS, constituído por 146 indicadores, por indicadores sintéticos de diferentes ordens e agregados em indicadores sintéticos de estrutura, de processo e de resultado. Sua operacionalização se dá por meio de uma tipologia de municípios, construída a partir dos indicadores de estrutura, e por uma sinaleira comparativa da situação de cada município em geral e em relação a cada uma das políticas em particular. Aplicado aos 12 municípios assinalados, ele apresentou alguns resultados interessantes. A leitura abaixo refere-se aos municípios que compuseram a amostra de validação e fornece um exemplo do tipo de acompanhamento que a metodologia permite fazer das políticas do MDS nos municípios. Síntese das Pesquisas de Avaliação de Programas Sociais do MDS 193 Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd /06/ :05:45

5 Dois municípios de tipo A, um aparece três e o outro duas vezes na sinaleira de cor verde, sendo os demais de cor amarela, não se contando nenhum de cor vermelha. Trata-se de um resultado esperado e compreensível, tendo em vista as melhores condições socioeconômicas e operacionais desses municípios. Contudo, outros dois municípios apresentam resultados surpreendentes, pois aparecem duas vezes cada um com resultados de cor vermelha e nenhuma vez com resultados de cor verde. Em um deles, se comparado aos demais municípios, o processo de desenvolvimento da política de transferência de renda está abaixo da média. Apesar de contar com o valor mais baixo da amostra piloto para o indicador proporção de famílias pobres, apresenta resultados vermelhos no que concerne à segurança alimentar e nutricional. No outro, apesar de o desenvolvimento das políticas e ações do MDS parecer andar de forma regular, são ruins os resultados em termos de segurança alimentar e inserção social. Vale lembrar aqui que o valor encontrado nesse município para os indicadores sintéticos de controle social e de avaliação do MDS pelos gestores locais está entre os mais baixos da amostra. Quanto aos municípios de tipo C, os resultados também surpreendem. Dois municípios não aparecem nenhuma vez com resultados de cor vermelha, sendo que um deles aparece com resultados verdes para o indicador geral de processo e também para o indicador de resultado da segurança alimentar e nutricional. Isto significa que o desenvolvimento das políticas e ações do MDS vem se dando de forma bastante satisfatória nesse município, devendo passar a produzir resultados muito bons também com relação à inserção social e renda em curto espaço de tempo. Quanto aos demais municípios, todos de tipo B, cabe destacar que dois municípios aparecem três vezes com resultados de cor vermelha. Particularmente em um deles, a política de assistência social parece ser mais problemática, pois tanto seu indicador sintético de processo quanto o indicador sintético de resultados relacionados à política de assistência social aparecem vermelhos. Considerando-se que ele é um município de tipo B agrícola, talvez o MDS conseguisse melhores resultados apostando aí em programas do tipo PAA. Vale ainda lembrar que os valores encontrados nesse município para os indicadores sintéticos de foco e de controle social estão entre os mais baixos da amostra. No outro, a situação é semelhante, visto que, da mesma forma que o anterior, caracteriza-se como um município de tipo B agrícola e apresenta três resultados vermelhos. Ressalta-se, nesses resultados, a cor vermelha que aparece para o indicador sintético de processo de transferência de renda, indicando problemas no desenvolvimento da política de transferência de renda, o que se conjuga com a observação de que o valor de seu indicador sintético de foco está entre os mais baixos da amostra. Assim, da mesma forma que o anterior, também é um município de tipo B agrícola, o que permite concluir que uma boa política de apoio 194 Cadernos de Estudos - Desenvolvimento Social em Debate Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd /06/ :05:45

6 à produção agrícola talvez seja necessária aí, podendo vir a funcionar melhor do que outros tipos de política. Cabe destacar, por fim, outro município de tipo B, que aparece com três verdes, sempre relacionado a indicadores sintéticos de resultado. Isso significa que, apesar do andamento apenas regular das ações e políticas do MDS ali (sua estrutura operacional é ruim), seus resultados são superlativos, indicando uma boa resposta do município às ações do MDS. Síntese das Pesquisas de Avaliação de Programas Sociais do MDS 195 Caderno de Estudos 13 ALTERADO E REVISADO 1705.indd /06/ :05:45