Políticas Públicas II Avaliação de Políticas Públicas e pressupostos Professora: Geralda Luiza de Miranda Setembro/2011
Classificação de avaliações Momento em que são realizadas (já vista) Procedência dos avaliadores Aspectos da intervenção que são priorizados Natureza das questões a serem respondidas Tipo de dados utilizados Posicionamento e número das unidades de análise no tempo
Quanto à procedência dos executores Interna: profissionais da própria unidade gestora. Nível de conflito minimizado; maior quantidade de informações. Objetividade pode ser prejudicada. Externa: profissionais não vinculados à instituição executora. Mais isenção; acesso mais difícil a dados. Mista.
Quanto aos aspectos do programa 1- Avaliação do plano e conceitualização da intervenção. Investiga a pertinência formal e conceitual do programa ou projeto, apontando falhas no diagnóstico ou no próprio desenho, tendo-se por referência o que ocorre em sua implementação.
2- Avaliação do processo da intervenção. Acompanhamento da execução. É uma dimensão da gestão. Verifica se: A intervenção está sendo implementada como foi planejada; A população-alvo está sendo atingida; O cronograma está sendo cumprido; Os recursos estão sendo usados com eficiência. É a avaliação intermediária, formativa ou monitoramento.
3- Avaliação de eficiência Verifica a relação entre custos (monetários) e resultados (alcance das metas e objetivos) ou se os custos operacionais são menores que os benefícios líquidos da política. Permite comparar intervenções alternativas; auxilia a tomada de decisão em torno da implementação ou da continuidade do programa. Custos são apenas um aspecto, mas são importantes.
Questões a serem respondidas na avaliação de eficácia: Os recursos estão sendo dirigidos aos fins visados? O programa ou projeto funciona a um custo razoável? Os resultados atingidos podem ser mensurados em termos monetários? O programa é tão bem-sucedido quanto outros de custo igual ou menor?
Eficiência (definição): Refere-se à utilização competente dos recursos alocados para a realização dos objetivos e metas previstos para a política ou o programa. Uma política é tão mais eficiente quanto mais racionalmente são utilizados os recursos para o alcance dos objetivos e metas.
4- Avaliação de eficácia (ou de efeito) Avalia se houve alterações na situação-problema após a intervenção. Busca estabelecer uma relação de causalidade entre as alterações e certos atributos do programa. É um tipo de avaliação trabalhosa. Muitos dados, análises estatísticas.
Eficácia (definição): Refere-se ao alcance dos objetivos e metas, estabelecidos no desenho da política ou do programa, a serem cumpridos em um prazo definido. Uma política é tão mais eficaz quanto mais ela alcança os resultados ou os efeitos planejados.
Dois tipos de avaliação de eficácia: 4.1- Avaliação de resultados Investiga os efeitos da intervenção sobre a população-alvo. Questões a serem respondidas: O programa ou projeto surtiu algum efeito sobre a população-alvo? Como classificar tais efeitos?
4.2 Avaliação de impacto (ou de efetividade) Investiga os efeitos da intervenção sobre a população total, ou seja, busca avaliar seus reflexos no contexto social mais amplo.
Dificuldades da avaliação de eficácia: Distinguir quais alterações são efeitos da intervenção e quais resultam de outros fatores. Exige grupos de controle, análises estatísticas. Comparação entre grupo de controle e grupo de tratamento
Quanto ao tipo de dados utilizados Qualitativa: apenas dados não-numéricos. Entrevistas, questionários, grupos focais, observações. Quantitativa: dados numéricos. Número de famílias beneficiadas, número de atendimentos, gastos financeiros. Uma boa pesquisa combina os dois tipos.
Quanto ao número e posição das unidades de análise no tempo Estudo de caso Avaliação de uma única política em um determinado período (um ponto no tempo) ou sua evolução ao longo do tempo.
Comparativa transversal Avaliação de uma mesma política em contextos diferentes ou diferentes políticas em um mesmo contexto ou em contextos diferentes. Os dados utilizados para avaliar a política, ou as políticas, estão situados em um mesmo ponto do tempo
Comparativa longitudinal Avaliação de uma mesma política ou diferentes políticas ao longo do tempo (em períodos específicos). Também conhecida como análise de série temporal
Pressupostos da avaliação 1. Modelo analítico que oriente a intervenção; 2. Diagnóstico da situação-problema; 3. Sistema de informação; 4. Indicadores sociais.
1. Modelo analítico da intervenção Explicita relações de causa e efeito subjacente ao desenho da política: o relacionamento entre o problema social que se pretende prevenir ou solucionar e os instrumentos e tecnologias que compõem a política. Marco lógico: Recurso metodológico que auxilia o desenho, o monitoramento e avaliação de projetos.
Marco lógico permite: melhor definição do problema, investigação de suas causas, características e consequências, planejamento dos recursos e atividades a serem desenvolvidas na implementação do programa, estabelecimento de metas e objetivos a serem cumpridos. Depende de diagnóstico da situação-problema.
2. Diagnóstico da situação-problema Trajetória do problema no tempo e no espaço, sua incidência, magnitude etc. Sem um diagnóstico adequado, não é possível a elaboração de um marco lógico consistente e sem o marco lógico não é possível ter um bom modelo de intervenção e, por conseguinte, fazer uma boa avaliação.
Passos do diagnóstico: Coleta e análise de dados e informações, de natureza quantitativa e qualitativa. Revisão de bibliografia sobre o tema, consulta a documentos e fontes diversas, busca e análise de dados, realização de entrevistas, visitas a campo.
A partir do diagnóstico, temos uma visão mais adequada e realista do problema, o que maximiza as chances de sucesso na intervenção (Carneiro)
3. Sistemas de informação Fornecem os dados para a construção de indicadores que são essenciais para qualquer tipo de avaliação. Cada órgão gestor da Assistência Social deve construir seus próprios sistemas de informação para avaliar seus programas e políticas específicos.
Rede Suas Composta por ferramentas que realizam registro e divulgação de dados sobre recursos repassados; acompanhamento e processamento de informações sobre programas, serviços e benefícios sócioassistenciais; gerenciamento de convênios; suporte à gestão orçamentária; entre outras ações relacionadas à gestão da informação do Suas.
Rede Suas possui um ambiente interno (intranet) e um externo (internet). Nove aplicativos: CadSuas, Suasweb, BPCnaEscola, GeoSuas, InfoSuas, Sistemas de Gestão Financeira, SISJovem, SISCON2006, SISCON2007-2008. Um link que serve para as empresas de transporte verificarem a autenticidade da Carteira de Idoso.
1. CadSuas Integra e mantém dados corporativos de prefeituras, órgãos gestores, conselhos e fundos e entidades. Prefeituras, governos estaduais, SNAS e o CNAS podem, por meio do CadSuas, interagir com a base corporativa e incluir, alterar e consultar cadastros das entidades. Entidades realizem o seu cadastro e solicitem o registro e certificação no CNAS.
2. SuasWeb Agiliza a transferência regular e automática de recursos do FNAS para os fundos estaduais, municipais e do DF. Constituído pelo Plano de Ação Anual, Demonstrativo Sintético Físico Financeiro. Sistema é aberto para o preenchimento por parte dos gestores e para a aprovação do Plano e Demonstrativo pelo Conselho de Assistência.
3. BPCnaEscola Aplicativo que permite o acompanhamento e monitoramento do acesso à escola dos beneficiários do BPC (0 a 18 anos).
4. GeoSuas Sistema de georreferenciamento e geoprocessamento. Fornece informações que subsidiam a tomada de decisões no processo de gestão da PNAS. Aplicativo que resulta da integração de dados e mapas, servindo de base para a construção de indicadores.
5. InfoSuas Aplicativo aberto à população (internet). Disponibiliza informações sobre os repasses financeiros entre os fundos, classificando-os por tipo de proteção (serviços), regiões, estados e municípios. Fornece acesso à base de dados dos pagamentos realizados em anos anteriores.
6. Sistemas de Gestão Financeira Sistema de Repasse Fundo a Fundo (Sisfaf), Sistema de Gestão de Convênios (Siscon), Sistema de Acompanhamento Orçamentário do Suas (Siaorc).
Sisfaf agiliza e moderniza os procedimentos de repasses de recursos do FNAS para os fundos municipais e estaduais. Funciona de forma integrada com o Sistema Integrado de Administração Financeira do Governo Federal (Siafi) e com o InfoSuas, disponibilizando, neste, a base de dados de pagamentos.
Siaorc permite o acompanhamento da gestão orçamentária do recurso gerido pelo FNAS e também interage com o Sisfaf e o Siafi. Siscon permite o gerenciamento dos convênios, desde o preenchimento dos planos de trabalho até a prestação de contas.
7. SisJovem Permite o acompanhamento e gestão do programa ProJovem Adolescente, fornecendo informações sobre sua execução.
8 e 9. SISCON2006 e SISCON2007-2008 Aplicativos que proporcionam a tramitação e análise de processos e a comunicação imediata entre os entes federativos. O objetivo é agilizar a tramitação de processos de cofinanciamento de convênios.
CadÚnico Cadastro que reúne dados das famílias com renda mensal de até meio salário mínimo em todo o território nacional. Coordenado pelo MDS, alimentado e gerenciado pelos municípios e estados. Importante para realização de diagnósticos para implementação de políticas sociais.
Informações lançadas na Rede Suas são tratadas pela Sagi e secretarias finalísticas e disponibilizadas para sociedade, gestores, e trabalhadores na forma de indicadores. Matriz de Informação Social (MI Social) fornece dados municipais ou estaduais dos diferentes programas, desde 2004, em diferentes formatos e períodos.