Universidade Federal do ABC Curso: Políticas Públicas Disciplina: Avaliação e Monitoramento de Políticas Públicas Profa.

Transcrição

1 Universidade Federal do ABC Curso: Políticas Públicas Disciplina: Avaliação e Monitoramento de Políticas Públicas Profa. Maria Luiza Levi Aula 10 Método do Modelo Lógico

2 Texto-base

3 Marco ou Quadro Lógico USAID United States Agency for International Development (anos 60): dificuldade em mostrar a efetividade de projetos de cooperação internacional reduzida precisão dos mecanismos de planejamento e ausência de identificação clara de responsabilidades = dificuldades para a avaliação (acabava se convertendo em um processo de aprimoramento do planejamento) Consultores se basearam na metodologia Management by Objectives (Gerenciamento por Objetivos) e elaboraram o Logical Framework Approach (Abordagem do Quadro Lógico, ou Marco Lógico) Posteriormente foi feita uma adaptação para que a metodologia fosse aplicada sob uma lógica participativa, com técnicas de moderação ou facilitação, via workshops, facilitando o envolvimento das equipes na produção do Quadro Lógico do programa/projeto Embasamentos: a compreensão compartilhada (e eventualmente a própria construção de detalhes da intervenção) facilita sua implementação e constitui referência para a sua avaliação O resultado é um instrumento de planejamento e uma referência para a execução e para a tomada de decisão, e que normalmente sob a forma de uma matriz

4 Marco/Quadro Lógico: apresentação sob a forma de matriz Fonte: Cassiolato, M. & Gueresi, S. (2010)

5 Modelo Lógico Recurso metodológico para explicitar a estrutura de uma intervenção, orientado para evidenciar seus resultados e especificamente desenvolvido como uma ferramenta de avaliação O ponto de partida é a construção da estrutura lógica da intervenção, que mapeia a relação entre os recursos disponíveis e os resultados esperados: A ênfase aqui é principalmente no que se denomina teoria do programa (ou da intervenção) Fonte: Cassiolato, M. & Gueresi, S. (2010)

6 Comissão de Monitoramento e Avaliação do PPA do Governo Federal Interministerial, coordenada pelo Ministério do Planejamento, Orçamento e Gestão (MPOG) Demanda (2006) IPEA A metodologia do IPEA para os programas do PPA juntou elementos das duas abordagens, metodologia para o planejamento (Marco/Quadro Lógico) e para o processo de avaliação (Modelo Lógico) Instrumento que serve para apoiar o processo de elaboração dos programas do PPA e sua avaliação

7 Etapas: I. Identificação e apresentação de um problema passível de ser abordado por meio de um programa ou projeto, no âmbito de uma política pública Por meio de referências básicas do programa Por meio da árvore de problemas II. III. IV. Estruturação do Programa para alcance de Resultados Definição de indicadores de desempenho Identificação de Fatores Relevantes de Contexto V. Análise de consistência do programa VI. Análise de vulnerabilidade do programa

8 I. Identificação e apresentação de um problema de um problema de política pública, que pode motivar um Programa/Projeto Referências básicas do Programa Duas abordagens: Árvore de problemas Conceitos utilizados (Carlos Matus pai do Planejamento Estratégico Situacional/PES): a. Descritores: elementos que demonstram de forma clara que o problema existe, auxiliam na posterior construção dos indicadores de monitoramento b. Causas críticas: também referidas por nós críticos, são os elementos essenciais sobre os quais deve incidir a ação. Devem: (i) ter alto impacto na mudança do problema; (ii) serem passíveis de ações, ou seja, deve ser possível atuar sobre tais causas de modo prático; (iii) deve ser politicamente oportuno agir sobre tais causas c. Critérios de priorização: essencial mapear critérios de priorização em situações em que os recursos disponíveis para um determinado período não são suficientes para alcançar todos os beneficiários possíveis.

9 Exemplo: Programa Segundo Tempo (Governo Federal-Ministério do Esporte) I. Explicação do problema, objetivos, público-alvo e beneficiários (referências básicas = enunciado do problema e respectivos descritores ) Fonte: Cassiolato, M. & Gueresi, S. (2010)

10 Ou por meio da Árvore de Problemas (identificação de causas e consequências do problema) Fonte: Cassiolato, M. & Gueresi, S. (2010)

11 II. Modelo Lógico: metodologia IPEA Estruturação do Programa para alcance de Resultados Fonte: Cassiolato, M. & Gueresi, S. (2010) Muitas frequentemente, a ação orçamentária de um programa tem característica guarda chuva. Nesses casos, é fundamental definir as ações de fato, ou seja, aquelas que, ao serem operacionalizadas, viabilizarão o programa

12 Alguns conceitos e questões relevantes do slide anterior O Programa funciona via chamamento público (um edital público com regras para a concessão de recursos), direcionado a ONGs. Elas devem apresentar projetos de constituição de Núcleos de Esporte Educacional para o desenvolvimento de atividades esportivas Ações orçamentárias e não orçamentárias: determinadas ações são fundamentais para que o programa ocorra, mas não dependem da realização de despesas pelo governo (no caso, a elaboração dos projetos dos Núcleos) Ação orçamentária guarda-chuva : no orçamento público, os recursos ( verba ) são estimados para cada ação orçamentária. Quanto mais específica é a ação, maior a necessidade de que sua previsão seja correta, do contrário será necessária alterar o valor ao longo da execução orçamentária. Ações mais genéricas são conhecidas como guarda-chuva A estruturação para resultados envolve enunciar o Programa de acordo com os elementos da estrutura lógica (slide 4)

13 Resultado final, impactos diretos e indiretos Os efeitos esperados têm vínculos causais de distintas naturezas com o programa. O método do Modelo Lógico ajuda a evidenciar o que é mais ou menos factível, ou mais ou menos gerenciável Eficácia Efetividade Adaptado de Cassiolato, M. & Gueresi, S. (2010)

14 III. Definição de indicadores de desempenho Fonte: Cassiolato, M. & Gueresi, S. (2010)

15 III. Definição de indicadores de desempenho Fonte: Cassiolato, M. & Gueresi, S. (2010)

16 III. Definição de indicadores de desempenho Fonte: Cassiolato, M. & Gueresi, S. (2010) Qual o tipo de avaliação que pode ser feita a partir da análise desses indicadores?

17 iv. Identificação de Fatores Relevantes de Contexto Fonte: Cassiolato, M. & Gueresi, S. (2010) Esse exercício é voltado para minimizar problemas imprevistos. Ele é tanto mais rico quanto mais houver conhecimento do terreno (perfil do 3º setor, escolas, comunidades) e quanto mais se puder fazer uso de experiências semelhantes

18 Consistência e vulnerabilidades da intervenção V. Análise de consistência: uma vez identificada a lógica (ou cadeia causal) da intervenção, é bom verificar se faz realmente sentido dizer que se X (ação) for feito... resultará Y (produto) e consequentemente deverão ser verificados W e Z (resultados intermediários e finais). Aqui entram considerações não só lógicas mas também relacionadas à suficiência dos recursos, ao tempo necessário para a operacionalização das ações e aos elementos que constituem seus pré-requisitos VI. Análise de vulnerabilidade: toda intervenção tem uma série de pressupostos e apostas, explícitos ou não. É fundamental fazer uma análise dos elementos que podem fragilizar ou invalidar essas apostas, ação por ação Situações identificadas como mais críticas (em que há maior risco de inviabilização da ação) devem ensejar a definição de ações complementares que possam mitigar os riscos

19 Análise/Matriz de vulnerabilidade: Programa Segundo Tempo Fonte: Cassiolato, M. & Gueresi, S. (2010)

20 Recomendações para o Plano de Avaliação Estrutura Propósito da avaliação: identificar objetivos e usos da avaliação que será feita Perguntas de avaliação: devem estar alinhadas aos usos e objetivos e elaborar suas respostas deve ser factível Método(s) de avaliação: estratégia/desenho da avaliação, incluindo coleta e análise de dados Procedimentos/atividades previstas: detalhamento, identificação de responsáveis e disponibilização em cronograma de realização Composição da equipe de avaliação e orçamento Fonte: Cassiolato, M. & Gueresi, S. (2010)

21 Revisão: Custo, eficiência, efetividade A opção X é mais vantajosa que a opção Y em termos de custo x benefício Expressão de uso corriqueiro, frequentemente utilizada de maneira imprecisa No âmbito das políticas públicas devemos tentar expressar essa preocupação da comparação em termos de custo benefício em: Avaliação de eficiência ou Avaliação de custoefetividade

22 Revisão: Custo, eficiência, efetividade Avaliação de eficiência Avaliação de custoefetividade É essencialmente uma avaliação sobre um processo de produção (no caso, de uma política pública, ou seja, de determinado bem ou serviço, ou mesmo de um conjunto de bens/serviços de uma política pública) Um processo será mais eficiente que outro se for capaz, com a mesma quantidade de recursos (financeiros, humanos, etc.) produzir maior quantidade de bens/serviços Ou seja, a avaliação de eficiência é essencialmente uma comparação entre processos de produção É uma comparação de alternativas de política pública. O programa A será mais custo efetivo que o programa B se conseguir, com menos recursos, chegar a resultado semelhante. Exemplo: (i) reduzir o número de alunos de uma classe pode ser mais custo efetivo em aumentar os níveis de aprendizagem do que o aumento do número de horas aula; (ii) reduzir a compulsão alimentar pode ser mais custo efetivo com medicamentos do que com terapia