Como elaborar Modelo Lógico: roteiro para formular programas e organizar avaliação. Martha Cassiolato Simone Gueresi Nº 6

Transcrição

1 Como elaborar Modelo Lógico: roteiro para formular programas e organizar avaliação Martha Cassiolato Simone Gueresi Nº 6 Brasília, setembro de

2 NOTA TÉCNICA Como elaborar Modelo Lógico*: roteiro para formular programas e organizar avaliação Martha Cassiolato** Simone Gueresi*** Brasília, setembro de 2010 * Agradecimentos especiais aos colegas do Ipea: Silvânia de Araujo Carvalho, por sua valiosa revisão do texto, Ronaldo Coutinho Garcia e Helder Ferreira, cujos comentários e sugestões contribuíram para o aperfeiçoamento desta Nota Técnica. ** Técnica de Planejamento e Pesquisa da Diretoria de Estudos e Políticas Sociais - Ipea *** Especialista em Políticas Públicas e Gestão Governamental, em exercício no Ministério do Desenvolvimento Agrário (MDA) 2

3 SUMÁRIO INTRODUÇÃO 4 SOBRE A METODOLOGIA DO MODELO LÓGICO 5 MODELO LÓGICO e MARCO LÓGICO: diferenças e semelhanças 5 COMPONENTES DO MODELO LÓGICO IPEA 7 1. Explicação do problema e referências básicas do Programa 8 2. Estruturação do Programa para alcance de resultados Identificação de Fatores Relevantes de Contexto 13 PASSOS DE ANÁLISE DO MODELO LÓGICO Teste de consistência do modelo lógico Análise de Vulnerabilidade Análise da Motivação de Atores 15 PROCESSO DE CONSTRUÇÃO DO MODELO LÓGICO 17 PROCEDIMENTOS PARA MODELO LÓGICO DE NOVOS PROGRAMAS 17 ETAPA 1 Identificação e Análise do Macroproblema 17 ETAPA 2 Coleta e Análise das Informações para o desenho de programa 20 ETAPA 3 Pré-montagem da explicação do problema e referências básicas 20 ETAPA 4 Oficina para elaboração do programa 20 PROCEDIMENTOS PARA MODELO LÓGICO DE PROGRAMAS EXISTENTES 22 ETAPA 1 Coleta e Análise das Informações 22 ETAPA 2 Pré-Montagem do Modelo Lógico 22 ETAPA 3 Validação do Modelo Lógico 24 VERIFICAÇÃO FINAL DO MODELO LÓGICO 26 DEFINIÇÃO DOS INDICADORES DE DESEMPENHO 27 ANEXOS ANEXO I - CONCEITOS BÁSICOS DO MODELO LÓGICO 29 ANEXO II - QUESTIONÁRIOS PARA ENTREVISTAS 30 ANEXO III ELABORAÇÃO DO PLANO DE AVALIAÇÃO 31 ANEXO IV - ORIENTAÇÕES PARA REALIZAÇÃO DE OFICINA 32 3

4 INTRODUÇÃO A construção do modelo lógico é uma proposta para organizar as ações componentes de um programa de forma articulada aos resultados esperados, apresentando também as hipóteses e as ideias que dão sentido à intervenção. Considerado um instrumento para explicitar a teoria do programa, a aplicação do modelo lógico resulta em processo que facilita planejar e comunicar o que se pretende com o programa e qual o seu funcionamento esperado. 1 Em particular, pode ser utilizado como um instrumento para se proceder a avaliação ex-ante de programas, visando melhorar a consistência de sua formulação inicial. Alguns estudiosos da avaliação 2 destacam a importância de se partir da análise da teoria do programa para a identificação de deficiências do desenho que poderão interferir no seu desempenho. Aferir a qualidade da teoria significa, em síntese, verificar se o programa está bem desenhado e se apresenta um plano plausível para o alcance dos resultados esperados. Ou seja, se o desenho do programa contemplou a delimitação e a explicação do problema a ser enfrentado com a intervenção e se as ações planejadas têm como referências mudanças em causas do problema. Assim, para aferir a qualidade da teoria é necessário articular uma explícita descrição das ideias, hipóteses e expectativas que constituem a estrutura do programa e o seu funcionamento esperado. Em muitos casos a teoria não é explicitada de forma detalhada nos documentos oficiais de intervenções governamentais, o que dificulta uma análise adequada das propostas de programas. Inicialmente elaborada para organizar avaliações das intervenções governamentais que integram o Plano Plurianual (PPA), a versão de modelo lógico aqui apresentada passou a integrar cursos sobre desenho de programas da Escola Nacional de Administração Pública (Enap), daí a atualização do roteiro antes elaborado por técnicos do Ipea. 3 A aplicação do modelo lógico pelo Ministério do Planejamento, Orçamento e Gestão surgiu como um instrumento para aperfeiçoar o desenho de programas do PPA, mediante o resgate e explicitação de sua teoria subjacente. Implementado desde 2007, o processo de construção de modelos lógicos de vários programas do governo federal tem servido igualmente para aprimorar a metodologia original para a formulação de programas, que embasou a mudança implantada em quando da elaboração do PPA Este roteiro visa orientar a construção de modelo lógico para subsidiar o processo de elaboração de programas governamentais, levando em conta a prioridade atribuída à avaliação como instrumento essencial para melhoria da gestão. 1 W.K. KELLOGG FOUNDATION. Logic Model Development Guide: Using Logic Models to Bring Together Planning, Evaluation, and Action BICKMAN, L. Using Program Theory in Evaluation. New Directions for Program Evaluation, n ; CHEN, H. Theory Driven Evaluations, Sage, 1990; Rossi, P.; LIPSEY, M E FREEMAN, H. Evaluation, a Systematic Approach, Sage FERREIRA, HELDER; CASSIOLATO, MARTHA; GONZALEZ, ROBERTO. Como Elaborar Modelo Lógico de Programa: um roteiro básico.,brasília: IPEA, (Nota Técnica n.2). 4 Ver Decreto n. 2829/98, que estabelece normas para a elaboração e gestão do Plano Plurianual e dos Orçamentos da União e Portaria MOG n.42/99, onde o programa é definido como o instrumento de organização da ação governamental visando à concretização dos objetivos pretendidos e estará voltado para o enfrentamento de um problema precisamente identificado. 4

5 SOBRE A METODOLOGIA DO MODELO LÓGICO O modelo lógico 5 busca configurar um desenho do funcionamento do programa, que seja factível em certas circunstâncias, para resolver os problemas identificados. Pode ser a base para um convincente relato do desempenho esperado, ressaltando onde está o problema objeto do programa e como este se qualifica para enfrentá-lo. Os elementos do modelo lógico são: recursos, ações, produtos, resultados intermediários e finais, assim como as hipóteses que suportam essas relações e as influências das variáveis relevantes de contexto. Os pressupostos sobre recursos e ações e como esses levam aos resultados esperados são frequentemente referidos como a teoria do programa. As hipóteses são de que os recursos adequados serão transformados em ações necessárias para os beneficiários selecionados, e isso, em um determinado contexto, irá levar aos resultados que o programa pretende alcançar. Tornar explícitas as hipóteses sobre como o programa supostamente deve funcionar, em variados contextos, cria a referência principal em que se baseia a gestão e o seu instrumento imprescindível, a avaliação. A metodologia proposta procura contribuir para o adequado desenho de um programa e que o mesmo possa ser gerenciado por resultados. Neste sentido, deve orientar a estratégia de execução do programa e a definição dos indicadores para o monitoramento e a avaliação. O processo de formulação do modelo lógico do programa deverá contribuir para garantir as seguintes condições: definição clara e plausível dos objetivos e resultados esperados do programa; identificação de indicadores relevantes de desempenho, que possam ser obtidos a um custo razoável; e comprometimento dos gestores do programa com o que está proposto no modelo lógico. Atendidas essas condições, o modelo lógico serve como um organizador para desenhar avaliação e medidas de desempenho, focalizando nos elementos constitutivos do programa e identificando quais questões devem ser colocadas para avaliação e quais medidas de desempenho são relevantes. É importante ressaltar que a construção de uma referência prévia para a avaliação busca estabelecer consensos para as expectativas dos diversos atores envolvidos. À medida que pontos prioritários e parâmetros de julgamento são pactuados anteriormente à avaliação propriamente dita, minimiza-se o risco de divergências quanto ao desenho da avaliação, à interpretação dos resultados e às recomendações de mudanças no programa avaliado. MODELO LÓGICO e MARCO LÓGICO: diferenças e semelhanças Não é sem razão que muitos confundem modelo lógico com marco lógico, pois as semelhanças no próprio nome são evidentes. Buscaremos aqui destacar, inicialmente, algumas diferenças básicas para depois apresentarmos aspectos comuns. As diferenças são mais de fundamento metodológico, por se constituírem em ferramentas cujas aplicações se remetem a dois campos complementares, mas originariamente distintos: planejamento de projetos e avaliação de programas. 5 MCLAUGHLIN, J.; JORDAN, G. Using Logic Models - Handbook of Practical Program Evaluation, Wholley, J

6 O marco lógico - também conhecido como matriz lógica - foi sistematizado pela agência alemã GTZ em um guia de orientação para o planejamento de projetos, mais conhecido como ZOPP (Planejamento de Projeto Orientado por Objetivos). De acordo com esse guia - e aqui será citada a etapa do processo que interessa destacar, as informações que compõem o projeto devem ser introduzidas em uma matriz lógica, iniciando o preenchimento de baixo para cima. Resumidamente, o preenchimento segue os seguintes passos: tomando como referência que tal atividade do projeto é realizada, de acordo com tal premissa, é obtido um resultado imediato que atende a um objetivo especifico, e este contribui para o alcance do objetivo geral. Ou seja, a lógica da matriz é toda referenciada por objetivos e suas metas. Uma vez identificados estes componentes do projeto, são definidos os indicadores e os seus meios de verificação (fontes) para complementar o preenchimento da matriz lógica. Matriz Lógica Descrição Metas Indicadores Meios de Verificação (Fontes) Premissas (Fatores de Risco) Objetivo Geral: Objetivo Específico: Resultados Imediatos: Metas de Impacto Metas de Efetividade Metas de Desempenho Atividades: Metas Operacionais Por sua vez, a proposta de modelo lógico é um recurso metodológico para explicitar a estrutura de programa orientado para resultados e foi desenvolvida por autores que se dedicam especificamente à avaliação de programas. Basicamente, o modelo lógico é uma maneira sistemática e visual de apresentar e compartilhar a compreensão das relações entre os recursos disponíveis para as ações programadas e as mudanças ou resultados que se espera alcançar 6. O diagrama apresentado a seguir resume a forma como se deve organizar a estrutura lógica dos componentes do programa. Estrutura Lógica Recursos Ações Produtos Resultados Intermediários Resultado Final Impactos Vale salientar, particularmente, que as duas formas de organização quais sejam: o formato de matriz adotado no marco lógico e o de diagrama do modelo lógico estão relacionadas aos propósitos diferenciados já mencionados anteriormente: matriz lógica para o planejamento de projetos, como instrumento auxiliar de decisão e monitoramento da execução por parte do financiador ou alocador de recursos, e estrutura lógica para organizar referências para avaliação, com ênfase maior à explicitação da teoria do programa, do que propriamente aspectos relacionados ao seu gerenciamento, ainda que esses também sejam partes integrantes do modelo lógico. 6 Guia da W.K. KELLOGG FOUNDATION, já mencionado (2004). 6

7 Com o propósito de auxiliar no desenho de programas e organizar a sua avaliação ex-ante, os técnicos do Ipea responsáveis pela formulação da proposta de modelo lógico fazem uma combinação de elementos de três propostas metodológicas. Inicialmente, a opção feita pelo formato de diagrama da estrutura lógica decorreu de sua simplicidade em apresentar, sob a forma de um registro gráfico, uma cadeia de conexões mostrando como se espera que um programa funcione para atingir os resultados desejados. Tem a vantagem de comunicar mais facilmente a teoria do programa, mostrando o que é o programa e qual seu desempenho esperado. Ademais, a versão do modelo lógico/ipea incorpora um aspecto importante do método ZOPP: a análise baseada na árvore de problemas, especialmente porque foi adotada pela metodologia de elaboração de programas do PPA. A explicação do problema e a definição de referências básicas do programa (objetivos e público-alvo) são os passos iniciais sistematizados na proposta do Ipea, que não guarda semelhança com os modelos lógicos trabalhados por diferentes autores do campo de avaliação. Vários outros elementos que compõem o método de Planejamento Estratégico Situacional (PES), de autoria de Carlos Matus, também passaram a integrar os passos de análise do modelo lógico/ Ipea. É importante aqui salientar que essa proposta formulada pelo Ipea adiciona conhecimentos acumulados na experiência de seus técnicos em planejamento governamental. COMPONENTES DO MODELO LÓGICO IPEA Foram definidos três componentes para a construção do modelo lógico: 1. Explicação do problema e referências básicas do Programa (objetivos, público-alvo e beneficiários). 2. Estruturação do Programa para alcance de Resultados (Resultado Final e Impactos). 3. Identificação de Fatores Relevantes de Contexto. O primeiro componente combina aspectos metodológicos do ZOPP (a árvore de problemas), do PES (descritores do problema na situação inicial e identificação de causas críticas) e a explicitação de critérios de priorização de beneficiários sugerida pelo Ipea. O segundo e o terceiro componentes têm origem em propostas de autores de modelo lógico, como por exemplo MCLAUGHLIN, J.e JORDAN, G (2004) Para ilustrar a proposta do Modelo Lógico/Ipea, será utilizado o exemplo aplicado inicialmente ao Programa Segundo Tempo do Ministério do Esporte, em sua formulação em Esse programa serviu como o piloto para o desenvolvimento da metodologia, iniciativa assumida por técnicos do Ipea, em resposta à demanda colocada pela Comissão de Monitoramento e Avaliação do PPA, coordenada pelo Ministério do Planejamento 7. 7 FERREIRA, HELDER; CASSIOLATO, MARTHA; GONZALEZ, ROBERTO. Uma Experiência de Desenvolvimento Metodológico para Avaliação de Programas: o modelo lógico do Programa Segundo Tempo,, Brasília: Ipea, 2009 (Texto para Discussão n. 1369). 7

8 1. Explicação do problema e referências básicas do Programa A fim de facilitar a visualização, foram construídos dois diagramas: o primeiro com as referências básicas do programa, e o segundo com a explicação do problema no formato da árvore de problemas. As referências básicas apresentam o enunciado do problema e seus descritores na situação inicial (mais à frente, será apresentado o conceito de descritores, conforme definido pelo método PES de Carlos Matus), e os atributos que delimitam o campo de atuação do programa, quais sejam: objetivos, públicoalvo e beneficiários, bem como os critérios para seleção das pessoas que serão atendidas pelo programa. Referências Básicas do Programa Objetivo Geral Descritores do Problema Situação Inicial (2008) d1= 400 mil alunos freqüentam escolas públicas em jornada integral d2= 17 milhões de crianças e adolescentes em situação de vulnerabilidade social (de famílias beneficiárias do BF) Problema Dificuldade de crianças e adolescentes expostos a situações de maior risco social em praticar esporte educacional no tempo ocioso Programa Segundo Tempo Democratizar o acesso ao esporte educacional de qualidade, como forma de inclusão social, ocupando o tempo ocioso de crianças e adolescentes em situação de risco social. Objetivos Específicos - Oferecer práticas esportivas educacionais, estimulando crianças e adolescentes a manter uma interação efetiva que contribua para seu desenvolvimento integral. - Oferecer condições adequadas para a pratica esportiva educacional de qualidade. Público Alvo Crianças e adolescentes expostos ao risco social Beneficiários Crianças e adolescentes atendidos pelo Programa Critérios de Priorização - alunos de escolas públicas com IDEB abaixo de 3,2; - territórios com violação de direitos (trabalho infantil, exploração sexual, aliciamento pelo narcotráfico,..) A construção da árvore de problemas é a forma usualmente utilizada para elaborar a explicação do problema e foi adotada pelo governo federal para elaborar programas do PPA. Sua vantagem é que essa é uma forma bastante simples e útil para efetuar a análise de problema. A árvore é organizada em torno de um problema central, e os demais problemas, que irão compor a explicação, serão definidos ou como causas ou como consequências do problema central. Essas diferenciações entre os níveis de problemas (se central, ou causas e consequências) são importantes para orientar as ações efetivas para a mudança prevista pelo programa. Particularmente, para garantir a mudança pretendida na situação problema, as ações do programa deverão intervir em causas selecionadas como críticas (o conceito de causas críticas será apresentado mais à frente). 8

9 Explicação do Problema Conseqüências Muitas crianças, e adolescentes expostos à situação de risco social (drogas, prostituição, gravidez precoce...) Exclusão de crianças e adolescentes de uma atividade educativa complementar Problema Dificuldade de crianças e adolescentes em situação de maior risco social em praticar esporte educacional no tempo ocioso Causas Concorrência com atividades ilícitas nocivas Pobreza dificulta o acesso a atividades esportivas Insuficiência de espaços e de infraestrutura esportiva para crianças e adolescentes de comunidades pobres Indisponibilidade e inadequação de espaços existentes para a prática esportiva por crianças e adolescentes de comunidades pobres Profissionais de educação física não estão capacitados para prática do esporte educacional Baixa oferta de projetos para prática de esporte educacional Baixa prioridade do esporte como política pública Utilizar um método para enunciar o problema e elaborar sua explicação deveria ser, a princípio, o passo inicial na elaboração de programas. Ao se definir qual é o problema a ser enfrentado pelo programa, o objetivo geral é mais facilmente identificado, que é exatamente a mudança da situação do problema. O público-alvo fica evidenciado e torna-se mais claro definir quais ações irão integrar o programa, dado que estas devem estar orientadas para alterar as causas do problema. É importante também justificar os aperfeiçoamentos incorporados à Nota Técnica nº. 2 da Disoc/Ipea 8, que apresentou os procedimentos da proposta em sua versão inicial. A experiência na aplicação do modelo lógico, desde então, revelou a necessidade de incluir alguns novos elementos: conceitos de descritores e de causas críticas - presentes no método PES - e critérios para a priorização dos beneficiários, em casos que o programa não tem alcance para todo o seu público-alvo. Segundo Carlos Matus 9, antes de explicar um problema é preciso definir seu significado e conteúdo mediante sua descrição. Os descritores cumprem o papel de enumerar de forma clara os fatos que mostram que o problema existe e tornam mais preciso o enunciado do problema, para que o mesmo possa ser verificável por meio da enumeração dos fatos que o evidenciam. Assim, a descrição de um problema expressa seus sintomas, ou seja, suas evidências na situação inicial, e estabelece uma linha de base para aferir a mudança esperada com a intervenção para enfrentar o problema. Os descritores também são 8 FERREIRA, CASSIOLATO & GONZALEZ (2007). 9 HUERTAS, FRANCO. O Método PES: entrevista com Carlos Matus. 4ª ed. São Paulo: Fundap, p. 9

10 importantes para auxiliar na construção posterior dos indicadores de resultados finais, sendo que, algumas vezes, já aparecem formulados de forma direta como indicadores. Para Matus, algumas das causas que compõem a explicação do problema são críticas para concentrar e tornar prática a ação destinada a mudar os descritores da situação inicial do problema. No método PES, são os chamados nós críticos ou causas críticas do problema. Estas devem cumprir três requisitos: 1) ter alto impacto na mudança do problema; 2) ser um centro prático de ação, ou seja, o ator pode agir de modo prático, efetivo e direto sobre a causa; e 3) ser politicamente oportuno agir sobre a causa identificada. A explicitação dos critérios de priorização dos beneficiários é essencial para orientar as ações do programa nos casos já assinalados de insuficiência de recursos para atender todo o público-alvo. Revela, também, os compromissos, ou as opções políticas, assumidos na execução do programa e facilita o monitoramento e a aferição de sua eficácia. 2. Estruturação do Programa para alcance de resultados As ações do programa devem estar orientadas para mudar causas críticas do problema, aquelas sobre as quais se deve intervir pelo seu maior efeito para a mudança esperada. As ações geram produtos, que são bens ou serviços ofertados aos beneficiários do programa. Em decorrência dos produtos das ações, os resultados intermediários evidenciam mudanças nas causas do problema e, por sua vez, levam ao resultado final esperado, que está diretamente relacionado ao objetivo do programa, refletindo a mudança no problema. 10

11 Estruturação do Programa para alcance de Resultados Recursos Ações PPA Ações Modelo Lógico Produtos Resultados Intermediários Resultado Final Não Orçamentário Implantação de Núcleos de Esporte Educacional Articulação com parceiros para implantação de Núcleos Núcleos implantados para atender crianças e adolescentes Pagamento de monitores e coordenadores monitores e coordenadores desenvolvendo atividades no Núcleos Ampliação do número de profissionais atuando em esporte educacional Orçamentário Funcionamento de Núcleos de Esporte Educacional Distribuição de material esportivo (Pintando a Liberdade) Transferência de recursos para material suplementar Material esportivo adequado à demanda dos Núcleos Material suplementar para atividades esportivas Núcleos abastecidos com material esportivo e suplementar Repasse de recursos para reforço alimentar Fornecimento de transporte (quando necessário) Alimento disponibilizado para reforço alimentar de crianças e adolescentes Deslocamento de crianças e adolescentes da comunidade ao Núcleo Aumento da participação e permanência de crianças e adolescentes crianças e adolescentes expostos a situação de risco social praticando regularmente esporte educacional no tempo ocioso Capacitação monitores e coordenadores capacitados para atuarem nos Núcleos Melhoria da qualificação dos profissionais atuando nos núcleos do 2º Tempo Orçamentário Promoção de eventos de Esporte Educacional Organização de eventos do 2º Tempo eventos realizados para participantes Promoção de troca de experiência entre os participantes do Programa Orçamentário Orçamentário Implantação de infraestrutura para o desenvolvimento de Esporte Educacional Apoio a projetos esportivos sociais para infância e adolescência Priorização de projetos de implantação de Núcleos 2º Tempo Captação de recursos para apoio a projetos esportivos em Núcleos do 2º Tempo espaços físicos esportivos e equipamentos implantados em comunidades pobres projetos esportivos chancelados como núcleos do 2º Tempo Ampliação e melhoria da capacidade de atendimento de crianças e adolescentes em áreas de risco social Orçamentário Publicidade de utilidade pública Organização de campanhas para divulgar o 2º Tempo campanhas realizadas Adesão ao Programa por famílias de comunidades pobres Neste exemplo utilizado do Segundo Tempo, por se tratar de programa do PPA, as ações aparecem em duas colunas: ações do PPA e ações Modelo Lógico. Isso se fez necessário pelo fato de uma das ações do programa no PPA, Funcionamento de Núcleos de Esporte Educacional, assemelhar-se ao que Carlos Matus chama de operação, uma categoria intermediária entre programa e ação, não presente na formulação de programas do PPA. Dada a ausência dessa categoria, que englobaria um conjunto de ações de fato, e como o orçamento da União é definido em nível de ação, o que ocorre é que nos programas do PPA muitas ações acabam por se converter no que se convencionou chamar de ação guarda-chuva, de forma a não comprometer as exigências da execução orçamentária, Ou seja, por meio dessa ação guarda chuva do Programa Segundo Tempo é que são viabilizadas de fato ações de capacitação de recursos humanos, aquisição e distribuição de material didático-esportivo, concessão de bolsas a monitores/estagiários, distribuição de reforço alimentar às crianças e adolescentes, transporte e outras que possam garantir o funcionamento dos núcleos. 10 Como é uma exigência da aplicação do modelo lógico que os produtos das ações sejam precisamente definidos, foi necessário abrir uma nova coluna com as ações que geram produtos efetivos no programa. Na aplicação do modelo lógico ao Programa Segundo Tempo, foi necessário associar ao resultado final alguns impactos esperados na perspectiva dos formuladores, bem como outros efeitos indiretos que a 10 Texto já mencionado de FERREIRA, CASSIOLATO & GONZALEZ (2009). 11

12 gerência do programa considerou importante registrar. Em outras aplicações do modelo lógico passou-se, também, a explicitar os impactos como os efeitos diretamente associados ao alcance do resultado final e que, muitas vezes, refletem mudanças nas consequências do problema. A experiência na utilização do modelo lógico com dirigentes de programas revelou que eles, em geral, justificam seus programas pelos impactos esperados, cujos efeitos não podem ser somente atribuídos ao programa, apesar de que podem decorrer diretamente do alcance do resultado final. Embora os impactos sejam muito relevantes, o que importa é deixar explícito o compromisso dos dirigentes com o alcance do resultado final, e que este seja algo factível de ser mensurado e aferido em tempo oportuno. Neste momento de construção da estrutura lógica do programa, fica evidente a importância de se elaborar uma representação adequada dos vínculos causais, de forma que seja possível contemplar claramente a relação entre aquilo que o programa deve produzir e o resultado a que se propõe. 12

13 3. Identificação de Fatores Relevantes de Contexto Para finalizar a construção do modelo lógico, é preciso refletir sobre as possíveis influências do contexto sobre a implementação do programa. Devem ser identificados os fatores relevantes de contexto que podem favorecer e os que podem comprometer o desenvolvimento das ações. Esse é um dado importante da realidade do programa, o qual irá permitir conhecer a sustentabilidade das hipóteses assumidas na sua estruturação lógica para o alcance de resultados. Fatores Relevantes de Contexto É importante ter em mente que a apreciação sobre os fatores de contexto deve ser continuamente atualizada, pois mudanças sempre ocorrem na forma de novos fatos, que podem ser oportunidades a serem aproveitadas ou entraves a serem superados. 13

14 PASSOS DE ANÁLISE DO MODELO LÓGICO São propostos três passos para a análise do modelo lógico. O primeiro verifica a consistência do encadeamento lógico dos componentes do modelo. Uma vez testada sua consistência, é importante identificar eventuais fragilidades nas relações estabelecidas para se alcançar os resultados esperados, realizando uma análise de vulnerabilidade do modelo lógico. E o terceiro passo, a análise da motivação dos atores, auxilia na formulação de estratégias para construir viabilidade política para a implementação do programa. 1. Teste de consistência do modelo lógico 11 Esse teste inicial consiste em descrever a lógica da intervenção com hipóteses, verificando uma série de assertivas se então : Considerando as percepções sobre os fatores chave do contexto, se utilizo tais recursos, então implemento tais ações; se tais ações são executadas, então obtenho tais produtos para grupos de beneficiários. Se tais produtos são realizados, então alcanço os resultados intermediários. Se resultados intermediários ocorrem, então obtenho resultado final que irá levar ao alcance do objetivo da intervenção. Assim, o teste de consistência tem por objetivo testar o desenho do programa, em linhas gerais. Ou seja, se as ações propostas são realizáveis com os recursos propostos e se elas produzem os bens e serviços identificados; se esses produtos são suficientes e necessários para a consecução dos resultados intermediários e, principalmente, se a soma dos intermediários leva ao resultado final, o qual estará efetivamente contribuindo para a mudança na situação inicial do problema que o originou. 2. Análise de Vulnerabilidade 12 A análise de vulnerabilidade é uma ferramenta para identificar os elementos de invalidação das apostas contidas na estruturação do modelo lógico, decorrentes das assertivas se então verificadas no teste de consistência realizado anteriormente, especialmente no que se refere à sua execução. Eventuais fragilidades das ações para o alcance dos resultados pretendidos, principalmente em relação a fatores externos, devem então ser devem então ser identificadas. Como não existe o controle das circunstâncias em que o programa é implementado, é preciso levantar as condições que podem invalidar seu funcionamento esperado, ou seja, no que pode ser considerado como apostas contidas nas ações do programa. Identificadas as condições de invalidação de cada aposta, ação por ação, faz-se, então, uma avaliação qualitativa da probabilidade e do impacto desses condicionantes, em uma escala simples de alto, médio e baixo. De seu efeito combinado, obtém-se a percepção sobre a vulnerabilidade ou não da aposta à determinada condição de invalidação. Caso seja identificada vulnerabilidade a uma condição de invalidação, será preciso definir ações para sua superação ou, até mesmo, acrescentar ações ao desenho do programa. A análise de vulnerabilidade deverá estar organizada em uma matriz, mostrada a seguir. Para facilitar a compreensão, será apresentado exemplo aplicado no Programa Segundo Tempo 13. Na formulação da a- 11 Teste sugerido no Guia da FUNDAÇÃO KELLOGG (2004) já citado. 12 MATUS, CARLOS. Guia Teórico do Planejamento Estratégico Situacional (PES). 13 Texto já mencionado de FERREIRA, CASSIOLATO & GONZALEZ (2009). 14

15 posta é preciso associar os recursos utilizados na ação com o resultado intermediário esperado e questionar com um a menos que para levantar possíveis condições de invalidação. Ação: Transferência de recursos para Reforço Alimentar Aposta: Se forem utilizados X recursos financeiros para garantir reforço alimentar adequado aos participantes, serão ampliadas a participação e a permanência de crianças e adolescentes no Programa. A menos que: Condições de Invalidação Probabilidade Impacto Vulnerabilidade 1. Os recursos não sejam suficientes para garantir uma Alta Alto Sim alimentação adequada Ações: a. Buscar parceria com o MDS e outros possíveis parceiros b. Complementação de recursos pelo Núcleo parceiro c. Utilizar as instalações públicas disponíveis das escolas d. Executar convênios, prioritariamente, com quem possuir infra-estrutura adequada para preparar o reforço alimentar 2. Os cardápios não sejam adequados Alta Alto Sim Ação: a. Utilizar os cardápios mínimos que o FNDE estabelece para a merenda escolar 3. As dificuldades na operacionalização de recursos para o fornecimento do lanche afetem sua qualidade Alta Alto Sim Ação: a. Buscar tratamento legal diferenciado para o conveniamento do reforço alimentar do Programa Carlos Matus: Toda aposta esconde fragilidades, tente sempre descobri-las questionando as circunstâncias que invalidam o resultado da aposta. Por se tratar de uma aferição qualitativa, incorpora grau de subjetividade na atribuição da vulnerabilidade a situações cujos efeitos combinados de probabilidade e impacto sejam diferentes dos extremos da escala: alta e alto vulnerável, ou baixa e baixo não vulnerável. A análise de vulnerabilidade é uma ferramenta para lidar com um tipo de incerteza que pode ser gerada por falhas na capacidade de análise dos formuladores ou na implementação do programa. Diz respeito a falhas relacionadas com as apostas para alcance de resultados, as quais estão contidas em cada ação do programa, considerando-se as condições externas de sua execução. Dessa forma, é um momento de reflexão sobre eventuais fragilidades destas apostas, levantando condições para sua invalidação e o que é preciso fazer para superar as vulnerabilidades. 3. Análise da Motivação de Atores Como argumenta Carlos Matus, Em qualquer processo de mudança social há atores ou jogadores (Matus trabalha com a ideia de jogo social) que têm posições diversas em relação ao plano de um ator no seu conjunto ou em relação a cada operação em particular. Nesse sentido, existem reações de apoio ou rejeição que podem viabilizar politicamente a implementação das operações do plano ou, ao contrário, inviabilizá-las. Na geração dessas posições pesam: a inércia, a desconfiança, a rivalidade, os preconceitos, a cegueira situacional, os interesses e as pequenas parcelas de poder. 14 O método PES, formulado por Matus, propõe uma análise das motivações dos atores em relação a cada uma das ações planejadas como parte da análise de viabilidade política do programa. 14 MATUS, CARLOS. Guia Teórico do Planejamento Estratégico Situacional (PES).

16 Define a viabilidade política como um resultado das pressões exercidas pelos atores, contra ou a favor da materialização das ações do programa. Portanto, é necessário saber como eles desejam atuar (motivação), e como podem efetivamente jogar (capacidade e força). Alguns conceitos básicos do PES são necessários para a análise de motivação dos atores: ATOR SOCIAL: É uma organização, uma personalidade ou um grupo social que atua no contexto, relacionando-se com os problemas de maneira ativa. O ator social é identificado a partir dos seguintes requisitos: 1. Possui um projeto. 2. Controla um recurso relevante para o jogo. 3. Possui capacidade de produzir fatos no jogo social. MOTIVAÇÃO DE ATORES: é uma combinação do valor atribuído pelo ator a uma determinada ação e o interesse na mesma, onde: VALOR : cada ator social atribui um valor a cada operação, e esse valor indica a importância que a operação representa para ele, calculada a partir da estimativa da magnitude do seu impacto. Podemos qualificar o valor em uma escala, tal como: A = alto, M = médio, e B = baixo. INTERESSE: pode ser de: apoio (+), rejeição (-), ou indiferença pura (O) A seguir, são apresentados alguns exemplos de como a combinação de interesse e valor podem revelar a motivação do ator. interesse valor motivação (+) A + A (forte apoio ) (-) A - A (forte rejeição) (+) B + B (apoio débil) (-) B - B (rejeição débil) MATRIZ DA MOTIVAÇÃO DE ATORES Atores Ação 1 Ação 2 Ação 3 Ação 4 Ação 5 A1 +A +A +A +A +A A2 +A 00 +M +M +M A3 0 +A +A +M +M A4 -A -M +M +M +M A5 -A -A +M +A +A A6 -A -A +M +A +A conflito conflito consenso consenso consenso Essa análise da motivação dos atores em relação ao programa é uma aferição qualitativa, em uma escala simples para atribuir o valor (alto, médio ou baixo), bem como para o julgamento sobre interesse (apoio, rejeição ou indiferença). É um momento que incorpora muito da subjetividade de quem faz essa análise. Ao final, para se definir se uma situação que combina a motivação de vários atores é potencialmente de conflito ou de consenso, será preciso considerar o peso que cada ator tem em função dos recursos que controla. 16

17 Muito embora sejam fato as limitações enfrentadas para esse tipo de análise, é uma oportunidade para a reflexão sobre os outros atores relevantes para o programa. Essa reflexão é importante no momento de formulação de estratégias para a viabilização política do programa, o que envolve pensar que iniciativas e ações podem ser realizados para potencializar alianças ou neutralizar opositores. PROCESSO PARA CONSTRUÇÃO DO MODELO LÓGICO O desenvolvimento do modelo lógico deve ser entendido como um processo no qual o gerente do programa e sua equipe precisam estar bem envolvidos para compartilhar suas percepções sobre o que é o programa e quais são os resultados esperados. Em geral, a construção do modelo lógico é uma nova forma de pensar um programa, assim, é importante usar linguagem simples para facilitar o entendimento por todos. É recomendável que o trabalho de construção do modelo lógico seja conduzido por um grupo externo à gerência do programa, que deverá ter os conhecimentos necessários da metodologia a ser aplicada. Não somente é um trabalho que exige qualificação específica, como é importante que seja feito por pessoas que possam auxiliar o dirigente e sua equipe no desenvolvimento da construção do modelo lógico. Desde 2007, o modelo lógico vem sendo utilizado no ajuste dos programas do PPA e, principalmente no aperfeiçoamento do desenho dos programas do PPA Nesse caso, objetivou-se melhorar seus desenhos de forma a tornar plausível o alcance dos resultados esperados e construir referências para um processo de avaliação. Contudo, verificou-se que essa proposta de modelo lógico apresenta um grande potencial para sua utilização no desenho inicial de programas, e, nesse sentido, o presente roteiro pretende apresentar procedimentos também para a aplicação em novos programas. PROCEDIMENTOS PARA MODELO LÓGICO DE NOVOS PROGRAMAS ETAPA 1 Identificação e Análise do Macroproblema Um conceito importante, que estava presente no manual para a elaboração do PPA (o primeiro PPA após a mudança metodológica introduzida pelo Decreto n. 2829/98), era o conceito de Macro- Objetivos. Estes compunham a Orientação Estratégica do Presidente da República, e nesse mesmo documento também eram estabelecidas as diretrizes para dar início ao processo de formulação do Plano de Governo e seus programas. No PPA seguinte, para o período , os Macro-Objetivos foram substituídos pelos Desafios, que também compuseram um documento de Orientação Estratégica de Governo. Apesar de a mudança na denominação ter sido alterada, a ideia subjacente permanecia a mesma, ou seja, deveriam estar relacionados a Macroproblemas, que se constituiriam em situações indesejáveis e localizadas num plano de maior grandeza e complexidade. São questões dessa magnitude que deveriam compor a agenda do Presidente para orientar a formulação de seu Plano de Governo e que deveriam ser enfrentadas no processo governamental com ações efetivas organizadas em programas do PPA. Retomamos aqui essa proposta de iniciar o processo de formulação de programas a partir da reflexão de Macroproblemas, no plano maior da política governamental. Uma das principais vantagens de se partir da análise do Macroproblema é a percepção do que efetivamente precisa ser feito para a mudança almejada em uma situação de mais elevada grandeza e complexidade. Ao se ter essa referência analítica, com a identificação das causas do Macroproblema, fica mais evidente quais são os problemas críticos (ou as causas críticas do Macroproblema) que deverão ser objeto de intervenção com programas governamentais.

18 O exemplo de análise do Macroproblema da Educação Básica, a seguir apresentado no formato de árvore de problemas, deve ser visto apenas como uma formulação para exercício utilizado em cursos na Enap Explicação de Macroproblema elaborado por Martha Cassiolato e Simone Gueresi, que se valeram de diagnósticos apresentados em textos de especialistas da área de educação.

19 CONSEQUÊNCIAS Comprometimento do desenvolvimento socioeconômico do País. Descritores Situação Inicial (2007) d1: IDEB Fundamental 3,5 escola pública 5,8 escola privada Elevadas taxas de repetência (20,1% EF e 22.6% EM). Alta defasagem educacional em relação aos países desenvolvidos. Elevadas taxas de evasão (6.9% EF e 10% EM). Elevados índices de analfabetismo funcional. d2: IDEB Médio 3,2 escola pública 5,6 escola privada MACRO PRO- BLEMA Má qualidade da educação básica na maioria das escolas públicas. CAUSAS Desmotivação dos professores de educação básica. Carência de professores qualificados. Carga horária insuficiente para educação de qualidade. Escassa participação dos docentes na construção dos projetos da escola. Baixo envolvimento dos pais nas questões educacionais da escola. Baixa remuneração dos professores de educação básica. Precárias condições de trabalho nas escolas públicas de educação básica. A prática dos professores não é modificada pelos cursos de formação continuada. Desprestígio dos cursos de licenciatura nas universidades. Estrutura física precária das escolas públicas. Predomínio de gestão escolar rotineira e burocrática. Reduzido papel dos incentivos aos professores de educação básica. Insuficiência e má qualidade na formação continuada de professores de educação básica Precária supervisão escolar (visitas e diagnósticos). Desvalorização da Função Docente. Muitos municípios têm capacidade reduzida de gestão educacional. Escassa assistência técnica aos municípios pequenos e pobres. Recursos insuficientes para financiar educação de qualidade nas escolas públicas. Insuficiência de profissionais especializados em gestão educacional nas Secretarias Estaduais de Educação. Compromisso retórico com a melhoria da qualidade da Educação Básica. 19

20 É importante salientar que uma referência de Macroproblema, com uma explicação construída na perspectiva do ator social dirigente, pode contribuir para ampliar a eficácia da ação no sentido da mudança almejada e evitar a fragmentação decorrente da formulação de várias ações de alcance limitados presente em muitos dos programas do PPA. A elaboração de programas por meio da identificação dos nós críticos do Macroproblema pode, assim, conferir maior coerência, efetividade e coesão à ação de governo. ETAPA 2 Coleta e Análise das Informações para o desenho de programa a) Entrevistas com dirigente responsável pela proposta de programa Será realizada entrevista com o dirigente, responsável pela proposição do programa, para obter informações necessárias para a identificação do problema objeto da intervenção. Também serão levantados outros elementos que irão compor a explicação do problema, assegurando sempre que a perspectiva do dirigente é primordial nesse processo de enunciar o problema e sua explicação. A equipe que assessora do dirigente deverá, então, sistematizar as informações da entrevista no formato da árvore de problemas, sempre complementando com outras informações necessárias e buscando também fatos e evidências que poderão ser utilizados como descritores do problema. ETAPA 3 Pré-montagem da explicação do problema e referências básicas Antes de realizar a Oficina com o dirigente e sua equipe, os responsáveis pela condução do processo deverão afixar em painel, com registros em cartelas, as informações da entrevista realizada com o dirigente, complementando com o que for necessário para a construção da árvore de problemas e respectivos descritores. Inicialmente, explicita-se o problema e os descritores na situação inicial. A seguir, parte-se para a explicação do problema identificando as suas principais consequências. Isso feito é o momento de refletir em profundidade sobre as causas do problema e explorar as relações causais necessárias e suficientes para compor a explicação do problema. Os vínculos de causalidade deverão ser dispostos no formato de árvore de problemas, conforme diagrama apresentado anteriormente. Em relação às referências básicas do programa, é importante buscar a concordância do grupo para uma única assertiva sobre o objetivo geral, ou então buscar atribuir prioridades aos objetivos competitivos, se possível. Os objetivos específicos do programa deverão ser definidos como diretrizes que norteiam o conjunto das ações e não como específico para cada ação, o que será contemplado na etapa seguinte, com a elaboração dos resultados intermediários. ETAPA 4 Oficina para elaboração do programa a) Painel com a explicação preliminar do problema e referências básicas (objetivo, público-alvo e beneficiários) Todos os participantes da Oficina deverão ser solicitados a contribuir com a explicação do problema e eventuais diferenças de opiniões deverão ser debatidas pelo grupo. Quando todos os participantes da Oficina - dirigentes e sua equipe - estiverem de acordo com a explicação do problema, será o momento de definir as causas críticas que serão objeto da intervenção pelo programa, com a definição das ações que o comporão. A seguir, tem início a fase de construção das referências básicas do programa, com a identificação de objetivos, público-alvo e beneficiários. 20