Planejamento, Monitoramento e Avaliação de Projetos Sociais.

Transcrição

1 Planejamento, Monitoramento e Avaliação de Projetos Sociais. Prefeitura Municipal de Curitiba Instituto Municipal de Administração Pública IMAP Área: Desenvolvimento Social

2

3 Luciano Ducci Prefeito Municipal Carlos Homero Giacomini Presidente Maria do Carmo A. de Oliveira Superintendente Elaine Rossi Ribeiro Diretora da EAP Elaboração: Lycia Tramujas Vasconcellos Neumann

4

5 Bahia. Secretaria de Planejamento Sistemática de monitoramento e avaliação em programas e projetos governamentais. Salvador: SEPLAN/SGA, p. il. 1. Programa governamental Sistematização. 2. Metodologia. 3. Técnica de trabalho. I. Título. CDU: (061)

6 Junho de 2006

7 Governador do Estado da Bahia Paulo Ganem Souto Secretaria do Planejamento Armando Avena Secretaria da Agricultura, Irrigação e Reforma Agrária Pedro Barbosa de Deus Secretaria de Combate a Pobreza e Desigualdades Sociais Pe. Clodoveo Piaza S. J. 4 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

8 APRESENTAÇÃO APRESENTAÇÃO Investir na institucionalização do processo de monitoramento e avaliação (M&A) constitui um imperativo básico para a conquista da excelência dos serviços prestados pelo Estado. O Governo da Bahia encontra-se engajado nesse movimento internacional e com a criação da Superintendência de Gestão e Avaliação (SGA), no âmbito da Secretaria do Planejamento (Seplan), manifestou a vontade política de disseminar a cultura da avaliação nas Secretarias e órgãos do Estado, responsáveis pelo planejamento e operacionalização das políticas públicas. O documento que se apresenta, constitui um referencial para ser utilizado como catalisador dos diversos instrumentos e práticas de monitoramento e avaliação utilizados pelos diferentes órgãos gestores da administração pública estadual e está contemplado no Programa de Monitoramento e Avaliação, desenvolvido pela Seplan/SGA, tendo como um dos objetivos a criação de mecanismos essenciais para a gestão eficaz de programas e projetos estratégicos de Governo. A Sistemática de Monitoramento e Avaliação é, portanto, uma das ferramentas que deverá ser utilizada para a medição do grau de eficácia, efetividade e eficiência das intervenções do Estado na sociedade. SISTEMÁTICA SISTEMÁTICA DE MONITORAMENTO DE MONITORAMENTO E AVALIAÇÃO E AVALIAÇÃO EM PROGRAMAS EM PROGRAMAS E PROJETOS E PROJETOS GOVERNAMENTAIS GOVERNAMENTAIS5

9 Oferece ainda aos clientes da avaliação, um mapa dos caminhos a serem perseguidos, subsidiando a tomada de decisão para o aperfeiçoamento do programa ou do projeto ao longo de sua execução, com a descrição da seqüência de eventos relacionados, conectando o problema ou a oportunidade diagnosticada, com os resultados esperados. A ferramenta permite visualizar e compreender como os investimentos realizados na geração de produtos (bens ou serviços) podem contribuir para alcançar os objetivos planejados, servindo de base para a criação de procedimentos e processos de monitoramento e avaliação. O resultado esperado será a criação de um sistema de monitoramento e avaliação mantido e alimentado por todas as Secretarias do Estado, constituindo um poderoso instrumento de planejamento. Espera-se que esta semente encontre um terreno fértil para sua germinação, produzindo bons frutos: a melhoria do nível de excelência dos serviços públicos. APRESENTAÇÃO Armando Avena SECRETARIA DO PLANEJAMENTO 6 SISTEMÁTICA SISTEMÁTICA DE MONITORAMENTO DE MONITORAMENTO E AVALIAÇÃO E AVALIAÇÃO EM PROGRAMAS EM PROGRAMAS E PROJETOS E PROJETOS GOVERNAMENTAIS GOVERNAMENTAIS

10 SUMÁRIO 09 O processo de criação da sistemática 11 A linguagem do monitoramento e avaliação 15 Aspectos conceituais 17 O processo em 12 passos 19 PASSO 1: Definição do programa ou projeto a ser avaliado 20 PASSO 2: Formação de equipe mista de avaliação e elaboração do plano de trabalho 22 PASSO 3: Identificação e entrevista com os potenciais clientes da avaliação 26 PASSO 4: Elaboração do Modelo Lógico de Gestão e Análise de Avaliabilidade do Programa 28 PASSO 5: Análise de Avaliabilidade SUMÁRIO 29 PASSO 6: Definição do escopo da avaliação 32 PASSO 7: Análise dos instrumentos e registros já disponíveis do Programa 33 PASSO 8: Definição dos indicadores de monitoramento e avaliação a serem utilizados SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 7

11 37 PASSO 9: Definição e criação dos instrumentos para coleta de dados 40 PASSO 10: Coleta dos dados 42 PASSO 11: Tabulação e análise dos dados coletados 46 PASSO 12: Elaboração e disseminação do Relatório de Avaliação 47 Estrutura modelo do relatório de avaliação 48 Conclusão SUMÁRIO 49 Glossário 53 Referências Bibliográficas Anexos 54 ANEXO I Modelo Lógico de Gestão do Programa Cabra Forte 59 ANEXO II Questionário para levantamento de informações 62 ANEXO III Instrumento usado para análise dos dados coletados sobre o Programa Cabra Forte 8 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

12 O PROCESSO DE CRIAÇÃO O PROCESSO DE CRIAÇÃO DA SISTEMÁTICA A construção da Sistemática de Monitoramento e Avaliação em Programas e Projetos Governamentais teve como principio básico a premissa de que o processo avaliativo de políticas públicas permite aperfeiçoar a gestão das ações desenvolvidas por um governo para atender de modo eficiente e eficaz as demandas da sociedade e constitui uma ferramenta estratégica que permite conhecer, entender, decidir e planejar de modo aprimorado com o aprendizado do passado e do presente. O Programa de Monitoramento e Avaliação que vem sendo conduzido pela Secretaria do Planejamento, através da Superintendência de Gestão e Avaliação, busca assegurar a eficácia das políticas públicas, seus planos, programas, projetos e atividades e o bom uso dos recursos sob responsabilidade das organizações. O Programa está estruturado em quatro estratégias que se complementam e vêm gerando um conjunto diversificado de processos e produtos. A estratégia de formação visa sensibilizar e capacitar servidores estaduais para atuarem em monitoramento e avaliação de programas e projetos governamentais e a divulgação de experiências exitosas. A estratégia de informação tem por objetivo produzir, analisar e veicular informações confiáveis e tempestivas para subsidiar a tomada de decisão, a correção de procedimentos e a retroalimentação do processo de planejamento. Na estratégia de articulação/comunicação está sendo implementado um trabalho em parceria com as Secretarias e órgãos estaduais, visando aperfeiçoar o formato e o fluxo das informações das ações de Governo. Por fim, a estratégia de Planejamento, visa estimular boas práticas de planejamento focadas em resultado e resulta na construção das matrizes lógicas, onde estão explicitados os objetivos, atividades, produtos, resultados e impactos, com a definição dos respectivos indicadores para cada secretaria. A implementação destas estratégias já apresenta melhorias na qualidade da programação, execução, monitoramento e avaliação das ações governamentais, contribuindo para uma maior racionalização no ciclo de gestão do Estado. SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 9

13 A construção e implementação de uma sistemática de monitoramento e avaliação em programas e projetos governamentais é um dos componentes do Programa de M&A e apresenta-se como um pré-requisito básico para o aperfeiçoamento do processo de gestão e para a criação das condições da retroalimentação da programação de Governo. Um outro determinante para a elaboração deste documento foi o compromisso em preencher uma lacuna na gestão pública estadual, face à inexistência de uma cultura avaliativa e de uma sistemática que oriente metodologicamente o processo de monitoramento e avaliação para a otimização na utilização dos recursos públicos e na maximização dos resultados. O documento foi construído por uma equipe composta por representantes de diversas Secretarias, envolvidas na implementação do Programa selecionado, denominada Matricial, liderada pela Seplan/SGA, contando ainda com o apoio da Fundação Luis Eduardo Magalhães (FLEM). A adoção desta Sistemática possibilitou, de um lado, produzir e testar metodologias e instrumentos de M&A capazes de medir o grau de eficiência, eficácia e efetividade das intervenções governamentais e, de outro lado, capacitar técnicos da SGA e demais Secretarias e entidades responsáveis pela concepção e implementação do Programa Cabra Forte, programa escolhido para testar a ferramenta da Sistemática. Resultado de um trabalho prático e participativo, a partir de discussões e contribuições de diversos profissionais do setor público estadual, em oficinas e reuniões, foi possibilitado um aprendizado consistente sobre o assunto e a construção dos passos da metodologia. A elaboração do Modelo Lógico de Gestão de Programas e Projetos Governamentais (MLGP), é um dos passos mais importantes para a utilização desta Sistemática, na medida que possibilita o compartilhamento de informações sobre o real funcionamento de uma intervenção governamental, através da explicitação das atividades planejadas e dos resultados esperados, demonstrando as premissas e os objetivos do programa a ser monitorado e avaliado. É importante registrar que este documento constitui-se em um primeiro esforço de construção metodológica para nortear as práticas de M&A no Estado, contribuindo para a disseminação dos aspectos teóricos e processuais na gestão dos programas e projetos governamentais. O PROCESSO DE CRIAÇÃO 10 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

14 A LINGUAGEM DO MONITORAMENTO E AVALIAÇÃO A LINGUAGEM DO MONITORAMENTO E AVALIAÇÃO Apesar da crescente disseminação de trabalhos de monitoramento e avaliação em instituições públicas e privadas do Brasil e do mundo, ainda encontramos muito dissenso sobre alguns dos seus principais conceitos. Assim, torna-se imprescindível na elaboração de qualquer sistemática de monitoramento e avaliação, uma definição prévia dos conceitos a serem adotados ao longo do trabalho. No início deste projeto foi realizada uma oficina de Alinhamento Conceitual onde foram apresentadas definições dos termos monitoramento e avaliação adotados por organizações nacionais e internacionais. A partir de uma síntese dessas definições, foi elaborado o quadro abaixo que ressalta as diferenças entre os dois instrumentos: Monitoramento Atividade de gestão interna e contínua. Acontece durante a implementação do programa ou projeto. Compara o que está sendo realizado com o que foi planejado. Foram também analisados diferentes tipos de avaliação e seus objetivos, ficando então definido que a Sistemática aqui apresentada será instrumento para a realização de avaliações com as seguintes características: Avaliação Atividade interna ou externa. Pode acontecer antes, durante ou depois da implementação de um programa ou projeto. Com base em dados levantados pelo monitoramento e outras fontes, julga o desempenho de um projeto de acordo com critérios pré-estabelecidos, tais como: eficácia, eficiência, efetividade, sustentabilidade, dentre outros. Interna (Internal Evaluation) conduzida por membros das organizações associadas ao programa, projeto ou objeto que está sendo avaliado. SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 11

15 Formativa (Formative Evaluation) utilizada durante a implementação de um programa ou projeto, para fornecer informações que permitam o seu aprimoramento. Avaliações Formativas são usadas para dar um retorno às equipes técnicas sobre os componentes do programa/projeto que estão funcionando e aqueles que precisam ser modificados. De Programas ou Projetos (Program Evaluation) utilizada para determinar se os objetivos, formato e resultados do programa ou projeto estão adequados, assim como seu grau de eficiência, eficácia e efetividade na aplicação dos recursos. Dentro do ciclo governamental de criação e execução de políticas e programas, esta Sistemática visa à realização de avaliações de processo e resultados de programas em fase de implementação, conforme demonstrado na figura a seguir: A Avaliação no Ciclo das Políticas Públicas Formato Estratégico da Política Avaliação das necessidades/ questões prioritárias Formulação do Programa Início da operacionalização Avaliação prévia Avaliação de processo Implementação Avaliação de resultados Reformulação, expansão, redução, encerramento Avaliação final A LINGUAGEM DO MONITORAMENTO E AVALIAÇÃO 12 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

16 A LINGUAGEM DO MONITORAMENTO E AVALIAÇÃO Avaliações de processo e resultados podem acontecer simultaneamente, complementando-se na função de orientar as equipes gestoras para maior compreensão do programa, seu funcionamento e seus resultados junto ao público-alvo. A avaliação de processo visa determinar o grau em que o programa está operando conforme planejado. Este tipo de avaliação tem como objetivo entender o funcionamento do programa a partir da análise do que ele faz e de quem são seus beneficiários para, assim, aprimorar suas ações. A avaliação de processo também ajuda na identificação dos elementos essenciais para o melhor desempenho do programa em termos de produtos, resultados e impactos. Em geral, responde a perguntas em duas categorias cobertura e processo. Cobertura: analisa o alcance do programa e as características dos beneficiários. Processo: analisa a consistência do programa e a qualidade de sua implementação. Exemplos de Perguntas Avaliativas de Processo Quanto à cobertura: Quais são as principais características dos participantes? Estamos atendendo quem deveríamos atender? Em qual proporção estamos conseguindo atender aqueles que nos procuram? Quanto ao processo de implementação do programa: As atividades estão acontecendo conforme planejado? Quais são os pontos fortes e fracos das estratégias e atividades do programa? Como os diferentes atores percebem o programa? SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 13

17 A avaliação de resultados analisa em que grau o programa vem produzindo os benefícios e transformações a que se propõe. As atividades de um programa produzem três tipos de resultado: produtos (outputs), resultados (outcomes) e impactos (impact). Atividades: procedimentos do programa que são mobilizados visando à obtenção dos efeitos desejados (como o treinamento de produtores, perfuração de poços, etc.). Produtos: efeitos imediatos de cada atividade do programa (como o número de pessoas capacitadas, aulas dadas, materiais produzidos, etc.). Resultados: impactos de curto prazo, resultado direto do programa nos seus beneficiários (normalmente referem-se a mudanças de conhecimento, habilidades, comportamento e valores). Impactos: benefícios e transformações de médio e longo prazo para os participantes e beneficiários indiretos do programa (suas famílias e comunidades). Exemplos de Perguntas Avaliativas de Resultado Quanto aos produtos: Estamos fazendo o que dissemos que íamos fazer? As metas estão sendo cumpridas? Se não, por que não? Quanto aos resultados: Estamos fazendo a diferença que planejamos fazer? Que efeitos o programa tem sobre os beneficiários diretos e indiretos? Quanto aos impactos: O programa causou os impactos esperados? Que grandes transformações o programa provocou na vida de seus beneficiários? A LINGUAGEM DO MONITORAMENTO E AVALIAÇÃO 14 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

18 ASPECTOS CONCEITUAIS ASPECTOS CONCEITUAIS A metodologia utilizada nesta Sistemática de Monitoramento e Avaliação baseiase em alguns conceitos, princípios e práticas mundialmente adotados por instituições e profissionais da área. Três foram os principais princípios norteadores deste trabalho: 1. A avaliação deve ser um instrumento de gestão, desde a sua elaboração até o futuro uso de seus resultados. 2. O valor da avaliação está na sua utilidade, na sua capacidade de atender às necessidades de informação de seus usuários. 3. O processo de avaliação deve ser construído e implementado de maneira compartilhada pelos avaliadores com a equipe técnica executora do programa. 2 Patton, Michael Quinn. (1997). Utilization-focused evaluation: the new century text. Londres: Sage Publications. Estes princípios baseiam-se em conceitos de Michael Quinn Patton, ex-presidente da Associação Americana de Avaliação (American Evaluation Association). Em sua obra Avaliação com Foco na Utilização (Utilization-focused Evaluation), Patton reforça a idéia de que avaliações deveriam ser julgadas pela sua utilidade e real uso. Visando garantir esta utilidade, Patton defende a prévia identificação e engajamento dos usuários da avaliação, pois, segundo ele, é mais provável que os potenciais clientes da avaliação a utilizem se eles compreenderem e se apropriarem do processo de avaliação e seus resultados 2. SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 15

19 OBJETIVOS A Sistemática de Monitoramento e Avaliação tem como objetivos: 1. Proporcionar avaliações periódicas do desempenho dos programas, instrumentalizando as equipes do Governo na gestão de recursos e obtenção de resultados mais efetivos. 2. Incorporar a atividade de monitoramento e avaliação como um instrumento de rotina em programas governamentais. Para estar apta a coordenar as atividades, a equipe Matricial deve ser capacitada em temas como: Os mitos sobre avaliação; Os principais conceitos e tipos de avaliação; A lógica e os valores da avaliação; A avaliação com foco na utilização seus passos e desafios; Os princípios da avaliação participativa; A relação entre políticas, programas e projetos; A análise de avaliabilidade; O modelo lógico de gestão do programa sua função e seus componentes. ASPECTO CONCEITUAIS 16 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

20 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 17

21 O PROCESSO EM 12 PASSOS A Sistemática de Monitoramento e Avaliação é uma metodologia para ser aplicada em programas e projetos estratégicos do Governo 3. Ela permite a obtenção periódica de informações sobre o desempenho das ações governamentais, propiciando o aprimoramento da sua execução, subsidiando a tomada de decisão quanto a novos projetos e parcerias e, assim, resultando na melhoria da gestão nos níveis estratégico, tático e operacional. Para facilitar a aplicação desta Sistemática, foram definidos 12 passos a partir da experiência-piloto vivida com o Programa Cabra Forte. 3 A Sistemática aqui apresentada pode ser aplicada tanto a programas quanto a projetos governamentais. Neste roteiro, o termo programa é usado de maneira generalizada, representando programas e projetos. O PROCESSO EM 12 PASSOS 18 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

22 PASSO 1: Definição do programa ou projeto a ser avaliado PASSO 1 O processo de avaliação de um programa é complexo e exige bastante dedicação não só dos avaliadores, mas também da equipe gestora. Por isso, a decisão de avaliar determinado programa deve ser tomada a partir do comprometimento de todos os envolvidos na sua execução. A definição de critérios técnicos para auxiliar na decisão de qual programa deverá ser avaliado, ajuda no estabelecimento das diretrizes do trabalho e alinha o entendimento de todos os participantes sobre a importância do estudo avaliativo a ser desenvolvido. Entre os critérios que podem ser adotados na seleção de programas a serem avaliados estão: Prioridade do tema: grau de importância do tema foco do programa. Clareza de foco: grau de clareza dos objetivos do programa. Visibilidade: grau de visibilidade do programa para a população da Bahia. Interesse dos gestores e responsáveis institucionais em avaliar: grau de interesse em avaliar o programa. Concordância: grau de entendimento entre os gestores envolvidos quanto aos objetivos, metas e resultados. Conhecimento: existência de informações que permitam o acompanhamento da execução física e financeira. Volume de recursos orçamentários: recursos orçamentários disponíveis para o programa. SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 19

23 PASSO 2: Formação de equipe mista de avaliação e elaboração do plano de trabalho A metodologia adotada nesta Sistemática prevê a formação de uma equipe mista de avaliação, formada por avaliadores da própria unidade gestora do programa a ser avaliado, equipe técnica do programa e, se necessário, consultores externos contratados. A Seplan dará o apoio em todo o processo de avaliação quanto aos procedimentos, normas e nas atividades relativas ao planejamento, articulação e gestão da informação. No caso de avaliação de programas multisetoriais, todas as Secretarias e Órgãos envolvidos na execução do programa deverão estar representados na equipe mista de avaliação. Desta forma, Mista de Avaliação: Principais Funções da Equipe garante-se que todas as perspectivas Articular o processo avaliativo com os setoriais serão consideradas no estudo. interesses e necessidades dos potenciais clientes da avaliação; A primeira tarefa a ser executada pela equipe mista de avaliação Participar da elaboração do Modelo é a elaboração do plano de trabalho Lógico de Gestão do Programa e da para a aplicação da Sistemática de definição do escopo da avaliação; Monitoramento e Avaliação no programa escolhido. A partir de infor- informações sobre o desempenho do Coletar, analisar e sistematizar as mações do programa a ser avaliado programa para garantir seu contínuo e da disponibilidade de recursos (humanos, financeiros e de tempo) a monitoramento; Elaborar relatórios de avaliação do equipe deverá detalhar as etapas programa com recomendações para apresentadas neste roteiro, definindo prazos e seu aprimoramento. responsáveis. PASSO 2 20 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

24 PLANO DE TRABALHO PLANO DE TRABALHO 12. Elaboração e disseminação do Relatório de Avaliação 11. Tabulação e análise dos dados coletados 10. Coleta de dados 9. Criação dos instrumentos para coleta de dados 8. Definição dos indicadores de M&A 7. Análise de instrumentos de M&A e registros existentes 6. Definição do escopo de avaliação 5. Análise das expectativas dos clientes de avaliação 4. Elaboração do Modelo Lógico de Gestão 3. Entrevista com potenciais clientes de avaliação 2. Formação da equipe mista de avaliação 1. Definição do programa a ser avaliado SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 21

25 PASSO 3: Identificação e entrevista com os potenciais clientes da avaliação Os potenciais clientes de uma avaliação são as pessoas e grupos que são afetados pelos seus resultados, estão em posição de tomar decisões sobre a avaliação, e pretendem usar as informações sobre o processo e os resultados da avaliação para definir futuras ações. A equipe de avaliação deverá definir no início dos trabalhos quem são os potenciais clientes da avaliação e entrevistá-los para conhecer suas expectativas e necessidades de informação que o estudo avaliativo deverá atender. PASSO 3 PROGRAMA CABRA FORTE Potencias clientes da avaliação entrevistados: Secretários da Agricultura, de Combate à Pobreza e do Planejamento; Representantes das Superintendências da Seplan; Gestor do Programa Cabra Forte; Representantes das unidades envolvidas: Empresa Baiana de Desenvolvimento Agrícola S.A. (EBDA), Companhia de Engenharia Rural da Bahia (CERB), Companhia de Desenvolvimento e Ação Regional (CAR) e Superintendência de Articulação e Programas Especiais da Secretaria de Combate à Pobreza e às Desigualdades Sociais (SPE/Secomp). 22 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

26 MODELO DE QUESTIONÁRIO A SER APLICADO COM OS CLIENTES DA AVALIAÇÃO. Com relação à avaliação do programa: 1. Quais são as suas expectativas sobre o processo e os resultados desta avaliação? 2. Como esta avaliação poderia contribuir para o aperfeiçoamento deste projeto? 3. Quais perguntas você gostaria que fossem respondidas por esta avaliação? 4. De que maneira as respostas a essas perguntas ajudariam no seu trabalho? 5. Quais decisões os resultados da avaliação poderiam influenciar? 6. Que dados e informações são necessários para esta tomada de decisão? 7. Quem deveria estar envolvido no processo de avaliação para orientá-lo quanto às suas expectativas? 8. Como nós poderemos saber no futuro se esta avaliação foi útil? 9. Outras informações e comentários? PASSO 3 Dados do Responsável Nome: Cargo: Telefone: SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 23

27 As informações coletadas junto aos potenciais clientes da avaliação deverão ser tabuladas e analisadas de maneira a orientar a definição do escopo da avaliação a ser realizada. Este processo de tabulação e análise deverá ser feito em três etapas: 1. Despersonalização das informações. 2. Tabulação por categoria de análise. 3. Priorização das expectativas e perguntas de avaliação. PROGRAMA CABRA FORTE Expectativas dos Clientes sobre a Avaliação PASSO 3 Quanto ao processo: Que utilize procedimentos de avaliação adequados às características do Programa; Que apure os resultados com qualidade e eficiência; Que identifique a necessidade de um eficiente banco de dados para controle e monitoramento do Programa; Que torne possível o monitoramento das ações do Programa de uma forma que seja facilmente exeqüível; Que crie um instrumento de fácil execução. Quanto aos produtos: Que possibilite a criação de banco de dados; Que gere informações sobre a eficiência, eficácia e efetividade do Programa; Que possibilite análise das transformações provocadas pelo Programa no seu público-alvo (resultados); 24 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

28 Que evidencie os resultados (positivos ou não) das intervenções, e se os investimentos realizados atendem às necessidades e expectativas dos pequenos criadores de caprinos e ovinos; Que demonstre se o Programa está alcançando os objetivos preconizados, ou seja, a melhoria da qualidade de vida da população e da região; Que analise até que ponto o Programa atende às necessidades dos beneficiários; Que analise o desempenho do Programa. Quanto aos resultados: PASSO 3 Que possibilite maior registro e disseminação para conscientização das equipes sobre os trabalhos que estão sendo realizados; Que possibilite a transparência, eficiência e eficácia dos recursos aplicados nos projetos do Governo; Que as equipes internalizem os conceitos de avaliação e passem a vê-los como instrumentos de gestão, para o aprimoramento e reconhecimento de seus esforços; Que possibilite a melhoria do fluxo de informações entre as equipes de trabalho; Que tenha continuidade no processo de avaliação da ação governamental; Que tenha continuidade para que a metodologia seja preservada e se tenha registro de séries históricas. Quanto ao futuro uso: Que sirva de subsídio para o planejamento estadual e para a tomada de decisões quanto a novos financiamentos e parcerias; Que leve à correção dos desvios identificados e subsidie outros programas. SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 25

29 PASSO 4: Elaboração do Modelo Lógico de Gestão O Modelo Lógico de Gestão do Programa (MGLP) é um instrumento visual e sistêmico de apresentação e compartilhamento de informações sobre os recursos alocados em um programa, as atividades previstas, os produtos e as mudanças que se esperam alcançar no curto, médio e longo prazo. De forma simples, o MLGP retrata um programa conforme ele vem sendo executado, facilitando a comunicação sobre o seu propósito fundamental e tornando-se um ponto de referência para todos os envolvidos na sua implementação. É importante sinalizar que apenas as atividades prioritárias para o desenvolvimento do programa deverão ser incluídas no Modelo Lógico de Gestão. Oficinas deverão ser realizadas com os principais responsáveis pela execução do programa a ser avaliado, para construção conjunta do MLGP. Apresenta-se a seguir a sugestão da estrutura do Modelo Lógico de Gestão a ser adotado nesta Sistemática, e sua lógica de leitura. PASSO 4 26 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

30 PASSO 4 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 27

31 PASSO 5: Análise de avaliabilidade A análise de avaliabilidade tem por objetivos buscar informações sobre o formato do programa, explorar sua realidade e ajudar a conhecer sua estrutura, antes que seja feita a avaliação de seus resultados. Ela ajuda a definir se o programa pode ser efetivamente avaliado e se sua avaliação contribuiria para melhorar seu desempenho. Sendo uma espécie de pré-avaliação, esta análise traz benefícios como: prevenir o desperdício de recursos com avaliação; ajudar os potenciais clientes da avaliação a formularem perguntas avaliativas importantes e significativas; facilitar o consenso entre avaliadores e equipe técnica do programa sobre o objeto e escopo da avaliação a ser realizada, e a metodologia que será adotada. PASSO 5 Realizada com base no Modelo Lógico de Gestão, a análise de avaliabilidade deve buscar responder a cinco questões básicas: 1. Quais são os principais componentes do programa? 2. Quais são os principais objetivos e metas do programa? 3. As pessoas envolvidas na gestão no programa concordam com seus objetivos? 4. Existe uma conexão lógica entre os objetivos, atividades e resultados esperados? 5. Quais seriam os melhores indicadores e/ou critérios para avaliar o alcance dos objetivos? Se não houver consenso sobre o que é o programa e seus principais componentes, ele ainda não pode ser avaliado. 28 SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS

32 PASSO 6: Definição do escopo da avaliação PASSO 6 O escopo da avaliação é uma combinação de sua(s) principal(is) finalidade(s) e do foco que o estudo deverá ter, ou seja, as perguntas avaliativas que deverá responder para cumprir esta finalidade. Vale destacar que o foco de todo processo avaliativo deve estar na sua utilidade para os tomadores de decisão e gestores do programa. Para garantir que a avaliação possa ser um efetivo instrumento gerencial, é fundamental que se tenha clareza sobre o objeto a ser avaliado e sobre as expectativas dos seus principais usuários, os potenciais clientes da avaliação. A partir destas expectativas com relação aos produtos, resultados e futuro uso da avaliação, pode-se definir a(s) sua(s) principal(is) finalidade(s). E então, todo o processo de definição de indicadores e criação de instrumentos deverá ser realizado de maneira a garantir o alcance desta(s) finalidade(s). A definição das perguntas avaliativas deverá ser feita a partir da análise das perguntas trazidas pelos potenciais clientes sob a ótica dos critérios de avaliação a serem adotados no estudo. SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 29