Avaliação Executiva de Indicadores na gestão para resultados do Governo de Minas Gerais 1

Transcrição

1 Avaliação Executiva de Indicadores na gestão para resultados do Governo de Minas Gerais 1 Éber Gonçalves Felipe Michel Santos Araújo Braga Eder Sá Alves Campos INTRODUÇÃO A demanda por ferramentas que contribuam para a institucionalização e aperfeiçoamento das atividades de monitoramento é crescente. Esse é o caminho percorrido pelos governos que, comprometidos com a efetividade de suas ações, buscam consolidar seu sistema de monitoramento e avaliação (M&A). Com esse intuito foi desenvolvida a Avaliação Executiva de Indicadores (AEI), a qual este artigo se propõe apresentar. O objetivo mais geral da AEI foi construir de um instrumento que apontasse, segundo critérios objetivos e padronizados, as limitações dos indicadores da carteira de indicadores que sustenta o modelo de contratação de resultados no Governo de Minas Gerais e que servisse como referencial para sua melhoria contínua. A ideia da AEI surgiu a partir do conhecimento de uma proposta metodológica desenvolvida por consultores do Banco Mundial junto ao Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL). Minas Gerais, de maneira pioneira, implementa a metodologia, com o apoio da consultora Gita Busjeet, após promover as adaptações ao seu próprio contexto. A ferramenta construída está sendo empregada nas avaliações periódicas da qualidade dos indicadores monitorados no âmbito da gestão por resultados do Governo do Estado de Minas. O MONITORAMENTO DE INDICADORES NA GESTÃO POR RESULTADO EM MINAS GERAIS Com base nas premissas de ajuste fiscal e modernização da administração pública o estado de Minas Gerais instituiu, a partir de 2003, o programa Choque de Gestão 2, no qual foi adotado o duplo planejamento, associando metas de longo e de curto prazo. O planejamento de longo prazo se materializou no Plano Mineiro de Desenvolvimento Integrado (PMDI ), que continha a visão de futuro tornar Minas Gerais o melhor estado para se viver. Após a conquista do equilíbrio fiscal e revigoramento das práticas de planejamento, criou-se condições para, a partir de 2007, uma nova versão do PMDI com maior foco em resultados ser elaborada. O PMDI apresenta os objetivos estratégicos do governo para áreas de resultados, que são traduzidos em indicadores e metas. O modelo atual de gestão estadual surgiu de uma concepção com forte orientação para resultados, mas sua execução não teve caráter fixo e inalterável. Pelo contrário, reconhece-se desde o início a necessidade de melhorias em busca da efetiva gestão por resultados no Governo. Essa busca deve necessariamente passar pela consolidação de um sistema de monitoramento de indicadores. O acompanhamento e o uso de indicadores na gestão para resultados em Minas Gerais tomaram vulto a partir de 2007, com a instauração do Programa Estado para Resultados 3, que tem como atribuições ser o guardião dos resultados estabelecidos no PMDI e zelar pela qualidade dos registros dos indicadores finalísticos utilizados no monitoramento desses resultados (GUIMARÃES; CAMPOS, 2009, p. 10). Os indicadores finalísticos são acompanhados e monitorados no Programa Estado para Resultados pela Unidade de Indicadores 4. 1

2 Os indicadores finalísticos propostos no PMDI, embora alinhados às diretrizes estratégicas, não atendiam plenamente as necessidades do monitoramento, que realiza ciclos anuais de avaliação de resultados. Assim, ao longo dos últimos três anos, a Unidade de Indicadores se dedicou à adequação da carteira de indicadores. A evolução do portfólio de indicadores nesse período pode ser vista na Figura 1. Em 2007, 32% dos indicadores não puderam ser avaliados por alguma inadequação. Esses indicadores foram, já em 2008, substituídos por indicadores complementares ou proxies, mantendo-se o alinhamento com os objetivos estratégicos do PMDI. Assim, a avaliação de 2008 foi realizada com um percentual maior de indicadores: apenas 1% não pode ser avaliado. Resultado do avanço alcançado em 2008, a carteira de indicadores finalísticos sofreu poucas alterações em Figura 1: Distribuição dos indicadores segundo a forma de apuração em % 25% 37% 2% % 22% 38% 1% Avaliados conforme PM DI Avaliados através de proxy % 9% 32% Indicadores complementares Não avaliados Em 2009, quando a carteira de indicadores já havia alcançado relativa adequação às necessidades da gestão, a Unidade de Indicadores produziu pela primeira vez o Caderno de Indicadores 5. A publicação desse documento buscou tornar pública a evolução experimentada no modelo de gestão por resultados, evidenciando seus limites, desafios e possibilidades (MINAS GERAIS, 2009, p.9). O Caderno de 2009 apresentou um conjunto de 104 indicadores finalísticos revisados e adequados ao monitoramento anual. A premissa dessa revisão foi que todos eles deveriam ser apuráveis anualmente, ainda que com alguma defasagem temporal, e que deveriam estar alinhados à estratégia de longo prazo estabelecida no PMDI. O conjunto de indicadores teve nova revisão e atualização no ano seguinte, como recomendado para cada negociação anual, que resultou na segunda edição do Caderno de Indicadores em , composta por 105 indicadores. De fato, reconhece-se a necessidade de aprimoramento continuo do conjunto de indicadores, o que requer aprofundar o conhecimento sobre a carteira e estabelecer os referenciais que definem o caminho para a melhoria. INDICADORES CREAM E SMART: PROPRIEDADES DESEJÁVEIS Há recomendações na literatura sobre as propriedades desejáveis aos indicadores, entre as quais se destacam àquelas associadas aos acrônimos CREAM e SMART. Atendem aos requisitos CREAM, conforme Schiavo-Campo e Tommasi (1999), os indicadores que são: Claros (precisos e inequívocos); Relevantes (adequados ao tema e capazes de medir o que se pretende medir); Econômicos (disponíveis a 2

3 custo razoável); Adequados (fornecem uma base suficiente para avaliar a performance do programa); e Monitoráveis (passíveis de validação independente). Indicadores CREAM devem refletir diretamente os resultados. Eles devem ser capazes de medir o objetivo de forma suficientemente precisa, serem válidos teórica e praticamente, permitir uma coleta de dados efetiva e serem sensíveis a mudanças nos resultados. Ao relatarem sobre os resultados, é desejável que possam ser desagregados, permitindo comparações por unidades geográficas ou outras formas de agregação. Já os requisitos SMART são relacionados a indicadores que são Específicos, Mensuráveis, Atingíveis, Relevantes e Tempestivos (MPOG, 2010). Especificidade é qualidade do indicador que não tem um escopo genérico, não conduz a interpretações duvidosas, nem tem metas impossíveis de serem alcançadas. Mensurável é o indicador passível de ser medido. Atingível é o indicador cujas metas são realistas e viáveis, passíveis de serem alcançadas com os recursos humanos e materiais disponíveis. Um indicador é relevante se seu objetivo estiver associado a um problema considerado prioritário pra a agenda governamental. E será tempestivo se possuir prazos delimitados para ser aferido e for capaz de contribuir, em tempo hábil, com aprimoramentos do programa avaliado. A AEI foi construída com base nessas referências, embora o atendimento integral às mesmas nem sempre seja possível. METODOLOGIA DA AVALIAÇÃO EXECUTIVA DE INDICADORES O primeiro produto da AEI é o Manual da Avaliação Executiva de Indicadores 7. O Manual orienta a aplicação do questionário, que é composto por 34 perguntas diretas (Tabela A1). Os quesitos recebem respostas do tipo sim, sim, parcialmente, ou não. Eles estão distribuídos em quatro eixos com pesos diferenciados, como descritos a seguir: Produção dos Dados contempla os elementos do processo de produção dos dados utilizados no cálculo do indicador. Avalia a qualidade dos processos de coleta, registro e consolidação dos dados, bem como sua historicidade e forma de divulgação, dentre outros aspectos (13 quesitos). Produção do Indicador abrange os aspectos do processo final de cálculo do indicador. Examina a existência de registro da metodologia, de memória dos procedimentos de cálculo, bem como a extensão da série histórica, a forma de armazenamento das informações e outros aspectos relevantes (6 quesitos). Conceito e Metodologia compreende as propriedades conceituais, metodológicas e de alinhamento do indicador com as políticas públicas. Esse eixo trata também da clareza de objetivo, facilidade de interpretação, suficiência, economicidade, dentre outros aspectos relacionados (11 quesitos). Uso e Comunicação avalia a apropriação do indicador pelas instituições e gestores governamentais e sua divulgação para a sociedade (4 quesitos). Os pesos dos eixos na avaliação geral do indicador são diferentes e foram definidos pelos técnicos da Unidade de Indicadores a partir da análise de alguns critérios, tais como, número de quesitos e a relevância do eixo na experiência recente da gestão pública para resultados do Governo de Minas. Ademais, os pesos dos quesitos nos eixos foram definidos com a utilização de metodologia de comparação par a par. A metodologia consiste na atribuição da importância de cada quesito na avaliação em relação a todos os outros. Estabeleceram-se alguns procedimentos seqüenciais, como mostra a Figura 2, na execução da avaliação. Inicialmente cada um dos 10 técnicos da Unidade de Indicadores respondeu o questionário, avaliando os indicadores pelos quais é responsável pelo acompanhamento. As perguntas foram respondidas a partir das 3

4 informações disponibilizadas pelas instituições responsáveis nos documentos oficiais e nos sítios eletrônicos. Quando essas fontes não traziam as informações necessárias para responder os pontos do quesito, o avaliador fazia contato direto com os responsáveis, pessoalmente, por telefone ou por . Figura 2: Processos da Avaliação Executiva de Indicadores Não houve registro de dificuldades na obtenção das informações por contato direto, especialmente nos órgãos estaduais. Os membros da equipe da Unidade de Indicadores já tinham um canal de comunicação estabelecido com os responsáveis pelos dados primários ou registros administrativos. Este canal foi estabelecido no acompanhamento sistemático dos resultados dos indicadores finalísticos. Isso facilitou o acesso às informações. Procurou-se dar mais ênfase na necessidade de se construir e consolidar o conhecimento sobre o indicador e menos no caráter avaliatório do trabalho. As dúvidas sempre eram colocadas em um tom ameno para evitar resistência por parte dos responsáveis. As informações sobre as fontes secundárias foram obtidas quase que totalmente nos documentos já disponibilizados pelas instituições. Mesmo assim, algumas instituições receberam a visita técnica de componentes da Unidade de Indicadores, com o intuito de ampliar o conhecimento já acumulado sobre as fontes de dados. As respostas de todos os quesitos para todos os indicadores foram redigidas de maneira sintética e consolidadas em uma planilha eletrônica padronizada, cujo objetivo foi reunir todas as informações relevantes para a atribuição da resposta do avaliador. Nessa planilha foram executados os cálculos de desempenho dos indicadores por eixo, por área de resultados e da carteira como um todo. Após a avaliação preliminar de cada técnico, os resultados eram levados para o que se denominou Workshop de Avaliação. No workshop as respostas eram discutidas pelos avaliadores e, assim, rejeitas ou apoiadas. Os técnicos saiam do workshop com as indicações de melhoria das respostas. Apesar de cansativas e desgastantes, essas reuniões, na percepção dos próprios avaliadores, foram extremamente importantes para o nivelamento conceitual e para a padronização das respostas. Na etapa seguinte, os avaliadores realizavam as adequações sugeridas no workshop (geralmente em dois ou três dias). Em algumas ocasiões foi necessário fazer nova consulta aos documentos de referência, reforçar as evidências e até retomar o contato com os responsáveis pelos dados. Com as adequações feitas, as respostas eram novamente consolidadas na planilha eletrônica pelo coordenador da avaliação. Ele reunia as respostas dos técnicos, fazia uma nova leitura e crítica. Os problemas ainda identificados nessa etapa eram resolvidos com cada um dos avaliadores. Concluída esta etapa, o resultado final era submetido ao coordenador da Unidade de Indicadores para validação final. Em poucas situações houve necessidade de se retificar algum quesito após submissão para validação final. RESULTADOS DA AEI 2009 A Figura 3 sintetiza os resultados da avaliação da carteira de indicadores de Em uma escala de zero a 100, a carteira foi avaliada em 68,5 pontos. As áreas de resultados mais bem avaliadas foram Educação de Qualidade (79,6 pontos), Vida 4

5 Saudável e Qualidade Fiscal, ambas com 75,4 pontos. No outro extremo estão Qualidade e Inovação em Gestão Pública, Rede de Cidades e Serviços e Inovação, Tecnologia e Qualidade, todas com nota inferior a 60 pontos. Nem todas as lacunas de um indicador são aperfeiçoáveis. É possível identificar com a AEI qual é a margem de melhora mantendo-se os mesmos indicadores na carteira: pontuação potencial. Os resultados da Figura 3 mostram que a carteira de indicadores de 2009 pode chegar a uma avaliação superior a 80 pontos, nível considerado suficiente, em todas as áreas de resultados. Figura 3 Resultados da AEI PLANOS DE AÇÃO Mais importante do que a nota ou a classificação obtida pelo indicador é a identificação dos pontos que podem ser melhorados. Foi com esse intuito que foi preparado um Plano de Ação para cada indicador. O Plano de Ação é um documento que descreve de maneira sintética os resultados gerais da avaliação do indicador (Figuras A2 e A3). O Plano de Ação também se contitui o espaço onde se propõe as ações para melhoria dos aspectos considerados deficientes. É importante mencionar que nem todos os aspectos são passíveis de ações de melhoria. Pode-se citar como exemplo os problemas relacionados à metodologia de cálculo do indicador. Se a metodologia de cálculo é considerada inadequada para atender ao objetivo proposto para o indicador, essa lacuna só poderá ser resolvida com alteração da metodologia, o que significaria a substituição do indicador. A Unidade de Indicadores está neste momento realizando o planejamento das ações de feedback aos responsáveis pelos indicadores. É certo que cada responsável será visitado pelo técnico da Unidade, que apresentará o resultado da avaliação. O técnico fará as explicações sobre os resultados e ouvirá as considerações do responsável. Além disso, o responsável receberá o Manual do Avaliador e o Plano de Ação para que possam ser consultados. Entende-se que o acesso ao Manual do Avaliador pelos responsáveis é de fundamental importância para o processo de aperfeiçoamento dos indicadores. O Manual descreve cada uma das características desejáveis aos indicadores. Assim, o 5

6 Manual tem uma função didática. Pode ser consultado no processo de elaboração dos indicadores das instituições. A implementação das melhorias propostas nos Planos de Ação não deve ser realizada de maneira padronizada. Cada instituição responsável tem uma dinâmica própria de funcionamento. Os orgãos públicos estão em estágios diferentes com respeito à apropriação do conhecimento sobre as fontes de dados, gerenciamento da informação e metodologia de indicadores. Neste sentido, propõe-se que a agenda de execução das ações de melhoria seja definida caso a caso. A AEI vem, portanto, fortalecer a atividade de monitoramento exercida pela Unidade de Indicadores. A Figura 4 ilustra como ela se insere no ciclo de procedimentos anuais da Unidade. No primeiro trimestre a equipe de técnicos se dedica à apuração dos valores fechados do ano anterior e, simultaneamente, faz a avaliação das metas pactuadas nos Acordos de Resultados. Concluída essa etapa, a Unidade de Indicadores trabalha na publicação do Caderno de Indicadores, cujo conteúdo é o conjunto de indicadores pactuados no ano anterior e com metas definidas para o ano corrente. Figura 4: Procedimentos anuais da atividade de monitoramento da Unidade de Indicadores A AEI 2009 foi realizada no primeiro trimestre No entanto, como a pactuação de indicadores e metas geralmente ocorre no final do ano (out-dez), os indicadores de 2010 já tinham sido pactuados quando AEI 2009 foi concluída. Não existiu um intervalo de tempo para que as ações sugeridas a partir da avaliação da carteira de indicadores de 2009 fossem executadas para o aprimoramento dos indicadores pactuados para Por esse motivo, a partir de 2010 a AEI passa a ser realizada entre maio e junho, como mostra a Figura 4. Após a conclusão da AEI será iniciada a execução das melhorias sugeridas nos Planos de Ação (período de julho a setembro). Assim, as melhorias implementadas serão aproveitadas na etapa de negociação e pactuação de indicadores e metas para o ano seguinte. Com isso, espera-se que os indicadores pactuados ganhem em qualidade e, por conseqüência, sejam mais bem avaliados pela AEI do ano seguinte. CONSIDERAÇÕES FINAIS A AEI propiciou um diagnóstico objetivo da carteira de indicadores utilizada no modelo de contratação de resultados em Minas Gerais. Dentre outras informações, o diagnóstico trouxe uma análise do potencial de melhoria de cada indicador. A avaliação possibilitou a sistematização dos critérios que devem conduzir a seleção dos indicadores, criando uma memória institucional que reúne as informações relevantes sobre seus atributos, antes tacitamente acumuladas pelos responsáveis pelo seu monitoramento. A AEI resulta ainda na ampliação da transparência e na diminuição da assimetria de informação existente entre executores e gestores do programas governamentais, pela publicação dos atributos considerados desejáveis aos indicadores. A AEI contribui para o amadurecimento da gestão pública baseada em evidência: o uso de indicadores cujo mérito é discutido de forma objetiva e replicável. A Unidade de Indicadores está neste momento realizando a avaliação da carteira de indicadores Os documentos da AEI já foram disponibilizados aos interessados 6

7 e, em breve, os resultados serão divulgados. Concluída esta etapa, o trabalho de aperfeiçoamento da carteira será iniciado, agora permitindo uma melhor visualização dos atributos desejáveis aos indicadores pelas partes envolvidas na sua proposição. A AEI se apresenta como uma importante referência para o trabalho desenvolvido com indicadores nos órgãos de administração pública do Estado de Minas Gerais. Junto a sua concepção, uma nova vertente para o aprimoramento dos indicadores talvez possa ser iniciada com o estabelecimento de incentivos para que as Secretarias formulem e proponham melhorias nos indicadores hoje em uso. REFERÊNCIAS BIBLIOGRÁFICAS BECHELAINE, C. H. de O. A gestão pública por resultados no estado de Minas Gerais: um estudo de caso sobre o Programa Estado para Resultados. Monografia (graduação) Fundação João Pinheiro, Escola de Governo de Minas Gerais. Belo Horizonte, GONÇALVES, E.; CAMPOS, E. S. A.; CARVALHO, F. F. de. Análise e reflexão sobre metodologias para avaliação de metas de indicadores de impacto na gestão pública para resultados. III Congresso CONSAD de Gestão Pública. Brasília: CONSAD, GUIMARÃES, T. B.; CAMPOS, E. S. A. Gestão por Resultados em Minas Gerais: Análise Crítica do Arranjo Incremental de Monitoramento e Avaliação. XXXIII EnANPAD XXXIII Encontro da ANPAD. São Paulo: ANPAD, MINAS GERAIS. Acordo de Resultados, 1ª Etapa, Sistema de Planejamento e Gestão. Belo Horizonte: SEPLAG, MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO. Secretaria de Planejamento e Investimento Estratégicos. Indicadores de programas: guia metodológico. Brasília: Ministério do Planejamento, março SCHIAVO-CAMPO, S.; TOMMASI, D. Strengthening Performance in Public Expenditure Management. In:. (orgs.). Managing Government Expenditure. Manila: ADB, VILHENA, R. et al. (Org.). O Choque de Gestão em Minas Gerais: políticas da gestão pública para o desenvolvimento. Belo Horizonte: Editora UFMG, WERNECK, C.; GONÇALVES, E.; BESCHIZZA, R.; DUARTE, V. C. A utilização de indicadores na administração pública: contribuições do governo mineiro para a atividade de monitoramento. IN.: GUIMARÃES, T. B.; PORDEUS, I. A.; CAMPOS, E. S. A. (orgs.). Estado para Resultados: avanços no monitoramento e avaliação da gestão pública em Minas Gerais. Belo Horizonte: Editora UFMG,

8 Nota 1 Os autores agradecem a contribuição da consultora Gita Devi Beker Busjeet na concepção da Avaliação Executiva e aos componentes da Unidade de Indicadores do Programa Estado para Resultados que trabalharam com afinco para sua concretização. 2 Para saber mais sobre o Choque de Gestão ver VILHENA et al. (2006). 3 O Programa Estado para Resultados foi criado pela Lei Delegada n.º 112, de 25 de janeiro de O acompanhamento dos indicadores finalísticos é feito pela Unidade de Indicadores. Para saber mais sobre o Programa Estado para Resultados ver GUIMARÃES e CAMPOS (2008) e BECHELAINE (2009). 4 A evolução do uso de indicadores pelo Programa Estado para Resultados pode ser encontrada em Gonçalves, Campos e Carvalho (2010) e em Werneck et al. (em fase de elaboração). 5 Disponível em: < 6 Disponível em: < 7 Disponível em: < 8

9 ANEXOS QUADRO A1: Estrutura de quesitos da Avaliação Executiva de Indicadores Peso da Dimensão Dimensão Peso do Quesito Quesito Produção dos Dados Produção do Indicador Conceito e Metodologia Uso e Comunicação 1.9 Os processos/fluxos de informação para geração dos dados estão bem identificados/mapeados? 3.8 A produção dos dados é feita segundo algum protocolo? 3.8 Verificações e checagens do processo de produção dos dados são realizadas? 3.6 Os problemas identificados no processo de produção dos dados recebem tratamento? 3.6 Os dados são armazenados em uma base de dados organizada e segura? 1.2 A base de dados pode ser desagregada de maneira que possibilite algum tipo de comparação? 2.2 A base de dados pode ser desagregada de maneira que possibilite comparações entre diferentes unidades geográficas? 2.5 Existe uma equipe capacitada responsável pela base de dados? 2.5 Os dados são disponibilizados para o público usuário? 3.0 O meio utilizado para disponibilização dos dados facilita o seu manuseio? 3.2 A instituição produtora disponibiliza uma série cronológica consistente dos dados? 2.1 O tempo entre a produção dos dados e sua disponibilização é adequado às necessidades de gestão? 1.6 O custo para produção (ou obtenção) dos dados é conhecido? 4.0 Existe registro do indicador? 4.0 São realizados procedimentos sistemáticos de checagem/verificação do cálculo do indicador? 3.1 O indicador está armazenado numa base de dados organizada e segura? 3.6 O indicador está disponível para consulta pública? 3.0 A série cronológica disponibilizada do indicador é consistente? 2.3 O tempo entre a produção do indicador e a sua divulgação é adequado às necessidades da gestão? 3.0 O indicador mensura algum impacto ou efeito social relevante? 2.0 O indicador pode ser considerado uma medida de resultado (outcome) ou de efetividade de alguma política pública? 3.1 O indicador está claramente alinhado com algum dos objetivos estratégicos ou iniciativas prioritárias definidas no plano estratégico do governo? 3.1 O indicador está claramente alinhado com o objetivo ou ação de algum programa ou projeto do governo? 2.5 O indicador tem um objetivo claro? 3.8 A metodologia de cálculo do indicador é adequada ao seu objetivo? 3.8 Os dados utilizados podem ser considerados medidas adequadas dos parâmetros do indicador? 2.2 O indicador é uma medida suficiente do objetivo? 2.5 O indicador tem interpretação clara (não ambígua)? 2.2 A unidade de medida do indicador favorece a leitura e compreensão? 1.8 O indicador não tem sobreposição com outro do conjunto de finalísticos? 3.3 O indicador é reportado pelos executivos do Governo durante reuniões gerenciais sobre resultados e ações do governo? 4.7 O indicador é apropriado pelas instituições responsáveis? 2.3 O indicador faz parte do discurso dos parlamentares da Assembleia Legislativa de Minas Gerais? 4.7 O indicador é reportado nas comunicações à sociedade? 9

10 Figura A1: Plano de Ação - Frente 10

11 Figura A2: Plano de Ação - Verso 11