Sistemas de Avaliação de Programas Governamentais

SUMÁRIO EXECUTIVO ADMINISTRAÇÃO Diagnóstico e Perfil de Maturidade dos Sistemas de Avaliação de Programas Governamentais Relator Ministro José Jorge Brasília, 2014

Lista de siglas Ceag/UnB Centro de Estudos Avançados de Governo e Administração Pública da Universidade de Brasília CGU Controladoria Geral da União Ciset Secretaria de Controle Interno DAS Direção e Assessoramento Superior isa-gov Índice de Maturidade dos Sistemas de Avaliação de Programas Governamentais M&A Monitoramento e Avaliação MCDA Metodologia Multicritério de Apoio à Decisão MCDA-C Metodologia Multicritério de Apoio à Decisão abordagem Construtivista MTO Manual Técnico de Orçamento PPA Plano Plurianual SM&A Sistemas de Monitoramento e Avaliação TCU Tribunal de Contas da União UnB Universidade de Brasília

Lista de Quadros Quadro 1 Modelo de análise da maturidade dos sistemas de avaliação isa-gov 17 Quadro 2- Nível de maturidade dos sistemas de avaliação dos Programas de Governo 19 4

Lista de Figuras Figura 1 Sistemas de avaliação 14 Figura 2 Modelo de análise comparada de desempenho por foco 42 Figura 3 Análise de dispersão comparada entre os focos demandas avaliativas e capacidade de produção de informações avaliativas - oferta (Focos I e II) 43 Figura 4 - Análise de dispersão comparada entre os focos utilização e produção de conhecimento avaliativo (Focos II e IV) 45 Figura 5 Análise de dispersão comparada entre os focos demandas avaliativas (Foco I) e utilização (Foco IV) 46 5

Lista de Gráficos Gráfico 1 Perfil dos respondentes 22 Gráfico 2 Tempo de serviço dos respondentes na atual função 23 Gráfico 3 - Tempo de serviço prestado à Administração Pública Federal pelos respondentes 23 Gráfico 4 Nível de maturidade das dimensões do Foco I 29 Gráfico 5 - Pontuação dos órgãos em relação às Demandas Avaliativas (Foco I) 30 Gráfico 6 Nível de maturidade das Dimensões do Foco II (Produção do Conhecimento Avaliativo) 33 Gráfico 7 - Pontuação dos órgãos em relação ao Foco II Produção do Conhecimento Avaliativo 34 Gráfico 8 Nível de maturidade Foco II Produção do Conhecimento Avaliativo 35 Gráfico 9 Pontuação dos órgãos em relação à capacidade de aprendizado organizacional (Foco III) 36 Gráfico 10 Nível de maturidades das dimensões do Foco IV 38 Gráfico 11 Pontuação dos órgãos em relação à utilização da avaliação (Foco IV). 38 Gráfico 12 Nível de maturidade Foco IV - Utilização 39 6

Gráfico 13 Pontuação da maturidade dos sistemas de avaliação por foco 40 Gráfico 14 Pontuação da maturidade dos sistemas de avaliação por dimensão 41 Gráfico 15 Pontuação geral dos órgãos Índice isa-gov 48 Gráfico 16 Pontuação acumulada isa-gov por foco de análise e órgão pesquisado 50 Gráfico 17 Radar por Foco de análise e órgão pesquisado 51 7

Sumário Apresentação 10 1. Resumo 11 2. O que são sistemas de avaliação de programas governamentais? 13 3. O que foi avaliado pelo Tribunal 15 4. Como se desenvolveu o trabalho 16 5. Órgãos selecionados para a pesquisa 21 6. Perfil dos respondentes 22 7. O que o TCU encontrou 25 7.1 PERFIL DE MATURIDADE DAS DEMANDAS AVALIATIVAS (FOCO I) 25 7.2 AVALIAÇÃO DA PRODUÇÃO DE CONHECIMENTO AVALIATIVO OFERTA (FOCO II) 31 7.3 AVALIAÇÃO DA CAPACIDADE DE APRENDIZADO ORGANIZACIONAL (FOCO III) 35 7.4 AVALIAÇÃO DA UTILIZAÇÃO DA AVALIAÇÃO (FOCO IV) 37 7.5 AVALIAÇÃO GERAL DOS FOCOS 39 8

8. Análise comparada de dispersão por foco 42 8.1 ANÁLISE COMPARADA DE DISPERSÃO ENTRE DEMANDA AVALIATIVA E PRODUÇÃO DE CONHECIMENTO (OFERTA) FOCOS I E II 43 8.2 ANÁLISE COMPARADA DE DISPERSÃO ENTRE A PRODUÇÃO E A UTILIZAÇÃO DE CONHECIMENTO AVALIATIVO FOCOS II E IV 44 8.3 ANÁLISE COMPARADA DE DISPERSÃO ENTRE DEMANDAS AVALIATIVAS E UTILIZAÇÃO (FOCOS I E IV) 45 9. Índice de Maturidade dos Sistemas de Avaliação da Administração Federal Direta isa-gov 47 Conclusão 53 REFERÊNCIAS 54 9

Apresentação Os sistemas de avaliação são instrumentos-chave para a governança, na medida em que subsidiam a coordenação intra e inter-organizacional para implementação das políticas, favorecendo a comunicação entre os diversos atores envolvidos e possibilitando assegurar a transparência do desempenho e dos resultados das ações governamentais com vistas à promoção da accountability. Se os sistemas de monitoramento e de avaliação não produzirem informações relevantes, oportunas e tempestivas os gestores ficam limitados em sua capacidade para conduzir a máquina pública na direção correta para o alcance dos objetivos dos programas governamentais. O conhecimento avaliativo também é elemento-chave para que os Ministérios e agências responsáveis pela implementação das políticas públicas aprendam, corrijam rumos e busquem novas soluções para assegurar o bom e efetivo uso dos recursos em atenção às demandas da população. Ciente do seu papel indutor de melhorias da gestão e do desempenho da Administração Pública, bem como da função estruturante dos sistemas de avaliação e monitoramento, o Tribunal de Contas da União (TCU) realizou, em 2013, este diagnóstico sobre o perfil de maturidade dos sistemas de avaliação de programas governamentais em 27 ministérios. Agora, o TCU disponibiliza aos gestores e a toda sociedade o Índice de Maturidade dos Sistemas de Avaliação - isa-gov, que explicita oportunidades de aperfeiçoamento dos mecanismos e instrumentos necessários para produzir informações sobre o desempenho e os resultados dos programas governamentais. Esse trabalho inovou ao mensurar de forma inédita e sistematizada a maturidade dos sistemas que apoiam os tomadores de decisão com conhecimento qualificado sobre o desempenho e os resultados das políticas públicas. Ressalto que avaliação, monitoramento e direção constituem as três principais funções da governança pública e, por isso, estamos certos de que este trabalho trará informações relevantes para apoiar os gestores na nobre missão de entregar programas e políticas públicas efetivas, em benefício da sociedade. Ministro João Augusto Ribeiro Nardes Presidente do Tribunal de Contas da União 10

1 Resumo A avaliação como instrumento de apoio aos processos decisórios está relacionada à busca de alternativas para subsidiar o aperfeiçoamento de programas e políticas, com vistas a promover a melhoria da eficiência, eficácia e efetividadade das ações governamentais. Para tanto é necessário garantir a produção de informações e análises que favoreçam as melhores escolhas para promoção do desenvolvimento social, com redução de desigualdades e democratização de oportunidades. É por meio dos sistemas de avaliação, desenvolvidos para apoiar a implementação e gestão das políticas e a boa governança, que o conhecimento avaliativo ganha corpo e passa a subsidiar de forma contínua os processos decisórios nas organizações. Para avaliar estes sistemas nos órgãos da Admininstração Direta do Poder Executivo Federal, o TCU criou o índice de maturidade dos sistemas de avaliação de programas governamentais, o isa-gov. Este índice expressa a percepção dos gestores sobre a adequação dos mecanismos e instrumentos disponíveis nos órgãos públicos para demandar e produzir informações sobre o desempenho e os resultados dos programas governamentais, com vistas à utilização para o aprendizado e o aperfeiçoamento das políticas. Dessa forma, quanto melhor o índice, melhor a capacidade dos órgãos para monitorar e avaliar a implementação das políticas públicas. Portanto, mensurar o perfil de maturidade desses sistemas significa avaliar a adequação dos processos, procedimentos, meios e mecanismos que os órgãos utilizam para demandar e registrar as informações sobre a execução dos programas, bem como para interpretar e comunicar os re 11

sultados, com vistas a compreender e fortalecer a implementação desses programas para a melhoria dos resultados. O isa-gov revelou que os sistemas de avaliação de 85% dos órgãos da Administração Direta (23 Ministérios) apresentam nível de maturidade intermediário. Isso indica que os mecanismos e instrumentos necessários para caracterizar os sistemas de avaliação estão presentes, são parcialmente suficientes e atendem regulamente as necessidades dos gestores. Constatou-se que somente 33% dos órgãos (nove) desenvolveram capacidade para produzir informações avaliativas. Porém, a estruturação das demandas avaliativas, a capacidade de aprendizado organizacional e de utilização das informações proporcionam um ambiente favorável à produção de informações respeito do desempenho e dos resultados dos programas governamentais por eles implementados. As evidências indicam que as deficiências sistêmicas na capacidade de gestão da Administração Pública, como carência de pessoal, contingenciamento e corte de recursos e infraestrutura de tecnologia de informação inadequada, comprometem a execução do planejamento e, por consequência, a implementação dos programas e dos resultados. Os resultados do isa-gov, na medida em que indicam oportunidades de aperfeiçoamento dos sistemas de avaliação e monitoramento da Administração Pública, podem contribuir para a melhoria do desempenho e dos resultados dos programas governamentais, em relação a maior eficiência, eficácia e efetividade das políticas públicas. Nesse sentido foi proferido o Acórdão 1209/2014-PL, na sessão do dia 14 de maio de 2014. 12 Resumo

2 O que são sistemas de avaliação de programas governamentais? Leeuw e Furubo (2008) definiram quatro critérios para caracterizar um sistema de avaliação. O primeiro critério diz respeito à existência de uma perspectiva epistemológica distinta, que permita diferenciar as atividades de avaliação das demais atividades de gestão. O segundo trata dos arranjos, ou seja, para que essas atividades sejam consideradas um sistema, devem ser executadas por profissionais dentro de estruturas organizacionais e instituições, e não apenas (ou em grande parte) por avaliadores externos à organização. O terceiro critério é a continuidade, que indique a permanência dessas atividades ao longo do tempo. Por fim, o quarto critério se refere à utilização das informações avaliativas. Esses critérios foram estabelecidos em vista da dificuldade de se definir o que é um sistema de avaliação. A descrição mais completa, segundo esses autores, foi formulada por Furubo e Sandahl (2002), que entendem os sistemas de avaliação como um indicador de uma cultura de avaliação madura, em que as avaliações são designadas e conduzidas de forma ad hoc, por meio de arranjos permanentes, que objetivam garantir, com antecedência, que as informações serão disponibilizadas e utilizadas. Dessa forma, os sistemas de avaliação podem ser caracterizados a partir dos mecanismos e instrumentos que definem um fluxo regular e contínuo de demandas, que orientam um conjunto de práticas avaliativas, formalizadas, estruturadas e coordenadas, para produzir e fornecer conhecimento, com o objetivo de subsidiar os processos decisórios e de aprendizado para aperfeiçoamento da gestão e da implementação de programas e políticas públicas (SERPA; CALMON, 2012). 13

Figura 1 Sistemas de avaliação Fluxo regular e contínuo de demandas práticas avaliativas formalizadas, estruturadas e coordenadas produção e fornecimento de conhecimento Processos decisórios e aprendizagem Aperfeiçoamento da gestão e da implementação de programas e políticas públicas Fonte: Elaboração própria A partir dessa definição, foi desenvolvido um modelo para caracterizar e mensurar o perfil de maturidade dos sistemas de avaliação, o qual foi aprovado pelo TCU por meio do Acórdão 243/2013-TCU-Plenário (TC-030.688/2011-6). Estruturou-se o modelo em quatro dimensões de análise: demandas avaliativas, produção de conhecimento avaliativo (oferta), capacidade de aprendizado organizacional e utilização. 14 O que são sistemas de avaliação de programas governamentais?

3 O que foi avaliado pelo Tribunal O TCU avaliou a adequação dos mecanismos e instrumentos disponíveis nos órgãos da Administração Direta para demandar e produzir informações sobre o desempenho e os resultados dos programas governamentais, com vistas a sua utilização para o aprendizado e o aperfeiçoamento das políticas públicas. A avaliação baseou-se na percepção dos gestores responsáveis pela implementação dos programas temáticos, os quais expressam e orientam a ação governamental para a entrega de bens e serviços à sociedade. O objetivo desta avaliação foi caracterizar os sistemas de avaliação da Administração Direta e apresentar um diagnóstico da capacidade desses órgãos para monitorar e avaliar os programas governamentais. A competência para executar essas atividades coexiste com as competências específicas dos órgãos e entidades do Poder Executivo no processo de formulação, implementação e produção de informações sobre as políticas públicas, conforme estabelece o Decreto nº 7.866/2012. 15

4 Como se desenvolveu o trabalho O trabalho contemplou o levantamento de dados, por meio de pesquisa eletrônica, junto aos gestores das Unidades da Administração Direta de 28 Ministérios responsáveis pela implementação de programas e políticas finalísticas, obtendo-se a participação de 27 Ministérios. A partir da análise dos dados foi possível elaborar um diagnóstico de como e para que propósitos os órgãos da Administração Direta produzem e utilizam as informações sobre o desempenho e os resultados dos programas por eles implementados. A pesquisa foi encaminhada para 2.062 gestores, obtendo-se 750 respostas. O percentual de resposta variou de 20,6% a 61,1%, correspondendo a 36,4% dos pesquisados. Cabe observar que não se trata de amostra probabilística uma vez que a pesquisa foi encaminhada para todos os gestores DAS 4 a 6 das Unidades da Administração Direta dos órgãos responsáveis pela implementação de programas e políticas finalísticas e a resposta à pesquisa foi facultativa. Para produzir o isa-gov, considerando o modelo de análise aprovado pelo TCU, buscou-se uma metodologia em que fosse possível mensurar múltiplos aspectos relevantes para avaliar determinado objeto e ao mesmo tempo contemplassem as percepções dos atores envolvidos, com vistas a obter, ao final do processo, uma classificação. Desta forma, a Metodologia Multicritério de Apoio a Decisão abordagem Construtivista (MCDA-C) mostrou-se oportuna, uma vez que possibilita avaliar as ações segundo um conjunto de critérios, considerando as preferências dos decisores (ENSSLIN et al., 2001). 16

Para a realização deste trabalho contou-se com o apoio do Centro de Estudos Avançados de Governo e Administração Pública da Universidade de Brasília (Ceag/UnB), como iniciativa piloto do Acordo de Cooperação Técnica entre o TCU e aquele Centro. Para aplicação da metodologia as quatro dimensões teóricas apresentadas (demandas avaliativas, produção de conhecimento avaliativo oferta, utilização e capacidade de aprendizado organizacional) foram consideradas os focos principais para caracterizar os sistemas, conforme especificados no Quadro 1. Estes foram decompostos em quatorze dimensões e critérios, com vistas a permitir uma melhor avaliação das percepções dos gestores das Unidades da Administração Federal Direta sobre os mecanismos e instrumentos por eles utilizados para avaliar o desempenho e os resultados dos programas e políticas sob suas responsabilidades. Quadro 1 Modelo de análise da maturidade dos sistemas de avaliação isa-gov FOCO PESO(%) DIMENSÕES PESO(%) ISA - GOV I Demandas Avaliativas II Oferta - Produção do conhecimento avaliativo III Capacidade de aprendizado organizacional 35 1 Definição do objeto da 30 avaliação 2 Avaliação da integração da 20 função planejamento 3 Definição dos atores atendidos 25 (para quem avaliar?) 4 Formalização das demandas N/A avaliativas 5 Propósitos da avaliação (para que avaliar?) 25 30 6 Bases normativas das práticas 25 de monitoramento e avaliação 7 Marco organizacional das 25 práticas de monitoramento e avaliação 8 Gestão de meios (recursos 20 orçamentários TI) 9 Gestão de pessoas 30 15 10 Capacidade de aprendizado 100 organizacional IV Utilização 20 11 Utilização no processo de 25 produção de informações 12 Utilização instrumental das 25 informações 13 Utilização conceitual 25 14 Utilização política das informações 25 17

Em seguida, atribuiram-se pesos para os focos, dimensões e critérios de acordo com o grau de importância relativa, segundo a literatura sobre o tema e trabalhos similares realizados no Canadá, por Cousins et al. (2007), e na Dinamarca, por Nielsen et al. (2011). Com vistas a verificar e assegurar a consistência, compreensão e pertinência do instrumento de coleta de dados (questionário) foram realizados dois grupos focais com gestores das Unidades da Administração Direta. O primeiro com coordenadores e o segundo com diretores. Observou-se uma convergência dos pontos críticos levantados. As discussões dos grupos focais contribuíram para o aperfeiçoamento do instrumento de pesquisa. A aplicação do questionário foi realizada por meio de pesquisa disponibilizada ao público alvo pelo Sistema Pesquisar do Tribunal de Contas da União. Por fim, os dados coletados foram processados no Software D-Sight, cujos resultados subsidiaram as análises e conclusões do trabalho. Para descrever a percepção geral dos respondentes sobre os critérios investigados utilizaram-se, preliminarmente, tabelas de frequências e as medidas de posição (média, moda, mediana e desvio padrão). Com vistas a evidenciar os resultados apurados, procedeu-se à análise dos comentários às questões abertas, por meio da análise de conteúdo. Para avaliação da maturidade dos sistemas e dos respectivos focos, utilizou-se a escala constante do Quadro 2. 18 Como se desenvolveu o trabalho

Quadro 2- Nível de maturidade do sistema de avaliação dos Programas de Governo NÍVEL DE MATURIDADE Não estruturado Incipiente Intermediário Aprimorado Avançado DESCRITOR Considera-se um sistema ou foco não estruturado quando forem observados que os mecanismos e instrumentos necessários para caracterizar os sistemas de avaliação estão parcialmente presentes, mas não são suficientes e não atendem as necessidades dos atores. Considera-se um sistema ou foco incipiente quando forem observados que os mecanismos e instrumentos necessários para caracterizar os sistemas de avaliação estão presentes, são parcialmente suficientes, e não atendem regularmente as necessidades dos atores. Considera-se um sistema ou foco intermediário quando forem observados que os mecanismos e instrumentos necessários para caracterizar os sistemas de avaliação estão presentes, são parcialmente suficientes e atendem regularmente as necessidades dos atores. Considera-se um sistema ou foco aprimorado quando forem observados que os mecanismos e instrumentos necessários para caracterizar os sistemas de avaliação estão presentes, são suficientes e atendem satisfatoriamente as necessidades dos atores Considera-se um sistema ou foco avançado quando forem observados que os mecanismos e instrumentos necessários para caracterizar os sistemas de avaliação estão presentes, são suficientes e adequados e atendem plenamente as necessidades dos atores PONTUAÇÃO < 50 50 E 60 > 60 E 70 > 70 E 80 > 80 A partir da definição do modelo conceitual, entendeu-se como requisito essencial, para caracterizar a existência de sistemas de avaliação, que os órgãos avaliados apresentem pontuação igual ou superior a 50 nos focos relativos à demanda e oferta avaliativas. Este critério foi estabelecido considerando o ponto médio das escalas utilizadas para avaliar a percepção dos respondentes, que indica a adequação ou suficiência das variáveis investigadas para atender, ao menos parcialmente, as necessidades dos gestores. A relevância deste trabalho pode ser avaliada pelas respostas e comentários à Questão 49, que solicitava, in verbis: Por favor, utilize o espaço a seguir para avaliar este questionário, expor suas considerações, 19

críticas e sugestões para aprimorar o instrumento e o trabalho que está sendo realizado. Apresentaram-se 220 comentários, dos quais 53% corroboram a pertinência e adequação da abordagem metodológica aplicada. Por outro lado, 31% consideraram o instrumento longo e 16% ofereceram contribuições para futuros trabalhos desta natureza. A percepção positiva dos respondentes acerca da aplicação do questionário exemplificada nos comentários a seguir: O questionário nos dá a oportunidade de refletir um pouco mais sobre a prática avaliativa dos programas e políticas desenvolvidos e nos permite expor as fragilidades dos processos de avaliação e monitoramento. É de grande importância o desenvolvimento e a institucionalização de avaliação e monitoramento, inclusive através de visitas in loco, para acompanhamento, correção de trajeto e verificação da eficiência, eficácia e efetividade das ações implementadas. Este questionário é muito importante para toda a administração direta do Governo Federal. Ele demonstra a necessidade do constante monitoramento dos níveis de atendimento às demandas que nos são atribuídas. Cabe ressaltar que este trabalho baseia-se em informações declaradas pelos gestores das unidades de Administração Direta, sem que fossem encaminhadas evidências. 20 Como se desenvolveu o trabalho

5 Órgãos selecionados para a pesquisa A Administração Direta do Poder Executivo é composta por 38 órgãos, sendo 24 Ministérios; a Advocacia Geral da União e a Controladoria Geral da União, além dos órgãos diretamente vinculados à Presidência da República: dez Secretarias, a Casa Civil e um Gabinete de Segurança Institucional. Desse universo foram selecionados 28 órgãos responsáveis pela execução de programas temáticos, ou seja, aqueles programas que expressam e orientam a ação governamental para a entrega de bens e serviços à sociedade (MTO 2013). Segundo o Modelo de Planejamento Governamental (PPA 2012-2015), os programas temáticos foram concebidos a partir de recortes mais aderentes aos temas das políticas públicas, possibilitando a definição de indicadores capazes de revelar aspectos das políticas e contribuir com a gestão. 21

6 Perfil dos respondentes Conforme se apresenta no Gráfico 1, dos 750 respondentes, 43% são Coordenadores-Gerais, 28% ocupam outras funções, na sua maior parte Assessores das Unidades responsáveis pela implementação de programas finalísticos; 16% são Diretores; 4% são Secretários. Menos de 2% são Secretários Executivos, o que corresponde, no entanto, a 41% dos Secretários Executivos dos órgãos pesquisados. Gráfico 1 Perfil dos respondentes Sem resposta Secretário(a) Executivo(a) Diretor(a) Geral Coordenador(a) Secretário(a) Diretor(a) Outro Coordenador(a) Geral 1% 2% 2% 4% 4% 16% 28% 43% 0% 10% 20% 30% 40% 50% Fonte: Dados da pesquisa A maior parte dos respondentes encontra-se no nível operacional de gestão, uma vez que os Coordenadores Gerais e Coordenadores, na estrutura organizacional dos Ministérios, são responsáveis pela execução das atividades para implementação dos programas. Desta forma, tem-se que os resultados refletem, em grande medida, as condições operacionais das Unidades da Administração Direta. 22

De acordo ainda com os dados da pesquisa, aproximadamente 75% dos respondentes são servidores públicos ou empregados de empresas públicas e os demais não possuem outros vínculos com o serviço público. Além disso, aproximadamente 57% dos respondentes exercem há dois anos ou menos a atual função; 19% ocupam as funções de três a quatro anos e 17% há mais de seis anos (Gráfico 2). Gráfico 2 Tempo de serviço dos respondentes na atual função 35% 30% 25% 20% 15% 10% 5% 0% Menos de 1 ano De 1 a 2 anos De 3 a 4 anos De 5 a 6 anos Mais de 6 anos Sem resposta Fonte: Dados da pesquisa Ainda, 61% dos respondentes informaram possuir mais dez anos de serviço prestado à Administração Pública Federal e 20%, entre cinco e dez anos (Gráfico 3). Gráfico 3 - Tempo de serviço prestado à Administração Pública Federal pelos respondentes 70% 60% 50% 40% 30% 20% 10% 0% Menos de 1 ano De 1 a 2 anos De 3 a 4 anos De 5 a 10 anos Mais de 10 anos Sem resposta Fonte: Dados da pesquisa 23

Observa-se que a maior parte dos respondentes detém experiência na administração pública, muito embora os resultados indiquem certo grau de rotatividade nas funções, uma vez que 57% dos respondentes estão dois anos ou menos nas atuais funções. 24 Perfil dos respondentes

7 O que o TCU encontrou 7.1 Perfil de maturidade das Demandas Avaliativas (Foco I) Para se caracterizar um sistema de avaliação é necessário, inicialmente, que as demandas por informações avaliativas sejam estruturadas, regulares, pertinentes e consistentes com os objetivos estabelecidos para os programas e/ou políticas. Além disso, os demais elementos necessários para o alcance desses objetivos devem ser definidos de forma adequada e suficiente. Esses elementos estão expressos no planejamento governamental e orientam a implementação das ações, com vistas à efetiva prestação ou disponibilização dos bens e serviços públicos. As demandas por informações avaliativas serão mais precisas, quanto mais bem definidos forem esses elementos, uma vez que os atores responsáveis pela implementação das ações terão clara definição do que será feito, o que será entregue, como será feito, para que e onde se realizará, qual o resultado esperado e quem serão os beneficiários dos gastos públicos (MTO, 2013, p. 32). As informações avaliativas ou o conhecimento avaliativo devem prioritariamente atender às necessidades dos atores responsáveis ou interessados na implementação e nos resultados das ações governamentais, com vistas a subsidiá-los com informações qualificadas sobre o desempenho e/ou os resultados da implementação dos programas. Objetiva-se assegurar a produção de informações necessárias para a efetiva governança das políticas públicas. Tem se assim, que o conhecimento avaliativo deve atender necessidades previamente identificadas, favorecendo a sua utilização. 25

Desta forma, o Foco I demandas avaliativas - foi desdobrado em cinco dimensões. Na Dimensão 1, buscou-se conhecer a percepção dos gestores sobre a consistência dos objetivos e atividades definidas para implementação dos programas e/ou políticas; assim como, a adequação do escopo das ações, metas, prazos, recursos orçamentários e não orçamentários alocados. Na Dimensão 2, investigou-se o alinhamento do planejamento das Unidades da Administração Direta com os demais instrumentos de planejamento governamental. Nas Dimensões 3 e 4, respectivamente, a origem e o nível de formalização das demandas. Por fim, na Dimensão 5, os propósitos para os quais se destinam as informações avaliativas disponíveis. No que diz respeito à Dimensão 1 do Foco I, 25 dos 27 órgãos pesquisados (93%) apresentaram pontuação acima de cinquenta pontos. No entanto, nem todos se encontram no mesmo nível de maturidade. Dez desses órgãos (37%) estão no nível incipiente (pontuação entre 51,33 a 59,00), onde os elementos necessários para formular as demandas avaliativas estão presentes, são parcialmente suficientes, mas não atendem de forma regular as necessidades dos atores responsáveis pela implementação dos programas governamentais. Por outro lado, em melhor situação nessa dimensão encontram-se quatorze órgãos (52%), que obtiveram pontuação acima de sessenta pontos (nível de maturidade intermediário). Nesses órgãos os elementos, são parcialmente suficientes e atendem às necessidades dos gestores de forma regular. Ressalte-se que apenas um órgão obteve pontuação acima de setenta pontos, indicando nível de maturidade aprimorado, e dois com pontuação abaixo de cinquenta pontos e, portanto, com nível de maturidade não estruturado. Com base nos comentários apresentados pelos respondentes, observa-se que as principais deficiências quanto aos critérios examinados nessa dimensão, dizem respeito às dificuldades para implementação dos programas, que decorrem dos seguintes fatores: 1) contingenciamento e corte de recursos, 2) carência de pessoal e 26 O que o TCU encontrou

3) insuficiência dos procedimentos administrativos e de suporte, em especial, de tecnologia da informação. No que diz respeito à Dimensão 2, observou-se que as restrições orçamentárias impõem limites à execução do planejamento governamental, dificultando a operacionalização das ações planejadas e, em decorrência, a integração dos instrumentos em análise. No entanto, a avaliação geral dessa dimensão indica que essas restrições não afetam igualmente todos eles. A metade dos órgãos, quatorze (52%) obteve pontuação superior a setenta, indicando satisfatória integração entre os instrumentos de planejamento. Além disso, sete órgãos (26%) apresentaram pontuação entre sessenta e setenta pontos, o que denota nível intermediário de integração, e seis órgãos (22%) apresentaram integração incipiente. Os dados indicam, com relação à Dimensão 3, que existe uma forte concorrência entre as demandas avaliativas internas e externas. As internas são as originadas na unidade do respondente ou em outras unidades do próprio Ministério. As externas são originadas fora do Ministério, em outros órgãos, como no Ministério do Planejamento, Presidência da República, órgãos de controle (TCU, CGU e CISETs), Ministério Público, Polícia Federal, bem como cidadãos, movimentos sociais e imprensa. Na percepção dos respondentes, entre 30% a 49% do tempo de suas Unidades é utilizado para atender demandas, tanto internas quanto externas, por informações sobre o desempenho e os resultados dos programas e políticas sob suas responsabilidades. No que diz respeito às demandas internas, observa-se que existe também, na avaliação dos gestores, uma concorrência entre demandas da própria Unidade e de outras Unidades do Ministério. Nessa dimensão, quanto maior a pontuação, maior o tempo despendido pelas Unidades pesquisadas para atender as próprias demandas avaliativas. Considerando que a pontuação de todos os órgãos ficou abaixo de cinquenta pontos, verifica-se que não existe uma predominância das demandas próprias sobre as outras necessidades de informações avaliativas. 27

Importa destacar que em relação à Dimensão 4, que a avaliação serviu basicamente para evidenciar outras possíveis relações e fluxos de comunicação, não tendo sido considerada para mensurar o perfil de maturidade dos sistemas em exame. No que diz respeito aos propósitos a serem atendidos com a produção de informações (Dimensão 5), os resultados evidenciam que o conhecimento avaliativo atende parcialmente as necessidades dos gestores e é utilizado para uma multiplicidade de propósitos, sobressaindo, com pequena diferença, para promoção da accountability. Observou-se que 59% dos órgãos pesquisados (dezesseis) apresentaram, na Dimensão 5, nível de maturidade aprimorado; 19% (cinco órgãos), nível intermediário; 15% (quatro órgãos), nível incipiente; e, 7% (dois órgãos), não estruturado, conforme demonstrado no Gráfico 4. Uma síntese do nível de maturidade das dimensões do Foco I é apresentada no Gráfico 4. Destaca-se no gráfico a Dimensão 3, na qual a avaliação dos 27 órgãos indica que as informações avaliativas produzidas ou disponibilizadas nas Unidades da Administração Direta não se destinam a atender prioritariamente as necessidades dos gestores responsáveis pela implementação dos programas, condição fundamental para caracterizar os sistemas próprios de avaliação. Gráfico 4 Nível de maturidade das dimensões do Foco I 30 27 25 20 15 10 5 0 2 10 14 1 6 7 14 2 4 5 16 Dimensão 1 Dimensão 2 Dimensão 3 Dimensão 5 Não estruturado Incipiente Intermediário Aprimorado Avançado Fonte: Dados da pesquisa 28 O que o TCU encontrou

Fonte: Dados da pesquisa Quando se examinam os resultados do Foco I observa-se que existe uma grande variação na percepção dos gestores entre os órgãos pesquisados, cujas pontuações oscilam entre 50,23 a 70,23, sendo a mediana do Foco I 59,17 (pontuação geral do Foco I) Gráfico 5. Ou seja, na avaliação geral, em 59% das Unidades da Administração Direta pesquisadas (dezesseis), mesmo quando os mecanismos e instrumentos de demanda de informações avaliativas estão presentes e são parcialmente suficientes, não são capazes de induzir a produção necessária de informações sobre o desempenho e os resultados de programas e políticas. Isso caracteriza o nível de maturidade incipiente. Gráfico 5 - Pontuação dos órgãos em relação às Demandas Avaliativas (Foco I) Órgão 27 Órgão 04 Órgão 20 Órgão 12 Órgão 23 Órgão 21 Órgão 18 Órgão 06 Órgão 26 Órgão 10 Órgão 25 Órgão 08 GERAL Órgão 16 Órgão 01 Órgão 28 Órgão 03 Órgão 14 Órgão 17 Órgão 15 Órgão 07 Órgão 11 Órgão 22 Órgão 24 Órgão 13 Órgão 19 Órgão 09 70,23 65,43 65,14 64,23 64,20 62,67 61,91 61,20 60,77 60,53 60,26 59,34 59,17 58,34 58,10 57,46 57,23 57,16 55,86 55,69 54,06 53,60 53,49 53,39 53,14 52,14 50,66 Órgão 02 50,23 30 35 40 45 50 55 60 65 70 75 Não estruturado Incipiente Intermediário Aprimorado Avançado 29

No entanto, onze dos 27 órgãos (41%) apresentam avaliação superior a sessenta pontos. Em dez deles as demandas avaliativas apresentam grau de maturidade intermediário. Ou seja, as demandas avaliativas estão mais bem estruturadas e atendem de forma regular as necessidades dos atores. Somente no órgão 27, observa-se a melhor situação, em que as necessidades dos atores são satisfatoriamente atendidas (pontuação 70,23). Esse foi o único caso de grau de maturidade aprimorado das demandas avaliativas. De acordo com a literatura (MACKAY, 2002; NIELSEN et al., 2011; PRESKILL; BOYLE, 2008), a demanda bem estruturada induz a oferta de informações avaliativas (produção de conhecimento Foco II). No entanto, com base nos dados desta pesquisa, o resultado geral das análises do Foco I indica que, na média, o nível de estruturação das demandas avaliativas não é suficiente para promover uma produção satisfatória de informações sobre o desempenho e os resultados dos programas de forma a atender as necessidades dos gestores. 7.2 Avaliação da produção de conhecimento avaliativo oferta (Foco II) O Foco II trata da avaliação da capacidade avaliativa desenvolvida nos órgãos da Administração Direta, ou seja, da estruturação dos processos, procedimentos e organização dos meios para executar as atividades avaliativas. Para tanto, buscou-se conhecer a percepção dos gestores quanto à adequação da base normativa (Dimensão 6), do marco organizacional (Dimensão 7), da gestão dos meios (Dimensão 8) e de pessoas (Dimensão 9) para execução das atividades avaliativas. No que diz respeito a Dimensão 6, as análises indicam que apenas sete órgãos (26%) apresentaram pontuação acima de cinquenta. Desses, seis estão no nível incipiente de adequação das normas, diretrizes e procedimentos para execução das atividades avaliativas, assim como de conhecimento das equipes dos respondentes a esse respeito e das formas de comunicação e disseminação nos ministérios. Mais uma vez, apenas um órgão apresentou grau de maturidade aprimorado. Os demais vinte órgãos (74%), nessa dimensão, apresentaram nível não estruturado. 30 O que o TCU encontrou

Quanto à Dimensão 7, constatou-se que, na percepção dos respondentes, 70% das Unidades da Administração Direta (dezenove órgãos) ainda não dispõem de adequada estrutura organizacional, nem da definição de atribuições e competências para produzir informações sobre o desempenho e os resultados dos programas que são por elas executados. Dessas Unidades, cinco órgãos (18%) apresentam grau de maturidade incipiente e dois órgãos (7%) grau intermediário. Apenas os respondentes de um dos órgãos percebem que o grau de maturidade do marco organizacional voltado para atividades de monitoramento e avaliação está aprimorado. Pode-se concluir da avaliação das Dimensões 6 e 7, que tratam da base normativa e do marco organizacional, que as práticas avaliativas nas Unidades da Administração Direta ainda não são suficientes para assegurar a produção regular de informações sobre o desempenho e os resultados dos programas, com vistas a atender as necessidades dos gestores. Esses fatores corroboram a baixa institucionalização da avaliação nessas Unidades do setor público, conforme indica a pontuação geral do Foco II, 49,57. Quanto à Dimensão 8, a avaliação geral, na percepção dos respondentes, indica que os recursos orçamentários e financeiros, assim como a infraestrutura de tecnologia da informação disponíveis nas Unidades da Administração Direta, são parcialmente suficientes porém não atendem regularmente as necessidades dos gestores. A maioria dos órgãos (56%) encontra-se no nível incipiente quanto à gestão desses meios (quinze de 27 órgãos), dez órgãos (37%) estão no nível não estruturado e apenas dois órgãos (7%) foram classificados no nível intermediário. No que diz respeito à avaliação da Dimensão 9, que trata da gestão de pessoas alocadas para produzir informações sobre o desempenho e os resultados dos programas e políticas, quanto à quantidade, capacitação, trabalho em equipe e autonomia das chefias, os resultados indicam que nas Unidades da Administração Direta a gestão desses recursos não está estruturada em 41% dos órgãos (onze) pesquisados, sendo incipiente em 52% (quatorze) e intermediária em apenas 7% dos órgãos (dois). Considerando que a mediana das pontuações dos órgãos nesta dimensão foi 59,11, a gestão de pessoas não atende regularmente às necessidades dos gestores. 31

No Gráfico 6 apresenta-se uma síntese do nível de maturidade das dimensões do Foco II. Gráfico 6 Nível de maturidade das Dimensões do Foco II (Produção do Conhecimento Avaliativo) 25 20 20 19 15 15 14 10 10 11 5 0 6 5 2 2 2 1 1 Dimensão 6 Dimensão 7 Dimensão 8 Dimensão 9 Não estruturado Incipiente Intermediário Aprimorado Avançado Fonte: Dados da pesquisa Nos parágrafos anteriores realizou-se a análise das dimensões que compõem o Foco II. O resultado geral desse foco foi 49,57, indicando um nível de maturidade não estruturado (Gráfico 7). 32 O que o TCU encontrou

Gráfico 7 - Pontuação dos órgãos em relação ao Foco II Produção do Conhecimento Avaliativo Órgão 27 65,87 58,87 55,85 54,10 51,93 51,63 50,73 50,50 50,35 49,57 49,00 48,63 48,33 48,33 48,17 48,05 48,00 47,80 45,80 45,80 43,90 43,33 43,23 42,73 Órgão 14 Órgão 21 Órgão 08 Órgão 12 Órgão 28 Órgão 17 Órgão 06 Órgão 26 GERAL Órgão 23 Órgão 07 Órgão 16 Órgão 13 Órgão 01 Órgão 18 Órgão 19 Órgão 25 Órgão 20 Órgão 15 Órgão 03 Órgão 09 Órgão 11 Órgão 04 Órgão 24 Órgão 10 Órgão 22 Órgão 02 32,43 39,02 38,57 38,07 30 35 40 45 50 55 60 65 70 Não estruturado Incipiente Intermediário Aprimorado Avançado Fonte: Dados da pesquisa Em dezoito órgãos pesquisados (67%), caracterizou-se o nível de maturidade não estruturado, oito órgãos (27%) apresentaram nível de maturidade incipiente e apenas o órgão 27 apresentou a maior pontuação (65,87), indicando nível de maturidade intermediário (Gráficos 7 e 8). 33

Gráfico 8 Nível de maturidade Foco II Produção do Conhecimento Avaliativo 20 18 15 10 8 5 0 1 foco II Não estruturado Incipiente Intermediário Aprimorado Avançado Fonte: Dados da pesquisa Assim, os resultados evidenciam que o nível de desenvolvimento da capacidade avaliativa das Unidades da Administração Direta ainda não é suficiente para atender as necessidades dos gestores. 7.3 Avaliação da capacidade de aprendizado organizacional (Foco III) O objetivo do Foco III foi conhecer como os órgãos da Administração Direta definem suas estruturas e estratégias para encorajar o aprendizado (Dimensão 10). Para tanto, solicitou-se aos gestores que avaliassem o ambiente interno de suas Unidades e as práticas gerenciais que se relacionam com o aprendizado organizacional. Os resultados evidenciam que nas Unidades da Administração Direta os gestores percebem suas organizações com alta capacidade de aprendizado, exceto quanto ao órgão 2, conforme apresentado no Gráfico 9. 34 O que o TCU encontrou

Gráfico 9 Pontuação dos órgãos em relação à capacidade de aprendizado organizacional (Foco III) Órgão 28 100,00 Órgão 08 100,00 Órgão 18 95,00 Órgão 12 95,00 Órgão 06 95,00 Órgão 03 95,00 Órgão 04 92,50 Órgão 23 90,00 Órgão 21 90,00 Órgão 07 90,00 Órgão 15 Órgão 14 87,50 87,50 Órgão 27 85,00 Órgão 24 85,00 Órgão 22 85,00 Órgão 19 85,00 Órgão 17 85,00 Órgão 13 85,00 Órgão 11 85,00 Órgão 26 82,50 Órgão 01 82,50 GERAL Órgão 25 82,50 80,00 Órgão 20 80,00 Órgão 16 80,00 Órgão 10 80,00 Órgão 09 80,00 Órgão 02 60,00 30 40 50 60 70 80 90 100 110 Não estruturado Incipiente Intermediário Aprimorado Avançado Fonte: Dados da pesquisa O Foco III é composto por uma dimensão que aborda quatro critérios-chave utilizados para avaliar as estruturas e estratégias adotadas pelas organizações para promoção do aprendizado. Esses critérios dizem respeito à clareza de propósito e missão; empowerment e comprometimento da liderança; transferência de conhecimento; trabalho em grupo e resolução de problemas em grupo. 35

A avaliação final do Foco III foi 82,50, o que qualifica nível avançado de maturidade. Dois órgãos alcançaram a pontuação máxima (cem) e um órgão obteve a menor pontuação (sessenta), considerado incipiente. Os resultados apresentados no Gráfico 9 refletem a auto-avaliação dos gestores e líderes de equipes sobre aspectos relacionados aos seus próprios comportamentos gerenciais. 7.4 Avaliação da utilização da avaliação (Foco IV) Para examinar a utilização do conhecimento avaliativo produzido ou disponibilizado nas Unidades da Administração Direta sobre o desempenho e resultados dos programas e políticas, solicitou se aos gestores que avaliassem os benefícios gerados com o uso dessas informações, segundo a tipologia de utilização adotada na literatura. As dimensões do Foco IV foram baseadas na tipologia definida no modelo de análise, ou seja, a utilização instrumental (Dimensão 12), conceitual (Dimensão 13), simbólica ou política (Dimensão 14) e o uso no processo (Dimensão 11). O uso instrumental se caracteriza pela observação direta de mudanças decorrentes dos resultados das atividades avaliativas. O uso conceitual está relacionado aos processos cognitivos, de compreensão dos programas e políticas implementadas. O uso simbólico ou político se relaciona a legitimação das ações implementadas, e por fim, o uso no processo diz respeito ao aprendizado individual e coletivo decorrente da execução das atividades avaliativas. Observou-se que nas quatro dimensões analisadas mais de 78% dos órgãos apresentaram nível de maturidade aprimorado. Esses resultados indicam que o conhecimento avaliativo produzido, quando disponível, é utilizado para uma multiplicidade de propósitos, não tendo sido identificado, conforme apresentado no Gráfico 10, diferenças significativas entre a pontuação geral por tipo de utilização. 36 O que o TCU encontrou

Gráfico 10 Nível de maturidades das dimensões do Foco IV 25 20 15 10 5 0 24 24 22 21 4 6 3 1 2 1 Dimensão 11 Dimensão 12 Dimensão 13 Dimensão 14 Não estruturado Incipiente Intermediário Aprimorado Avançado Fonte: Dados da pesquisa A avaliação geral do Foco IV foi 80,00, que representa a mediana da pontuação dos órgãos e indica nível de maturidade aprimorado (Gráfico 11) em 59% dos órgãos (dezesseis). Gráfico 11 Pontuação dos órgãos em relação à utilização da avaliação (Foco IV). Órgão 28 95,00 Órgão 18 87,50 Órgão 25 85,00 Órgão 24 85,00 Órgão 16 85,00 Órgão 13 85,00 Órgão 01 80,00 Órgão 27 80,00 Órgão 26 80,00 Órgão 23 80,00 Órgão 22 Órgão 21 80,00 80,00 Órgão 20 80,00 Órgão 19 80,00 Órgão 14 80,00 Órgão 12 80,00 Órgão 11 80,00 Órgão 10 80,00 Órgão 09 80,00 Órgão 08 80,00 Órgão 06 80,00 Órgão 04 80,00 Órgão 03 80,00 80,00 GERAL Órgão 17 Órgão 15 Órgão 07 Órgão 02 42,50 70,00 70,00 70,00 30 40 50 60 70 80 90 100 Não estruturado Incipiente Intermediário Aprimorado Avançado Fonte: Dados da pesquisa 37

Para os demais, evidenciou-se que um órgão (3%) apresentou nível de maturidade não estruturado, três órgãos (11%) apresentaram nível intermediário e sete órgãos (26%) nível avançado de maturidade (Gráfico 12). Gráfico 12 Nível de maturidade Foco IV - Utilização 18 16 16 14 12 10 8 7 6 4 2 0 1 3 Não estruturado Incipiente Intermediário Aprimorado Avançado Fonte: Dados da pesquisa 7.5 Avaliação geral dos focos A avaliação geral por Foco (Gráfico 13) evidenciou que os gestores percebem os órgãos da Administração Direta como apresentando alta capacidade de aprendizado organizacional (Foco III - 82,5) e de utilização do conhecimento avaliativo (Foco IV - 80,0). No entanto, as Unidades apresentam baixo desenvolvimento da capacidade avaliativa (Foco II - 49,6), ou seja, para produzir informações sobre o desempenho e os resultados programas e políticas por elas executadas. 38 O que o TCU encontrou

90 80 70 60 50 40 30 20 10 0 Gráfico 13 Pontuação da maturidade dos sistemas de avaliação por foco 59,17 Pontuação no Foco 1 - Demandas avaliativas 49,57 Pontuação no Foco 2 - Oferta (Produção do conhecimento Avaliativo) 82,50 80,00 Pontuação no Foco 3 - Capacidade de Aprendizado Organizacional Pontuação no Foco 4 - Utilização 63,96 Geral Fonte: Dados da pesquisa No Gráfico 14, os focos são desdobrados nas respectivas dimensões e se apresenta a pontuação final por dimensão, em que pode observar que as dimensões relacionadas à produção de conhecimento avaliativo (Foco II) são as que apresentam as menores pontuações, assim como a Dimensão 3 do Foco I, que diz respeito às demandas internas. 39

90 80 70 60 50 40 30 20 10 Gráfico 14 Pontuação da maturidade dos sistemas de avaliação por dimensão 60,48 74,00 32,46 72,46 46,00 50,00 41,33 59,11 82,50 80,00 80,00 80,00 80,00 63.96 0 D1 D2 D3 D5 D6 D7 D8 D9 D10 D11 D12 D13 D14 GERAL D1 - Objeto D2 - Planejamento D3 - Distribuição da Demanda Interna D5 - Avaliação D10 - Cap Aprendizagem GERAL D6 - Base Normativa D7 - Marco Organizacional D8 - Gestão Meios D9 - Gestão Pessoas D11 - Uso Processo D12 - Uso Instrumental D13 - Uso Conceitual D14 - Uso Político Fonte: Dados da pesquisa Conforme análises anteriores, as demandas avaliativas nas Unidades pesquisadas concorrem com as demandas externas e das demais Unidades dos órgãos, o que indica que as necessidades próprias das unidades não são as prioritárias. Ademais, as unidades apresentam baixo desenvolvimento de capacidade avaliativa (Foco II), ou seja, não dispõem dos meios suficientes para assegurar a disponibilização de informações avaliativas capazes de atender, de forma regular, as necessidades dos gestores. 40 O que o TCU encontrou

41

8 Análise comparada de dispersão por foco Apresenta-se a seguir análises comparativas entre focos. Esta análise permite identificar quatro grandes perfis ilustrados por meio da Figura 2, que caracterizam os sistemas de avaliação. Figura 2 Modelo de análise comparada de desempenho por foco QUADRANTE 2 QUADRANTE 1 QUADRANTE 3 QUADRANTE 4 No quadrante 1 encontram-se os órgãos com pontuação acima de cinquenta pontos simultaneamente no eixo vertical (que representa um dos focos) e no eixo horizontal (que representa o segundo foco utilizado para comparação dos resultados). Os órgãos localizados nesse quadrante são considerados como tendo desempenho satisfatório nos dois focos comparados. No quadrante 2 estão localizados os órgãos com pontuação acima de cinquenta pontos no eixo vertical e pontuação abaixo de cinquenta pontos no eixo horizontal. Os órgãos que se situam neste quadrante apresentam desempenho satisfatório no eixo de avaliação vertical e desempenho insatisfatório no eixo de avaliação horizontal. No quadrante 3 encontram-se os órgãos que aferiram desempenho abaixo de cinquenta pontos simultaneamente nos eixos vertical e horizontal. Ou seja, nos dois focos utilizados para comparação. No quadrante 4 estão localizados os órgãos que aferiram o desempenho acima de cinquenta pontos no eixo horizontal e uma pontuação 42

abaixo de cinquenta pontos no eixo vertical. Desta forma apresentam desempenho satisfatório no eixo de avaliação horizontal e desempenho insatisfatório no eixo vertical. 8.1 Análise comparada de dispersão entre demanda avaliativa e produção de conhecimento (oferta) Focos I e II A Figura 3 mostra as pontuações aferidas pelos órgãos da Administração Direta no Foco II Oferta (capacidade de produção de conhecimento avaliativo) comparativamente com o Foco I Demandas Avaliativas. Para que os sistemas de avaliação sejam classificados como estruturados é fundamental que os resultados estejam situados no Quadrante 1, considerando que indicam que os mecanismos e instrumentos necessários à configuração da demanda e oferta avaliativas estão presentes e são parcialmente suficientes para atender as necessidades dos gestores de forma regular (nível de maturidade incipiente). Figura 3 Análise de dispersão comparada entre os focos demandas avaliativas e a capacidade de produção de informações avaliativas - oferta (Focos I e II) 70 27 Foco II - Oferta 60 50 40 30 20 14 21 8 28 26 12 17 13 6 23 19 7 1 15 16 18 25 20 9 11 3 4 24 22 10 2 10 0 0 10 20 30 40 50 60 70 80 Foco I - Demandas Avaliativas Conforme se pode visualizar na Figura 3, a maior parte das Unidades da Administração Direta (67%) ainda não desenvolveu satisfatória capacidade avaliativa (Foco II), pois se encontra no Quadrante 4. Apenas 43

nove órgãos (33%) da Administração Direta satisfazem esse requisito. Observa-se que embora as demandas sejam estruturadas (Foco I), pontuação acima de cinquenta no eixo horizontal, elas não são suficientes para induzir a produção de conhecimento necessária para atender as necessidades dos gestores de forma regular. É importante ressaltar que essa evidência é reforçada na Figura 3, uma vez que os órgãos estão muito próximos ao vértice das linhas divisórias entre os quadrantes 1 e 4, indicando a necessidade de aperfeiçoamento na capacidade avaliativa (Foco II) para atender de forma adequada aos gestores. Considera-se que sistemas avaliativos robustos e bem estruturados são um dos elementos essenciais à governança, na medida em que proporcionam informações relevantes, oportunas e tempestivas para tomada de decisões de forma a assegurar o alcance dos objetivos pretendidos. Portanto, caberia aos órgãos da Administração Direta adotar medidas com vistas a estruturar os meios, processos e procedimentos para assegurar que o conhecimento avaliativo seja produzido e disponibilizado aos gestores das políticas públicas. 8.2 Análise comparada de dispersão entre a produção e a utilização de conhecimento avaliativo Focos II e IV Da análise da Figura 4, pode-se evidenciar que as necessidades dos gestores não são satisfatoriamente atendidas, quando se compara a utilização (Foco IV), com a capacidade avaliativa das Unidades pesquisadas oferta (Foco II). Observa-se que a maior parte dos órgãos encontra-se no quadrante 2, reforçando as deficiências na capacidade avaliativa (eixo horizontal), para atender as necessidades de utilização (eixo vertical). 44 Análise comparada da dispersão por foco

Figura 4 - Análise de dispersão comparada entre os focos utilização e produção de conhecimento avaliativo (Focos II e IV) 100 90 80 28 18 24 131 16 11 25 12 10 4 3 20 22 6 8 9 19 23 21 26 14 27 Foco IV - Utilização 70 60 50 40 30 2 15 7 17 20 10 0 0 10 20 30 40 50 60 70 Foco II - Produção de conhecimento avaliativo - Oferta 8.3 Análise comparada de dispersão entre demandas avaliativas e utilização (Focos I e IV) As Unidades da Administração Direta apresentam os mecanismos e instrumentos necessários para demandar informações avaliativas, as quais, quando produzidas e disponibilizadas, são utilizadas. Essa constatação pode ser depreendida da comparação entre as demandas avaliativas (Foco I) e a utilização (Foco IV), conforme apresentado na Figura 5. 45

Figura 5 Análise de dispersão comparada entre os focos demandas avaliativas (Foco I) e a utilização (Foco IV) 100 90 80 28 24 18 13 16 25 10 23 9 19 11 3 8 621 12 22 14 26 20 4 27 Foco IV - Utilização 70 60 50 40 30 2 17 7 15 20 10 0 0 10 20 30 40 50 60 70 80 Foco I - demandas Avaliativas 46 Análise comparada da dispersão por foco