Diagnóstico e Perfil de Maturidade dos Sistemas de Avaliação de Programas Governamentais da Administração Federal Direta

Transcrição

1 Diagnóstico e Perfil de Maturidade dos Sistemas de Avaliação de Programas Governamentais da Administração Federal Direta Dagomar Henriques Lima Secretário de Métodos e Suporte ao Controle Externo Apoio Brasília, setembro, 2015

2 Sumário Objetivos O que são sistemas de avaliação? Método Perfil dos respondentes Resultados Conclusões

3 Objetivos Caracterizar e avaliar a capacidade dos órgãos da administração pública direta para monitorar e avaliar os programas finalísticos de governo Leeuw e Furubo (2008) Cousins et al (2007) Nielsen et al (2011)

4 Definição de Sistemas de Avaliação Sistemas de avaliação são instrumentos caracterizados a partir dos mecanismos que definem um fluxo regular e contínuo de demandas, que orientam um conjunto de práticas avaliativas, formalizadas, estruturadas e coordenadas, para produzir e fornecer conhecimentos, com o objetivo de subsidiar os processos decisórios, com vistas a promoção do aprendizado, do aperfeiçoamento e da accountability de programas e políticas públicas. (SERPA e CALMON, 2012)

5 Demanda Contexto (externo e interno) no qual as demandas por avaliação são formuladas. 1) Consistência de objetivos e ações 2) Adequação de ações, metas, prazos, recursos 3) Alinhamento do planejamento 4) Natureza da demanda o que avaliar (objeto)? para que avaliar (objetivos)? para quem (interessados nas avaliações)?

6 Oferta A estruturação dos processos e organização dos meios para executar as atividades avaliativas - capacidade avaliativa. 1) Práticas avaliativas instituídas 2) Base normativa 3) Formalização das práticas avaliativas, mediante a definição de responsabilidades, rotinas e instrumentos, alocação dos meios ($, TI) 4) Formação e capacitação dos profissionais responsáveis pela execução das atividades avaliativas

7 Aprendizagem Estruturas e estratégias adotadas pela organização para encorajar o aprendizado. 1) Comprometimento da liderança 2) Transferência de conhecimento 3) Trabalho em grupo 4) Resolução de problemas

8 Utilização Mecanismos que favorecem a utilização das informações produzidas pelas atividades avaliativas 1) Utilização instrumental 2) Conceitual 3) Simbólica ou política 4) No processo

9 Estrutura de Análise Sistemas de Avaliação Estrutura do Questionário Sistemas de Avaliação Foco I Foco II Foco III Foco IV Demandas Avaliativas Produção Conhecimento Capacidade de Utilização do Avaliativo Aprendizado Organizacional Conhecimento Avaliativo 5 Dimensões 4 Dimensões 1 Dimensão 4 Dimensões 14 Critérios 17 Critérios 5 Critérios 8 Critérios 9QF + 5QA 13QF + 4QA 4 QF + 1QA 4QF + 4QA

10 Como se desenvolveu o trabalho? Antecedentes 1. Estudo exploratório nas Unidades da Administração Federal Direta para identificar as iniciativas de monitoramento e avaliação com potencial para se caracterizar como sistemas de avaliação (2010/2011) 2. Desenvolvimento de modelo conceitual para a realização da pesquisa tendo por base trabalhos similares realizados no Canadá e na Dinamarca 3. Definição, com base no modelo conceitual, de um conjunto de critérios para caracterizar os sistemas de avaliação 4. Realização de pesquisa piloto em dois Ministérios (2012) com o objetivo de validar o instrumento de coleta de dados - Acórdão 243/2013-TCU-Plenário, item 9.1 (TC /2011-6)

11 Como se desenvolveu o trabalho? (continuação) Pesquisa 1. Ajuste e validação do questionário em grupos focais com representantes do universo pesquisado (avaliar a consistência, pertinência e relevância das questões examinadas) 2. Elaboração do questionário eletrônico: Sistema Pesquisar do TCU 3. Cooperação direta dos Assessores Especiais e Secretários de Controle Interno de 28 Ministérios

12 Como se desenvolveu o trabalho? (Continuação) 4. Público alvo - ocupantes de funções gerenciais de coordenadorgeral, diretor e secretário, DAS 4, 5 e 6 5. Pesquisa eletrônica encaminhada para 28 Ministérios, compreendendo universo de gestores de políticas finalísticas (bens e serviços para a população), em agostooutubro de Amostra (não probabilística) composta de 750 respostas ou 36,4% do total pesquisado em 27 órgãos

13 Como se desenvolveu o trabalho? (Continuação) 8. Utilização de Método multicritério de apoio à decisão abordagem construtivista (MCDA-C) 9. Realização de dois tipos de análise: estatística descritiva e análise de conteúdo 10. Construção do índice de maturidade dos sistemas de avaliação de programas governamentais isa-gov 11. Relatório Geral - Acórdão 1209/2014-PL 12. Relatórios Setoriais (2015)

14 Perfil dos Respondentes Tempo de serviço na atual função Menos de um ano 23,05% 57 % 1 a 2 anos 33,56% 3 a 4 anos 19,14% 5 a 6 anos 6,60% Mais de 6 anos 17,65% 0% 5% 10% 15% 20% 25% 30% 35% 40%

15 Perfil dos Respondentes Tempo de serviço na Administração Pública Mais de dez anos 61,38% 5 a 10 anos 19,92% 3 a 4 anos 9,49% 1 a 2 anos 6,78% Menos de um ano 2,44% 0% 10% 20% 30% 40% 50% 60% 70%

16 Principais práticas avaliativas Relatórios 17% Outras 35% Monitoramento 15% Reunião 10% Avaliação 13% Acompanhament os 10%

17 Resultados Avaliação geral do nível de maturidade por foco ,17 Pontuação no Foco 1 (Demanda) Capacidade produzir informações sobre o desempenho e o resultado dos programas 49,57 Pontuação no Foco 2 (Oferta) Pontuação no Foco 3 (Aprendizado) 82,50 80,00 Pontuação no Foco 4 (Utilização) GERAL 63,96

18 Resultados Avaliação geral por dimensão 90,00 80,00 70,00 60,00 50,00 60,48 74,00 72,46 41,33 46,00 50,00 59,11 82,50 80,00 80,00 80,00 80,00 63,96 40,00 32,46 30,00 20,00 10,00 0,00

19 Resultado do isa-gov Órgão 27 Órgão 28 Órgão 12 Órgão 21 Órgão 08 Órgão 18 Órgão 06 Órgão 14 Órgão 23 Órgão 04 Órgão 26 Órgão 20 Órgão 25 Órgão 01 GERAL Órgão 16 Órgão 03 Órgão 13 Órgão 17 Órgão 19 Órgão 07 Órgão 10 Órgão 11 Órgão 15 Órgão 24 Órgão 22 Órgão 09 Órgão 02 44,81 73,09 69,60 68,31 68,19 68,00 67,84 66,82 66,79 66,67 65,60 64,75 64,54 64,43 64,16 63,96 63,92 63,45 62,85 61,52 61,40 61,01 60,76 60,48 60,36 60,14 58,89 58,73 LEGENDA Avançado Aprimorado Intermediário Incipiente Não Estruturado

20 Conclusões - baixa institucionalização dos sistemas de avaliação na administração federal direta - expressiva influência das demandas avaliativas externas aos programas (órgãos de controle) - deficiências sistêmicas na capacidade de gestão e implementação dos programas e políticas - baixa capacidade de produzir informações sobre o desempenho e os resultados dos programas - múltiplos propósitos

21 Conclusões - evidências da utilização das informações avaliativas para o aprendizado single loop, pouca relevância para a revisão e garantia de efetividade dos programas - evidências da utilização simbólica ou política para assurance procedimental (como o programa é implementado e seu desempenho para demonstrar controle sobre o programa)