Perfil de Maturidade dos Sistemas de Avaliação

Transcrição

1 Seminário Internacional Monitoramento e Avaliação de Políticas Públicas e Contribuição da Auditoria de Desempenho Perfil de Maturidade dos Sistemas de Avaliação Selma Maria Hayakawa Cunha Serpa Secretaria de Métodos Aplicados e Apoio a Auditoria - SEAUD Brasilia, 03/Abr/2013

2 O que são Sistemas de Avaliação? ü indicador de uma cultura de avaliação madura ü avaliações são designadas e conduzidas por meio de arranjos permanentes ü u7lização das informações produzidas (Furubo e Sandahl, 2002)

3 Tipologia de Sistemas de Avaliação Leeuw e Furubo (2008), com base no Interna'onal Atlas of Evalua'on (FURUBO et al., 2002) e no Roots of Evaluta'on (ALKIN, 2004), iden7ficaram, principalmente nos países ocidentais, os seguintes 7pos de sistemas de avaliação: v sistemas de Monitoramento e Avaliação (SM&A); v sistemas de monitoramento de desempenho (System of Performance Monitoring); v sistemas de auditoria de desempenho, fiscalização e acompanhamento; v sistemas de avaliação quase- experimental e evidence- based policy; e v sistemas de avaliação e ceraficação (accredita:on).

4 Tipologia de sistemas de avaliação Sistemas de avaliação quase- experimental e evidence based policiy Julgamento Valor ou Mérito Aperfeiçoamento Sistemas de Monitoramento e Avaliação (M&A) Sistemas de Monitoramento Desempenho Sistemas de avaliação e cer'ficação (accredita'on) Accountability Desenvolvimento do conhecimento Sistemas de auditoria operacional, fiscalização e acompanhamento Fonte: Serpa e Calmon, 2012

5 Ciclo de gestão Diretrizes e prioridades de governo Diretrizes e prioridades Polí7cas Setoriais Diretrizes e prioridades Organização Planejar Sistemas de Planejamento e Gestão Executar Accountability Sistemas de Avaliação Revisar Controlar

6 Critérios para caracterizar sistemas de avaliação Leeuw e Furubo (2008) definiram quatro critérios para caracterizar um sistema de avaliação ü perspectiva epistemológica distinta; ü arranjos ü Continuidade das atividades ao longo do tempo; ü planejamento da utilização dos resultados das avaliações

7 Critérios para caracterizar Sistemas de Avaliação Leeuw e Furubo x Grau e Bozzi Leeuw e Furubo (2008) - Critérios Grau e Bozzi (2008) - Critérios perspectiva epistemológica distinta institucionalização formal, com unidade coordenadora e nome próprio operacionalização do sistema por uma entidade com função e autoridade sobre toda a administração pública, mas com funções especializadas realização de atividades de monitoramento e avaliação; intenção de cobertura global arranjos articulação explicita dos usuários e das funções do sistema localização do sistema no poder executivo regulação do sistema dentro da administração pública mínima densidade instrumental continuidade regularidade das atividades utilização das informações resultantes e das atividades de monitoramento e utilização avaliação

8 Definição Sistemas de Avaliação Sistemas de avaliação são caracterizados a par7r dos mecanismos que definem um ü fluxo regular e congnuo de demandas, que orientam um ü conjunto de práacas avaliaavas, formalizadas, estruturadas e coordenadas, para produzir e fornecer conhecimento ü influenciar os processos decisórios e de aprendizagem para o aperfeiçoamento da gestão e da implementação de programas e polí7cas públicas (Serpa S. ; Calmon, P. 2012).

9 Modelo Análise Sistemas de Avaliação Fonte: Serpa e Calmon, 2012

10 Por que caracterizar o Perfil de Maturidade dos Sistemas de Avaliação (PMSA) da Administração Direta? ü contribuir para o aperfeiçoamento da gestão dos programas e polí7cas setoriais, por meio da iden7ficação de oportunidades de melhorias ü sistemas de avaliação são instrumentos- chave de apoio aos processos decisórios e de aprendizado organizacional no ciclo de gestão governamental ü Segundo a ISSAI 3000/2.1 (2004), um dos obje7vos das EFS, por meio da realização de auditorias operacionais, é proporcionar ao Poder Legisla7vo análise independente e ad hoc sobre a viabilidade e confiabilidade dos sistemas de mensuração do desempenho ou declarações ou auto- avaliações sobre desempenho que são publicadas por en7dades.

11 Como assegurar que o PMSA é compagvel com o contexto organizacional? Por meio da caracterização da Capacidade de Aprendizado Organizacional (CAO), que indica o quanto a organização tem as condições necessárias para suportar o desenvolvimento da capacidade avalia7va (Preskill e Boyle, 2008).

12 O que é Capacidade de Aprendizado Organizacional? Segundo Goh e Ryan (2002) ü produto do aprendizado individual e cole7vo aplicado para alcançar os obje7vos da organização ü pode- se avaliar a capacidade de aprendizado organizacional por meio da análise do impacto de um conjunto de condições internas da organização e de prá7cas gerenciais que se relacionam ao aprendizado

13 Instrumento da pesquisa Construtos Sistema7zação da Demanda Capacidade Avalia7va (Oferta Produção de conhecimento) U7lização Capacidade de Aprendizado Organizacional Variáveis Sistema7zação do Planejamento Sistema7zação da Demanda Sistema7zação dos Instrumentos Normas Pessoas (capacidade) Processos (estrutura e recursos) Prá7cas avalia7vas U7lização no processo U7lização dos achados clareza de propósito e missão empowerment e comprome7mento da liderança experimentação e premiação transferência de conhecimento trabalho em grupo resolução de problemas em grupo

14 Modelo PMSA Perfil de Maturidade Sistema de Avaliação - PMSA Demandas Avaliativas (DAl) Sistematização Planejamento Demandas Avaliativas (SisPlan) Sistematização Demandas (SisDem) Sistematização Instrumentos (SisInst) Avaliativos Produção Conhecimento (PrC) Normatização Capacidade Estrutura Recursos Práticas Avaliativas Utilização (Ut) Utilização no processo Utilização achados Capacidade de Aprendizado Organizacional (CAO) Clareza de propósito Empowerment Experimentação Resolução Transferência

15 Perfil de Maturidade Sistemas de Avaliação 5 Demanda Avaliativa Produção Conhecimento Utilização Capacidade Aprendizado Organizacional 4 3 Série1 2

16 Público- Alvo Gestores públicos da administração federal direta responsáveis pela implementação de programas e polí7cas setoriais

17 Demanda Nesta dimensão os construtos a serem mensurados dizem respeito ao contexto interno e externo onde as demandas por avaliação são formuladas, quem as formulam, para quem se des7nam e que instrumentos são u7lizados para lhes dar cumprimento. Analisada por meio de três construtos: ü sistema7zação do planejamento ü sistema7zação da demanda ü sistema7zação dos instrumentos avalia7vos.

18 Análise da Demanda Avalia7va Sistema7zação do Planejamento Sistema7zação da Demanda Sistema7zação dos Instrumentos Demanda O que avaliar? Para quem? Como? Necessidades avalia7vas

19 Sistema7zação Planejamento - SistPlan ü Obje7va- se caracterizar em que medida os instrumentos u7lizados para definir a estratégia e a forma de implementação das polí7cas, programas e ações sob a responsabilidade dos Ministérios orientam as demandas avalia7vas. ü Pressupõe- se que há uma integração entre os instrumentos, do nível estratégico para o mais operacional, sendo o PPA entendido como estratégico para o Governo, os Planos Nacionais, como instrumentos estratégicos no nível da polí7ca setorial (Ministério); o planejamento estratégico, como instrumento estratégico para a gestão organizacional (Ministério), os Planos de Diretrizes e Metas como instrumentos orientadores do nível tá7co- operacional. ü Quanto mais bem ar7culados e estruturados os instrumentos de planejamento, pressupõe- se que melhor serão definidos os objetos a serem subme7dos inves7gação avalia7va.

20 Sistema7zação da Demanda - SisDem ü A sistema7zação da demanda tem por obje7vo mensurar em que medida as demandas avalia7vas atendem as necessidades que orientam e delimitam a natureza do sistema, sejam elas internas ou externas. ü Sistemas orientados por demandas internas são mais plasmados a atender necessidades no nível da gestão e implementação de polí7cas setoriais. ü Sistemas orientados por demandas externas, são direcionados por estratégias definidas em outros níveis de gestão governamental, que podem não considerar as necessidades e a capacidade do órgão setorial. ü Regras de Propriedade do sistema: ü sistemas internos são, em regra, norma7zados, implementados e controlados no âmbito setorial ü Sistemas externos, são de propriedade de outros órgãos, o que limita a competência do órgão setorial em relação a gestão, 7po, forma e u7lização do conhecimento produzido por meio desses sistemas.

21 Sistema7zação da Demanda Questão 7: Indique a frequência com que as atividades de monitoramento e avaliação dos programas, ações e políticas sob a responsabilidade da sua Unidade são demandados pelos seguintes órgãos Demanda Interna Próprio Ministério Demanda Externa MPOG MF PR Legislativo Judiciário Órgãos Controle Organismos Internacionais Questão 11: Indique com que frequência as informações fornecidas pelos instrumentos de M&A são disponibilizadas para: Destinatários Internos Toda equipe da Unidade Superior hierárquico Todo Ministério Unidade de Planejamento Ministério Unidade de Orçamento Ministério Destinatários Externos Órgãos centrais de Planejamento, Orçamento e Financas Presidência da República Legislativo Judicário Órgãos de Controle Outros órgãos governamentais Organismos internacionais Público em geral

22 Sistema7zação dos Instrumentos M&A - SistInst ü Obje7va- se iden7ficar quais e em que medida o órgão u7liza, de forma congnua, instrumentos para a prá7ca das a7vidades avalia7vas. Espera- se, ainda, a par7r deste construto, delinear o propósito do sistema de avaliação do órgão e, em decorrência, a sua 7pologia.

23 Instrumentos e Prá7cas de M&A Que instrumentos são utilizados para monitorar e avaliar? Que atividades de M&A são realizadas na sua Unidade? Instrumentos M&A - Questão 9 Reuniões internas periódicas Acompanhamento via SIAFI Relatórios gerenciais próprios Auditorias e Fiscalizações órgãos de controle Sistema próprio de monitoramento Indicadores de desempenho Outros instrumentos M&A Avaliações de Programas internas Acompanhamento via SIOP Relatórios gerenciais Ministério Pesquisas/Estudos de diagnóstico internos Sistema de informações outros órgãos Pesquisas/Estudos de diagnóstico externos Sistema de monitoramento do Ministério Pesquisas de opinião c/beneficiários internas Avaliações de Programas externas Pesquisas de opinião c/beneficiários externas Práticas Avaliativas - Questão 17 Revisão normativa programa (RNP) Observação in loco (OBSLOCO) Avaliação de programas (AP) Padrões de desempenho (PD) Monitoramento implementação (MI) Monitoramento resultados (MR) Análise resultados (AR) Planejamento avaliação (AL) Acompanhamento grupo de controle (AGC) Estudo de caso (EC) Modelo lógico (MLOG) Análise indicadores desempenho (AID) Relatório interno de gerenciamento (RIG) Outras atividades M&A (OUTRAS)

24 Oferta Produção de Conhecimento ü A dimensão oferta trata dos arranjos para produção de conhecimento, ou seja, da estruturação dos processos e meios para executar as a7vidades avalia7vas ( pessoas capacitadas, estrutura, instrumentos e recursos), que pode ser depreendida como capacidade avalia7va. ü Segundo a literatura, os sistemas de avaliação devem fazer parte de organizações e ins7tuições com capacidade, estrutura e recursos, de forma a permi7r a con7nuidade e sustentabilidade das a7vidades avalia7vas, assim como a sua interrelação com outros sistemas, que possibilite a criação de demandas e a u7lização do conhecimento produzido. ü Nesse sen7do, espera- se que os sistemas de avaliação sejam dotados de capacidade avaliaava (evalu'on capacity EC) ou desenvolvimento de capacidade avalia7va (evalua'on capacity building ECB).

25 Capacidade Avalia7va é um sistema de ação contexto- dependente, de processos e prá7cas intencionais, orientado para propiciar e sustentar a con7nuidade e regularidade das relações entre a realização de avaliações de programas de qualidade e a sua adequada u7lização, dentro e/ou entre uma ou mais organizações, programas ou localidades. (STOCKDILL, BAIZERMAN E COMPTON, 2002, p. 8, tradução nossa)

26 Desenvolvimento Capacidade Avalia7va Obje7va- se com o desenvolvimento da capacidade avalia7va, segundo Taylor- Powell e Boyd (2008), fortalecer e promover a capacidade da organização para: 1) desenhar, implementar e gerenciar os projetos de avaliação de forma efe7va; 2) ter acesso, construir e u7lizar os conhecimentos e habilidades desenvolvidas com as avaliações; 3) cul7var con7nuamente um espírito de aprendizado organizacional, aperfeiçoamento e accountability; e 4) criar incen7vos e apoio para a avaliação de programas e auto- avaliação como uma estratégia de melhoria do desempenho

27 Produção de conhecimento (Oferta) Obje7va- se iden7ficar em que medida os órgãos governamentais possuem os arranjos, com vistas a mensurar o nível de ins7tucionalização da capacidade avalia7va dos sistemas de avaliação Os construtos a serem caracterizados se referem à: ü norma7zação e disseminação, no âmbito da organização, das prá7cas avalia7vas (norma7zação) ü suporte organizacional, em termos da formação e capacitação dos profissionais responsáveis pela execução das a7vidades avalia7vas (capacidade) ü Recursos disponibilizados para implementação das a7vidades, mediante a definição de responsabilidades e ro7nas (estrutura) ü Alocação dos meios necessários à execução das a7vidades (recursos) ü Instrumentos para execução propriamente das a7vidades avalia7vas (prá7cas avalia7vas).

28 Produção de conhecimento (Oferta) Produção de Conhecimento Normatização Capacidade Estrutura Recursos Práticas Avaliativas

29 Produção Conhecimento - Norma7zação NORMATIZAÇÃO Obje7va- se iden7ficar em que medida, na percepção dos gestores, os instrumentos u7lizados para monitorar e avaliar programas, ações e polí7cas ü estão formalmente ins7tuídos (definição instrumentos) ü são disseminados e divulgados (disseminação) ü são de conhecimento da equipe (conhecimento) ü se os procedimentos rela7vos a forma de comunicação das informações sobre as a7vidades e os resultados dos monitoramentos e avaliações realizadas estão formalmente ins7tuídos (formalização comunicação).

30 Produção Conhecimento - Capacidade CAPACIDADE O construto capacidade trata da inves7gação do suporte organizacional para os aspectos relacionados às pessoas que executam as a7vidades avalia7vas. Obje7va- se iden7ficar em que medida o órgão ü Dispõe de recursos humanos em quan7dade e formação adequadas para o exercício das a7vidades avalia7vas ü incen7va, apoia e favorece o desenvolvimento profissional por meio da capacitação individual, de equipes e gerencial, de forma equita7va e tempes7va.

31 ESTRUTURA Produção Conhecimento - Estrutura O construto estrutura busca iden7ficar se as prá7cas avalia7vas são formalizadas e ar7culas por meio de polí7cas e procedimentos claramente relacionados com as regras e controles que orientam os processos decisórios no órgão. ü se existe um setor responsável pelas a7vidades avalia7vas ü se as pessoas são formalmente designadas para a realização dessas a7vidades ü se os procedimentos estão formalmente definidos ü se a introdução de novas a7vidades necessita de aprovação superior ü se existem e são u7lizados padrões, supervisão, canais de comunicação ü se há sobreposição de a7vidades avalia7vas entre as diferentes unidades do órgão.

32 Produção Conhecimento - Recursos RECURSOS Quanto ao construto recursos, obje7va- se iden7ficar a capacidade do órgão para a realização das a7vidades avalia7vas. As variáveis observadas dizem respeito a percepção dos respondentes quanto a disponibilidade dos meios necessários para o desempenho dessas a7vidades, tais como: ü recursos orçamentários e financeiros ü informações, como por exemplo, sobre boas prá7cas ü equipamentos ü sobwares ü apoio administra7vo ü Prazos ü apoio ins7tucional (liderança, incen7vo ins7tucional) ü Benchmarking (referências para orientar os avanços nas a7vidades de monitoramento e avaliação que são desenvolvidas ) ü competências técnicas (desenvolvimento das habilidades necessárias para o desempenho e julgamento das a7vidades de monitoramento e avaliação ) ü diretrizes norma7vas (se a realização das a7vidades avalia7vas é exigência norma7va ) ü accountability (se o conhecimento produzido pelas prá7cas avalia7vas é u7lizado para a promoção da accountability)

33 Produção Conhecimento Prá7cas Avalia7vas PRÁTICAS AVALIATIVAS ü busca- se iden7ficar quais a7vidades avalia7vas são realizadas nas diversas unidades do Ministério.

34 U7lização ü As variáveis u7lizadas nesta dimensão buscam mensurar a percepção dos atores quanto a importância da avaliação para o aprendizado e o aperfeiçoamento da gestão e dos programas e polí7cas. ü Uso no processo ü Uso dos achados

35 Capacidade de Aprendizado Organizacional (CAO) Obje7va- se examinar o quanto a organização apresenta as condições necessárias para suportar o desenvolvimento da capacidade avalia7va, mensurada por meio do índice acima, u7lizaremos a média da capacidade de aprendizado organizacional (CAO), como referencial para análise da sua adequação. PMSA CAO Demanda Produção Conhecimento Estratégia Organizacional Recursos/ estrutura U7lização Valores

36 Muito obrigada! Contato: