AVALIAÇÃO E BOA GOVERNAÇÃO MODELOS E PRÁTICAS Aplicação do Sistema de Avaliação de Desempenho dos Serviços Ministério do Ambiente e do Ordenamento do Território 12.03.2010
Aplicação do Sistema de Avaliação de Desempenho dos Serviços MAOT 1. O contexto AGENDA 2. Avaliação dos serviços públicos: elementos de caracterização 3. A aplicação no MAOTDR/MAOT (2008-2009) 4. Algumas conclusões Avaliação e Boa Governação. Modelos e Práticas. 2
1. O Contexto Modelo consolidado Novo modelo de gestão Em rotura? Desajustado ao actual contexto social Hierárquico e rígido Lógica da oferta Centrado nos processos Reduzida abertura aos cidadãos Reduzida transparência Em construção Para responder a novas necessidades Estruturas transversais e flexíveis Lógica da procura Centrado nos objectivos Maior abertura aos cidadãos Maior transparência Avaliação e Boa Governação. Modelos e Práticas. 3
Princípios 2. SIADAP - Elementos de Caracterização Alinhamento da acção dos serviços com os objectivos das políticas Responsabilização Universalidade e flexibilidade Transparência e imparcialidade (critérios objectivos e públicos) Orientação para os resultados Orientação para a Eficiência e a Qualidade Participação dos utilizadores na avaliação Publicidade dos resultados da avaliação Objectivos Melhorar a gestão Desenvolver práticas de avaliação Reconhecer e distinguir os serviços pelos resultados Melhorar os serviços prestados Melhorar a transparência da acção dos serviços Apoiar decisões estratégicas sobre a pertinência dos serviços Avaliação e Boa Governação. Modelos e Práticas. 4
PARÂMETROS DE AVALIAÇÃO Objectivos / Resultados de eficácia Objectivos / Resultados de eficiência Objectivos / Resultados de qualidade 2. SIADAP - Elementos de Caracterização GRADUAÇÃO RESULTADOS RESULTADOS MENSURÁVEIS INDICADORES Pertinência Clareza Facilidade de recolha Objectivo superado Objectivo atingido Não atingiu o objectivo QUADRO DE AVALIAÇÃO E RESPONSABILIZAÇÃO (QUAR) Avaliação e Boa Governação. Modelos e Práticas 5
2. SIADAP - Elementos de Caracterização QUADRO DE AVALIAÇÃO E RESPONSABILIZAÇÃO (QUAR) COMPONENTES Missão do serviço Objectivos estratégicos plurianuais Objectivos anuais e metas Indicadores de desempenho e fontes de verificação Meios disponíveis Grau de realização de resultados Identificação de desvios Avaliação final do serviço Avaliação e Boa Governação. Modelos e Práticas 6
Actores SIADAP 2. SIADAP - Elementos de Caracterização MAOT (Tutela) Trabalhado res Dirigentes Clientes DPP Organismo Cidadãos Órgão consultivo CCSCI MFAP Inspecção Conselho Coordenador CCAS Avaliação e Boa Governação. Modelos e Práticas 7
PROCESSOS 2. SIADAP - Elementos de Caracterização Aprovação QUAR Monitorização QUAR Avaliação Efeitos da Distinção de Mérito Efeitos da Avaliação Publicitação Avaliação e Boa Governação. Modelos e Práticas 8
3. A aplicação no MAOTDR/MAOT (2008-2009) MAOTDR Universo SIADAP 1 Administração directa e indirecta do Estado 15 (2008) 20 (2009) Avaliação e Boa Governação. Modelos e Práticas 9
Funções DPP 3. A aplicação no MAOTDR/MAOT (2008-2009) Acompanha mento Aprovação QUAR Acompanh amento Monitorização QUAR Avaliação Análise crítica da autoavaliação Parecer de validação Parecer Efeitos a da revisão Distinção de QUAR Mérito Efeitos da Avaliação Relatório Publicitação análise comparada Proposta Distinção de mérito Avaliação e Boa Governação. Modelos e Práticas 10
Instrumentos de análise 3. A aplicação no MAOTDR/MAOT (2008-2009) Check list de validação Ficha de monitorização Ficha qualidade QUAR Ficha análise crítica Grelha para análise comparada Acompanha mento Acompanha mento Análise crítica da autoavaliação Parecer de validação QUAR Parecer a revisão QUAR Relatório análise comparada Proposta Distinção de mérito Avaliação e Boa Governação. Modelos e Práticas 11
Instrumentos de análise 3. A aplicação no MAOTDR/MAOT (2008-2009) Check list de validação Acompanha mento Parecer de validação QUAR Guião de Monitorização e Auto-Avaliação Relatórios Ficha de monitorização Acompanha mento Parecer a revisão QUAR www.dpp.pt Relatório de aplicação do SIADAP Ficha qualidade QUAR Relatório Proposta de Análise Comparada Tutela Ficha análise crítica Grelha para análise comparada Análise crítica da autoavaliação Relatório análise comparada Distinção de mérito Avaliação e Boa Governação. Modelos e Práticas 12
Check list de validação 3. A aplicação no MAOTDR/MAOT (2008-2009) Características de Referência Verificação das componentes QUAR: Missão Objectivos estratégicos Indicadores Metas e critérios de superação Unidades homogéneas Fontes de verificação Meios planeados Outros aspectos Avaliação e Boa Governação. Modelos e Práticas 13
Check list de validação Avaliação e Boa Governação. Modelos e Práticas 14
Check list de validação Avaliação e Boa Governação. Modelos e Práticas 15
Check list de validação Avaliação e Boa Governação. Modelos e Práticas 16
Ficha de monitorização 3. A aplicação no MAOTDR/MAOT (2008-2009) Avaliação e Boa Governação. Modelos e Práticas 17
Ficha de Análise crítica 3. A aplicação no MAOTDR/MAOT (2008-2009) Parâmetros Resultados alcançados no QUAR Apreciação S/ resultados dos objectivos relevantes Cumprimento dos objectivos ao longo de vários períodos Análise s/ revisão de objectivos Resultados/meios Contributo dos resultados p/ objectivos estratégicos Informação complementar (nº. 2 artigo 15º): apreciação dos utilizadores; avaliação do sistema de controlo interno; medidas para melhorar o desempenho; comparação com serviços idênticos; audição de dirigentes e trabalhadores Apreciação global de todo o processo Avaliação e Boa Governação. Modelos e Práticas 18
Grelha de Análise Comparada 3. A aplicação no MAOTDR/MAOT (2008-2009) Critérios Avaliação e Boa Governação. Modelos e Práticas 19
Grelha de Análise Comparada 3. A aplicação no MAOTDR/MAOT (2008-2009) ANEXO 1.A - Matriz de Apuramento do Grau de Excelência (com explicitação dos critérios e respectivas pontuações) SUBSISTEMA DE AVALIAÇÃO DO DESEMPENHO DOS SERVIÇOS DA ADMINISTRAÇÃO PÚBLICA - SIADAP 1 (Lei n.º 66-B/2007) Matriz de Apuramento do Grau de Excelência dos Serviços do MINISTÉRIO DO AMBIENTE, DO ORDENAMENTO DO TERRITÓRIO E DO DESENVOLVIMENTO REGIONAL - Ano de Avaliação : 2008 2 3 4 5 6 7 8 10 C1. Análise da "Produtividade " C2. Análise "Custo- Eficácia " C3. Evolução positiva e significativa nos resultados obtidos pelo serviço em comparação com anos anteriores Avaliação e Boa Governação. Modelos e Práticas 20
Guião de Monitorização e Auto-Avaliação 3. A aplicação no MAOTDR/MAOT (2008-2009) Objectivos Sistematizar legislação e orientações oficiais do CCAS, DGAEP, Informação detalhada Definir processos, ferramentas e documentos Identificar calendários Identificar responsabilidades dos vários intervenientes Apoiar os serviços Avaliação e Boa Governação. Modelos e Práticas 21
Objectivos Relatório de aplicação do SIADAP 3. A aplicação no MAOTDR/MAOT (2008-2009) Descrição do processo no ciclo de gestão, metodologia adoptada e procedimentos seguidos Desenvolvimentos relativos às unidades homogéneas Caracterização genérica dos QUAR Conclusões e ilacções para o futuro Apresentação de resultados Contribuir para a transparência do processo Avaliação e Boa Governação. Modelos e Práticas 22
Caracterização dos QUAR 3. A aplicação no MAOTDR/MAOT (2008-2009) QUAR MAOTDR Número de Objectivos 9,0 8,0 7,0 6,0 5,0 4,0 3,0 Objectivos estratégicos Objectivos operacionais 7,0 6,0 5,0 QUAR MAOTDR Objectivos por Parâmetro 2,0 4,0 1,0 0,0 2008-2009 3,0 2,0 1,0 2008-2009 0,0 Eficácia Eficiência Qualidade Avaliação e Boa Governação. Modelos e Práticas. 23
Caracterização dos QUAR 3. A aplicação no MAOTDR/MAOT (2008-2009) 2,0 QUAR MAOTDR Indicadores por Objectivo 1,5 1,0 Obj. Eficácia QUAR MAOTDR Natureza dos Objectivos (2009) 0,5 0,0 2008-2009 Obj. Eficiência Obj. Qualidade Obj. Operacionais 26,2 22,1 52,6 Eficácia Eficiência Qualidade Avaliação e Boa Governação. Modelos e Práticas. 24
4. Algumas conclusões A estratégia de implementação foi eficaz: no Ministério o SIADAP 1 foi aplicado na totalidade dos organismos, subsistindo falta de evidência num caso Demonstrada capacidade de resposta dos organismos Compromisso dos dirigentes e trabalhadores com o Sistema Demonstrada capacidade de resposta dos Departamentos com funções de Planeamento, Estratégia e Avaliação (exigência de novas competências; contexto de reestruturação) Num espaço de tempo reduzido introduziu-se nos serviços um sistema novo que em muitos dos casos obrigou a romper com cultura instalada Avaliação e Boa Governação. Modelos e Práticas 25
4. Algumas conclusões I - O Sistema está a dar os primeiros passos. II - Para evoluir, aprofundar várias áreas: A relação entre o QUAR e o Plano de Actividades (representatividade das actividades associadas ao QUAR no conjunto das actividades); os resultados do QUAR são os retidos para a análise comparada; como assegurar a comparabilidade? O estabelecimento de um denominador comum normalizado para os vários documentos de reporte e instrumentos que os integram Formas de operacionalizar os conceito de produtividade, de eficiência e de qualidade Comparação de unidades homogéneas em contexto de comparação entre conjunto de serviços Avaliação e Boa Governação. Modelos e Práticas 26
4. Algumas conclusões III - O Sistema deve ser avaliado: avaliar para melhorar os resultados avaliar resultados ouvir os vários actores envolvidos avaliar custos e proveitos introduzir melhorias IV O SIADAP integra-se e pressupõe um novo modelo de gestão, não pode ser encarado como um conjunto de técnicas de medição Aprofundar / Avaliar / Melhorar / Integrar Avaliação e Boa Governação. Modelos e Práticas 27
Muito obrigada! Manuela Proença mproenca@dpp.pt Documentos editados: www.dpp.pt Aplicação do DR, 2008 Aplicação do DR. Guião de Monitorização e Auto- Avaliação, 2008 Aplicação do DR. Guião de Monitorização e Auto- Avaliação, 2009 Avaliação e Boa Governação. Modelos e Práticas 28