Análise Comparada entre 2008 e 2011 da Avaliação de Desempenho dos Serviços do Ministério da Saúde

Transcrição

1 Análise Comparada entre 2008 e 2011 da Avaliação de Desempenho dos Serviços do Ministério da Saúde Análise Comparada entre 2008 e 2011 da Avaliação de Desempenho dos Serviços do Ministério da Saúde, emitido pela Direção Geral da Saúde Núcleo de Planeamento Estratégico e Avaliação (de acordo com Despacho do Ministro da Saúde nº/2012 de 22 de Março). Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 0

2 1. ENQUADRAMENTO De acordo com o n.º 2 do artigo 8.º da Lei n.º B/2007, de 28 de dezembro, que aprovou o Subsistema de Avaliação do Desempenho dos Serviços da Administração Pública (SIADAP 1), compete ao serviço com atribuições em matéria de planeamento, estratégia e avaliação assegurar a coerência, coordenação e acompanhamento do ciclo de gestão dos serviços com os objetivos globais do ministério e sua articulação com o SIADAP. Conforme estipula o Despacho do Ministro da Saúde (Despacho nº/2012, de 22 de março), compete à Direção Geral da Saúde (DGS), no âmbito dos Serviços do Ministério da Saúde (MS), a emissão de parecer com análise crítica da autoavaliação constante do relatório de atividades elaborado por cada um dos Serviços do MS. De acordo com o referido Despacho, tal processo ocorre enquanto instituição integradora do apoio, coordenação e acompanhamento do SIADAP 1, assim como no domínio da coordenação do planeamento estratégico, da monitorização e avaliação das políticas, prioridades e objetivos do MS. Deve referir se ainda que, nos termos do n.º 2 do Despacho, que replicou a solução plasmada no Despacho n.º 33/2008, da Ministra da Saúde, datado de 13 de Março de 2008 e publicado como Circular Informativa pela Secretaria Geral do MS, continuou a atribuir se competências à Administração Central do Sistema de Saúde, I.P. (ACSS) pela aplicação do SIADAP 1 aos serviços e estabelecimentos do Serviço Nacional de Saúde aos quais seja aplicável a Lei n.º B/2007, de 28 de dezembro (nomeadamente, os hospitais integrados no sector público administrativo). Assim, a ACSS é competente no que respeita à aplicação do SIADAP 1 aos serviços e estabelecimentos do Serviço Nacional de Saúde, aos quais seja aplicável a Lei n.º B/2007, de 28 de dezembro, sem prejuízo da coordenação global da DGS. Até à publicação do Despacho nº/2012, de 22 de março, as atribuições de coordenação e acompanhamento do SIADAP 1 estavam cometidas ao Alto Comissariado da Saúde (ACS), organismo que, nos termos da nova lei orgânica do MS, aprovada pelo Decreto Lei n.º 124/2011, de 29 de dezembro, seria extinto, por fusão com a DGS. Entre 2008 e 2011 o ACS acompanhou, ao longo das diferentes fases do ciclo de gestão, os diferentes Serviços do MS abrangidos pelo SIADAP 1, nomeadamente: ACS Alto Comissariado da Saúde ( ); ACSS Administração Central do Sistema de Saúde, I.P. ( ); Alentejo Administração Regional de Saúde Alentejo, I.P. ( ); Algarve Administração Regional de Saúde do Algarve, I.P. ( ); Centro Administração Regional de Saúde do Centro, I.P. ( ); LVT Administração Regional de Saúde de Lisboa e Vale do Tejo, I.P. ( ); Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 1

3 Norte Administração Regional de Saúde do Norte, I.P. ( ); ASST Autoridade para os Serviços do Sangue e da Transplantação ( ); DGS Direção Geral da Saúde ( ); EMPS Estrutura de Missão Parcerias Saúde (2009); IDT Instituto da Droga e da Toxicodependência, I.P. ( ); IGAS Inspeção Geral das Atividades em Saúde ( ); INEM Instituto Nacional de Emergência Médica, I.P. ( ); INFARMED Autoridade Nacional do Medicamento e Produtos de Saúde I.P. ( ); INSA Instituto Nacional de Saúde Dr. Ricardo Jorge, I.P. ( ); IPS Instituto Português do Sangue, I.P. ( ); MCSP Missão dos Cuidados de Saúde Primários (2009); SGMS Secretaria Geral do Ministério da Saúde ( ); UMCCI Unidade de Missão dos Cuidados Continuados Integrados ( ); Conforme prevê o Despacho n.º 18/2011, do Ministro das Finanças, publicado em Diário da República, 2.ª Série de 7 de dezembro, os serviços objeto de extinção com a aplicação das novas leis orgânicas ficaram dispensados da obrigatoriedade de elaboração e envio do Relatório de Autoavaliação de 2011 e do Relatório de Atividades de Ou seja, dos 17 organismos objeto de monitorização durante o ano de 2011, apenas foram avaliados 14 Serviços. Adicionalmente, segundo comunicado do Secretário de Estado da Administração Pública, na sequência do procedimento escrito iniciado em 29 de Abril de 2011 e finalizado a de Maio de 2011, foi aprovado pelo Conselho Coordenador de Avaliação dos Serviços (CCAS), a fixação da taxa máxima de realização de objetivos e indicadores em 13%, mantendo se a taxa de realização associada ao valor crítico em 12%, com aplicação na avaliação de desempenho dos organismos a partir de 2011, inclusive. 1 Ainda que o Despacho n.º 18/2011 parta do pressuposto que se verificou de que as leis orgânicas de cada serviço seriam aprovadas até ao final de 2011 e que, por esse motivo, ficavam dispensados da obrigatoriedade de elaboração e envio do Relatório de Autoavaliação de 2011 e Relatório de Atividades de 2011 os serviços objeto de extinção naquele ano, verificou se que a entrada em vigor dos diplomas orgânicos apenas ocorreu em Assim, a extinção dos serviços não teve lugar em 2011, mas sim em Deve, pois, entender se que o despacho se refere à extinção de instituições ocorrida por força do PREMAC, por leis orgânicas aprovadas no decurso de 2011, ainda que a sua produção de efeitos tenha tido lugar em momento posterior. Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 2

4 O presente parecer consubstancia a análise comparada do Núcleo de Planeamento Estratégico e Avaliação (NPEA) DGS sobre os resultados finais da avaliação de desempenho dos Serviços do MS, entre os anos de 2008 e 2011, sustentada na autoavaliação dos mesmos e informação complementar, a qual tem caráter obrigatório. De referir que a avaliação final de desempenho dos serviços é expressa qualitativamente, nos termos do artigo 18.º da Lei n.º B/2007, de 28 de dezembro, segundo a menção de: Desempenho Bom, se o serviço atingiu todos os objetivos e superou alguns; Desempenho Satisfatório, se o serviço atingiu todos os objetivos ou os mais relevantes; Desempenho Insuficiente, se o serviço não atingiu os objetivos mais relevantes. Estas menções são propostas pelo dirigente máximo do serviço como resultado da autoavaliação e, após o parecer com análise crítica do NPEA DGS, são homologadas as propostas ou alteradas pelo respetivo membro do Governo. Em cada ministério pode ainda ser atribuída aos serviços com avaliação de Desempenho Bom uma distinção de mérito reconhecendo Desempenho Excelente, a qual significa superação global dos objetivos. Nos termos do artigo 19.º da Lei n.º B/2007, de 28 de dezembro em cada ministério podem ser selecionados os serviços que mais se distinguiram no seu desempenho para atribuição da distinção de mérito, reconhecendo o Desempenho Excelente até 20 % dos serviços que o integram ou estão sob sua superintendência. Ou seja, entre 2008 e 2011 a distinção de mérito foi atribuída num máximo de três Serviços do MS. 2. ANÁLISE COMPARADA DOS SERVIÇOS DO MINISTÉRIO DA SAÚDE Com base nos resultados dos QUAR (Quadro de Avaliação e Responsabilização) e na informação adicional constante da autoavaliação que integra os Relatórios de Atividades de 2008 a 2011 dos Serviços do MS, e considerando os critérios constantes na Lei n.º B/2007, de 28 de dezembro, o NPEA DGS produziu uma análise comparada da avaliação de desempenho destes mesmos serviços, durante este período. A opção recaiu na sintetização da informação em forma de gráficos. Em cumprimento da alínea 7) do ofício nº 4808, de 10 de maio de 2013, do Secretário de Estado Adjunto do Ministro da Saúde (SEAMS), o NPEA DGS complementa a análise elaborada regularmente com o registo, sempre que possível, da evolução dos indicadores nos anos transatos Avaliação Global do Grau de Cumprimento dos Objetivos No gráfico 1 está representada a evolução da Taxa de Realização de cada serviço do MS, entre os anos de 2008 e De referir que a aplicação do limite máximo de taxa de realização de 13% entra em vigor apenas em Os valores nulos (0%) estão associados à ausência de dados disponíveis devido ao tempo de vigência do serviço. Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 3

5 Gráfico 1: Evolução da Taxa de Realização Global por Serviço entre ACS ACSS Alentej Algarve LVT Centro Norte ASST DGS EMPS IDT IGAS INEM INFAR MED INSA IPS MCSP SGMS UMCCI SIADAP % 137% 132% 42% 101% 82% 18% 93% 12% 0% 134% 18% 10% 122% 139% 178% 0% 112% 0% SIADAP % 113% 114% 90% 101% 92% 97% 112% 122% 8% 119% 144% 11% 12% 98% 123% 84% 129% 110% SIADAP % 103% 118% 10% 10% 102% 107% 111% 111% 0% 118% 124% 100% 11% 101% 124% 0% 11% 9% SIADAP % 9% 11% 111% 10% 108% 112% 0% 113% 0% 101% 124% 118% 119% 100% 97% 0% 118% 0% Tx Realização 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 2.2. Avaliação Global do Grau de Utilização dos Meios Disponíveis No gráfico 2 está representada a evolução da utilização de Recursos Humanos de cada serviço do MS, entre os anos de 2008 e Estes resultam do diferencial entre o planeado e o realizado em cada ano, respetivamente. Os resultados nulos (0%) estão associados à dificuldade de acesso aos dados disponíveis. Gráfico 2: Evolução da Utilização de Recursos Humanos por Serviço entre ACS ACSS Alentej Algarve LVT Centro Norte ASST DGS EMPS IDT IGAS INEM INFAR MED INSA IPS MCSP SGMS UMCCI SIADAP % 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% SIADAP % 120% 0% 93% 8% 93% 101% 100% 79% 12% 101% 8% % 9% 82% 2% 100% 9% 100% SIADAP % % 84% 89% 7% 82% 100% 100% 88% 0% 90% 8% 2% 8% 87% 82% 0% 88% 100% SIADAP % 80% 9% 97% 82% 7% 102% 0% 8% 0% 88% 87% 7% 81% 88% 74% 0% 9% 0% Tx Realização 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 4

6 No gráfico 3 está representada a evolução da execução de Recursos Financeiros de cada serviço do MS, entre os anos de 2008 e Estes resultam do diferencial entre o orçamentado e o executado em cada ano, respetivamente. Os resultados nulos (0%) estão associados à dificuldade de acesso aos dados disponíveis. 300% 27% 20% 22% 200% 17% 10% 12% 100% 7% 0% 2% 0% ACS ACSS Gráfico 3: Evolução da Execução de Recursos Financeiros por Serviço entre Alentej Algarve Centro LVT Norte ASST DGS EMPS IDT IGAS INEM INFAR MED INSA IPS MCSP SGMS UMCCI SIADAP % 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% SIADAP % 83% 102% 118% 101% 107% 9% 4% 97% 7% 102% 87% 77% 72% 127% 127% 100% 112% 2% SIADAP % 277% 9% 117% 89% 10% 94% 9% 91% 0% 98% 9% 91% 4% 100% 80% 0% 9% 49% SIADAP % 283% 83% 109% 108% 98% 104% 0% 8% 0% 9% 81% 84% 2% 7% 87% 0% 93% 0% Tx Realização 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 2.3. Análise Qualitativa de Desempenho No gráfico 4 estão representadas as menções qualitativas homologadas de cada serviço do MS, entre os anos de 2008 e A menção é baseada nos resultados de desempenho de cada serviço, assim como no exposto no artigo 18.º da Lei n.º B/2007, de 28 de dezembro, salvaguardando que, passa por um processo de análise critica e posteriormente homologação ou alteração pela Tutela. Excelente Gráfico 4: Evolução das Menções Qualitativas por Serviço entre Bom Satisfatório Insuficiente ACS ACSS Alentejo Algarve Centro LVT Norte ASST DGS EMPS IDT IGAS INEM INFARMED INSA IPS MCSP SGMS UMCCI SIADAP 2008 SIADAP 2009 SIADAP 2010 SIADAP 2011 Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS

7 2.4. Análise Quantitativa de Desempenho Nos gráficos, e 7 estão representados a pontuação final do grau de excelência dos serviços do MS com menção de Bom, no ano de 2009, 2010 e 2011, respetivamente. Esta resulta do apuramento da pontuação dos critérios da matriz de excelência, tendo por base o Relatório de Atividades entre 2008 e 2011 de cada serviço. Em 2008 não foi efetuada esta análise quantitativa por ser um ano de arranque do processo SIADAP 1, e não existir orientações neste sentido. Gráfico : Análise Quantitativa de Desempenho dos Serviços 2009 Pontuação Final Grau de Excelência 10,00 9,0 9,00 8,0 8,00 7,0 7,00,0,00,0,00 4,0 4,00 3,0 3,00 ACS,2 ACSS, Alentejo 4,43 Centro 4,48 Norte 3,7 ASST 4,74 DGS,31 IDT,02 IGAS,17 INFARMED,99 INEM,01 IPS,0 SGMS, UMCCI,0 Serviços com Menção de Desempenho Bom Gráfico : Análise Quantitativa de Desempenho dos Serviços 2010 Pontuação Final Grau de Excelência 10,00 9,0 9,00 8,0 8,00 7,0 7,00,0,00,0,00 4,0 4,00 3,0 3,00 ACS,3 ACSS 4,89 Alentejo,39 Algarve,02 Centro,81 Norte,42 ASST,22 DGS 7,0 IDT,74 INFARMED IGAS 7,07,9 INSA,8 IPS,9 SGMS,99 Serviços com Menção de Desempenho Bom Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS

8 Gráfico 7: Análise Quantitativa de Desempenho dos Serviços 2011 Pontuação Final Grau de Excelência 10,00 9,0 9,00 8,0 8,00 7,0 7,00,0,00,0,00 4,0 4,00 3,0 3,00 Alentejo,0 Centro,92 DGS,99 IGAS,72 INEM,10 INFARMED 7,8 INSA,8 SGMS,70 Serviços com Menção de Desempenho Bom Nas tabelas 1, 2 e 3 está representado o detalhe da matriz de apuramento do grau de excelência dos serviços do MS no ano de 2009, 2010 e 2011, respetivamente. Os critérios de análise e ponderações foram definidos pelo CCAS (2010 anexo ), sendo o grau de excelência aferido numa escala de 1 a 10 valores. Os critérios em análise são agrupados em critérios de resultado e critérios de meios (ver detalhe em anexo). Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 7

9 Tabela 1: Matriz de Apuramento do Grau de Excelência dos Serviços do Ministério da Saúde tendo por base o Relatório de Atividades 2009 CRITÉRIOS DE RESULTADOS CRITÉRIOS DE MEIOS ACS ACSS ALENTEJO CENTRO NORTE ASST DGS IDT IGAS INEM INFARMED IPS SGMS UMCCI C1. Análise da "Produtividade" 0, C2. Análise "Custo-Eficácia" 0, C3. Evolução positiva e significativa nos resultados obtidos pelo serviço em comparação com anos anteriores (aplicar também o critério às unidades homogéneas, caso existam). 0, C4. Excelência dos resultados obtidos, demonstrada designadamente por comparação com padrões nacionais ou internacionais, tendo em conta igualmente melhorias de eficiência. C. Superação global dos parâmetros de avaliação (Eficácia, Eficiência e Qualidade). Pesos PONTUAÇÃO Serviços com menção "Desempenho bom" homologada pela tutela em , , C. Análise dos desvios. 0, C7. Impacto na Sociedade (contributo do serviço para a prossecução das políticas 0, públicas). C8. Satisfação dos utilizadores. 0, C9. Satisfação dos colaboradores. 0, C10. Processos e sistema de indicadores de desempenho. 0, C11. Planeamento e estratégia. 0, ,00,2, 4,43 4,48 3,7 4,74,31,02,17,01,99,0,,0 Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 8

10 Tabela 2: Matriz de Apuramento do Grau de Excelência dos Serviços do Ministério da Saúde tendo por base o Relatório de Atividades 2010 Pesos PONTUAÇÃO Serviços com menção "Desempenho bom" homologada pela tutela em 2010 ACS ACSS Alentejo Algarve Centro Norte ASST DGS IDT IGAS INFARMED INSA IPS SGMS C1. Análise da "Produtividade" 0, C2. Análise "Custo-Eficácia" 0, C3. Evolução positiva e significativa nos resultados obtidos pelo serviço em comparação com anos anteriores (aplicar também o critério às unidades homogéneas, caso existam). 0, CRITÉRIOS DE RESULTADOS C4. Excelência dos resultados obtidos, demonstrada designadamente por comparação com padrões nacionais ou internacionais, tendo em conta igualmente melhorias de eficiência. 0, C. Superação global dos parâmetros de avaliação (Eficácia, Eficiência e Qualidade). 0, C. Análise dos desvios. 0, C7. Impacto na Sociedade (contributo do serviço para a prossecução das políticas públicas). 0,11 8 CRITÉRIOS DE MEIOS C8. Satisfação dos utilizadores. 0, C9. Satisfação dos colaboradores. 0, C10. Processos e sistema de indicadores de desempenho. 0, C11. Planeamento e estratégia. 0, ,00,3 4,89,39,02,81,42,22 7,0,74,9 7,07,8,9,99 Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 9

11 Tabela 3: Matriz de Apuramento do Grau de Excelência dos Serviços do Ministério da Saúde tendo por base o Relatório de Atividades 2011 Pesos PONTUAÇÃO Serviços com menção "Desempenho bom " homologada pela tutela em 2011 Alentejo Centro DGS IGAS INEM INFARMED INSA SGMS C1. Análise da "Produtividade" 0,11 8,00 9,00 8,00 7,00 7,00 8,00 9,00 8,00 C2. Análise "Custo-Eficácia" 0,11 8,00 3,00 7,00 8,00 8,00 10,00 9,00 7,00 CRITÉRIOS DE MEIOS CRITÉRIOS DE RESULTADOS C3. Evolução positiva e significativa nos resultados obtidos pelo serviço em comparação com anos anteriores (aplicar também o critério às unidades homogéneas, caso existam). C4. Excelência dos resultados obtidos, demonstrada designadamente por comparação com padrões nacionais ou internacionais, tendo em conta igualmente melhorias de eficiência. C. Superação global dos parâmetros de avaliação (Eficácia, Eficiência e Qualidade). 0,11 7,0 8,20 4,0 9,40,40 10,00 1,40,40 0,11 2,80 1,80,0 1,0 2,80,40 1,20 1,40 0,11 10,00 10,00 10,00 9,00 9,00 10,00 3,00 10,00 C. Análise dos desvios. 0,11 7,00 9,00 7,00 4,00,00 7,00 10,00 7,00 C7. Impacto na Sociedade (contributo do serviço para a prossecução das políticas públicas). 0,11 7,00 7,00 7,00 7,00 7,00 7,00 7,00 7,00 C8. Satisfação dos utilizadores. 0,0 1,00 1,00,00 1,00 1,00,00 4,00,00 C9. Satisfação dos colaboradores. 0,0 1,00 1,00 4,00 10,00 1,00 1,00 1,00 4,00 C10. Processos e sistema de indicadores de desempenho. 0,0 9,00 1,00 9,00 10,00 10,00 10,00 10,00 10,00 C11. Planeamento e estratégia. 0,0,7,7 9,2 8,2 9,00 7,7,7 7,00 1,00,0,92,99,72,10 7,8,8,70 Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 10

12 ANEXO SIADAP 1 CRITÉRIOS DA MATRIZ DE EXCELÊNCIA (Modelo) SERVIÇOS DO MINISTÉRIO DA SAÚDE A B C C1. Análise da "Produtividade" escala Desempenho acima do planeado e (%RH) (% indicadores desvio >=2%) utilização dos recursos humanos abaixo do planeado em pelo menos 0% e % de indicadores com desvio>=2% 10 inferior ou igual a 2%. 9 utilização dos recursos humanos abaixo do planeado e % de indicadores com desvio>=2% inferior ou igual a 2%. 8 utilização dos recursos humanos abaixo do planeado e % de indicadores com desvio>=2% entre 2% e 0%. 7 utilização dos recursos humanos abaixo do planeado e % de indicadores com desvio>=2% entre 1% e 7%. utilização dos recursos humanos abaixo do planeado e % de indicadores com desvio>=2% superior a 7%. utilização dos recursos humanos tal como planeado. 4 utilização dos recursos humanos acima do planeado e % de indicadores com desvio>=2% inferior ou igual a 2%. 3 utilização dos recursos humanos acima do planeado e % de indicadores com desvio>=2% entre 2% e 0%. 2 utilização dos recursos humanos acima do planeado e % de indicadores com desvio>=2% entre 1% e 7%. 1 utilização dos recursos humanos acima do planeado e % de indicadores com desvio>=2% superior a 7%. C2. Análise "Custo-Eficácia" escala Desempenho acima do planeado e 10 execução dos recursos financeiros inferior a 7% do inicialmente planeado. 9 execução dos recursos financeiros entre 7% a 79% do inicialmente planeado. 8 execução dos recursos financeiros entre 80% a 84% do inicialmente planeado. 7 execução dos recursos financeiros entre 8% a 89% do inicialmente planeado. execução dos recursos financeiros entre 90% a 94% do inicialmente planeado. execução dos recursos financeiros entre 9% e 100% (exclusivé) do inicialmente planeado. 4 execução dos recursos financeiros tal como planeado. 3 execução dos recursos financeiros excedendo o inicialmente planeado até %. 2 execução dos recursos financeiros excedendo o inicialmente planeado até 10%. 1 execução dos recursos financeiros excedendo o inicialmente planeado em mais de 10%. (%RF) C3. Evolução positiva e significativa nos resultados obtidos pelo serviço em comparação com anos anteriores (aplicar também o critério às unidades homogéneas, caso existam). Fórmula A: 0,x3A+0,4x3B (p/ serviços que não têm U.H.) Fórmula B: 0,x3A+0,2x3B+0,2x3C (p/ serviços que têm U.H.) (2011: ; IPS; IDT. 2012: ) escala 3A) indicadores do QUAR % dos indicadores do QUAR dispõe de histórico. Todos apresentam uma evolução positiva dos resultados em comparação com o/o(s) ano(s) anterior(es). Entre 7% (incl.) a 100% (excl.)dos indicadores do QUAR dispõe de histórico. Desses, todos apresentam uma evolução positiva dos resultados em comparação com o/o(s) anos anterior(es). Entre 7% (incl.) a 100% dos indicadores do QUAR dispõe de histórico. Desses, alguns apresentam uma evolução positiva dos resultados em comparação com o/o(s) anos anterior(es). Entre 0 (incl.) a 7% (excl.) dos indicadores do QUAR dispõe de histórico. Desses, todos apresentam uma evolução positiva dos resultados, em comparação com o/os ano(s) anterior(es). Entre 0 (incl.) a 7% (excl.) dos indicadores do QUAR dispõe de histórico. Desses, alguns apresentam uma evolução positiva dos resultados, em comparação com o/os ano(s) anterior(es). Entre 2 (incl.) e 0% (excl.) dos indicadores do QUAR dispõe de histórico. Desses, todos apresentam uma evolução positiva dos resultados, em comparação com o/os ano(s) anterior(es). Entre 2 (inclusive) e 0% (exclusive) dos indicadores do QUAR dispõe de histórico. Desses, alguns apresentam uma evolução positiva dos resultados, em comparação com o/os ano(s) anterior(es). Apenas uma percentagem inferior a 2% dos indicadores do QUAR dispõe de histórico. Desses, todos apresentam uma evolução positiva dos resultados, em comparação com o/os ano(s) anterior(es). Apenas uma percentagem inferior a 2% dos indicadores do QUAR dispõe de histórico. Desses, alguns apresentam uma evolução positiva dos resultados, em comparação com o/os ano(s) anterior(es). Não existe histórico (pelo menos, informação para o ano imediatamente anterior ou para os dois anos precedentes ao ano em avaliação) em 100% dos indicadores constantes do QUAR. Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 11

13 escala 3B) informação incluída no RA10, para além do QUAR 10 9 O relatório contém informação histórica maioritariamente com evolução positiva e significativa sobre os resultados das acções desenvolvidas pelo serviço; é usada na auto-avaliação e está relacionada com os objectivos do QUAR. O relatório contém boa nota introdutória com descrição da evolução temporal do serviço em matérias relac. com sua missão, com evolução positiva. O relatório contém nota introdutória razoavel com sintese dos resultados relevantes, por comparação com ano 8 anterior. O relatório contém nota introdutória sem análise da evolução temporal do serviço mas existe informação histórica 7 abrangente e relevante mas nem toda com evolução positiva. O relatório contém nota introdutória sem análise da evolução temporal, mas existe informação histórica de vários indicadores relacionados com a missão do serviço, com evolução positiva. O relatório contém nota introdutória sem análise da evolução temporal, mas existe informação histórica de vários indicadores relacionados com a missão do serviço, nem todos com evolução positiva. O relatório contém nota introdutória sem análise da evolução temporal, mas existe informação histórica de poucos 4 indicadores relacionados com a missão do serviço, com evolução positiva. O relatório contém nota introdutória sem análise da evolução temporal, mas existe informação histórica de poucos 3 indicadores relacionados com a missão do serviço, nem todos com evolução positiva. O relatório contém informação histórica usada na auto-avaliação mas apenas sobre recursos utilizados pelo serviço 2 (humanos, financeiros, materiais). O relatório não contém informação histórica, ou existindo, não é usada na auto-avaliação para justificar a evolução 1 positiva nos resultados obtidos pelo serviço. escala 3C) informação das Unidades Homogéneas, caso se aplique O relatório contém informação histórica maioritariamente com evolução positiva e significativa sobre os resultados das acções desenvolvidas pelas UH; é usada na auto-avaliação e foi incluída nos objectivos de qualidade do QUAR. O relatório contém informação histórica maioritariamente com evolução claramente positiva sobre os resultados das acções desenvolvidas pelas U.H.; é usada na auto-avaliação e foi incluída nos objectivos de qualidade do QUAR O relatório contém informação histórica com evolução positiva sobre os resultados das acções desenvolvidas pelas U.H.; é usada na auto-avaliação e foi incluída nos objectivos de qualidade do QUAR O relatório contém informação histórica sobre os resultados das acções desenvolvidas pelas U.H.; essa evolução é positiva mas maioritariamente moderada, é usada na auto-avaliação e foi incluída nos objectivos de qualidade do QUAR O relatório contém informação histórica com evolução positiva sobre os resultados das acções desenvolvidas pelas U.H.; é usada na auto-avaliação mas não foi incluída nos objectivos de qualidade do QUAR O relatório contém informação histórica com evolução positiva e significativa sobre acções desenvolvidas pelas U.H. (não sobre os resultados); é usada na auto-avaliação e foi considerada nos objectivos de qualidade do QUAR O relatório contém informação histórica com evolução positiva, mas moderada, sobre acções desenvolvidas pelas U.H. (não sobre os resultados); é usada na auto-avaliação e foi considerada nos objectivos de qualidade do QUAR O relatório contém informação histórica com evolução positiva sobre acções desenvolvidas pelas U.H. (não sobre os resultados); é usada na auto-avaliação mas não foi considerada nos objectivos de qualidade do QUAR O relatório contém informação histórica usada na auto-avaliação mas apenas sobre recursos utilizados pelas U.H. (humanos, financeiros, materiais). O relatório não contém informação sobre as UH, ou existindo essa informação, não é usada na auto-avaliação para justificar a evolução positiva nos resultados obtidos pelas UH. C4. Excelência dos resultados obtidos, demonstrada designadamente por comparação com padrões nacionais ou internacionais, tendo em conta igualmente melhorias de eficiência. Fórmula: 0,0x4A + 0,20x4B+ 0,20x4C escala 4A) comparações nacionais ou internacionais Os resultados da comparação referem-se ao serviço no seu todo; está entre os melhores; manteve nível de 10 excelência antes atingido. Resultados da comparação referem-se ao serviço no seu todo; está acima do meio da tabela e progrediu 9 favoravelm ente. Resultados da comparação referem-se a uma área core do serviço; está entre os melhores; manteve nível de 8 excelência antes atingido. Resultados da comparação referem-se a uma área core do serviço; está acima do meio da tabela e progrediu 7 favoravelm ente. Resultados da comparação referem-se a uma área core do serviço; está acima do meio da tabela mas não melhorou posição. Resultados da comparação referem-se a uma área de suporte (processos internos, formação, sistemas de informação, ); está entre os melhores; manteve nível de excelência antes atingido. 4 3 Resultados da comparação referem-se a uma área de suporte (processos internos, formação, sistemas de informação, ); está no meio ou acima do meio da tabela; evolui favoravelmente. Resultados da comparação referem-se a: i) uma área de suporte (processos internos, formação, sistemas de informação, ); está no meio ou acima do meio da tabela mas não melhorou posição. ii) todo o serviço ou uma área core: está abaixo do meio da tabela mas evoluiu favoravelmente. Resultados da comparação referem-se ao serviço no seu todo, a uma área core ou a uma área de suporte: situa-se 2 abaixo do meio da tabela e não evoluiu favoravelmente. 1 Não apresenta qualquer tipo de comparações. Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 12

14 4B) prémios e/ou menções de entidades externas destacando a relevância/excelência dos resultados obtidos pelo escala serviço (por área premiada: o serviço no seu todo; uma iniciativa desenvolvida numa área core ou uma iniciativa desenvolvida numa área de suporte). 10 Premeia o serviço no seu todo: 1º prémio. 9 Premeia o serviço no seu todo: 2º prémio. 8 1) Premeia o serviço no seu todo: 3º prémio ou 2) premeia uma área core do serviço: 1º prémio. 7 Premeia uma área core do serviço; 2º prémio. 1) premeia uma área core do serviço=3º prémio ou 2) premeia uma área de suporte (processos internos, melhor site, )=1º prémio ou 3) pela menos uma menção atribuída por fonte externa destacando a excelência do serviço numa área específica de actuação. 2) premeia uma área de suporte (processos internos, melhor site, )=2º prémio ou 2) pelo menos uma menção atribuída por fonte externa destacando a relevância do serviço numa área específica de actuação. 4 2) premeia uma área de suporte (processos internos, melhor site, )=3º prémio. 3 Obtenção, em qualquer das situações, de um prémio inferior ao 3ª prémio. 2 Integração de uma short-list/ nomeação. 1 Não são mencionados prémios nem menções de entidades externas destacando a relevância/excelência dos resultados obtidos pelo serviço. escala 4C) Melhorias de eficiência O indicador que traduz o rácio entre outputs e inputs evoluiu favoravelmente e os inputs ficaram aquém do planeado. O 10 indicador está incluído no QUAR. 9 O rácio outputs/inputs evoluiu favoravelmente e os inputs ficaram aquém do planeado. O indicador não figura no QUAR. 8 O rácio outputs/inputs evoluiu favoravelmente. O indicador está no QUAR. 7 O rácio outputs/inputs evoluiu favoravelmente. O indicador não está no QUAR. 4 3 Não existe indicador "outputs/inputs". O QUAR apresenta um indicador de produtividade (utente/funcionário; serviço/funcionário; produto/funcionário): evoluiu favoravelmente com denominador aquém do planeado. Não existe indicador "outputs/inputs". O QUAR não apresenta indicador de produtividade (utente/funcionário; serviço/funcionário; produto/funcionário) mas a informação está no RA. Evoluiu favoravelmente com denominador aquém do planeado. Não existe indicador "outputs/inputs".o indicador de produtividade (utente/funcionário; serviço/funcionário; produto/funcionário) evoluiu favoravelmente. Não existem indicadores do tipo dos referidos acima. Os indicadores do tipo: tempo médio de resposta, grau de cumprimento de respostas apresentam evolução positiva. 2 Os indicadores de eficiência do tipo dos referidos acima não apresentam evolução positiva. 1 Os indicadores de eficiência apresentados no QUAR não permitem aferir sobre melhorias de eficiência (ex: redução de custos; sistemas de gestão documental implementados, etc). C. Superação global dos parâmetros de avaliação (Eficácia, Eficiência e Qualidade) nº parâmetros superados escala (% indicadores desvio >=2%) 10 Superados todos os parâmetros de avaliação e % indicadores com desvio >=2% é inferior a 0%. 9 Superados todos os parâmetros de avaliação e % indicadores com desvio >=2% superior ou igual a 0%. Superados os dois parâmetros de avaliação com maior peso e % de indicadores (no total dos dois parâmetros) com 8 desvio >=2% inferior a 0%. Superados os dois parâmetros de avaliação com maior peso e % de indicadores (no total dos dois parâmetros) com 7 desvio >=2% superior ou igual a 0%. Superados o parâmetro de avaliação com maior peso e o parâmetro de avaliação com menor peso e % de indicadores (no total dos dois parâmetros) com desvio >=2% inferior a 0%. Superados o parâmetro de avaliação com maior peso e o parâmetro de avaliação com menor peso e % de indicadores (no total dos dois parâmetros) com desvio >=2% superior ou igual a 0%. 4 Superados o parâmetro de avaliação com segundo maior peso e o parâmetro de avaliação com menor peso. 3 Superado apenas o parâmetro de avaliação com maior peso. 2 Superado apenas o parâmetro de avaliação com segundo maior peso. 1 Os parâmetros de avaliação com maior peso não foram superados. Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 13

15 C. Análise dos desvios escala (% indicadores desvio >=2%) % % % % 41-0% 1-0% % % % % C7. Impacto na Sociedade (contributo do serviço para a prossecução das políticas públicas). No QUAR estão incluídos indicadores (de eficácia e qualidade) directamente relacionados com a missão do serviço escala e são: 10 maioritariamente de impacto, sendo os restantes de resultados, todos atingidos e/ou superados. 9 Maioritáriamente, indicadores de impacto, restantes indicadores resultados atingidos. 8 Maioritáriamente, indicadores de impacto, atingidos e/ou superados. 7 Maioritáriamente, indicadores de resultados, alguns de impacto, atingidos e/ou superados. Indicadores de resultados entre 1% e 7%, atingidos e/ou superados. Indicadores de resultados entre 31% e 0%, atingidos e/ou superados. 4 Indicadores de resultados entre 1% e 30%, atingidos e/ou superados. 3 Indicadores de resultados <= 1%, atingidos e/ou superados. 2 Todos indicadores de realização, atingidos e/ou superados. 1 Todos indicadores de realização, alguns não atingidos. NOTA: Nos indicadores de qualidade não consideramos os inquéritos nem reclamações, pois estes resultados são considerados no critério C8. Satisfação dos utilizadores. Indicadores de impacto: referem-se às consequências das acções desenvolvidas pelos serviços na sociedade (v.g. nº formandos colocados em empresas/serviços) Indicadores de resultados: traduzem efeitos directos e imediatos sobre a população-alvo das acções desenvolvidas pelos serviços (v.g. nº de formandos com aproveitamento) Indicadores de realização: descrevem a actividade desenvolvida pelo serviço, não fornecendo qq indicações dos efeitos dessas acções sobre a sociedade (v.g. nº de acções de formação) Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 14

16 C8. Satisfação dos utilizadores. Grau de satisfação dos utilizadores aferido através de inquéritos/questionários ou outros instrumentos de aferição escala de opinião: Abrangência do inquérito/questionário de opinião: global; taxa de respostas superior a 0%; classificação obtida igual 10 ou superior a bom ou pelo menos 70% respostas >=bom. evolução positiva do grau satisfação dos utilizadores/"clientes" Inquérito global; taxa de respostas superior a 0%; manutenção da classificação obtida de bom ou superior a bom ou pelo menos 70% respostas >=bom. 1) Inquérito global: taxa de respostas entre 2% e 0% (inclusive); classificação obtida de bom ou superior a bom ou pelo menos 70% respostas >=bom; 2) Inquérito parcial: taxa de respostas >0%; classificação obtida de bom ou superior a bom ou pelo menos 70% respostas >=bom. 3) caso não exista auscultação da opinião dos utilizadores por inquérito analisar reclamações: apresenta tipificação das reclamações (motivos); apresentam evolução positiva e existe política de tratamento de reclamações. 1) Inquérito global: taxa de respostas até 2%; classificação obtida de bom ou superior a bom ou pelo menos 70% respostas >=bom; 2) Inquérito parcial: taxa de respostas >0%; classificação obtida de bom ou superior a bom ou pelo menos 70% respostas >=bom. 3) caso não exista auscultação da opinião dos utilizadores por inquérito analisar reclamações: não apresenta tipificação das reclamações (motivos); apresentam evolução positiva e existe política de tratamento de reclamações. 1) Inquérito global; evolução positiva do grau satisfação dos utilizadores/"clientes"; taxa de respostas superior a 0%; classificação obtida equivalente a satisfaz ou pelo menos 70% respostas >=satisfaz. 2) Inquérito parcial: taxa de respostas <0%; classifação obtida de bom ou superior a bom ou pelo menos 70% das respostas >=bom. 3) caso não exista auscultação da opinião dos utilizadores por inquérito analisar reclamações: não apresenta tipificação das reclamações (motivos); apresentam evolução positiva e não existe/não menciona política de tratamento de reclamações. 1) Inquérito global ou parcial; taxa de respostas superior a 0%; manutenção da classificação obtida equivalente a satisfaz. 2) caso não exista auscultação da opinião dos utilizadores por inquérito analisar reclamações: não apresenta tipificação das reclamações (motivos); apresentam evolução positiva e não existe/não menciona política de tratamento de reclamações. 1) Inquérito global: taxa de respostas inferior a 0%; classificação obtida de satisfaz ou pelo menos 70% respostas >=satisfaz; 2) Inquérito parcial: taxa de respostas >0%; classificação obtida de satisfaz ou pelo menos 70% respostas >=satisfaz. 3) caso não exista auscultação da opinião dos utilizadores por inquérito analisar reclamações: não apresenta tipificação das reclamações (motivos); o indicador das reclamações não tem histórico mas foi superado; não existe/não menciona política de tratamento de reclamações. 1) Inquérito global ou parcial: classificação obtida inferior ou igual a satisfaz ou % respostas >=satisfaz < 0% mas evoluiu favoravelmente; 2) caso não exista auscultação da opinião dos utilizadores por inquérito analisar reclamações: não apresenta tipificação das reclamações (motivos); o indicador das reclamações não tem histórico mas foi atingido; não existe/não menciona política de tratamento de reclamações. 1) Inquérito global ou parcial: classificação obtida inferior ou igual a satisfaz ou % respostas >=satisfaz < 0% e evolução desfavoravel; 2) caso não exista auscultação da opinião dos utilizadores por inquérito analisar reclamações: não apresenta tipificação das reclamações (motivos); o indicador das reclamações não tem histórico, apresenta evolução negativa ou não foi atingido; não existe/não menciona política de tratamento de reclamações. Não apresenta resultados de auscultação da opinião dos utilizadores (inquéritos/questionários de opinião, reclamações, etc). C9. Satisfação dos colaboradores. A opinião dos colaboradores é auscultada através de inquéritos ou outros instrumentos de medição do grau de escala satisfação: 10 Taxa de respostas superior a 0%; classificação obtida igual ou superior a bom ou pelo menos 70% respostas >=bom. evolução positiva do grau satisfação dos colaboradores. Se existir comparação com outros serviços: ocupa lugares cimeiros (último quartil). Taxa de respostas inferior a 0%; classificação obtida igual ou superior a bom ou pelo menos 70% respostas >=bom. 9 Evolução positiva do grau satisfação dos colaboradores. Se existir comparação com outros serviços: ocupa lugares acima do meio da tabela. 8 Taxa de respostas superior a 0%: classificação obtida igual ou superior a bom mas com evolução desfavorável. 7 Taxa de respostas inferior a 0%: classificação obtida igual ou superior a bom mas com evolução desfavorável. Taxa de respostas superior a 0%: classificação obtida igual ou equivalente a satisfaz ou pelo menos 70% respostas >=satisfaz. Evolução positiva do grau satisfação dos colaboradores. Taxa de respostas inferior a 0%; 1) classificação obtida igual ou equivalente a satisfaz ou pelo menos 70% respostas >=satisfaz. Evolução positiva do grau satisfação dos colaboradores. Taxa de respostas superior a 0%: classificação obtida igual ou equivalente a satisfaz mas com evolução desfavorável 4 ou sem histórico. Taxa de respostas inferior a 0%: classificação obtida igual ou equivalente a satisfaz mas com evolução desfavorável 3 ou sem histórico. 2 Classificação obtida inferior a satisfaz. 1 Não é feita qualquer referência à auscultação da opinião dos colaboradores. Ajustamentos: abrangencia, análise resultados Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 1

17 C10. Processos e sistema de indicadores de desempenho. escala Avaliação com base no anexo A do relatório de auto-avaliação sobre o sistema de controlo interno 10 Mais de 90% das respostas ao questionário A são afirmativas 9 Entre 81% e 90% (inclusivé) das respostas ao questionário A são afirmativas 8 Entre 71% e 80% (inclusivé) das respostas ao questionário A são afirmativas 7 Entre 1% e 70% (inclusivé) das respostas ao questionário A são afirmativas Entre 1% e 0% (inclusivé) das respostas ao questionário A são afirmativas Entre 41% e 0% (inclusivé) das respostas ao questionário A são afirmativas 4 Entre 31% e 40% (inclusivé) das respostas ao questionário A são afirmativas 3 Entre 21% e 30% (inclusivé) das respostas ao questionário A são afirmativas 2 Entre 11% e 20% (inclusivé) das respostas ao questionário A são afirmativas 1 Entre 0% e 10% (inclusivé) das respostas ao questionário A são afirmativas C11. Planeamento e estratégia Fórmula: 0,xA+0,2xB+0,2xC escala 11A. informação incluída no relatório de auto-avaliação de acordo com n.º 2 do art. 1º Lei /B, 28 dezembro 10 sim para todas as alíneas a) a f). 9 sim ou sim, em parte, para todas. 8 maioritariamente sim, incluindo alínea e) comparações nacionais ou internacionais. 7 maioritariamente sim ou sim em parte, incluindo alínea e) comparações nacionais ou internacionais. maioritariamente sim ou sim em parte. 3 sim e 3 não. 4 3 sim ou sim em parte e 3 não. 3 2 sim ou sim em parte. 2 1 sim ou sim em parte. 1 Não para todas as alíneas a) a f). escala 11B. coerência entre PA e RA e QUAR No RA existe análise analítica da concretização global do PA. Existe comparação entre acções/projectos planeados e realizados, incluindo desvios e grau de concretização por projecto e global. Grau de concretização global do PA > 8%. No RA existe análise analítica da concretização global do PA. Existe comparação entre acções/projectos planeados e realizados, incluindo desvios e grau de concretização por projecto e global. Grau de concretização global do PA entre 71% e 8% (inclusivé). No RA existe análise analítica da concretização global do PA. Existe comparação entre acções/projectos planeados e realizados, incluindo desvios e grau de concretização por projecto e global. Grau de concretização global do PA entre 0% e 70% (inclusivé). No RA existe análise analítica da concretização global do PA. Existe comparação entre acções/projectos planeados e realizados, incluindo desvios e grau de concretização por projecto e global. Grau de concretização global do PA< 0%. No RA é apresentada uma comparação entre acções/projectos planeadas e o realizado, com base nos mesmos quadros/listagem do PA, incluindo desvios e grau de concretização por projecto/actividade mas não o global. No RA existe secção analítica com balanço do PA mas sem grau de execução. É apresentada a lista das acções/projectos mas apenas com o realizado, não permitindo aferir o grau de concretização do PA. No RA não existe secção analítica com balanço do PA. Não é apresentada a lista das acções/projectos do PA, é apenas feita uma descrição das acções executadas, pontualmente é referido o grau de cumprimento. No RA não existe secção analítica com balanço do PA. Não é apresentada a lista das acções do PA, é apenas feita uma descrição das acções executadas, pontualmente é referido se estava planeada, sem grau de execução. No RA não existe secção analítica com balanço do PA. Não é feita nenhuma referência ao que estava planeado, mas o GPEARI verificou aleatoriamente o PA e encontrou alguma conformidade. Não existe PA; ou: o GPEARI verificou aleatoriamente o PA e concluiu pela ausência de conformidade entre os dois documentos. escala 11C. desvio na entrega do RA09 (incluindo o RAA) relativamente à data estabelecida na Lei (1 de Abril) (dias úteis) mais de 8 dias úteis Junho 2013 Núcleo de Planeamento Estratégico e Avaliação DGS 1