PROCESSO DE AUDITORIA DE SISTEMAS INTERNOS DE GARANTIA DA QUALIDADE

Transcrição

1 PROCESSO DE AUDITORIA DE SISTEMAS INTERNOS DE GARANTIA DA QUALIDADE Inquérito ao Processo ASIGQ 2017 Análise Crítica do Processo e Medidas de Melhoria Maio 2018

2 1. Introdução A exemplo de anos anteriores, e uma vez concluído, em fevereiro passado, o processo de auditoria de sistemas internos de garantia da qualidade ASIGQ 2017, procedeu-se à recolha de feedback sobre a organização e funcionamento do processo através de um inquérito às instituições de ensino superior participantes e aos membros da Comissão de Avaliação Externa. O presente relatório promove a apreciação crítica dos resultados desse inquérito. 2. Estrutura do inquérito Os questionários usados no inquérito, específicos para cada tipo de destinatários, colocam vários blocos de questões, que se discriminam em anexo (Anexos I e II). Cada bloco contém questões de resposta fechada e ainda três questões de resposta aberta para recolha de opiniões sobre os aspetos mais positivos e mais negativos a destacar no conjunto das questões abordadas no bloco e, se o respondente o desejar, para sugestões de melhoria. Foi ainda incluído um bloco adicional, em cada um dos questionários, para observações sobre aspetos eventualmente não cobertos pelas questões constantes do inquérito. Nas questões de resposta fechada foi usada uma escala Likert 1-5 para apreciação do grau de adequação de instrumentos e procedimentos, em que os níveis extremos da escala correspondem a: 1 Muito pouco adequado 5 Muito bem adequado O valor médio da escala é 3, pelo que se consideram como positivas as respostas nos níveis 4 e 5 e como negativas as respostas nos níveis 1 e 2. Em termos de médias das respostas por questão, consideram-se como positivas as médias superiores a 3 e negativas as médias inferiores a Apresentação e análise de resultados do inquérito Face ao número muito reduzido de participantes, os dados quantitativos levantados nas respostas fechadas não são estatisticamente significativos, pelo que são apresentados apenas a título informativo. Mais importantes são os comentários e sugestões obtidos através das respostas abertas. 3.1 Inquérito às instituições de ensino superior participantes Taxa de participação Os dados relativos à taxa de participação no inquérito foram os seguintes: Número de IES participantes: 5 Número de respostas obtidas: 4 (80,0 %) 2

3 3.1.2 Resultados quantitativos Resultados apurados A tabela seguinte mostra a distribuição das apreciações efetuadas pelos responsáveis das instituições de ensino superior que responderam ao inquérito: Tabela 1 - Frequências absolutas de respostas obtidas (IES). Questão N.º de respostas por item da escala n.r. Média A1. Adequação do Manual para a Auditoria 4 4,00 A2. Adequação da matriz de critérios 4 4,00 A3. Adequação do Guião de autoavaliação 4 4,00 A4. Adequação do Workshop de preparação do processo 3 1 4,25 A5. Adequação do Seminário local ,33 B1. Adequação da plataforma eletrónica ,25 B2. Adequação do apoio prestado pela A3ES 2 2 4,50 B3. Adequação dos prazos de abertura da plataforma ,75 C1. Adequação dos procedimentos para a preparação da visita 2 2 4,50 C2. Adequação do programa da visita 2 2 4,50 C3. Atitude da CAE perante a instituição 2 2 4,50 D1. Qualidade do relatório da CAE 1 3 3,75 D2. Adequação dos procedimentos de pronúncia 4 4,00 n.r. - não responderam. Totais , Análise dos resultados Os dados da Tabela 1 refletem uma opinião globalmente positiva da instituição em relação ao processo de auditoria dos sistemas internos de garantia da qualidade e aos procedimentos e mecanismos que o suportam: - A grande maioria das apreciações situa-se no nível 4 da escala, sendo a média do total de respostas de 4,10, valor superior ao verificado nos inquéritos anteriores; - As médias por questão variam entre 3,25 (adequação da plataforma eletrónica) e 4,50 (questões relativas à visita e ao apoio prestado pela agência), sendo iguais ou superiores a 4 em 10 das 13 questões constantes do formulário. - Verificam-se apenas 2 respostas negativas no total de 52 respostas recolhidas (3,1%), relativas à adequação da plataforma eletrónica e dos prazos em que esta se encontra aberta; - O número de respostas positivas para o conjunto das questões é de 47 (36 no nível 4 e 11 no nível 5), representando 90 % do total das respostas. 3

4 Os comentários e sugestões recebidos são tratados adiante, no ponto Inquérito aos membros da Comissão de Avaliação Externa (CAE) Taxa de participação Os dados relativos à taxa de participação no inquérito foram os seguintes: Número de membros da CAE: 8 Número de respostas obtidas: 7 (87,5%) Resultados quantitativos Resultados apurados A tabela seguinte mostra a distribuição de frequências absolutas das respostas obtidas no inquérito aos membros da Comissão de Avaliação Externa: Tabela 2 - Frequências absolutas de respostas obtidas (CAE). Questão N.º de respostas por item da escala n.r. Média A1. Adequação do Manual para a Auditoria 1 6 4,86 A2. Adequação da matriz de critérios 3 4 4,57 A3. Adequação do Guião de auditoria 4 3 4,43 A4. Adequação da plataforma eletrónica ,86 B1. Adequação do apoio obtido por parte da A3ES B2. Adequação do apoio logístico para deslocações e estadias 2 5 4,71 7 5,00 C1. Adequação dos programas das visitas ,83 C2. Atitude geral das instituições perante a CAE 6 1 5,00 D1. Apreciação global da qualidade dos relatórios de autoavaliação D2. Adequação do Guião para a elaboração do relatório de autoavaliação 6 1 4, ,17 E1. Apreciação do funcionamento global da CAE ,83 n.r. - não responderam. Totais , Análise dos resultados Os dados da Tabela 2 demonstram uma avaliação muito positiva, por parte dos membros da Comissão de Avaliação Externa, em relação à adequação dos procedimentos e mecanismos que suportam o processo de auditoria: - A média das respostas por questão varia entre 3,83 e 5,0, verificando-se apenas dois itens com média inferior a 4; a média global do total de respostas recebidas é de 4,49; - Não se verificam respostas negativas em qualquer das questões; 4

5 - O número de respostas positivas para o conjunto das questões (66, das quais 25 no nível 4 e 4 no nível 5) representa 91,7 % do total das 72 respostas recebidas. As questões mais valoradas, com média superior a 4,5, são as relativas à adequação do apoio logístico para deslocações e estadias (5,0), à atitude das instituições perante a CAE (5,0), ao manual para a auditoria (4,86), ao apoio prestado pela agência (4,71) e à matriz de critérios (4,57). Por sua vez, as questões menos valoradas, com médias inferiores a 3, correspondem à adequação da plataforma (3,86) e do programa das visitas (3,83). 4. Análise dos elementos de feedback Como se referiu anteriormente em relação à estrutura do questionário, em cada bloco de questões foram incluídos campos de resposta aberta para explicitação de aspetos considerados positivos ou negativos e sugestões de melhoria. Os comentários das instituições de ensino superior confirmam a opinião bastante positiva já assinalada na análise quantitativa do inquérito, em especial quanto ao apoio prestado pela agência, a relevância da informação disponibilizada e à pertinência e utilidade das recomendações efetuadas pela CAE. Comos elementos suscetíveis de aperfeiçoamento são referidos o funcionamento da plataforma (alguma lentidão e dificuldade de acesso nas horas de expediente), a extensão do guião e a amplitude na definição de critérios. É ainda sugerido que se sensibilizem as CAE para a importância de uma fundamentação sólida das apreciações emitidas nos relatórios e que se promovam ações de formação junto das instituições. Os membros das CAE salientam, igualmente, a disponibilidade, clareza e objetividade do manual, referenciais e critérios para a auditoria, bem como a qualidade do apoio recebido. Referem, como aspetos a aperfeiçoar, alguns aspetos técnicos da plataforma e uma maior intervenção da CAE na definição do programa da visita e dos intervenientes a auscultar, havendo ainda referências casuísticas a uma maior operacionalização de critérios e indicadores, a ajustes pontuais no programa da visita, e à organização do trabalho da CAE (reunião prévia, distribuição de tarefas com cross checking, reunião da CAE com a agência no final do processo). No item sobre a qualidade dos relatórios de autoavaliação, há uma referência a que, regra geral, são rigorosos e precisos, traduzindo um exercício de reflexão interna positivo, havendo, no entanto, alusões a que em algumas secções são essencialmente enumerativos, em detrimento da componente analítica. 4.1 Síntese das medidas de melhoria adotadas Os comentários e sugestões recebidos, atrás sintetizados, ainda que limitados em número e de caracter predominantemente pontual, foram cuidadosamente analisados pela agência e cruzados com outros elementos de feedback recolhidos no acompanhamento do processo, de modo a perspetivar ações de melhoria. Na análise realizada permanece, no entanto, a preocupação fundamental em respeitar a autonomia das instituições auditadas, sem imposição de modelos de organização dos seus sistemas internos, no entendimento de que compete a cada instituição definir a sua política para a qualidade e estabelecer o sistema interno de garantia da qualidade 5

6 que melhor se adeque às suas especificidades, fase de desenvolvimento e necessidades, sem prejuízo, porém, de obedecer a princípios orientadores comuns, nomeadamente os padrões e orientações europeus, os referenciais da agência e demais preceitos legais aplicáveis. Na sequência deste trabalho de meta-avaliação, foram identificadas as medidas a seguir indicadas, que estão a ser postas em prática tendo em vista a melhoria contínua do processo de auditoria aos sistemas internos de garantia da qualidade das instituições de ensino superior. Medidas a implementar Realização de uma reunião com os membros das CAE ASIGQ para reflexão sobre a experiência adquirida ao longo dos seis anos de aplicação do modelo de auditoria e eventual adoção de medidas de afinação e simplificação de instrumentos e procedimentos, designadamente quanto ao programa-tipo de visita e harmonização na aplicação de critérios. Inclusão de um membro das CAE ASIGQ no grupo de trabalho para reflexão sobre o funcionamento da plataforma eletrónica, de modo a que a reflexão incida também sobre aspetos específicos do apoio da plataforma ao processo de auditoria, ponderando, nomeadamente, a possibilidade de preparação off-line dos relatórios de autoavaliação e de auditoria, em sintonia com o que vier a ser adotado para os relatórios dos processos de avaliação/acreditação de ciclos de estudos. Na organização de encontros regionais de reflexão e esclarecimento sobre os processos de avaliação, sugeridos por algumas instituições de ensino superior no âmbito do inquérito ao processo ACEF, prever a inclusão do tema de auditoria de sistemas internos de garantia da qualidade. 5. Nota final Os resultados do inquérito ao processo ASIGQ 2017 validam o estado de consolidação da organização e funcionamento do processo de auditoria de sistemas internos de garantia da qualidade, denotando uma apreciação muito positiva por parte das instituições e dos avaliadores envolvidos. As medidas de melhoria introduzidas nos anos anteriores, na sequência da análise crítica do exercício experimental ASIGQ 2012 e dos exercícios seguintes, designadamente a revisão do manual e guiões, tiveram um efeito positivo visível no processo de auditoria. Dando continuidade ao processo de construção partilhada do modelo de auditoria, os resultados do presente inquérito trazem um contributo adicional importante para a afinação de instrumentos e procedimentos e a sua progressiva simplificação. A A3ES agradece a todos os intervenientes a sua participação neste processo e as observações e sugestões com que contribuíram para a sua melhoria. 6

7 ANEXO I Inquérito às Instituições de Ensino Superior (IES) Formulário do inquérito ASIGQ/IES ASIGQ 2013: A. Preparação do processo de avaliação/acreditação: A1. Adequação do Manual para o Processo de Auditoria A2. Adequação da matriz de critérios usada no processo (grau de explicitação e clareza) A3. Adequação do Guião para a elaboração do relatório de autoavaliação A4. Adequação do Workshop de preparação do Processo de Auditoria A5. Adequação do Seminário local de preparação do processo de auditoria, se aplicável (utilidade e forma de organização) A6. Comentários e sugestões de melhoria sobre aspetos relacionados com a preparação do processo de auditoria B. Execução do processamento da candidatura B1. Adequação da plataforma eletrónica para o processamento online da candidatura B2. Adequação do apoio prestado pela A3ES durante o processo de candidatura B3. Adequação dos prazos de abertura da plataforma, para apresentação da candidatura B4. Comentários e sugestões de melhoria sobre os aspetos relacionados com a execução do processamento da candidatura C. Visita da CAE à instituição C1. Adequação dos procedimentos para a preparação da visita (fixação de datas, definição do programa da visita e aspetos logísticos) C2. Adequação do programa da visita aos fins em vista C3. Atitude da CAE perante a instituição (correção nos contactos e crítica construtiva) C4. Comentários e sugestões de melhoria sobre os aspetos relacionados com a visita da CAE à instituição D. Resultados do processo de auditoria D1. Qualidade do relatório da CAE (clareza na fundamentação das apreciações; relevância e utilidade das recomendações efetuadas) D2. Adequação dos procedimentos de pronúncia D3. Comentários e sugestões de melhoria sobre os aspetos relacionados com os resultados do processo E. Observações E1. Observações adicionais, nomeadamente sobre aspetos não cobertos pelas questões anteriores 7

8 ANEXO II Inquérito aos membros das Comissões de Avaliação Externa (CAE) Formulário do inquérito ASIGQ/CAE ASIGQ 2013: A. Documentação, critérios e instrumentos: A1. Adequação do Manual para o Processo de Auditoria A2. Adequação dos critérios usados para a avaliação (nomeadamente em termos do grau de adequação e clareza) A3. Adequação do Guião para a elaboração do Relatório de Auditoria A4. Adequação da plataforma eletrónica ao trabalho de elaboração dos relatórios e de interação com as instituições A5. Comentários e sugestões de melhoria sobre aspetos relacionados com documentação, critérios e instrumentos B. Apoio logístico B1. Adequação do apoio obtido por parte da A3ES para o desenvolvimento dos trabalhos de auditoria B2. Adequação do apoio logístico para deslocações e estadias B3. Comentários e sugestões de melhoria sobre aspetos relacionados com o apoio logístico C. Visitas às instituições C1. Adequação dos programas das visitas (duração, organização, contactos) C2. Atitude geral das instituições perante a CAE (abertura e cooperação por parte dos diferentes agentes da instituição) C3. Comentários e sugestões de melhoria relacionados com as visitas às instituições D. Qualidade dos relatórios de autoavaliação D1. Apreciação global da qualidade dos relatórios de autoavaliação apresentados pelas instituições de ensino superior D2. Adequação do Guião para a elaboração do relatório de autoavaliação D3. Comentários sobre a qualidade dos relatórios de autoavaliação E. Funcionamento da CAE E1. Apreciação do funcionamento global da CAE E2. Comentários e sugestões de melhoria sobre aspetos relacionados com a formação e o funcionamento da CAE F. Observações F1. Observações adicionais, nomeadamente sobre aspetos não cobertos pelas questões anteriores 8