Avaliação da Satisfação dos Utentes dos Serviços de Educação Entidade Promotora Concepção e Realização Enquadramento
Avaliação da Satisfação dos Utentes dos Serviços de Educação
Índice RESUMO EXECUTIVO... 03 1. INTRODUÇÃO... 05 2. METODOLOGIA... 06 3. RESULTADOS GLOBAIS... 09 4. RESULTADOS DO MODELO DE SATISFAÇÃO... 13 5. RESULTADOS POR ÁREA GEOGRÁFICA DO ESTABELECIMENTO DE ENSINO... 17 6. RESULTADOS POR NÍVEL DE ENSINO... 21 7. RECOMENDAÇÕES... 25 ANEXOS:... 28 A1: Caracterização dos Entrevistados... 28 A2: Resultados do Modelo de Satisfação do Aluno/Pai... 29 A3: Medidas de Qualidade... 30
Resumo Executivo O presente estudo tem como objectivo fundamental construir um Índice de Avaliação da Satisfação dos alunos ou respectivos pais com os serviços de Educação na Região Autónoma da Madeira, baseado num conjunto de indicadores disponibilizados periodicamente. A abordagem adoptada consiste em duas etapas fundamentais e interdependentes. Em primeiro lugar foi realizado um estudo de mercado (entre 21 de Março de 2007 e 21 de Abril de 2007, onde foram entrevistados telefonicamente 253 pessoas). Esta etapa permite obter todos os resultados disponibilizados pelos estudos de mercado. Na segunda etapa, a informação obtida no estudo de mercado é utilizada para estimar o modelo de satisfação do utente. Esta metodologia inovadora permite obter um conjunto de resultados que não é possível obter pelas abordagens habituais de estudos de satisfação do cliente que não recorrem a qualquer modelo de satisfação. O modelo de satisfação apresenta um coeficiente de determinação de 0,68 para a sub população que não apresentou reclamação (89,5% da população). Os resultados obtidos revelam uma Satisfação positiva (valores entre 60 e 80 pontos) dos alunos ou respectivos pais, com os Serviços de Educação na Região Autónoma da Madeira (73,1 pontos numa escala de 100 pontos). O modelo de satisfação evidencia que a dimensão das reclamações é aquela que requer uma maior prioridade de actuação no caso de um aluno/pai apresentar uma reclamação. No caso das pessoas que têm experiência com o pagamento do ensino, como por exemplo, os estudantes universitários e os pais/alunos de escolas privadas, a dimensão do preço apercebido surge como segunda prioridade de actuação. Para a grande maioria dos alunos/pais onde as reclamações e o preço apercebido da educação não são uma componente da sua satisfação, a qualidade de serviço, assim como, a qualidade dos serviços complementares, que compreende a qualidade das instalações, as estruturas de apoio, as actividades extracurriculares, etc., serão as principais prioridades de actuação, tendo em conta o forte impacto que estas duas dimensões têm na satisfação.
Uma análise do comportamento dos Serviços de Educação centrada nos diversos indicadores associados a cada uma das dimensões, permite evidenciar como indicadores de actuação prioritária os seguintes: Qualidade de serviço: - Qualidade global do ensino Qualidade dos serviços complementares: - Actividades extracurriculares oferecidas pelo estabelecimento de ensino - Estruturas de apoio (papelaria e reprografia, biblioteca, serviços administrativos, etc.) - Ambiente condizente com uma aprendizagem de qualidade - Disponibilização de computadores e tecnologias adequadas ao nível de ensino Imagem: - Estabelecimento de ensino inovador e tecnologicamente avançado Para além dos resultados do modelo de satisfação do aluno/pai, o estudo realizado põe igualmente em evidência: As pessoas na ilha da Madeira (Funchal e restantes municípios) têm uma satisfação e lealdade positiva (valores entre 60 e 80 pontos) relativamente à educação/estabelecimento de ensino. Por outro lado, as pessoas na ilha de Porto Santo apesar de terem índices de satisfação e lealdade positivos (respectivamente 70,0 e 74,6 pontos), são inferiores aos observados na ilha da Madeira. Os pais dos alunos dos jardins de infância apresentam um índice de satisfação positivo e de lealdade muito positivo (76,3 e 81,3 respectivamente). Por oposto, os alunos do ensino superior têm níveis de satisfação e lealdade pouco acima dos 60 pontos, nível abaixo do qual considera-se que a satisfação e lealdade é neutral. Pela análise dos índices de satisfação por sub população, verifica-se que os pais fazem uma avaliação mais positiva (75,4 pontos) do que os alunos (69,1 pontos); e as entidades privadas de educação têm um índice de satisfação ligeiramente superior às entidades públicas (respectivamente 74,5 e 72,9 pontos). As pessoas que apresentaram uma reclamação têm um índice de satisfação bastante inferior em relação às restantes pessoas; salientando-se que quase 50% dos reclamantes se encontram insatisfeitos ou neutrais (valores abaixo dos 60 pontos).
1. Introdução O na Região Autónoma da Madeira, surge no âmbito da implementação da Estratégia Regional para a Qualidade (ERAMQ), aprovada pela resolução nº 276/2005, de 17/03/2005. Neste sentido, a Direcção Regional de Comércio, Indústria e Energia (DRCIE) pretendeu através de uma abordagem pragmática implementar um conjunto de indicadores (de desempenho e de percepção) que permitissem aferir a situação actual da qualidade na Região Autónoma da Madeira (RAM), a percepção da mesma, o grau de satisfação de residentes e turistas e o impacto de acções de melhoria implementadas. Objectivo O presente estudo tem com objectivo fundamental construir um Índice de Avaliação da Satisfação dos alunos ou respectivos pais com os serviços de Educação na Região Autónoma da Madeira. Este índice faz parte de um Sistema de Avaliação, que fornece informação sobre a satisfação e lealdade dos alunos ou pais, bem como da qualidade apercebida dos serviços, baseado num conjunto de variáveis (de medida), disponibilizados periodicamente. Este sistema de avaliação deverá, em particular, permitir: a construção de um índice de Satisfação, que servirá como indicador de percepção do. uma análise dos serviços de Educação no seu conjunto e por segmento. aconselhar o Governo Regional da Madeira sobre os pontos fortes, constrangimentos e áreas prioritárias de actuação tendo em vista a satisfação e lealdade dos alunos e pais.
2. Metodologia Resumo do Trabalho de Campo Modelo de Satisfação do Aluno/Pai Os dados recolhidos através do inquérito são utilizados para alimentar um modelo explicativo da percepção da qualidade e satisfação dos alunos/pais com a educação na RAM. O modelo é especificado de modo a tomar em conta os determinantes relevantes para a satisfação destes agentes. A estimação do modelo, com base na metodologia PLS (Partial Least Squares), produzirá índices sintéticos para cada uma das dimensões analisadas (entre os quais se destacam os índices de percepção da qualidade de serviço e de satisfação), os pesos das variáveis (de medida) que entram no cálculo dos índices e ainda os valores dos coeficientes de impacto, ou seja das relações entre as diferentes variáveis latentes (dimensões) do modelo. O modelo fornece igualmente margens de erro e outras medidas de qualidade das estimações. É hoje generalizadamente aceite que esta abordagem, conhecida por abordagem SEM ou de Modelação das Equações Estruturais constitui o estado da arte da modelação do comportamento do cliente/utente ou do colaborador.
De facto só desta forma é possível identificar os principais determinantes da satisfação, como são as várias componentes da qualidade de serviço. Torna-se assim possível identificar os aspectos da qualidade de serviço mais importantes do ponto de vista da satisfação e lealdade, avaliar os impactos de decisões de gestão sobre estas variáveis e consequentemente priorizar as acções a desenvolver em cada segmento tendo em vista a satisfação e a lealdade do aluno/pai. Este modelo é constituído por dois sub-modelos que são apresentados nas figuras seguintes: O modelo estrutural que integra as relações entre as dimensões não observadas (variáveis latentes); O modelo de medida que relaciona as dimensões com as variáveis de medida. Modelo Estrutural de Satisfação do Aluno/Pai Os índices de satisfação e de lealdade do aluno/pai são as duas dimensões fundamentais que enformam o modelo estrutural ilustrado na Figura. O índice de satisfação é a dimensão central do modelo estrutural. Este modelo é constituído por seis dimensões determinantes do índice de satisfação e por uma dimensão consequente deste índice, a lealdade.
Modelo de Medida de Satisfação do Aluno/Pai As dimensões do modelo estrutural são variáveis latentes, não sendo portanto objecto de observação directa. Cada uma destas dimensões tem de ser associada a um conjunto de indicadores (designados por variáveis de medida) obtidos directamente através do questionário junto dos alunos/pais. O conjunto das relações entre as dimensões e os indicadores constitui o modelo de medida. Como se indicou anteriormente, cada dimensão é constituída por um ou mais indicadores que de seguida se apresentam.
3. Resultados Globais Índices das Dimensões A dimensão da Imagem é aquela que apresenta um índice superior (79,5), seguido de muito perto pelas dimensões de Serviço (79,3) e Lealdade (79,0). No sentido contrário, destacam-se as dimensões das Reclamações com 39,0 pontos e o Preço Apercebido com 51,5 pontos. Impactos Directos entre as Dimensões e Valores Médios A figura representa os impactos directos entre as dimensões do modelo estrutural. A Qualidade de Serviço (0,40), é a dimensão com maior impacto directo na Satisfação, seguido pela Qualidade dos Serviços Complementares (0,28). Na Lealdade, a Satisfação do aluno/pai é a dimensão com um impacto directo mais acentuado (0,56). Nota 1: Os impactos das dimensões das Reclamações e do Preço Apercebido só são aplicáveis à população que efectivamente tem experiência com essa realidade. Como exemplo da interpretação do modelo aqui apresentado, pode referir-se que um aumento de um ponto na imagem resulta num aumento de 0,21 pontos na satisfação. A tracejado estão os impactos que não são estatisticamente significativos a 5%. (ver Nota 1)
Impactos Totais e Valores Médios das Dimensões (ver Nota 1) (ver Nota 1) Nota 1: Os impactos das dimensões das Reclamações e do Preço Apercebido só são aplicáveis à população que efectivamente tem experiência com essa realidade. Mapa de Percepção da Satisfação Lealdade segundo a Área Geográfica do Estabelecimento de Ensino No Mapa de percepção da Satisfação - Lealdade segundo os segmentos geográficos considerados neste estudo, verifica-se que os alunos/pais dos estabelecimentos de ensino do Porto Santo encontram-se bastante menos satisfeitos e são menos leais do que os restantes segmentos, no entanto, situam-se num nível positivo (por convenção, considera-se positivo valores médios entre os 60 e 80 pontos). 10
Mapa de Percepção da Satisfação Lealdade segundo o Tipo de Ensino No Mapa de percepção da Satisfação - Lealdade segundo o tipo de ensino frequentado, verifica-se que os alunos (1) do ensino superior são os que se encontram menos satisfeitos e são menos leais. Os valores médios destas duas dimensões para esta sub-população encontra-se muito perto de uma avaliação neutral (por convenção, considera-se neutral valores médios entre os 40 e 60 pontos). Por outro lado, os pais (1) relativamente aos jardins de infância, atribuem valorizações médias muito positivas (por convenção, superiores a 80 pontos) à dimensão da lealdade (81,3 pontos), e positivas à dimensão da satisfação (76,3 pontos). (1) As respostas ao Ensino Superior foram todas baseadas nas percepções dos alunos. Por oposto, as respostas aos Jardins de Infância foram todas baseadas nas percepções dos pais. Índices por Níveis de Satisfação No gráfico seguinte, estão representadas as frequências por classe/nível de Satisfação (por convenção, considera-se entre os 0 e 40 as pessoas insatisfeitas, entre os 40 e 60 as pessoas neutrais, entre os 60 e 80 as pessoas satisfeitas, e entre os 80 e 100 as pessoas muito satisfeitas), e o valor médio para cada uma das sub populações. 11
Ao verificar o gráfico podemos concluir que: Quanto maior for o nível de ensino, menor é a satisfação, com excepção do ensino básico do 1º ciclo; As pessoas do sexo feminino têm um nível de satisfação mais elevado (ver nota); As pessoas com menor idade têm níveis de satisfação menores (ver nota); Os residentes na Madeira são os mais satisfeitos, e por oposto encontram-se os residentes no Porto Santo. Ao verificar o gráfico podemos concluir que: Os pais têm níveis de satisfação mais altos do que os filhos (alunos); Os alunos do sexo feminino têm um nível de satisfação mais elevado (ver nota); As pessoas com menor nível de instrução têm níveis de satisfação superiores (ver nota); As pessoas que apresentaram uma reclamação têm um índice de satisfação bastante inferior em relação às restantes pessoas; salientando-se que quase 50% dos reclamantes se encontram insatisfeitos ou neutrais. Nota: Na generalidade dos estudos de mercado verifica-se que as pessoas do sexo feminino, com menor instrução ou com maior idade, tendem a dar avaliações mais altas. 12
4. Resultados do Modelo de Satisfação Imagem Qualidade de Serviço Qualidade dos Serviços Complementares Nota: os resultados são valores médios das avaliações dos alunos/pais. Em cima encontra-se o valor da dimensão constituída pelos indicadores em baixo. 13
Qualidade Global e Expectativas Nota : os resultados são valores médios das avaliações dos alunos/pais. Preço Apercebido Nota 1: os resultados são valores médios das avaliações dos alunos/pais. Respondentes à questão do preço apercebido Nota 2: os entrevistados que frequentavam ou cujo o filho frequentava o ensino superior ou um estabelecimento de ensino privado, responderam à questão do preço apercebido. Reclamações Apresentou uma reclamação verbal ou por escrito, no último ano Nota : os resultados são valores médios das avaliações dos alunos/pais. 14
Satisfação Satisfação segundo o Respondente (Pai/Aluno) Respostas por respondentes (pai/aluno) Satisfação segundo o Tipo de Entidade Respostas por tipo de entidade Nota: os resultados são valores médios das avaliações dos alunos/pais. Em cima encontra-se o valor da dimensão constituída pelos indicadores em baixo. 15
Lealdade Lealdade segundo o Respondente (Pai/Aluno) Respostas por respondentes (pai/aluno) Lealdade segundo o Tipo de Entidade Respostas por tipo de entidade Nota: os resultados são valores médios das avaliações dos alunos/pais. Em cima encontra-se o valor da dimensão constituída pelos indicadores em baixo. 16
5. Resultados por Área Geográfica do Estabelecimento de Ensino Introdução Neste capítulo apresentam-se os resultados por segmento. Para o estudo da Educação na Região Autónoma da Madeira consideraram-se três segmentos geográficos, respeitantes à localização do estabelecimento de ensino: ilha da Madeira (com excepção do município do Funchal); município do Funchal; e ilha do Porto Santo; e três segmentos relativos ao nível de ensino: jardins de infância, ensino básico ou secundário, e ensino superior. Nas próximas figuras apresentam-se os resultados segundo a segmentação por área geográfica. Índices das Dimensões A dimensão com índice superior no Funchal é a Imagem com 79,8 pontos, na Madeira é a Qualidade de Serviço com 80,1 e, no Porto Santo é a Lealdade com 74,6 pontos. Nos segmentos do Porto Santo e da Madeira, as Reclamações são a dimensão mais penalizada pelos utentes, nomeadamente os da Madeira (14,5 pontos). No caso do segmento do Funchal o Preço Apercebido é a dimensão com o índice mais baixo. Nota: não se apresentam os resultados baseados em menos de 3 respostas. 17
Imagem Qualidade de Serviço Qualidade dos Serviços Complementares Nota: os resultados são valores médios das avaliações dos alunos/pais. Em cima encontra-se o valor da dimensão constituída pelos indicadores em baixo. 18
Qualidade dos Serviços Complementares (continuação) Nota : os resultados são valores médios das avaliações dos alunos/pais. Em cima encontra-se o valor da dimensão constituída pelos indicadores em baixo. Qualidade Global e Expectativas Nota : os resultados são valores médios das avaliações dos alunos/pais. Preço Apercebido Proporção de respondentes à questão do preço apercebido Nota: não se apresentam os resultados baseados em menos de 3 respostas. Nota 1: os resultados são valores médios das avaliações dos alunos/pais. Nota 2: os entrevistados que frequentavam ou cujo o filho frequentava o ensino superior ou um estabelecimento de ensino privado, responderam à questão do preço apercebido. 19
Reclamações Apresentou uma reclamação verbal ou por escrito Satisfação Lealdade Nota: os resultados são valores médios das avaliações dos alunos/pais. Em cima encontra-se o valor da dimensão constituída pelos indicadores em baixo. 20
6. Resultados por Nível de Ensino Introdução Neste capítulo apresentam-se os resultados por segmento. Para o estudo da Educação na Região Autónoma da Madeira consideraram-se três segmentos geográficos, respeitantes à localização do serviço público: ilha da Madeira (com excepção do município do Funchal); município do Funchal; e ilha do Porto Santo; e três segmentos relativos ao nível de ensino: jardins de infância, ensino básico ou secundário, e ensino superior. Nas próximas figuras apresentam-se os resultados segundo a segmentação por nível de ensino. Índices das Dimensões A dimensão da Imagem é aquela que apresenta um índice superior nos Jardins de Infância e no Ensino Superior. Já, no Ensino Básico ou Secundário essa posição é ocupada pela Lealdade. Em todos os segmentos, as Reclamações são a dimensão mais penalizada pelos alunos/pais, nomeadamente os do Ensino Superior (17,8 pontos). 21
Imagem Qualidade de Serviço Qualidade dos Serviços Complementares Nota: os resultados são valores médios das avaliações dos alunos/pais. Em cima encontra-se o valor da dimensão constituída pelos indicadores em baixo. 22
Qualidade dos Serviços Complementares (continuação) Nota : os resultados são valores médios das avaliações dos alunos/pais. Em cima encontra-se o valor da dimensão constituída pelos indicadores em baixo. Qualidade Global e Expectativas Nota : os resultados são valores médios das avaliações dos alunos/pais. Preço Apercebido Proporção de respondentes à questão do preço apercebido Nota 1: os resultados são valores médios das avaliações dos alunos/pais. Nota 2: os entrevistados que frequentavam ou cujo o filho frequentava o ensino superior ou um estabelecimento de ensino privado, responderam à questão do preço apercebido. 23
Reclamações Apresentou uma reclamação verbal ou por escrito Satisfação Lealdade Nota: os resultados são valores médios das avaliações dos alunos/pais. Em cima encontra-se o valor da dimensão constituída pelos indicadores em baixo. 24
7. Recomendações Mapa de Recomendações Os mapas de recomendações que se seguem apresentam nas abcissas os impactos totais dos antecedentes ou dimensões sobre a satisfação dos alunos/pais com os estabelecimentos de educação e, em ordenada, as respectivas valorizações médias. O objectivo de cada um destes mapas é o de representar o desempenho relativo dos estabelecimentos de educação para cada uma das dimensões explicativas da satisfação, bem como a sua importância na explicação dessa dimensão. O mapa de recomendações encontra-se dividido em quatro quadrantes. No QI estão as dimensões com índice mais elevado em termos médios e que simultaneamente mais contribuem para a explicação da satisfação. No QIV, as dimensões de menor nível médio, mas com grande contribuição para a formação da satisfação. Nos QII e QIII, as dimensões com menor contributo para a satisfação, possuindo as dimensões localizadas no quadrante III valores abaixo da média e no quadrante II, valores acima da média. No quadrante IV encontra-se a dimensão das Reclamações, que devido ao seu baixo valor médio e impacto na satisfação dos alunos/ pais deverá ser considerada uma prioridade de acção. No entanto, deve-se ter em atenção que apenas uma pequena parte da população será afectada por uma acção nesta dimensão (ver Capítulo 4 - Reclamações). O Preço Apercebido encontra-se no quadrante III, sendo considerada uma segunda prioridade de acção em face do seu valor médio ser baixo. Tal como nas reclamações, chama-se a atenção de que qualquer acção nesta dimensão só será sentida por uma parte diminuta da população (ver Capítulo 4 - Preço Apercebido). No quadrante I encontram-se as dimensões de Serviço e dos Serviços Complementares que são os pontos fortes dos serviços de educação. Em face do forte impacto que estas dimensões têm na satisfação dos alunos/pais, nomeadamente a primeira, devem ser consideradas como prioridades de acção. No quadrante II encontra-se a dimensão da Imagem, que em face dos seu valor médio acima da média e impacto inferior à média na satisfação dos alunos/pais, não deve ser uma prioridade de actuação. (ver Nota 1) Nota 1: Os impactos das dimensões das Reclamações e do Preço Apercebido só são aplicáveis à população que efectivamente tem experiência com essa realidade. 25
Índice de Prioridade e distância em relação à Média segundo a Dimensão Nas figuras seguintes podem observar-se as dimensões por ordem decrescente de índice de prioridade e o respectivo valor médio. Uma dimensão será considerada prioritária se tiver um elevado índice de prioridade (calculado com base na distância ao máximo da escala e no impacto na satisfação), ou seja, se apresentar um valor médio baixo ou um impacto na satisfação maior do que a média. (ver Nota 1) (ver Nota 1) Nota 1: Os impactos das dimensões das Reclamações e do Preço Apercebido só são aplicáveis à população que efectivamente tem experiência com essa realidade. Indicadores de Actuação Prioritária Uma vez identificadas as dimensões a ser objecto de actuação, há que encontrar formas de operacionalizar essas acções, já que as referidas dimensões não são observadas. Uma análise do comportamento dos Estabelecimentos de Educação centrada nos diversos indicadores, associados a cada uma das dimensões cuja actuação foi identificada como prioritária, fornece importantes indicações sobre a operacionalização desta actuação. Os quadros seguintes mostram as dimensões de acção e respectivos indicadores de actuação prioritária, ordenados por um índice de prioridade que é calculado de acordo com dois critérios, maior peso na construção da dimensão (ver Modelo de Medida ) e menor valor médio. 26
Indicadores de Actuação Prioritária (Qualidade de Serviço) De entre os indicadores da dimensão de Serviço, a qualidade global do ensino é o indicador que surge com maior prioridade de actuação. Indicadores de Actuação Prioritária (Qualidade dos Serviços Complementares) De entre os indicadores da dimensão dos Serviços Complementares, destacam-se como prioridades de actuação, as Actividades extracurriculares oferecidas pelo estabelecimento de ensino, as estruturas de apoio (papelaria e reprografia, biblioteca, serviços administrativos, etc.), o ambiente condizente com uma aprendizagem de qualidade, e a Disponibilização de computadores e tecnologias adequadas ao nível de ensino. Indicadores de Actuação Prioritária (Imagem) De entre os indicadores da dimensão da Imagem, o estabelecimento de ensino inovador e tecnologicamente avançado é aquele que surge com maior índice de prioridade, seguido pelo estabelecimento de ensino que encoraja a participação do pai na educação ou incentiva a aprendizagem do aluno, estabelecimento de ensino que se preocupa com os seus alunos, e estabelecimento de ensino onde o aluno está seguro. 27
Anexos A1: Caracterização dos Entrevistados Perfil do Estabelecimento de Ensino Frequentado Perfil e Caracterização do Entrevistado Perfil e Caracterização do Entrevistado 28
A2: Resultados do Modelo de Satisfação do Aluno/Pai Pesos dos Indicadores nas Dimensões Impactos Directos e Desvios Padrão (ver Nota 1) Impactos Totais (ver Nota 1) Nota 1: Os impactos das dimensões das Reclamações e do Preço Apercebido só são aplicáveis à população que efectivamente tem experiência com essa realidade. 29
A3: Medidas de Qualidade Margens de Erro Coeficiente de Determinação 30