Relatório de Avaliação da Satisfação dos Participantes do PNAEQ Ano 2018

Transcrição

1 Relatório de Avaliação da Satisfação dos Participantes do PNAEQ Ano 2018 A - Introdução e objetivo O Programa Nacional de Avaliação Externa da Qualidade Laboratorial (PNAEQ) possibilita, desde há 40 anos, aos seus participantes a avaliação do seu desempenho e da sua evolução temporal, de forma a procederem a ações corretivas ou preventivas num processo de melhoria contínua. O PNAEQ anualmente monitoriza os serviços prestados aos participantes através do envio de um inquérito de satisfação. Este inquérito não engloba questões direcionadas aos participantes em programas do PNAEQ em colaboração com o PHE (Public Health England). De acordo com o ponto 5.7 (Serviço ao cliente) do referencial normativo ISO/IEC 17043: Conformity assessment General requiremenst for proficinecy testing, o fornecedor de programas de Avaliação Externa da Qualidade (AEQ) deve ser avaliado periodicamente pelos seus participantes. B Materiais e Métodos O PNAEQ elaborou e distribuiu a 213 participantes, um inquérito on-line para avaliação da satisfação dos serviços prestados em 2018 pelos 3 tipos de Programas disponibilizados: PNAEQ_INSA, PNAEQ/Labquality e PNAEQ/ECAT (External quality Control of diagnostic Assays and Tests). A recolha das respostas decorreu no período entre 11 de Dezembro e 21 de Dezembro de As questões colocadas aos participantes, de uma forma geral, foram mantidas em relação a anos anteriores considerando a) Informação geral e atendimento; b) Documentação; c) Amostras; d) Relatórios e e) Certificados, para cada um dos três tipos de Programas. As respostas ao inquérito de satisfação foram tratadas estatisticamente tendo em conta as respostas rececionadas com a avaliação de Muito Satisfeito, Satisfeito, Pouco Satisfeito e In. As respostas às questões de resposta livre foram analisadas pela equipa do PNAEQ e encaradas como oportunidades de melhoria. A apresentação dos resultados foi efetuada separadamente considerando cada tipo de programas. C Resultados dos Indicadores Foram validadas 53 respostas aos inquéritos, o que corresponde a 25 dos participantes inscritos no PNAEQ (213) em 2018 nos 3 tipos de Programas em questão, tendo a totalidade (100) dos respondentes respondido a todas as perguntas correspondentes aos programas em que estão inscritos. Os resultados da análise dos inquéritos são apresentados nas tabelas seguintes, sendo a Tabela 1 referente aos Programas disponibilizados pelo PNAEQ_INSA, a Tabela 2 aos Programas disponibilizados PNAEQ/ Labquality e Tabela 3 aos Programas disponibilizados pelo PNAEQ/ECAT. INSA-IM60_05 Pág.1 de 8

2 Tabela 1: Percentagem de respostas a cada um dos indicadores, referentes a 31 programas PNAEQ_INSA em 2018 Indicadores distribuídos respondidos Muito Satisfeito Pouco In Não sabe/ não aplicável Informação geral e atendimento Divulgação atempada do programa ,8 64,2 0,0 0,0 0,0 Acessibilidade da no Website ,8 62,3 17,0 0,0 0,0 Informação adequada no Website ,8 67,9 11,3 0,0 0,0 Custo dos programas ,0 54,7 24,5 3,8 0,0 Esclarecimento de dúvidas: qualidade da resposta ,4 50,9 5,7 0,0 0,0 Esclarecimento de dúvidas: tempo de resposta ,5 56,6 1,9 0,0 0,0 Profissionalismo dos colaboradores ,7 45,3 0,0 0,0 0,0 Documentação Documentos adequados e perceptiveis ,4 52,3 11,4 0,0 0,0 Tabela de códigos adequada e perceptível ,5 54,5 15,9 0,0 0,0 Preenchimento folhas de resposta ,0 63,6 9,1 2,3 0,0 Amostras Acondicionamento da amostra ,2 50,0 6,8 0,0 0,0 Amostras e níveis de concentração adequados ,8 63,6 4,5 0,0 0,0 Tempo amostra - limite ,8 65,9 2,3 0,0 0,0 Relatórios ,0 65,9 6,8 2,3 0,0 Tempo resultados - relatório ,5 50,0 27,3 2,3 0,0 Tratamento estatístico ,5 72,7 4,5 2,3 0,0 Certificados ,5 68,2 2,3 0,0 0,0 Tabela 2: Percentagem de respostas a cada um dos indicadores, referentes a 153 programas PNAEQ/ Labquality em 2018 Indicadores distribuídos respondidos Muito Satisfeito Pouco In Não sabe/ não aplicável Informação geral e atendimento Acessibilidade da no Website ,6 62,5 21,9 0,0 0,0 Informação adequada no Website ,6 65,6 18,8 0,0 0,0 Custo dos programas ,4 59,4 21,9 9,4 0,0 Esclarecimento de dúvidas: Qualidade da resposta ,8 65,6 12,5 3,1 0,0 Esclarecimento de dúvidas: Tempo de resposta ,9 65,6 9,4 3,1 0,0 (Continua) INSA-IM60_05 Pág.2 de 8

3 Documentos adequados e perceptiveis Tabela de códigos adequada e perceptível Preenchimento formulários de resposta online (Labscala) Preenchimento folhas de resposta em papel Documentação ,6 71,9 9,4 3,1 0, ,5 75,0 12,5 0,0 0, ,5 71,9 12,5 3,1 0, ,4 84,4 6,3 0,0 0,0 Amostras Acondicionamento da amostra ,0 71,9 3,1 0,0 0,0 Amostras e níveis de concentração adequados ,6 75,0 9,4 0,0 0,0 Tempo amostra - limite ,5 75,0 12,5 0,0 0,0 Relatórios ,8 59,4 18,8 3,1 0,0 Acesso aos resultados on-line (Labscala) ,0 56,3 15,6 3,1 0,0 Tempo resultados - relatório ,6 65,6 18,8 0,0 0,0 Tratamento estatístico adequado ,8 62,5 15,6 3,1 0,0 Certificados ,8 78,1 3,1 0,0 0,0 Tabela 3: Percentagem de respostas a cada um dos indicadores, referentes a 55 programas PNAEQ/ECAT em 2018 Indicadores distribuídos respondidos Muito Satisfeito Pouco In Não sabe/ não aplicável Informação geral e atendimento Custo dos programas ,0 30,0 40,0 10,0 0,0 Documentação Documentos adequados e perceptiveis ,0 60,0 10,0 0,0 0,0 Tabela de códigos adequada e perceptível ,0 80,0 0,0 0,0 0,0 Preenchimento formulários de resposta on-line ,0 50,0 30,0 0,0 0,0 Amostras Acondicionamento da amostra ,0 60,0 0,0 0,0 0,0 Amostras e níveis de concentração adequados ,0 70,0 10,0 0,0 0,0 Tempo amostra - limite ,0 70,0 0,0 0,0 0,0 Relatórios ,0 60,0 20,0 0,0 0,0 Tempo resultados - relatório ,0 60,0 20,0 0,0 0,0 Tratamento estatístico adequado ,0 60,0 20,0 0,0 0,0 Certificados ,0 60,0 0,0 0,0 0,0 INSA-IM60_05 Pág.3 de 8

4 Análise comparativa Em média, a percentagem de resultados Muito Satisfeito e Satisfeito para as três entidades é de 87,0 (distribuídos por 90,3 PNAEQ, 85,1 LabQuality e 85,5 ECAT), tendo-se verificado um aumento de 1,6 relativamente a 2017 (Tabela 4). Tabela 4: Média de percentagem de respostas Muito Satisfeito e Satisfeito, por entidade, em 2018, em comparação com a média geral de 2016 e PNAEQ LabQuality ECAT Total ,3 85,1 85,5 87, PNAEQ LabQuality ECAT Total ,9 84,2 82,1 85, PNAEQ LabQuality ECAT Total ,4 90,7 87,1 90,8 D - Análise e conclusão O reduzido grau de retorno de inquéritos respondidos (25) dificulta ao PNAEQ melhorar e ir de encontro à resolução das dificuldades identificadas, uma vez que os resultados deste questionário não são tão representativos quanto o desejável. Analisando os serviços prestados pelo PNAEQ_INSA, os indicadores Custo dos programas e Preenchimento das folhas de resposta tiveram, respetivamente, 3,8 e 2,3 de respostas In, mantendo-se a tendência de 2017 para o Custo dos programas enquanto o Preenchimento das folhas de resposta surge como um novo indicador de In. Já os 3 indicadores relativos aos Relatórios apresentaram, cada um, 2,3 de respostas In, sendo este item um novo ponto de insatisfação. O maior destaque das respostas Muito Satisfeito vai para o indicador Profissionalismo dos colaboradores com 54,7 das respostas, à semelhança dos anos anteriores. Quanto aos serviços prestados pelo PNAEQ/Labquality, a percentagem de respostas In está presente de uma forma mais acentuada no indicador Custo dos programas, com 9.4, notando-se um aumento relativamente a Destacam-se 2 indicadores como sendo os que reuniram, em simultâneo, 25,0 das respostas Muito Satisfeito : Acondicionamento da amostra e Acesso aos resultados on-line (Labscala) Já relativamente aos serviços prestados pelo PNAEQ/ECAT, conta-se apenas 1 indicador com respostas In ( Custo dos programas, com 10) apresentando-se assim uma clara melhoria da satisfação dos nosso participantes nestes programas, comparativamente com anos anteriores. INSA-IM60_05 Pág.4 de 8

5 Os indicadores que se destacam nas respostas de Muito Satisfeito são Acondicionamento da amostra e, com 40 cada um, à semelhança de Um dos indicadores incluídos também no inquérito distribuído pelos nossos participantes foi Em termos gerais, como avalia o serviço prestado pelo PNAEQ?, cujos resultados se apresentam de seguida no gráfico 1. Em termos gerais, como avalia o serviço prestado pelo PNAEQ em 2018? Suficiente 10 Mau 0 Muito Bom 30 Bom 60 Gráfico 1: Percentagem de respostas à questão Em termos gerais, como avalia o serviço prestado pelo PNAEQ em 2018? Análise comparativa Comparativamente aos anos anteriores, a avaliação do serviço prestado pelo PNAEQ distribui-se da seguinte forma (Gráfico 2): Como avalia o serviço prestado pelo PNAEQ? Muito Bom () Bom () Suficiente () Mau () Total respondentes Gráfico 2: Evolução do número total de respondentes, e das respostas à questão Em termos gerais, como avalia o serviço prestado pelo PNAEQ? em percentagem, desde 2013 INSA-IM60_05 Pág.5 de 8

6 Foram identificados os indicadores para o PNAEQ_INSA a que foram atribuídas respostas menos satisfatórias ( In ) e comparados com 2015, 2016 e 2017, de forma a que estes sejam objeto de reflexão e melhoria (Tabela 5). Tabela 5: Percentagem de respostas In a cada um dos indicadores, para o PNAEQ_INSA. Análise comparativa Indicadores Custo dos programas 5 de 20 3,1 de 65 3,3 de 91 3,8 de 53 Preenchimento folhas resposta 0 de 18 0 de 65 1,1 de 85 2,3 de 44 Tempo amostra - limite 0 de 19 3,2 de 63 0 de 85 0 de 44 nos relatórios 0 de 18 0 de 63 0 de 85 2,3 de 44 Tempo resultados - relatório 10,5 de 19 0 de 64 4,7 de 85 2,3 de 44 Tratamento estatístico 5,6 de 18 0 de 63 0 de 85 2,3 de 44 E - Propostas de melhoria O PNAEQ encontra-se em fase de validação de amostras, com custo inferior e provenientes de novos fornecedores, de modo a avaliar o seu desempenho e a possibilidade de diminuição do custo dos programas. O envio dos relatórios preliminares, 3 a 4 dias após a data limite dos ensaios, sempre que aplicável, tem sido uma prática implementada e esperamos que contribua para elevar o nível de satisfação dos participantes no que diz respeito ao indicador Tempo entre o envio dos resultados e a receção do relatório. A melhoria e a celeridade dos relatórios com a análise estatística, e do tratamento estatístico, de acordo com as normas ISO e 13528, irá ser possível a partir da aquisição de utilização de novo software, assim como a implementação do preenchimento dos formulários de resposta on-line. O PNAEQ encontra-se atualmente a envidar esforços no sentido de possibilitar, num futuro próximo, a utilização de um software que permita aumentar a satisfação dos participantes relativamente aos indicadores identificados neste relatório. As entidades Labquality e ECAT serão informadas dos resultados deste questionário, bem como serão discutidas formas de diminuir a percentagem de respostas insatisfatórias. Na tabela 6 apresenta-se a análise das respostas às questões de resposta livre, por parte da equipa PNAEQ. INSA-IM60_05 Pág.6 de 8

7 Tabela 6: Apresentação das respostas às questões de reposta livre e respetiva análise, pelo PNAEQ em 2018 Sugestões dos Participantes Propostas de melhoria do PNAEQ Sugestão de novos programas Área da Genética / Biologia Molecular Estabelecer contatos com entidades no âmbito para colaboração Controlo de qualidade externo e supervisão clínica Aguardam-se propostas em testes POCT (Point of Care Tests) Avaliação do risco A realizar oportunamente Sugestão de formação Interpretação, avaliação de resultados e dados Realizado em 2018, com novas edições estatísticos oportunamente HPV (Vírus do Papiloma humano) A realizar oportunamente Formação na cidade do Porto Será analisada esta possibilidade Área da Genética A realizar oportunamente Implementação do Sistema de Gestão da Qualidade A programar formação no âmbito da AEQ Avaliação do risco Realizado em 2018 no âmbito da pré-analítica, com novas edições oportunamente em outros processos analíticos Abordagem de patologias Programada para 2019 no âmbito da parasitologia em colaboração com Instituições de Ensino. Não adequação do PNAEQ Poucos exercícios na área da biologia molecular Estabelecer contatos com entidades no âmbito para colaboração Repetição de casos Pesquisa de novos casos clínicos Programas demasiado específicos. Possibilidade de Avaliar esta possibilidade protocolos opcionais? Não recomendação do PNAEQ Muito caro em relação aos serviços prestados. Contatar a entidade do consórcio correspondente Método de avaliação da histologia pouco claro e prático. Sugestões Alteração de dias e horas das formações Datas e horas são muitas vezes condicionadas pela disponibilidade dos formadores. Descentralização das formações Será analisada esta possibilidade Diminuição do tempo de envio dos relatórios finais Processo em curso para resolução Possibilidade de observar os resultados de Contatar a entidade do consórcio correspondente imunohistoquímica dos casos enviados. Melhorar as lâminas de imunohistoquímica para que Contatar a entidade do consórcio correspondente não descolem parcialmente Disponibilização online do conteúdo das formações A documentação das ações de formação estão disponíveis no repositório do INSA (Instituto Nacional de Saúde Doutor Ricardo Jorge) Simplificação do processo de inscrição Processo em curso para resolução Consideramos que a participação de todos nesta avaliação representa uma oportunidade para a melhoria dos serviços prestados pelo PNAEQ. O PNAEQ em 2019 distribuirá o questionário de satisfação bianualmente possibilitando a melhor identificação dos pontos a melhorar. INSA-IM60_05 Pág.7 de 8

8 Fim do relatório Departamento de Epidemiologia Unidade de Avaliação Externa da Qualidade, Janeiro 2019 Ana Faria Ana Cardoso Helena Correia Catarina Ventura Silvia Viegas INSA-IM60_05 Pág.8 de 8