Conversas de Fim de Tarde Sessão 3 O Desempenho Organizacional Hospitalar SISTEMA DE AVALIAÇÃO DA QUALIDADE APERCEBIDA E SATISFAÇÃO DO UTENTE NOS HOSPITAIS EPE Guilherme Victorino Assessor do IGIF Caramulo, 15 de Dezembro de 2006 Agenda Avaliação da Satisfação como Indicador de Desempenho Apresentação do Modelo ECSI Resultados do Estudo de Satisfação de 2005 Programas de Melhoria e Novos Estudos 2 1
Avaliação da Satisfação e o Sistema de Gestão Resultados Desempenho Indicadores Objectivos e Subjectivos Sistema de Controlo de Gestão Dados Económico-Financeiros Política Rec Humanos Satisfação, Envolvimento, Produtividade Contexto Organizacional Cultura, Estratégia, Liderança 3 Avaliação da Satisfação e o Sistema de Gestão Resultados Desempenho Indicadores Objectivos Definidos pela Gestão Fácil quantificação Alta comparabilidade Independentes de estados psicológicos e contextos sócioculturais Normalmente resultados por unidade de recurso gasto (input/output) Indicadores Subjectivos Definidos pelos clientes ou pelos utilizadores finais Difícil quantificação Baixa comparabilidade Sensíveis aos estados psicológicos e contextos sócio-culturais 4 2
Avaliação da Satisfação e o Sistema de Gestão A avaliação da satisfação é assim um indicador subjectivo uma vez que: É independente dos dados quantitativos (posso atender um número elevado de utentes e mesmo assim os utentes não estarem satisfeitos) É independente de dados qualitativos (os cuidados podem ser prestados dentro do padrão de qualidade e mesmo assim os utentes não estarem satisfeitos) Por outro lado a avaliação da satisfação na indústria de serviços torna-se mais complexa face às suas características de: Intangibilidade Heterogeneidade Simultaneidade da produção e consumo 5 Avaliação Satisfação: Produtos versus Serviços Intangíveis Heterogéneos Performances e experiências, não objectos Critérios usados pelos utentes para avaliar o desempenho são geralmente mais complexos e complicados de se determinar Não podem ser testados, verificados e medidos antes do seu consumo Performance varia de prestador para prestador, utente para utente, momento para momento Dificuldade de padronização para garantir uniformidade (os produtos são padronizados na linha de montagem) Simultaneidade da produção e do consumo Qualidade dos serviços ocorre durante sua provisão, na interação entre utente e produtor O utente está na própria fábrica onde se produz o serviço Experiência imediata da produção do serviço (nos produtos a produção é remota) Consumidor não avalia apenas o resultado do serviço, mas também o processo de prestação/produção 6 3
Avaliação Satisfação: Sector público versus sector privado Ausência de competição/concorrência O Utente/Cliente não têm alternativa comparável Inexistência de saída No sector privado, a competição força o foco no cliente Se eu não tiver meu cliente satisfeito: saída 7 Avaliação Satisfação: Saúde versus Outros Sectores Assimetria de Informação Ao contrário de outras sectores o Utente/Cliente não tem capacidade de avaliar o output Maior tendência para sobrevalorizar a qualidade do processo em detrimento da qualidade do resultado Para além de analisar a qualidade apercebida de médicos e profissionais de saúde existe uma maior capacidade de avaliar os processos internos, as instalações, o tempo de espera ou a informação e apoio prestado aos familiares. 8 4
Questão para Debate (1) A avaliação da satisfação é um indicador de desempenho subjectivo É mais difícil medir a satisfação nos serviços do que no caso de produtos tangíveis No sector público não existe concorrência o que dificulta a existência de uma referência comparável A saúde tem especificidades com impacto nas expectativas e capacidade de avaliação por parte dos utentes/clientes Vale a pena medir a satisfação e a qualidade apercebida pelos utentes no sector hospitalar público? 9 Agenda Avaliação da Satisfação como Indicador de Desempenho Apresentação do Modelo ECSI Resultados do Estudo de Satisfação de 2005 Programas de Melhoria e Novos Estudos 10 5
Novos Desafios Tendência generalizada nos sistemas de saúde europeus para uma maior participação e envolvimento dos utentes Necessidade de avaliar os níveis de desempenho em áreas não clínicas e de promover projectos de melhoria ao nível do atendimento, comunicação e conforto Utilizar dados de benchmarking para identificar melhores práticas e promover a convergência das diferentes unidades em termos de satisfação dos utentes. 11 Ponto de Partida Ponto de Partida Resultados Esperados Inexistência de indicadores comparáveis de satisfação do utente na rede hospitalar Maior participação e envolvimento dos utentes Dificuldades metodológicas na implementação deste tipo de projectos nos hospitais (ao nível do dimensionamento das amostras, metodologia de recolha de informação, formulação dos questionários e tratamento estatístico) A informação recolhida não era utilizada como input para projectos de melhoria dinamizados pelos CA Utentes pouco habituados a participar e ter voz activa junto dos hospitais (participação activa apenas em caso de conflito ou reclamações) Lançamento de projectos de melhoria com base nas prioridades identificadas pelos utentes Identificar melhores práticas e promover a convergência das diferentes unidades em termos de satisfação dos utentes. 12 6
ECSI-Portugal O ECSI - Portugal é um sistema de medida, pela via da satisfação do cliente, da qualidade dos bens e serviços disponíveis no mercado nacional e é constituído por uma parceria entre o IPQ, a APQ e o ISEGI-UNL. Em 1998 foi definido com o apoio da Comissão Europeia, as bases para lançamento do índice europeu de satisfação do cliente, designado por ECSI (European Customer Satisfaction Index) a que aderiram os seguintes 12 países europeus: Portugal, Bélgica, Dinamarca, Espanha, Finlândia, França, Grécia, Islândia, Itália, Reino Unido, Suécia e Suíça. 13 Pressupostos Adesão ECSI Entidade Independente e com Experiência Credibilização do projecto através da medição deste indicador por entidades externas de referência (ISEGI, APQ e IPQ) e com experiência comprovada na condução deste tipo de estudos Rigor metodológico e potencial do modelo Capacidade do Modelo em fornecer informação de gestão útil quer a nível estratégico quer operacional (input para Planos de Actividade, Planos de Investimento, Plano de Comunicação dos Hospitais, ) Comparabilidade entre hospitais (sectores de actividade, países europeus e EUA) Possibilidade de alargar o estudo a todos os players da saúde - Público, Privado, Social, PPP 14 7
Qualidade e Transparência Maior operação de sempre do Ministério da Saúde para avaliação da satisfação dos utentes do SNS (16105 entrevistas realizadas) Rigor ético e garantia da qualidade da informação recolhida Parecer favorável da CNPD Inquéritos piloto e formação de operadores Monitorização permanente das chamadas por parte de elementos do ISEGI Informação detalhada por hospital disponibilizada online Entrega de Relatórios Finais com informação detalhada por hospital e indicação de áreas prioritárias de actuação (informação disponível online em www.hospitaisepe.pt) 15 Fases do Projecto 1 Projecto Piloto 2003: Adaptação da metodologia ECSI ao sector da saúde e estudo piloto para o internamento 2 ECSI Hospitais 2005: Alargamento do estudo às restantes Valências (Consultas Externas e Urgências) e comparação de resultados por grupo de estrutura 3 ECSI 2007 (em projecto): Integração dos novos hospitais empresa e ajuste dos resultados pelo grupo de estrutura de cada hospital (em estudo) PARCEIROS DO PROJECTO: 16 8
ASPECTOS METODOLÓGICOS Modelo de Satisfação do Utente Internamentos: Este modelo é de facto constituído por dois submodelos: o modelo estrutural e o modelo de medida. Processo Admissão Instalações Médicos Enfermeiros Imagem Lealdade Modelo Estrutural: Constituído pelo conjunto de equações que definem as relações entre as variáveis latentes, as quais não são observáveis. Escala Utilizada: 0 a 100 Pessoal Auxiliar Exames e Tratamentos Visitas Alimentação Satisfação Reclamações Modelo de Medida: Constituído pelo conjunto de equações que definem as relações entre as variáveis latentes e os indicadores obtidos das respostas dos utentes ao questionário. Processo Alta Qualidade Global Escala Utilizada: 1 a 10 17 ASPECTOS METODOLÓGICOS Modelo de Satisfação do Utente Consultas Externas Processo Admissão Instalações Imagem Lealdade Médicos Exames e Tratamentos Satisfação Reclamações Tempo Espera Qualidade Global 18 9
ASPECTOS METODOLÓGICOS Modelo de Satisfação do Utente Urgências Espera Imagem Lealdade Instalações Médicos Satisfação Reclamações Exames e Tratamentos Qualidade Global Família 19 HOSPITAIS ESTUDADOS 31 Hospitais estudados: Hospital SA Sede da ARS 100% = 82 Hospitais SA 24 26 24 38% 62% Hospitais SPA 5 11 11 3 7 1 1 Norte Centro LVT Alentejo Algarve 20 10
ASPECTOS METODOLÓGICOS Recolha de Dados: População alvo: Utentes com idade compreendida entre 15 e 75 anos que: - estiveram internados nos Hospitais EPE no primeiro trimestre de 2005; - frequentaram uma consulta externa nos Hospitais EPE em Setembro de 2005; - utilizaram o Serviço de Urgência nos Hospitais EPE em Setembro de 2005. Selecção da amostra de utentes - plano de sondagem: Foram realizadas amostragens probabilísticas, através de tiragem sistemática de utentes, estratificada por Hospital e por valência (Internamentos, Consultas Externas e Urgências). Para a realização das entrevistas não houve possibilidade de substituição dos utentes seleccionados e foram necessários pelo menos 3 contactos em dias e horas diferenciados para que um indivíduo fosse classificado como não respondente. 21 ASPECTOS METODOLÓGICOS Recolha de Dados: Dimensão da amostra: Período de realização das entrevistas: O trabalho de campo decorreu durante os meses de Janeiro e Fevereiro de 2006. Questionário: O número de questões varia entre 38 nas Consultas Externas e 54 nos Internamentos. Valência População Amostra Internamentos 61 654 6 161 Consultas externas 199 259 6 099 Urgências 111 465 4 676 TOTAL 372 378 16 936 Tipo de entrevista: Telefónica para os utentes suportada por sistema CATI. 22 11
ASPECTOS METODOLÓGICOS Controlo de qualidade: Formação contínua (ao longo das 3 fases da inquirição) de todos os entrevistadores envolvidos na recolha de dados, com o fornecimento complementar de um manual do entrevistador. Supervisão directa das entrevistas, por parte de supervisores internos (chefes de equipa do call-center) e externos (ISEGI). O número de itens respondidos em cada entrevista é superior a 80%. A não resposta às questões chave invalida a entrevista. 23 ASPECTOS METODOLÓGICOS Controlo de qualidade: Implementação de regras automáticas de validação: Compatibilidade da resposta com a natureza da questão; Filtragem das questões para respeitar o encadeamento definido; Estabelecimento de uma coerência interna que evite contradições nas respostas, através de regras em métodos dedutivos. Validação dos dados recolhidos feita através de aplicações informáticas desenvolvidas para o efeito. Reinquirição parcial da amostra. 24 12
QUESTIONÁRIO Foi adoptado um questionário para cada valência estudada: 55 questões no questionário dos Internamentos; 43 questões no questionário das Consultas externas; 47 questões no questionário das Urgências. Em todos os questionários, 4 questões referem-se à caracterização do utente e as restantes incidem essencialmente sobre as variáveis estudadas no âmbito do modelo de satisfação do utente, representadas no modelo estrutural. Os questionários incluem principalmente questões fechadas e semiabertas, bem como filtros de forma a facilitar a validação e assegurar a coerência interna das respostas. 25 QUESTIONÁRIO Validação do questionário: Pesquisa exploratória; Inquérito piloto a uma amostra de utentes. A concepção dos questionários foi efectuada em estreita colaboração com a equipa do IGIF, condição que foi determinante para a obtenção de um produto final adequado aos objectivos do estudo. Em geral, é adoptada a escala de respostas de 1 a 10, unidade de medida para os indicadores de cada variável latente. As variáveis latentes são medidas por um número índice (0 a 100), resultante da normalização dos indicadores respectivos e ponderados pelo peso de cada indicador segundo o seu grau de importância. 26 13
Questão para Debate (2) Escolha de um Indicador Europeu (ECSI) Medido por Entidades Externas Independentes Qualidade e Rigor na Recolha da Informação Transparência na Divulgação de Resultados Validade do Indicador Escolhido e da Metodologia Proposta? 27 Agenda Avaliação da Satisfação como Indicador de Desempenho Apresentação do Modelo ECSI Resultados do Estudo de Satisfação de 2005 Programas de Melhoria e Novos Estudos 28 14
ANÁLISE COMPARATIVA DAS VALÊNCIAS Hospitais EPE: 100 80 81,5 80,1 82,4 80,2 81,2 76,8 72,1 73,1 88,1 88,9 79,1 84,3 84,3 81,8 81,4 77,5 73,0 67,1 64,8 81,7 78,5 70,6 86,0 84,6 76,6 60 58,1 40 20 0 Imagem Processo de Admissão Instalações Médicos Exames e Tratamentos Qualidade Global Reclamações Satisfação Lealdade Internamentos Consultas Externas Urgências 29 Internamentos 2005 30 15