Existem diferentes: definições de avaliação. técnicas de avaliação. Conceitos do senso comum. Conceitos sistematizados

Transcrição

1 Conceitos do senso comum Conceitos sistematizados Estabelecer valor: Sem critério: é apenas julgamento Com critério: é avaliação Com qual critério? Avaliação como medida (1920) É uma questão essencialmente técnica. Utiliza testes. Função de classificar, selecionar e certificar Avaliação como descrição(1930) Procura descrever se os alunos atingem os objetivos Medir, descrever e comparar Avaliação como juízo de valor(1945) Avaliação e tomada de decisão Medir, descrever, comparar e emitir juízo de valor Avaliação como negociação e construção(1960) Ruptura epistemológica com as gerações anteriores Processo negociado e interativo com os intervenientes no processo, que devem ser ouvidos O que éavaliar? O que tem sido a avaliação? O que deve ser a avaliação? EM DESUSO: Existem diferentes: definições de avaliação técnicas de avaliação A avaliação é imposta externamente à instituição. A avaliação é perda de tempo, é tediosa e aborrecida. Os resultados da avaliação são aleatoriamente integrados à tomada de decisão e planejamentos feitos pela instituição. Háreceio de que os resultados da avaliação tenham conseqüências negativas (perda de recursos, de credibilidade, de emprego). A avaliação é complexa, precisa ser feita por especialistas e é cara.

2 EM DESUSO: A avaliação toma tempo do trabalho real da instituição e embora seja desejável, é um luxo. Quantidade é mais importante do que qualidade. Para resultados que não são possíveis quantificar, a avaliação não é válida. Se não tem estatística não é avaliação. São difíceis de encontrar metodologias de avaliação adaptáveis às características únicas de cada instituição. EM CONSTRUÇÃO: A avaliação é um instrumento útil para alcançar a missão da instituição. Éimportante avaliar tanto a eficiência interna quanto os resultados externos. O resultado final da avaliação é aprendizagem; éuma forma de conhecer o trabalho da instituição e mudanças que levem a maior eficácia. A avaliação não é um momento, mas um processo, não éexterna à organização, mas intrínseca às atividades diárias. Há colaboração entre os envolvidos no processo de avaliação, à medida que aprendem como resolver os problemas que surgem. Todas as partes envolvidas na avaliação falam a mesma linguagem, as palavras têm o mesmo significado. A avaliação é um trabalho de todos. Cada um busca informações e pergunta (se): Como posso fazer melhor? A avaliação ocorre em um ambiente tão livre de riscos quanto possível e cada pessoa pode examinar por que algo teve sucesso ou não, sem medo das conseqüências negativas. O tempo e o esforço gastos em avaliação são bem empregados e lucrativos a médio e longo prazo. Os instrumentos e metodologias de avaliação são acessíveis a instituições de vários tipos e tamanhos. A avaliação depende: da concepção de saúde e suas práticas dos parâmetros e critérios adotados dos valores e motivações do interessado do aspecto avaliado no objeto O enfoque adotado pode variar: Avaliação do cuidado individual Avaliação de programas Avaliação de Sistemas de Saúde A racionalidade que orienta pode variar: Administrativa Sanitária Política

3 Alguns elementos a serem considerados: Para quem interessa a avaliação? Valores, Objetivos motivações O que está sendo avaliado? Qual a finalidade da avaliação? Quais os instrumentos e técnicas utilizados na avaliação? Depende de vontade política e poder de decisão sobre o que se vai avaliar Acesso: consegue ser atendido? Qualidade: é bem atendido? Resolubilidade: resolve seu problema? Satisfação: serviço atende suas expectativas? Cumpre a função para qual se destina? Gosta do seu trabalho? Tem boas condições de trabalho? Seu trabalho é reconhecido? Seu trabalho traz recompensa adequada? usuário e da sociedade? trabalhador? As questões técnicas estão adequadas? Os indicadores de saúde estão melhorando? O que foi proposto foi executado? Esse procedimento é melhor que aquele? Avaliar as questões políticas envolvidas Verificar viabilidade, legitimidade, utilidade Justificar os recursos e esforços empenhados Conseguir novos investimentos técnico? gestor?

4 Depende da complexidade do objeto e da abordagem de interesse Está bem feito? Uma ação de saúde Uma campanha de saúde Um programa de saúde Cada um com características, objetivos, e estratégias deferentes Quanto custa? Um sistema de saúde Está bonito? PROCESSOS E RESULTADOS DIFERENTES ESTRUTURA: identificam o grau de organização dos serviços Alguns fatores observados: Hierarquização do atendimento Padronização dos procedimentos Sistemas de informação Produção dos serviços Recursos humanos Estrutura física Equipamentos Características: Expressos quantitativamente Permitem conhecer as ações implantadas, a cobertura populacional e o desempenho dos serviços ASPECTOS GERENCIAIS PROCESSO: aferem a qualidade do que está sendo feito Consiste em: Conhecer, supervisionar, e garantir a qualidade da prestação de serviços de acordo com padrões de excelência técnica Execução: Auditorias de prontuários Supervisões periódicas Pesquisas de opinião pública Indicadores de alerta ASPECTOS SANITÁRIOS RESULTADO: estimam os reflexos na saúde da população Consiste em: Avaliar o impacto das ações desenvolvidas através das alterações de saúde na população e das alterações nos perfis epidemiológicos Estudos mais abrangentes e demorados Os reflexos podem demorar a aparecer ASPECTOS SÓCIO-CULTURAIS Administração Educação Economia Propostas mais atuais, vinculadas à evolução das escolas de administração e às avaliações de 4ª geração.

5 Estão fazendo de acordo com o combinado? O que precisa ser melhorado? Tipologia proposta por NOVAES (2000) Caracterização das avaliações segundo três tipologias básicas: Investigação Avaliativa Avaliação para Gestão Avaliação para Decisão Será que isto funciona? Investigação Avaliativa Avaliação para Gestão Seu objetivo prioritário é a produção de conhecimento Identificar os impactos das ações avaliadas Estabelecer associação entre as ações e as alterações observadas É orientada por uma hipótese Seu objetivo prioritário é a produção de informação para aprimorar o objeto Identificar e quantificar as condições Estabelecer indicadores Produz normas e critérios para melhorar a ação Avaliação para Decisão Seu objetivo prioritário é participar do processo de decisão, responder questões apontadas pelos que vivenciam o objeto avaliado Identificar os problemas Estabelecer alternativas Produz recomendações positivas ao problema VISÃO CRITÉRIOS Produtividade dos fatores Econômica Eficiência dos processos Sanitária Social Cultural Qualidade dos processos Eficácia gerencial Efetividade do planejamento Utilidade dos produtos Pertinência dos produtos Relevância dos resultados DESEMPENHO (técnica) QUALIDADE (política)

6 Quem? Quem? Para que? O que? Sociedade Usuários Político Técnico interno externo O que? Para que? Desempenho Qualidade Conhecimento Gerência Decisão Produtividade Alcance de metas Estrutura e processo técnico Relevância Utilidade Impacto e processo social Pesquisas científicas Investigações acadêmicas Diagnósticos de saúde Controle Supervisão Acompanhamento Reorientação Implantação Financiamento Prestação de contas Novas propostas Atender determinações QUEM O QUE PARA QUE E agora? Vou usar as informações disponíveis Preciso de outros instrumentos Preciso de novas informações

7 Dados Primários X Secundários Quantidade X Qualidade Interna X Externa Epidemiologia X Demanda Estatística X Ciências Sociais Para realizar avaliações precisa haver: Definição precisa do objeto Clareza dos objetivos Vontade política Sensatez Sensibilidade pedagógica Flexibilidade Criatividade O resto étécnica...