Diferentes Abordagens de Avaliacao e desenhos de abordagens Marly Cruz (LASER/DENSP/Fiocruz)
Questões norteadoras: Com que concepção de avaliação estamos dialogando? Quais são os tipos de abordagens e desenhos com que lidamos no campo da avaliação? O que suscita a abordagem e o que orienta a construção do desenho da avaliação? Quais os dilemas enfrentados na(s) escolha da(s) da abordagem e do desenho da avaliação?
Estamos fazendo de Maneira adequada? Estamos fazendo em Escala suficiente para Mudar? M&A e SAÚDE PÚBLICA Determinando efetividade na população M&A Intervenções ATIVIDADES RESULTADOS PRODUTOS IMPACTOS Os esforços estão sendo realizados em magnitude e escala suficiente para mudar indicadores epidemiológicos da população geral? A intervenção está fazendo diferença nas populações alvo? O programa está sendo implantado conforme planejado? O que de fato estamos fazendo? RECURSOS Quais são as intervenções factíveis? Escolhemos a estratégia certa? Escolhendo Intervenções potenciais Que intervenções podem funcionar? Quais são os determinantes? Problema Qual é o problema?
INTERVENÇÃO Abordagem sistêmica Um sistema de ações complexas e transformadoras Processos Em constante transformação no tempo e espaço social Em interação com o contexto Interação que pode ser mediada por processo contínuo de reflexividade AVALIAÇÃO (MEDIAÇÃO ENTRE O FEITO E O EFEITO)
Avaliação: uma visão Avaliação consiste fundamentalmente em fazer um julgamento de valor sobre uma intervenção implementando um dispositivo capaz de fornecer informações cientificamente válidas e socialmente legítimas sobre uma intervenção ou qualquer um de seus componentes, com o objetivo de proceder de modo a que os seus diferentes atores envolvidos, cujos campos de julgamento são por vezes diferentes, estejam aptos a se posicionar sobre a intervenção para que possam construir individualmente ou coletivamente um julgamento que possa se traduzir em ações. Champagne, Contandriopoulos, Brousselle, Hartz e Denis (2011)
Avaliação e seus usos Aborda efeitos de intervenções do tipo tecnologias ou políticas; Modifica intervenções e organizações; Produz conhecimento; Produz e reproduz valores sociais (julga mérito e valor) Mark, 2006
As gerações da história da avaliação e suas características Gerações da Avaliação Períodos Principal Característica I Reformismo (1800-1900) Eficiência e testagem (1900-1930) Medida II Idade da Inocência (1930-1960) Descrição Expansão (1960-1973) III Profissionalização e Institucionalização (1973-1990) Julgamento IV Dúvidas (1990 até nossos dias) Negociação Fonte: Madaus, Stufflebeam e Scriven, 1989; Guba e Lincoln, 1989 apud Dubois, Champagne e Bilodeau, 2011
Valoração
Abordagens em Avaliação Avaliação orientada pela Teoria Avaliação orientada por questões e métodos Avaliação focada na utilização Avaliação democrática Avaliação realista Etnoavaliação Empowerment Evaluation
O campo da avaliação: confluência de campos do conhecimento Ciências Sociais Direito Economia Pesquisa Clínica e Epidemiológica Educação Sociologia Medicina social Psicologia Ciências leves Scriven e Stake (1968) Ciências duras Dupuit (1844) Prest and Turvey (1968) Margolis (1957) Weisbord (1960) Fisher (1925) Chochran (1957, 1982) Cox (1958) Needs Assessment, Estudos de Avaliabilidade, Avaliação de implementação Avaliação de desempenho Avaliação de tecnologias, de efetividade, de custoefetividade e de Impacto
Teorias de Transformação e Ação Social Processo avaliativo: Abordagens e Desenhos Relação de contingências Processo Avaliativo Usos e foco Escolha do desenho Nivel de participação dos atores Adaptado Santos, 2007
Questões centrais O que deve orientar a construção do desenho da avaliação: a(s) pergunta(s) ou o método? Que pergunta(s) tenho que responder com a avaliação? A que recursos devo recorrer para garantir coerência na respostas das questões avaliativas?
Da Abordagem ao Desenho da Avaliação A depender da(s) pergunta(s) avaliativa(s), do foco e dos usos: Interface de ajuste: Utilização, Aceitabilidade, Cobertura, Oportunidade Tecnica, Acessibilidade Grografic, Acomodação Programa População Produção e Qualidade técnica (Conformidade) Estudos de caso Inquéritos Estudos Etnográficos Eficiência Efetividade: Controle de riscos e danos Caso-controle Estudos Experimentais Estudos Quasi-Experimentais
Mapa Teórico Teoria do Programa (MLP: estratégia, componentes técnicos e estruturais = racionalidade técnica) Teoria do Método: Controle da incerteza (Descrição, Plausibilidade, Probabilidade) Teoria Social: Julgamento e Transformação (Organizacional, Ação) Teoria do Conhecimento:Como o conhecimento é produzido (racionalismo, construtivismo) Ampliar a capacidade explicativa e apontar elementos para mudança
Métodos Mistos como um dos caminho possíveis Traz como pressuposto a necessidade de combinação de métodos quali e quanti para lidar com a complexidade dos objetos; Preocupação com produção de informações colhidas de diferentes fontes (TRIANGULAÇÃO) ou diferentes técnicas para caracterizar diferentes faces do fenômeno (COMPLEMENTARIEDADE); Importância de envolvimento dos sujeitos chave na produção de informações útil que ajude na construção de cadeia de relações na resposta a pergunta de interesse.
PERGUNTAS Avaliação do Programa Incentivo para AB CONTEXTOS DIMENSÕES SUB-DIMENSÕES político- Contexto organizacional Autonomia política, técnica e financeira Capacitação de recursos humanos Planejamento das ações de saúde Organização da rede de serviços de saúde Execução financeira Disponibilidade Contexto da Intervenção Conformidade Oportunidade Qualidade Técnica Contexto externo Vulnerabilidades Condições sócio-econômicas. Fonte: Gattas, 2010.
Avaliação Adesão ao TDO TB
Alguns dilemas atuais: Pouca reflexão sobre os resultados de avaliações; Predominância da avaliação orientada pelo método; Incompatibilidade entre o tempo da avaliação e da gestão; Necessidade de maior envolvimento dos interessados na avaliação para uma mediação entre o feito e efeito; Avaliação para provar ou para aprender e melhorar?
Os avaliadores são desafiados a compreender e explicar fenômenos complexos (...) Apreender esta complexidade não requer um privilégio de apenas uma forma de conhecer e valorizar, mas sim um levantamento de todas as nossas formas de entendimento em um quadro que contemple a diversidade e respeite a diferença. Greene, 2001:25
Obrigado! Marly Cruz marly@ensp.fiocruz.br laser@ensp.fiocruz.br www.ensp.fiocruz.br/laser +55 21 2598.2444 +55 21 9608.1939 20