Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação

Transcrição

1 Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology, Melbourne, Australia Avaliação para a estratégia organizacional do investimento social privado

2 A essência das teorias da mudança Estou quebrando pedras Estou construindo um templo 2 Evaluation for public sector managers

3 O que é a teoria da mudança? A teoria (ou lógica ou modelo) sobre como uma intervenção (projeto, programa, política, estratégia) contribui para os resultados pretendidos ou observados 3 Evaluation for public sector managers

4 Algumas definições básicas Teoria da mudança Teoria da mudança Uma teoria explícita sobre de como uma intervenção contribui para os resultados pretendidos ou observados, que possui 2 componentes: O processo pelo qual a mudança ocorre (quer no indivíduo, organização ou comunidade) Teoria da ação Como a intervenção é construída para ativar a teoria da mudança

5 Algumas definições básicas Teoria da mudança Uma teoria explícita sobre de como uma intervenção contribui para os resultados pretendidos ou observados, que possui 2 componentes: Teoria da mudança Teoria da ação Modelo lógico O processo pelo qual a mudança ocorre (para um indivíduo, organização ou comunidade) Como a intervenção é construída para ativar a teoria da mudança Uma representação visual de uma teoria de programa, em geral no formato de um diagrama, mas às vezes pode ser uma tabela

6 Que tipo de teoria? Qualquer espécie de modelo causal que vincula a intervenção com determinados resultados Poderia basear-se em : Uma teoria formal, embasada na pesquisa (uma teoria com T maiúsuclo), ou Premissas informais, tácitas, não verbalizadas apoiadas por profissionais (uma teoria com t minúsculo) A teoria precisa incluir uma explicação sobre como as atividades do programa contribuem para os resultados - e não apenas listar as atividades, seguidas dos resultados, sem qualquer explicação sobre de que modo um se liga ao outro a não ser por algumas setas misteriosas.

7 7 Quatro questões importantes ao usar as teorias da mudança na avaliação 1. Articular uma teoria da mudança que seja explícita 2. Ter uma teoria da mudança plausível 3. Apresentar a teoria da mudança com clareza 4. Usar a teoria da mudança na avaliação

8 8 1.Articular uma teoria da mudança explícita

9 Programa da teoria da atuação dos pais Análise situacional Teoria da mudança Teoria da ação Resultados pretendidos Reprimir (evitar uma interação negativa) Gritar Cortar a mesada Quarto arrumado Incentivo Positivo Entradas para o cinema Elogios

10 Teorias de mudança e teorias de ação para a atuação dos pais Análise Situacional Teoria da ação teoria da mudança Resultados esperados Gritar Cortar a mesada Oferecer uma recompensa (dinheiro, entradas para o cinema) Elogiar os esforços Reprimir - evitar uma interação negativa Incentivo Positivo Um quarto arrumado

11 Maneiras de representar as teorias de mudança 1. Pipeline insumos-atividades-produtos-resultadosimpactos 2. Cadeia de resultados uma cadeia de resultados (atividades mostradas separadamente em uma matriz lógica do programa) 3. Coluna Tripla - uma cadeia de resultados com atividades e outros fatores mostrados em colunas separadas 4. Matriz realista 5. Narrativa 11 Evaluation for public sector managers

12 Modelo lógico de Pipeline 12 Evaluation for public sector managers

13 Modelo lógico de Pipeline INPUTS Alunos de escolas de baixa renda Laboratório de computação Computadores Instrutores Informações sobre cursos superiores PROCESSO Cursos de softwares Apoio ao aluno Desenvolvimento profissional Ambiente universitário Projetos coletivos Estágios Parcerias com escolas de ensino médio RESULTADOS DE CURTO PRAZO Habilidades Conhecimento Aspirações/ confiança IMPACTOS Realização educacional Êxito ocupacional Liderança comunitária/ Modelos a serem seguidos Based on : Nelson and Bickel (2003) Infolink Program Teoria, 13 Evaluation for public sector managers

14 Narrativa da teoria da mudança O projeto de computação funciona com alunos que possuem alto desempenho acadêmico, vem de comunidades carentes e não têm acesso a computadores. A medida em que os alunos adquirem habilidades básicas em TI, abrindo oportunidades para estágios, eles desenvolvem uma imagem nova a respeito de seu futuro possível. Ao mesmo tempo, estão criando uma comunidade solidária de alunos, que abre um espaço seguro para o aprendizado e para elaborar e colocar em prática planos ambiciosos para sua educação e carreira futura. 14

15 Modelo lógico da cadeia de resultados Aumento das habilidades em computação Aumento da motivação Melhor desempenho escolar em matérias tecnológicas Aumento na taxa de inscrições em cursos sobre computação oferecidos em universidades Aumento no índice de graduados com diplomas em computação Maior realização ocupacional Redes sociais solidárias Conhecimrnto de possíveis opções de cursos superiores 15 Evaluation for public sector managers

16 Modelo lógico da cadeia de resultados Aumento nas habilidades em computação Aumento na motivação Redes sociais solidárias Melhor desempenho escolar em matérias tecnológicas Conhecimento de opções de cursos superiores Aumento da taxa de inscrições em cursos superiores em computação Maior número de graduações com diplomas em computação Maior realização ocupacional Cursos de verão Distribuir materiais, aconselhamento 1:1 Ajuda com as inscrições Apoio acadêmico e pessoal A teoria da ação pode ser abordada em uma matriz lógica

17 Mostrando atividades numa matriz lógica de programa Aumento das habilidades em computação Possíveis indicadores, fontes de dados, comparações Maior motivação (Possíveis indicadores, fontes de dados, comparações) Melhor desempenho escolar em matérias técnicas (Possíveis indicadores, fontes de dados, comparações) O que representa o sucesso Que atividades contribuem diretamente para isso Outros fatores que dão conta disso 17 Evaluation for public sector managers

18 Matriz da Realidade Contexto Mecanismo Resultado Alunos provenientes de ambientes de baixa renda, motivados, com alta competência Alunos provenientes de ambientes de baixa renda, com dificuldades de aprendizado e/ou problemas de comportamento Atingir um determinado nível de competência e conhecimento em computação Mecanismo não ativado Matrícula bem sucedida em cursos de computação Destino educacional inalterado 18 Evaluation for public sector managers

19 A pesquisa mostra: Comer uma maçã por dia melhora a saúde Como desenhar um projeto baseado nisto? Como uma teoria de programa pode melhorar a nossa avaliação? 19 9

20 Você tem 10 minutes para desenhar um projeto para melhorar a saúde das pessoas através da ingestão de uma maça por dia 20 Evaluation for public sector managers Funnell and Rogers Purposeful Program Teoria 9

21 Quais as premissas sobre o que constitui o problema? Qual a teoria sobre como mudar o comportamento das pessoas (convence-las comer maças) Qual a teoria sobre como maças iriam fazer você mais saudável? 21 Evaluation for public sector managers 9

22 Entendendo mecanismos causais operando em contextos RECURSOS Maças Pessoas pouco saudáveis RESULTADOS IMEDIATOS Maças comidas RESULTADOS DE CURTO PRAZO Melhor estado nutricional RESULTADOS DE LONGO PRAZO Saúde melhor Poderia usar laranjas. tendo como alvo a deficiência de Vitamina C Vitamina C Níveis adequados de vitamina C Reduzir a incidência de escorbuto Poderia usar cebolas roxas. Quercetina Níveis de quercetina aumentados Reduzir a incidência de cancer, doenças cardiacas e inflamatórias da próstata Poderia usar cenouras tendo como alvo a obesidade. Substituição Diminuição do consumo de lanches/ alimentos pouco nutritivos Evaluation for public sector managers Reduzir a incidência de obesidade e doenças correlatas 10

23 O que estas diferentes teorias de programa podem significar para o modo como deveríamos descrever ou mensurar maças comidas? 23 Evaluation for public sector managers Funnell and Rogers Purposeful Program Teoria 9

24 Múltiplas teorias de mudança e teorias de ação RECURSOS Maças Pessoas com saúde precária RESULTADOS IMEDIATOS Maças comidas RESULTADOS DE CURTO PRAZO Melhor estado nutricional RESULTADOS DE LONGO PRAZO Saúde melhor Regulamentações que restringem os tipos de alimento vendidos em máquinas automáticas Disponibilidade Substituição Impostos mais altos para alimentos não nutritivos Incentivo Anúncios que promovem o consumo de maçãs Normas Sociais Informação Lembretes Menor consumo de alimentos não nutritivos Redução na incidência de obesidade e doenças correlatas 24 Evaluation for public sector managers

25 25 2. Ter uma teoria da mudança plausível

26 Análise situacional Quais são as necessidades que a intervenção deve dar conta? Qual é o problema que a intervenção deve solucionar? O que causa esse problema? Em que pontos fortes a intervenção deverá se apoiar? Quais as oportunidades nas quais a intervenção deveria capitalizar? Quem mais está abordando essa situação? Existem aliados ou opositores em potencial? Até que ponto a situação é bem compreendida? Até que ponto a situação pode ser mudada? 26

27 Como pode ser desenvolvida uma teoria de mudança? Uma combinação de: Abordagem dedutiva a partir de pesquisas anteriores, políticas estabelecidas, arquétipos de programas, análises lógicas Abordagem indutiva a partir de observações diretas (ou feitas por outras pessoas) sobre como o programa de fato funciona Articulação dos modelos mentais de pessoas ou grupos interessados (stakeholders) a respeito de como o programa funciona. 27

28 What sort de mudança trajectory does your intervention have? Um trajeto conhecido Linear Não necessariamente fácil Simples

29 Que tipo de mudança de trajetória sua intervenção possui? Um trajeto conhecido Experiência e colaboração necessárias Complicado

30 Que tipo de mudança de trajetória sua intervenção possui? Um trajeto emergente Adaptabilidade e capacidade de aprender ao fazer Complexo

31 31 Aproveitando as teorias baseadas em pesquisa The COM-B system - a framework for understanding behaviour. Michie et al. Implementation Science :42 doi: /

32 The Behaviour Change Wheel. Michie et al. Implementation Science :42 doi: /

33 Algumas teorias de mecanismo causal baseado em pesquisas MUDANÇA A NÍVEL INDIVIDUAL Atribuição (Heider, 1958) Condicionamento clássico e condicionamento operante(pavlov, 1960; Skinner, 1953) Dissonância cognitiva (Festinger, 1957) Teoria da repressão (Homel, 1988) Teoria da diversão ( Modelo da crença na saúde (Rosenstock, 1966; Glanz et al., 2002) Modelo PRECEDE-PROCEDE (Green and Kreuter, 2005) Auto-eficácia (Bandura, 1997) Profecia auto-realizada (Merton, 1968) Aprendizado social (Bandura, 1977) Teorias de redes sociais e da solidariedade social (Eng and Young, 1992) Treinamento (Kirkpatrick, 1959)

34 Algumas teorias de mecanismo causal baseado em pesquisas MUDANÇA NO NÍVEL ORGANIZACIONAL Groupthink (Janis, 1972) Organizational learning (Argyris and Schön, 1978) Positive deviance (Pascale, Sternin, and Sternin, 2010) Six change approaches (Kotter and Schlesinger,1979) MUDANÇA NO NÍVLEL DA COMUNIDADE Bandwagon effect (Bikhchandani, Hirshleifer, Welch, 1992) Institutional analysis and development (Ostrom, 2008) Social loafing (Karau and Williams, 1993) Strength of weak ties (Granovetter, 1973) Tipping points (Gladwell, 2000) Tragedy of the commons (Hardin, 1968; Senge, 1990; Ostrom, 1999)

35 Algumas toerias de mecanismo causal baseadas em pesquisas MUDANÇAS DE POLÍTICAS Advocacy coalition framework (Sabatier and Weible, 2007) Garbage can model (Cohen, March, and Olsen, 1972) Incrementalism model (Lindblom, 1959) Institutional rational choice (Ostrom, 1999a) Multiple streams framework (Zahariadis, 1999) Policy diffusion (Berry and Berry, 1999) Policy networks (Marsh, 1998) Punctuated equilibrium teoria (Baumgartner and Jones, 1993)

36 Algumas teorias possíveis do mecanismo causal para o desenvolvimento Mecanismos causais sobre a tecnologia (inclusive práticas comprovadas) Aumentar os incentivos para aplicar a tecnologia existente Remover barreiras para o acesso efetivo à tecnologia Adaptar a tecnologia existente para poder ser eficaz em uma situação nova Desenvolver nova tecnologia Mecanismos causais sobre capacidade Aumentar a capacidade específica para realizar uma função específica (capital humano, capital social, capital organizacional, capital econômico) Aumentar a capacidade para melhorar a resiliência (especialmente a capacidade das redes colaborativas) Mecanismos causais sobre a contribuição para um processo de mudança complicado Preencher uma lacuna colocar a última pecinha a pecinha que faltava no quebra-cabeças Remover um obstáculo (versão ligeiramente diferente de preencher a lacuna): a pedra no caminho Mecanismos causais sobre a governança Repressão (aumentar os riscos de sanções por comportamento negativo) Aumentar a capacidade (aumentar a habilidade de gerir bem) Mecanismos causais sobre advocacy Demonstrar a viabilidade e efetividade de uma nova abordagem

37 Perguntas para extrair dos participantes suas teorias de mudança (Exhibit 6-1 Funnell and Rogers, 2011, Purposeful Program Theory) Poderia me dar um exemplo de onde esse programa está dando certo? Por que escolheu esse exemplo? O que você acha que está fazendo o programa dar certo? De que modo a vida seria melhor para os participantes ou o público-alvo, caso o programa funcione? Quais são as barreiras atuais que impedem os participantes do programa de terem uma boa vida? Como você acha que esse programa vai superar essas barreiras? O que há, na maneira como esse programa opera, que poderia tornar a vida melhor para os participantes ou o público-alvo? O que o programa atualmente faz que o ajuda a dar certo e o que não faz tão bem? O que mais precisa acontecer? Quem mais deveria estar envolvido, e como? O programa tenta influenciar estas outras pessoas? Em caso positivo, o que você esperaria que eles fizessem de maneira diferente?

38 38 Estratégias para garantir uma teoria da mudança adequada 1. Faça uma análise situacional antes de desenvolver a teoria de mudança para um programa novo 2. Use uma diversidade ampla de fontes, inclusive críticos do programa 3. Verifique os fatores atípicos e as exceções, confrontando-os com a teoria de mudança inicial. 4. Aborde os aspectos complicados e complexos da intervenção

39 39 Evaluation for public sector managers

40 40 3. Represente a teoria da mudança com clareza

41 Como fazer um bom modelo lógico? 1. Seja lógico e coerente Cada seta deve ter um significado Indique o rumo da mudança esperada Evite becos sem saída 2. Comunique as mensagens principais Evite excesso de linhas; não use linhas de feedback indiscriminadamente Evite padrões excessivamente detalhados (salvo em raros casos) Elimine tudo o que não acrescenta significado Garanta a facilidade de leitura Evite palavras gatilho e siglas misteriosas Rogers Using programa teoria 41

42 Exemplos ruins de modelos lógicos Rogers Using programa teoria 42

43 Exemplos ruins de modelos lógicos Rogers Using programa teoria 43

44 Exemplos ruins de modelos lógicos Rogers Using programa teoria 44

45 45 4. Use a teoria da mudança para o planejamento, monitoramento e avaliação

46 Alguns usos possíveis para a teoria de programa PLANEJAMENTO 1. Planejar/alinhar um novo programa/intervenção com um marco estratégico MONITORAMENTO E AVALIAÇÃO 2. Monitoramento das correções adicionais feitas pelos gerentes e pelo staff 3. Monitorando para prestar contas aos financiadores e outros stakeholders 4. Avaliação do processo para apoiar a melhoria contínua 5. Avaliação de processo para documentar uma inovação 6. Avaliação do impacto GESTÃO 7. Proporcionar ao staff, financiadores e clientes uma compreensão comum 8. Informar decisões de investimento ELABORAÇÃO DE POLÍTICAS E PRÁTICAS BASEADAS EM EVIDÊNCIA 9. Apoiar a replicação 10. Desenvolver a base de evidências através de múltiplas avaliações ou fontes 46

47 47 USO DA TEORIA DE PROGRAMA PARA AVALIAÇÃO Medir e descrever quais os dados necessários, que análises devem ser feitas? Recursos usados Processos Contexto Outros fatores que contribuem Resultados (imediatos, intermediários, subsequentes) Análise Causal A intervenção produziu o resultado? A intervenção contribuiu para o resultado? O que mais contribuiu para o resultado? Síntese e relatório Combinar evidências para uma única avaliação Relatar a cadeia de resultados Descrever os efeitos diferenciais Combinar evidências de diversas avaliações

48 Maneiras de usar a teoria da mudança para a avaliação 1. Monitoramento das correções adicionais feitas pelos gerentes e staff da prestação de contas perante financiadores e outros stakeholders 2. Avaliação do processo para Verificar a aderência (compliance) Apoiar a melhoria contínua Documentar uma inovação 3. Avaliação do impacto para testar um piloto antes de levar o programa à escala Compreender o valor do programa existente, em larga escala, e em andamento 4. Sintetize para Compreender o efeito médio de várias avaliações Compreender o efeito em contextos diferentes

49 49 Usando uma matriz lógica de programa Para cada resultado pretendido, identifique: O que poderia ser considerado como sucesso Quais atividades contribuem diretamente para esse resultado Que outros fatores parecem contribuir para esse resultado e se estes podem ser influenciados ou gerenciados de alguma maneira As fontes possíveis de evidência Como interpretar essas evidências particularmente, que comparações são adequadas (ex: linha de base, benchmark, padrões, ou objetivos)

50 Modelo lógico da cadeia de resultados Aumento nas habilidades em computação Aumento na motivação Redes sociais solidárias Melhor desempenho escolar em matérias tecnológicas Conhecimento de opções de cursos superiores Aumento da taxa de inscrições em cursos superiores em computação Maior número de graduações com diplomas em computação Maior realização ocupacional Cursos de verão Distribuir materiais, aconselhamento 1:1 Ajuda com as inscrições Apoio acadêmico e pessoal A teoria da ação pode ser abordada em uma matriz lógica

51 A teoria da ação pode ser abordada em uma matriz lógica Redes sociais solidárias Maior taxa de inscrições em cursos superiores O que representa sucesso? Fontes de evidência disto? Como devem ser analisadas? (especialmente as comparações) Quais atividades contribuem diretamente para isto (se houver)? Fontes de evidência disto? Como devem ser analisadas? (especialmente as comparações) Que outros fatores incidem? (Controle/influência Interna/externa?) Fontes de evidência disto? Como devem ser analisadas? (especialmente as comparações)

52 Algumas variações de modelos lógicos Modelos Pipeline Modelo Recursos-Processo-Produtos-Resultados Hierarquia de Bennett Adaptação Wisconsin do Modelo Pipeline Log frame Modelos lógicos circulares Cadeias de resultados Hierarquia de resultados Lógica de programa centrada nas pessoas Coluna tripla 52

53 Falha da implementação, da teoria ou foi alguma outra coisa? Resultado Saúde melhorou Saúde não melhorou TOTA L Maçãs comidas Maçãs não comidas TOTAL

54 Falha da implementação, da teoria ou foi alguma outra coisa? Resultado Saúde melhorou Saúde não melhorou TOTAL Comeram as maçãs Não comeram as maçãs TOTAL

55 Falha da implementação, da teoria ou foi alguma outra coisa? Resultado Características dos clientes Maçãs comidas Maçãs não comidas TOTAL Saúde melhorou Afetados por doenças relacionadas à nutrição Afetados por outras doenças Saúde não melhorou Afetados por doenças relacionadas à nutrição Afetados por outras doenças TOTAL

56 56 Estratégias para usar a teoria da mudança na avaliação 1. Esclareça o tipo de avaliação 2. Use uma matriz lógica do programa para identificar os dados relevantes a serem coletados 3. Use a teoria da mudança para analisar os dados