Aprender a definir e melhorar estratégias organizacionais através da avaliação Professora Patricia Rogers BetterEvaluação Royal Melbourne Institute of Technology, Melbourne, Australia Avaliação para o Investimento Social Privado: Estratégia Organizacional
Resumo Geral 1. O que queremos dizer com avaliação? 2. Diferentes tipos de avaliação nos diferentes estágios de um programa ou projeto 3. A avaliação para definir e melhorar estratégias organizacionais 4. Aprendendo com a Avaliação RMIT University 2
O que queremos dizer com Avaliação? Aprender a definir e melhorar as estratégias organizacionais através da avaliação Como apoiar o aprendizado através da avaliação? Diferentes tipos de avaliação em diferentes estágios RMIT University 3
Avaliação Combina valores e evidência para responder a perguntas como: Estamos fazendo a coisa certa? Estamos fazendo as coisas de maneira certa? RMIT University 4
Uma visão estreita, menos útil da avaliação vem no final, e foca a pergunta: Cumprimos nossos objetivos? TRADUÇÃO: Rationale= Racional Objectives=Objetivos Appraisal= Apreciação Monitoring=Monitoramento Evaluation = Avaliação Feedback= Feedback Implementation= Implementação Mainstreaming Social Inclusion http://www.europemsi.org/index.php" RMIT University 5
Uma visão mais ampla, mais útil da avaliação feita ao longo do ciclo da política/programa" Funcionou? Valeu a pena? Análise Situacional necessidades e oportunidades O que é necessário? O que devemos dar conta? Como deveria ser feito isto? Resultados e impactos Avaliação (incluindo o monitoramento) Desenho de programa ou política Melhoria contínua Como podemos melhorar à medida que avançamos? Implementação das atividades e gerenciamento em curso Como está indo? Baseado em Funnell 2006 Designing an Evaluation"
Tipos de avaliação classificação por foco e momento Análise das necessidades O que é preciso? Quais são as necessidades não atendidas? Desenho da intervenção Qual a mehor maneira de desenhar a intervenção? Monitoramento Avaliação do processo Resultado/Avaliação do impacto Avaliação Econômica Como está indo o processo? (Relatórios regulares das métricas) Como está indo? (pesquisas periódicas)? A implementação está indo de acordo com o planejado? O que foi feito em um programa inovador? Que mudanças ocorreram? Para quem? A intervenção foi custo/efetiva? (comparada às alternativas)? Qual foi a relação custo/benefício? Adaptado de Owen (2006), Rossi, Lipsey & Freeman (2003) 7 Avaliação for public sector managers
A avaliação para definir estratégias organizacionais Porque o Planejamento Estratégico é mais importante nunca Figura 1.1 O ABC DO PLANEJAMENTO ESTRATÉG A. ONDE VOCÊ ESTÁ Missão e mandatos / Estrutura e Sistemas / Comunicações / Programas e Serviços / Pes capacidades / Orçamento / Apoio Visão, Missão e Meta B. AONDE VOCÊ QUER CHEGAR Missão e mandatos / Estrutura e Sistemas / Comunic Programas e Serviços / Pessoas e capacidades / Orçament Apoio Implementação da Estratégia C. COMO CHEGAR LÁ Plano estratégico / planos de TI e RH /Comunicações / Contratações e treinamento / Reestruturação e Engenh Alocação orçamentária Formulação da Estratégia Strategic Issues = QUESTÕES ESTRATÉGICAS RMIT University 8
Avaliação para apoiar o aprendizado sobre onde você está Análise da Situação Avaliação das necessidades Análise SWOT Fortalezas (S), Fraquezas (W), Oportunidades (O), Ameaças (T) Mapeamento dos Recursos Análise das fortalezas RMIT University 9
Avaliação para apoiar o aprendizado sobre onde você quer chegar Esclarecimento sobre os Valores RMIT University 10
O Que é sucesso em termos de : Processos 11 Resultados e Impactos Avaliação for public sector managers Distribuição dos benefícios
Tipos de valores Valores Formais, Explícitos 12 Valores Tácitos Avaliação for public sector managers Valores Negociados
Avaliação para apoiar o aprendizado sobre como chegar lá Teoria da mudança Uma teoria sobre como ocorre a mudança (mecanismo de mudança) Uma teoria sobre quais ações podem acionar esse mecanismo de mudança Síntese do que podemos aprender com os outros RMIT University 13
Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais Avaliação de programas e projetos Como está indo? Monitoramento do desempenho Controle de Qualidade estamos fazendo certo? Melhoria da Qualidade/pesquisa da ação como podemos melhorar a implementação? RMIT University 14
Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais Avaliação dos programas e projetos Funcionou? De que maneira, em quais situações e para quem funcionou? O que contribuiu para que funcionasse? A Teoria da mudança informa a avaliação de impacto Métodos para responder às questões descritivas (o que aconteceu?) mensurações, indicadores, descrições Métodos para responder às questões causais (o que fez a mudança ocorrer?) delineamentos e estratégias de pesquisa experimental, quase-experimental e não experimental Métodos para responder às questões avaliativas (foi bom o resultado? Valeu a pena) RMIT University 15
Especifique questões chave de Avaliação Tipo Escopo Exemplos Descritivo O que ocorreu? Qual é a situação? Como foi implementado o programa? Quem participou do programa? Onde foi aplicado? Quais foram as mudanças? Os objetivos foram atingidos? Que outras mudanças ocorreram? Causal O que produziu as mudanças observadas? Quais foram os impactos do programa? O programa contribuiu para que os impactos e outros resultados pretendidos fossem produzidos? Qual foi a contribução de outros programas e de outros fatores? Avaliativo Foi positivo? De que maneiras poderia ser melhor? É essa a melhor opção? De maneira geral, foi bem sucedido? O serviço entregue estava de acordo com os padrões combinados? O programa foi custo/efetivo? Quais foram seus pontos fortes e fracos? Para quem o programa foi efetivo? Ação O que deveria ser feito? O programa deveria ser continuado/deveria ganhar escala? Que mudanças deveriam ser feitas? 16 Avaliação for public sector managers
Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais Avaliação da carteira de programas e projetos Qual é a cobertura transversal nas áreas de importância? Qual é o equilíbrio entre valor e certeza? Não lucrativo Lucrativo Fortemente vinculado à missão Vínculo fraco com a missão RMIT University 17
Tipos de aprendizado necessários Quando Sabemos o que funciona e porque Não sabemos se funciona Não sabemos qual é o melhor caminho Não sabemos o que poderia funcionar É sensato Assegurar o acompanhamento dos processos (monitorar) Demonstrar o valor do que está sendo feito (advocacy) Analisar processo e resultados (teoria do teste) Documentar os processos e o contexto e comparar desempenhos (resultados, eficiência) Usar a pesquisa/aprendizado e compartilhar os resultados 18
Fontes de informação sobre métodos e processos de avaliação RMIT University 19
Que tipos de avaliação precisamos? Como podemos fazer isso? Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais Que tipos de aprendizado pecisamos que a avaliação apoie? Como podemos fazer isso? RMIT University 20