Fortalecimento da Cultura de Monitoramento, Avaliação e Aprendizagem em Organizações da Sociedade Civil

Transcrição

1 Fortalecimento da Cultura de Monitoramento, Avaliação e Aprendizagem em Organizações da Sociedade Civil IV Seminário da Rede Brasileira de Monitoramento e Avaliação Rio de Janeiro, 13/08/2012 Rogério Silva Daniel Brandão

2 OBJETIVOS Objetivos Contribuir para que os participantes identifiquem, compreendam e possam intervir sobre mecanismos que influenciam o fortalecimento da cultura de avaliação-aprendizagem nas organizações. Contribuir para que os participantes compreendam conceitos fundamentais relacionados aos processos de monitoramento e avaliação de projetos e programas sociais.

3 AGENDA Agenda 09h30 Um olhar inicial para as experiências deste grupo 10h30 Um olhar inicial para fundamentos teórico-práticos 11h30 Estudo de caso 12h30 Almoço 14h00 Estudo de caso 15h30 Um olhar para o núcleo técnico dos processos avaliativos 16h30 Café 16h50 Arrumar as malas para voltar às organizações 17h45 Avaliação do workshop 18h00 Encerramento

4 AGENDA Apresentação em grupos 1. Nome e organização 2. Que vínculos e responsabilidades você tem com avaliação em sua organização? 3. Você está conduzindo ou planeja conduzir alguma avaliação em 2012? 4. Em sua ultima experiência de avaliação, quais foram seus maiores aprendizados e suas maiores frustrações? 5. Que perguntas você traz para esta oficina?

5 PERGUNTAS-CHAVE Perguntas Por que estamos tão interessados em fortalecer a cultura de avaliação e aprendizagem nas organizações? Que aspectos técnicos estão implicados no fortalecimento da cultura de avaliação e aprendizagem? Que aspectos políticos (desenvolvimento organizacional) estão implicados no fortalecimento da cultura de avaliação e aprendizagem? Que caminhos têm se revelado mais efetivos para fortalecer a cultura de avaliação e aprendizagem nas organizações?

6 CONCEITO DE REFERENCIA Fortalecer a cultura de avaliação implica Desenvolver estratégias de aprendizagem sobre avaliação Que impliquem a prática como centro de um processo coletivo Que tenham a teoria como suporte fundamental Que sejam capazes de promover pensamento e prática de avaliação numa organização De forma criativa, útil e sustentável (permanente)

7 ALGUMAS RAZÕES Razões para tamanho interesse Mais atores envolvidos nos processos organizacionais (avanços democráticos) Crescente busca por intervenções mais eficazes, por resultados Difusão do movimento de profissionalização das organizações da sociedade civil Financiamentos cada vez mais associados a produtos, metas, evidências Amadurecimento do campo socioambiental, com mais atenção à gestão Sociedade atravessada pelo paradigma do controle

8 ASPECTOS TÉCNICOS Os aspectos técnicos envolvidos O desejo de estabelecer relações causais entre ação e resultado O desafio de construir perguntas de avaliação relevantes O desafio de construir indicadores sensíveis e relevantes A grande oferta de modelos avaliativos distintos O avanço dos métodos qualitativo e quantitativo Os questionamentos sobre a neutralidade das avaliações internas

9 ASPECTOS POLÍTICOS Os aspectos políticos envolvidos As relações entre avaliação e poder (de onde emergem as estratégias) A maneira como uma organização lida com o experimento e a falha A força dos mecanismos de controle O espaço real para o princípio da transparência A responsividade da avaliação às 03 possíveis crises organizacionais As crises da Prática (intervenção), da Dinâmica de trabalho e da Identidade. O capital destinado à avaliação e aprendizagem (político, humano, financeiro...)

10 CAMINHOS MAIS EFETIVOS Os caminhos mais efetivos Reconhecer as premissas e explicitar o desejo (OE), dialogicamente Sustentar um firme compromisso em usar a avaliação para alterar a realidade (E) Preparar processos justos ao potencial da organização, com liderança firme Desenhar processos de aprendizagem (planejar aprender) Alocar recursos para trabalhar de maneira permanente Praticar com supervisão, leitura, coaching, grupos de estudo, altervisão, etc. (T) Usar a experiência para produzir políticas, e para avaliar em bom ritmo

11 CAMINHOS MAIS EFETIVOS Atenção especial às premissas O que é avaliação em nossa organização? Por que fazer avaliação em nossa organização? Como relacionamos avaliação e aprendizagem? A avaliação servirá para que? Servirá a quem? Irá contra o que? Contra quem? Obs. Tomemos estas perguntas como disparadoras de uma investigação da realidade organizacional. Analisar as experiências, as evidências nas histórias, nos casos, nas memórias, para acessar o campo profundo da vida organizacional.

12 UM ESTUDO DE CASO Estudo de Caso 1. Vamos dividir o grupo em subgrupos com seis pessoas cada um. 2. Cada grupo recebe cópias impressas do Caso 3. Cada grupo lê o caso e trabalha com as perguntas ao final do texto 4. Cada grupo escolhe um relator para apresentar a produção do grupo Obs. Na Oficina cada participante recebeu um texto impresso, trazendo o Estudo de Caso, com as perguntas.

13 AVALIAÇÃO DE PROGRAMAS E PROJETOS Input Outputs (Produtos) Outcomes (Resultados) Impactos Inputs Outputs Outcomes Impactos Atividades Processo Resultado Tranformação Estrutural O que é investido? Produtos Gerados Transformação gerada Em geral associado a atividades Financial Proxy para estimar valor Numero de reuniões realizadas ONGs com Plano Estratégico Numero de mulheres que partipam da reunião Mulheres com maior acesso a crédito Numero de projetos aprovados pelo Conselho Performance estudantes em Matemática Indicadores Indicadores Indicadores

14 ETAPAS AVALIATIVAS Etapas avaliativas Qual o fio lógico do projeto? Que mudanças são necessárias? Em que realidade se intervêm? Que resultados se deseja e como? Porque queremos fazer uma avaliação? Quais são os motivos? Prova, controle, punição, conhecimento, decisão? Quem quer avaliar? Quem são os atores interessados? Quem se importa? Quem ganha e perde? O que queremos avaliar? Quais são as perguntas de avaliação? Quais são os indicadores? Quais as fontes de informação? Quem pode informar sobre as perguntas? Como vamos construir as informações? Que métodos usar? Como vamos aprender com o que descobrimos, encontramos Que condições criar para aprender? Como comunicar?

15 CONSTRUÇÃO DAS PERGUNTAS AVALIATIVAS Cada pergunta precisa Ter sentido Ser relevante para os interessados Estar apropriada pelos interessados Estar focada em aspectos críticos para a organização, o programa, etc. Ter caráter de descoberta Ser capaz de gerar aprendizagens Ser viável para ser respondida

16 UMA ILUSTRAÇÃO: MATRIZ AVALIATIVA Em que medida o Programa contribui para o fortalecimento dos conselhos de direitos das crianças e dos adolescentes?

17 INFERÊNCIAS CAUSAIS Modelos de Base Quantitativa Modelo Tratamento Controle T1 P T2 T3 T4 Antes Início do Projeto Meio Termo Final do Projeto Tratamento Xo X2 Controle X2 Após final do Projeto Tratamento X2 Controle C2 Tratamento Xo X2 Controle C2 Tratamento X1 X2 Controle C1 C2 Tratamento Xo X2 Controle Co C2 Tratamento Xo X1 X2 X3 Controle Co C1 C2 C3 Aumenta Precisão Aumenta Investimento

18 ROTEIRO PARA ARRUMAR AS MALAS Como apoiar sua organização 1. O que precisa ser feito? 2. O que pode facilitar este processo na organização? 3. Com quem e com que ativos você pode contar? 4. Qual o problema principal? Que alternativas existem para lidar com ele? 5. Qual será o primeiro passo? E quais os demais passos? 6. Qual deve ser o meu papel neste processo? 7. É preciso mudar algo em relação ao que você faz hoje? O quê? 8. Que competências você necessita para desenvolver seu papel nesta avaliação?

19 REFERÊNCIAS PARA APROFUNDAMENTO Referências bibliográficas para aprofundamento SILVA, RR. Avaliação e Desenvolvimento Organizacional. In. Um panorama da avaliação de programas sociais no Brasil. São Paulo: Instituto Fonte/Peirópolis; SILVA, RR & BRANDÃO DB. Nas Rodas da Avaliação Educadora. In: Rosana Onocko Campos e Juarez P. Furtado (orgs). Novas tendências e questões emergentes: os desafios da avaliação de programas e serviços em saúde. Campinas: UNICAMP, BRANDÃO, DB.; SILVA, RR.; PALOS, CMC. Da construção de capacidade avaliatória: algumas reflexões. Ensaios, jul./set. 2005, v.13, n.48, p CANO. I. Introdução à Avaliação de Programas Sociais. 1ª Ed. Rio de Janeiro: FGV Editora; Vários materiais, em inglês, publicados por: Michael Quinn Patton; Michel Scriven, Robert Stake, Jane Davidson, Daniel Stuflebeam, Rita O Sullivan, David Fetterman (ver Sage Publications) e ainda o Livro Real World Evaluation, de Michael Bamberg e Jim Rugh. E ainda, os periódicos American Journal of Evaluation New Directions for Evaluation (pesquisas do Projeto Avaliação, apoiadas pela Fundação Itau Social) No site na sessão Saber em Movimento, ver Nota Técnica sobre Causalidade.

20 Diretor executivo Daniel Braga Brandão Diretor de pesquisa e desenvolvimento Rogério Renato Silva rogerio@movesocial.com.br Missão Apoiar organizações públicas e privadas que atuam nas áreas social e ambiental a conhecer e qualificar o impacto de suas ações. Visão Ser uma empresa de referência nos campos social e ambiental brasileiro, reconhecida por seu compromisso com resultados, seriedade e sensibilidade metodológica, suporte a processos de aprendizagem e capacidade de agregar valor a seus parceiros e clientes.