Experiênciasem Monitoramentoe Avaliação

Transcrição

1 Experiênciasem Monitoramentoe Avaliação Retratos da última década Márcia Joppert e Thomaz Chianca

2 DemandaporConhecimentoem M&A e GpR panorama global Demanda por conhecimento em Avaliação e GpR crescendo rapidamente Reformasnacionais: Descentralizacao(Asia, ALC) Orçamentosorientadosa resultados(chile, México) PlanejamentoEstratégicoe prestaçãode contas(colombia, Brasil)

3 DemandaporConhecimentoem M&A e GpR panorama global Consensos Internacionais(Monterrey, Declaração de Paris) MDG s, Agenda de Resultados, responsabilidade mutua Agenda paraa Ação(Accra) usode sistemas nacionais Crescenteparticipaçãoda sociedadecivil naagenda pública Condicionalidades para cooperação e financiamento

4 A sociedadecivil naprofissionalizaçãoda Avaliação panorama global Organizações Voluntárias para a Avaliação Profissional A organização global IOCE Apoio de diversas organizações internacionais ProjetoEvalpartners CentrosCLEAR

5 Númerode VOPEs, porano

6 Mapadas VOPEs

7 Iniciativa Uma parceria internacional para promover Capacidades Nacionais em Avaliação Forum internacional Tailandia dezembro 12 Principaisiniciativas: Enabling Environment CapacidadesInstitucionais(ProgramaP2P; Caixade Ferramentas) Capacidades individuais(e-learning) Gestão do Conhecimento FocoemGêneroe Equidade

8 Panorama Brasileiro Crescente relevância do tema avaliação: gestores, órgãos de controle, financiadores, pesquisadores e acadêmicos, consultores, escolas segmentos público e privado. Diversidade de usos(aprendizado, legitimação de políticas e programas, controle, usos políticos) Órgãos de controle modernizando-se no sentido de enfocar resultados Entendimento da importância do papel de avaliadores externos aos processos trabalhando em conjuntocom as equipes de implementação Tendência a um aumento da demanda por serviços e necessidade de identificar e desenvolver oferta

9 AlgumasPesquisasrecentes no Campo da Avaliação 2010: BID/PRODEV promoveuo estudosobredemandae oferta de serviços de Monitoramento e Avaliação no setor público na América Latina (15 países) ReLAC 2011-Instituto Fonte e Fundação Itaú Social, Avaliação de programas e projetos sociais de ONGs no Brasil, São Paulo 2012-Instituto Fonte e Fundação Itaú Social, 2012, Avaliação dos Investimentos Sociais nas Empresas, São Paulo 2012/2013 Instituto Fonte -Abordagens de avaliação, a partir da análise da prática de avaliadores 2013 RBMA Breve Pesquisa sobre a prática da avaliação no Brasil

10 Como a avaliação está sendo praticada? O que está sendo avaliado? Quais setores? Com que abordagens metodológicas? Como a avaliação está sendo demandada? Como o conhecimento tem sido disseminado?

11 A pesquisa Pesquisa realizada por meio de questionário on line, com perguntas dirigidas a avaliadores e demandantes Revisão por um conjunto de profissionais 83 respondentes durante o mês de agosto 2013

12 Perfildos Respondentes IDADE SEXO

13 Perfildos Respondentes ORIGEM

14 Perfildos Respondentes 13% 6% 1% 33% 47% MESTRADO DOUTORADO ATUALIZAÇÃO SUPERIOR COMP SUPERIOR INCOMP NÍVEL DE FORMAÇÃO MAIS AVANÇADO

15 Perfildos Respondentes CURSO SUPERIOR PÓS GRADUAÇÃO

16 Perfildos Respondentes FORMAÇÃO ESPECÍFICA EM AVALIAÇÃO BR EXT

17 Como se considera? Demandante Ambos Avaliador

18 Avaliadores-Experiência Anosde Experiência Númerode Avaliações

19 Objeto maisavaliado Programas / Projetos Políticas Públicas Não respondeu Serivços Organizações / Instituições Pessoas Outros

20 Principaissetores

21 Objetivos da Avaliação Construir Linhas de Base Avaliar implementação Avaliarresultados intermediários Avaliarresultados finais(curto prazo) Avaliarresultados finais(longo prazo)

22 Como sãodefinidas as perguntasavaliativas?

23 Envolvimentodos atores nasdiferentes fases da avaliação(ponto de vista dos avaliadores) Ator Formul Perguntas Método Amostr Estrat. Coleta Coleta Análise Informes Discussão USO Financiador F NR R N N N FS Gerente / responsável FS RF FS R FS F S Equipe F F F F F RF F Público Alvo N N N N N N NRF Órgãosde Controle N N N N N N N

24 Envolvimentodos atores nasdiferentes fases da avaliação(ponto de vista dos demandantes) Ator Formul Perguntas Método Amostr Estrat. Coleta Coleta Análise Informes Discussão USO Financiador NRF NR NR N N N S Gerente / responsável FS FS F F FS S S Equipe F FS F FS FS FS S Público Alvo N N N N N N RF Órgãosde Controle N N N N N N NRF

25 Estratégiasde Coletas de Dados (avaliadores) Estratégia Freq. Estratégia Freq. Estudo/Revisão documental FS Uso de bases de dados secundárias Questionários autoaplicáveis com perguntas fechadas Questionários autoaplicáveis com perguntas abertas Questionários autoaplicáveis mistos (perguntasabertase fechadas) FS F RF FS Entrevistas com perguntas fechadas Entrevistas abertas Entrevistas mistas Grupos focais Observação Estruturada (check list) Observação semiestruturada Testes ou provas RF RF RF RF RF RF NR

26 Estratégiasde Comunicação de Resultados Estratégia Freq. Estratégia Freq. Relatórios formais completos S Resumos executivos Outros tipos de relatórios escritos (ex: notícias em blogs, mensagens de , matérias em revistas ou sites, etc) Reuniões apenas com os tomadores de decisão / gestores FS RF FS Reuniões com os tomadores de decisão / gestores com participação de outros atores Apresentação pública com debate Vídeos Exposições fotográficas PublicaçãonaBase de Dados / repositórioda organização RF RF NR NR RFS

27 Sobre os Relatóriosde Avaliação Estratégia São sintéticos e têm linguagem e formato adequados para os principais interessados pela avaliação Apresentam conclusões claras sobre a qualidade, importância e valor da iniciativa avaliada Respondem diretamente às perguntas avaliativas formuladas no início da avaliação Incluem recomendações, ideias ou insights para a melhoria dos objetos avaliados, contribuindo para a tomada de decisões Freq. RF FS FS FS

28 Timingdas avaliações

29 Recursos para avaliações

30 Independência

31 Papeisdo Avaliador Construir instrumentos para levantar informações sobre a iniciativa Descrever como determinados elementos da iniciativa causam / geram seus resultados. Fazer recomendações para a iniciativa Gerar espaços de reflexão e aprendizagem sobre a iniciativa Dar respostas sobre os resultados atribuídos à iniciativa Conhecer profundamente métodos científicos de pesquisa Garantir que os resultados da avaliação sejam comunicados para todos os envolvidos na iniciativa Ter profundo conhecimento sobre a iniciativa avaliada Envolver o máximo de pessoas na discussão sobre a avaliação Emitir julgamento sobre a iniciativa avaliada

32 Como avaliaçõessão contratadas? Contrata Avaliadores Externos Contrata avaliadores externos, mas as avaliações têm forte envolvimentodas equipes internas Realiza Avaliações comequipe interna

33 Estratégias para contratar serviços externos de avaliação

34 Nívelde capacidades organizacionaispara Elaborar bons editais/ termos de referencia 3,12 Conduzir um processo de contratação 3,12 Gerenciarum contratode prestaçãodestetipode serviço 3,12 Participarnadefiniçãodo desenhoe do planode avaliação 3,04 Definiro escopode umaavaliaçãoe o quese espera comoresultados 3,00 Analisar e criticar os produtos recebidos 2,88 Selecionar a estratégia de contratação mais adequada 2,80 Tomar decisões a partir dos resultados recebidos 2,72 Disseminar e compartilhar os resultados recebidos 2,64

35 Nívelde qualidadedos relatóriosde avaliação recebidos na organização Qualidade do conteúdo 2,77 Clareza nas análises 2,75 Linguagem adequada para quem vai lê-lo 2,69 Tamanho adequado para quem vai lê-lo 2,63 Clareza nas conclusões avaliativas 2,58 Ideias e sugestões bem fundamentadas que levem à tomada de decisões 2,48 Tempo de entrega 2,41

36 Uso

37 O B R I G A D A marciapaterno@agenciadeavaliacao.org.br