MONITORIA & AVALIAÇÃO:

Transcrição

1 MONITORIA & AVALIAÇÃO: Os fundaments para bter resultads Bénédicte de la Briere O Banc Mundial

2 Os bjetivs desta sessã Prquê cncentrar-se ns resultads Mnitria u Avaliaçã Utilizar uma cadeia de Resultads Os resultads dentr ds prjects Para avançar Selecinar indicadres SMART. Reclher s dads. Trnar s resultads úteis.

3 Os bjetivs desta sessã Prquê cncentrar-se ns resultads Mnitrament u Avaliaçã Utilizar uma cadeia de Resultads Os resultads dentr ds prjects Para avançar Selecinar indicadres SMART. Reclher s dads. Trnar s resultads úteis.

4 A «Gestã pr bjetivs» é uma tendência mundial Qual é a nvidade ds resultads? Os gestres sã julgads pel desempenh ds seus prgramas e nã pel cntrl ds insums: Uma mudança de fc sbre s resultads e nã insums. Criar ligações entre mnitria e a avaliaçã, a frmulaçã das plíticas, e a elabraçã ds rçaments (ptimizaçã ds custs) Imprtante para uma gestã eficaz d setr públic

5 Os bjetivs desta sessã Prquê cncentrar-se ns resultads Mnitria u Avaliaçã Utilizar uma cadeia de Resultads Os resultads dentr ds prjects Para avançar Selecinar indicadres SMART. Reclher s dads. Trnar s resultads úteis.

6 Mnitria u Avaliaçã Mnitrament Avaliaçã Freqüência Regular, Cntínua Periódica Cbertura Tds s prgramas Prgrama e aspects particulares Dads Universais Amstrais Prfundidade da infrmaçã Segue a implementaçã, tem a ver cm QUÊ Sb medida, sbre desempenh e impact/porquê Custs Custs escalnads Pdem ser elevads Utilidade Melhrament cntínu d prgrama, gestã Principais decisões d prgrama

7 Os papéis cmplementares da mnitria e da avaliaçã Mnitria Clarifica s bjetivs d prgrama Relacina as atividades e s recurss as bjetivs Traduz s bjetivs em indicadres de desempenh e cria alvs Reclhe dads de frma rtineira sbre estes indicadres, cmpara resultads reais cm s alvs Relata s prgresss as gestres e avisa-s quant a prblemas Avaliaçã Analisa prquê s resultads esperads fram u nã atingids Estima as cntribuições específicas das atividades quant as resultads Examina s prcesss de implementaçã Explra s resultads nã esperads Tira as lições, sublinha s sucesss significativs u ptencial d prgrama, e ferece recmendações para a melhria.

8 A mnitria Um prcess cntínu de reclha e análise de infrmações, Para medir desempenh dum prject, um prgrama u uma plítica relativamente as resultads esperads, e Para infrmar sbre a implementaçã e a gestã d prgrama.

9 As avaliações A revisã sistemática e bjetiva de um prject, um prgrama u uma plítica em curs u finalizad(a), seu desenh, a sua implementaçã e/u s seus resultads, Perguntas descritivas para determinar que se passa e descrever s aspects de um prcess Perguntas nrmativas para cmparar que se passa cm que se deveria passar, de acrd cm desenh Perguntas causais para avaliar s bjetivs e ver qual a diferença que a intervençã cria para atingir s seus bjetivs

10 Implementar bas avaliações Fazer as perguntas certas Respnder as perguntas cm dads aprpriads Evitar a plétra de infrmações Basear a tmada de decisões sbre infrmações credíveis Assegurar-se que a infrmaçã é utilizada e que chega às pessas adequadas (as que a pdem utilizar)

11 Avaliaçã de impact A avaliaçã d efeit causal de um prjet, um prgrama u uma plítica sbre s beneficiáris. Utilisa um cntra-factual para estimar qual seria estad ds beneficiáris sem prgrama ( grup de cntrl u de cmparaçã), relativamente a estad bservad ds beneficiáris ( grup de tratament), e para determinar s resultads intermediáris u finais imputáveis à intervençã.

12 Quand usar uma avaliaçã de impact? Avaliar impact quand prjet é: Invadr Susceptível de se replicar u de passar à escala Estratégicamente relevante para reduzir a pbreza A avaliaçã irá preencher uma lacuna de cnheciment Impact substancial nas plíticas Pde-se utilizar a avaliaçã dentr de um prgrama para testar alternativas e melhrar s prgramas Pde-se cnsiderar a timizaçã das despesas (cust-benefíci, eficácia de cust)

13 Os bjetivs desta sessã Prquê cncentrar-se ns resultads Mnitrament u Avaliaçã Utilizar uma cadeia de Resultads Os resultads dentr ds prjects Para avançar Selecinar indicadres SMART. Reclher s dads. Trnar s resultads úteis.

14 Utilizar uma cadeia de resultads Uma cadeia de resultads apresenta um rteir da teria da mudança: Quais s resultads prcurads pel prgrama? Cm é que s resultads serã atingids? Há hipóteses críticas? Recurss suficientes? Cm é que irems saber se btivems s resultads prcurads?

15 Uma cadeia típica de resultads Insums Recurss financeirs, humans e utrs mbilizads para apiar as actividades Orçaments, pessal, utrs recurss dispníveis Atividades Acções tmadas para transfrmar s insums em prduts específics Série de atividades realizadas para prduzir bens e serviçs Prduts Resultads da transfrmaçã de insums em prduts tangíveis Bens e serviçs e frnecids, sb cntrle da agência de implementaçã Resultads Mudanças resultantes da utilizaçã ds prduts pela ppulaçã alv, (cmprtament, cndições ) Nã ttalmente sb cntrle agência de implementaçã Resultads finais Os bjetivs d prgrama - benefícis Objetiv a lng praz Mudanças ns resultads cm causas múltiplas Implementaçã (OFERTA) Resultads (DEMANDA + OFERTA) 15

16 Obras públicas (AIMO) Exempl de cadeia de resultads Insums Orçament para prgrama OP- AIMO Pessal d Ministéri de trabalh Pessal ds municípi participantes Atividades Estabeleciment de um salari baix ( miním) Campanha de infrmaçã Seleçã ds lcais, recrutament e frmaçã ds peradres Inscriçã Prduts (Anuais) empregs $ em salaris > 75% ds custs d prgrama em salaris 2,000 subprjects de OP prduzids Resultads Transferência líquida de renda para as famílias Cmpetências adquiridas Uitlidade, manutençã das OP Resultads finais Renda, empreg Famílias beneficiárias: -renda, riqueza -saúde alimentaçã - educaçã Desempreg, pbreza em geral Implementaçã (OFERTA) Resultads (DEMANDA + OFERTA) 16

17 Exercíci: Cadeia de Resultads Identificar a sequência de insums, atividades, prduts e resultads: 1 Infrmaçã sbre a imprtância d aleitament matern está dispnível para s pais As crianças na cmunidade estã mais saudáveis. Mens crianças têm diarréias. As mães fazem aleitament matern em vez d artificial. Nvs recurss estã dispníveis para implementar um prjet de reduçã da desnutriçã infantil. Planear campanhas de infrmaçã sbre a imprtância d aleitament matern

18 Exercíci: Cadeia de Resultads Identificar a sequência de insums, atividades, prduts e resultads: Nvs recurss estã dispníveis para implementar um prjet de reduçã da desnutriçã infantil. Planear campanhas de infrmaçã sbre a imprtância d aleitament matern Infrmaçã sbre a imprtância d aleitament matern está dispnível para s pais. As mães fazem aleitament matern em vez d artificial. Mens crianças têm diarreias. As crianças na cmunidade estã mais saudáveis. Insum Atividade Prdut Resultad Resultad Resultad

19 Os bjetivs desta sessã Prquê cncentrar-se ns resultads Mnitrament u Avaliaçã Utilizar uma cadeia de Resultads Os resultads dentr ds prjets Para avançar Selecinar indicadres SMART. Reclher s dads. Trnar s resultads úteis.

20 Implementar a cadeia de resultads O prgrama TMC PATH da Jamaica Exempl de cm a M&A bem estruturada de um prgrama ajudu a desenhar prgrama e prestar infrmações para as decisões plíticas Prgram f Advancement Thrugh Health and Educatin [Prgrama de Prgress pela Saúde e Educaçã] (PATH) Prgrama TMC [Transferência Mnetária Cndicinada] que prcura ligar a assistência scial à acumulaçã de capital human Transferências essencialmente destinadas a crianças pbres de mens de 19 ans cndicinadas à assistência esclar e sanitária

21 Cadeia de resultads d TMC da Jamaica Instruments, Indicadres Insums Orçament d prgrama TMC Pessal d prgrama Serviçs de saúde e educaçã e pessal Actividades Desenh (estabeleciment d mntante, das cndições..) Estabeleciment d prgrama TMC Campanha de infrmaçã Cartã de beneficiáris Prduts (Anuais) Inscriçã ds beneficiáris n prgrama Transferências feitas Resultads Inscriçã esclar Frequência Utilizaçã ds serviçs de saúde Api de renda Resultad final Saúde, nutriçã Pbreza Desempenh esclar Pupança, investiment, ativs SIG Auditria interna SIG Avaliaçã de prcesss, verificaçã surpresa Pesquisa familiar anual Avaliaçã de impact Avaliaçã de impact a lng praz Recurss humans e financeirs 21 Respeit ds prcediments Pagaments Perspectivas Fcalizaçã, cbertura, adequacã Frequência esclar Utilizaçã de saúde preventiva Resultads de desenvlviment human LP

22 Utilizaçã ds resultads de M&A d PATH Instruments Insums: Sistemas de Infrmaçã de Gestã(SIG) Auditria interna Resultads Us Indicadres chave Alguns atrass ns pagaments Bm cumpriment das cndições Fraca inscriçã n prgrama Ajustaments a sistema de pagament Intensificaçã das campanhas de recrutament Actividades: Avaliaçã ds prcesss Resultads Prcesss de aplicaçã pesads As partes interessadas nã sã claras sbre as regras d prgrama Sistema de verificaçã da elegibilidade ds nvs beneficiéris é frac Atrass n trataments ds pedids de recurs Prcura alta pel empregs/frmaçã Verificaçã surpresa Us Rerganizaçã d SIG Revisã d manual de perações Utilizaçã ds trabalhadres sciais cm pnts fcais para acess a um leque de serviçs sciais Passs para Trabalhar, nv prgrama que almeja empreg e desenvlviment de cmpetências para mercad d trabalh

23 Utilizaçã ds resultads de M&A d PATH Instruments Prduts: Exame específic da fcalizaçã (na base da pesquisa anual de famílias) Resultads: Avaliaçã d impact Resultad Us Resulatds Us Indicadres chave O PATH atinge mais s pbres que utrs prgramas de rede de segurança jamaicans Mas em cmparaçã cm prgramas de utrs países seu desempenh nã é muit bm. Melhru sistema de identificaçã ds beneficiáris Refrçu a frmaçã ds trabalhadres sciais para que verifiquem a elegibilidade Recertificaçã mais frequente Educaçã: pequena melhria na frequência (cerca de mei dia num períd de 20 dias). Sem impact na inscriçã Saúde: aument de 30% na utilizaçã de serviçs de saúde preventiva Objetiv principal da educaçã trna-se acabar cicl esclar Intrduzir transferências diferenciadas para frnecer incentivs à cnclusã d cicl esclar (sex,idade) Intrduzir um bónus para cncluir liceu

24 Lições aprendidas Uma M&A devidamente articulada é imprtante para a ba gestã de um prgrama e para prestar infrmações as plítics As avaliações de impact sã instruments pderss para infrmações chaves sbre prgrama e para as decisões plíticas. Bns sistemas de mnitria Permitem planejament e gestã pr resultads Facilitam a preparaçã ds prjets, a sua supervisã e reajustament bem cm a implementaçã ds prgramas

25 Lições aprendidas O que é precis para chegar lá? Clientes dispsts para aprenderem, arriscarem, experimentarem, e clabrarem mudança de perspectivas «das ameaças a sucess d prgrama» Api sólid à M&A pelas hierarquias d gvern e prcura de transparência pela sciedade civil sucess, mair prcura Vntade ds dadres e d gvern de se cncentrarem sbre s prcesss e bjetivs da M&A mudança de cultura Clabraçã intersectrial dentr d gvern (sbretud cm Ministéri das Finanças) e entre s dadres clabraçã

26 Os bjetivs desta sessã Prquê cncentrar-se ns resultads Mnitrament u Avaliaçã Utilizar uma cadeia de Resultads Os resultads dentr ds prjets Para avançar Selecinar indicadres SMART. Reclher s dads. Trnar s resultads úteis.

27 SMART: Identificar bns indicadres S Específics (specific) M A ensuráveis tribuíveis R ealistas T A alv (targeted)

28 S Específics (Specific) Mede cm tda a precisã pssível que quiserem saber. Resultad: crianças tratadas cntra paludism Indicadres: 1. Mair utilizaçã das clínicas 2. Mair utilizaçã ds antipalúdics pediátrics M ensurável Sejam clars na frma de medirem - preciss. Indicadres: 1. % de centrs de saúde sem stck de medicaments x, y & z durante mais de uma semana 2. % de centrs de saúde que têm medicaments dispníveis Fnte: Kathuri e Kusek, 2006

29 tribuíveis A Ligad lgicamente e estreitamente as esfrçs d prgrama. Indicadres: 1. Esperança de vida 2. % de crianças ttalmente vacinadas cm 1 an R ealista Dads que pssam ser btids cm custs, freqüência e precisã razáveis. Indicadres: 1. Prevalência d VIH entre as mulheres grávidas ds 15 as 24 ans 2. Prevalência d VIH na ppulaçã inteira Fnte: Kathuri and Kusek, 2006

30 T A alv (Targeted) Específic a grup alv d prgrama. Indicadres: 1. % de aument de empreg 2. % de aument de empreg ds graduads de um prgrama de frmaçã técnica X, n primeir an após a cnclusã da frmaçã Surce: Kathuri and Kusek, 2006

31 Preparar um plan de cleta de dads Identificar quais s dads específics necessáris Identificar cm é que se realizará a cleta Identificar quem será encarregad da cleta ds dads e da preparaçã ds relatóris Identificar quand é que s dads serã reclhids e s relatóris preparads, e cm que frequência Identificar s custs e as fntes de financiament Identificar quem é que vai se servir ds dads

32 Exempl: Plan de cleta de dads e de relatóris Indicadr 1 Fnte ds Dads Métd de cleta ds dads Quem cletara s dads Frequênci a da cleta Custs da cleta Dificuldade da cleta Quem analisará s dads?

33 Algumas Pistas Para trnar a mnitria d desempenh verdadeiramente útil 1) Frnecer as infrmações de frma frequente e em temp útil a pessal d prgrama. 2) Fixar alvs para cada indicadr de desempenh. 3) Frnecer dads pr grup. Desagregar s dads pelas características ds clientes e ds serviçs (regiões). 4) Fazer análises básicas regulares, sbretud cmaparações.

34 5) Exigir explicações para s resultads imprevists. 6) Apresentar s resultads de uma frma simples para s utilizadres. 7) Organizar sessões «Cm vams?» depis de cada relatóri de desempenh. 8) Utilizar «Sinais Vermelh-Laranja-Verde» para identificar s prgramas/prjets que precisam de mais atençã. 9) Relacinar as infrmações de resultads as custs ds prgramas. Fnte: Harry Hatry, Urban Institute

35 Qual hspital esclheriam? HOSPITAL MERCY 2, PACIENTES em MORTOS CIRURGIA 3% TAXA DE MORTALIDADE HOSPITAL APOLLO PACIENTES em MORTOS CIRURGIA 2% TAXA DE MORTALIDADE

36 Qual hspital esclheriam? HOSPITAL MERCY 2,100 PACIENTES em CIRURGIA 63 MORTOS 3% TAXA DE MORTALIDADE HOSPITAL APOLLO 800 PACIENTES em CIRURGIA 16 MORTOS 2% TAXA DE MORTALIDADE MAS MAS 600 EM BOA CONDIÇÃO 6 MORTOS 1% TAXA DE MORTALIDADE 600 EM BOA CONDIÇÃO 8 MORTOS 1.3% TAXA DE MORTALIDADE 1,500 EM MÁ CONDIÇÃO 57 MORTOS 3.8% TAXA DE MORTALIDADE 200 EM MÁ CONDIÇÃO 8 MORTOS 4% TAXA DE MORTALIDADE

37 Cnclusões A mnitria e a avaliaçã sã funções separadas, embra cmplementares, e ambas sã chave para a gestã pr resultads Uma ba M&A é imprtante, nã só para a gestã eficaz de um prgrama mas também cm um ptencial mtr de refrma Tenham um bm plan de M&A antes de passarem seu prgrama à escala e sirvam-se dele para infrmar sbre percurs! Cncebam crngrama e cnteúd ds resultads de M&A para aprfundar diálg, cm base em prvas/evidência Uma ba mnitria é essencial para uma ba avaliaçã de impact

38 Obrigad