Avaliação Executiva de Indicadores no Governo do Estado de Minas Gerais: análise da implementação de uma ferramenta de Monitoramento e Avaliação 1

Transcrição

1 Avlição Executiv de Indicdores no Governo do Estdo de Mins Geris: nálise d ileentção de u ferrent de Monitorento e Avlição 1 Autori: Éber Gonçlves, Felie Michel Sntos Arújo Brg, Eder Sá Alves Cos RESUMO O objetivo do resente trblho é nlisr ileentção d ferrent de Monitorento e Avlição (M&A), Avlição Executiv de Indicdores (AEI), elo Governo do Estdo de Mins Geris. Tl ferrent constitui-se e u instruento que, segundo critérios objetivos e dronizdos, indic s liitções dos indicdores que fze rte do odelo de contrtção de resultdos no Governo de Mins Geris. Ess vlição dronizd, lé de servir coo dignóstico d turidde d crteir de indicdores, constitui-se nu referencil r elhori contínu dess crteir, contribuindo r institucionlizção e erfeiçoento ds tividdes de onitorento no Estdo. A idei d AEI derivou-se do conheciento de u roost etodológic desenvolvid or consultores do Bnco Mundil junto o Consejo Ncionl de Evlución de l Polític de Desrrollo Socil (CONEVAL). Mins Geris, de neir ioneir, co o oio d consultor Git Busjeet, ileentou etodologi ós roover s dtções o seu rório contexto. O instruento consiste nu série de 34 ergunts direts (co oções de resost si, não, ou si, rcilente ), que estão distribuíds e qutro eixos co esos diferencidos: Produção dos Ddos, Produção do Indicdor, Conceito e Metodologi, e Uso e Counicção. Co esss ergunts buscou-se identificção d resenç, ou usênci, ds crcterístics desejáveis os indicdores, tl coo reconizdo n litertur sobre o te: CREAM (Cler, Relevnt, Econoic, Adequte e Monitorble) e SMART (Secific, Mesurble, Achiveble, Relistic e Tiily). O forto do Mnul do Avlidor d AEI foi insirdo nos nuis do Progr Assessent Rting Tool (PART), do Governo dos Estdos Unidos. Dentre outrs inforções, o dignóstico d AEI, licd à crteir de indicdores retrtd no docuento Cderno de Indicdores trouxe u nálise do otencil de elhori e eritiu elborção de u lno de ção r cd indicdor. A vlição ossibilitou sistetizção dos critérios que deve conduzir seleção dos indicdores, crindo u eóri institucionl que reúne s inforções relevntes sobre seus tributos, ntes tcitente cuulds elos resonsáveis elo seu onitorento. A licção d AEI, já utilizd e relção os indicdores onitordos elo governo ineiro e 2007, 2009 e 2010, ont evolução d crteir, os gnhos otenciis e reis ssocidos às ções recoendds, rincilente e relção àquels que estão sob resonsbilidde d gestão estdul. N nálise do rocesso de ileentção d AEI elo governo ineiro, observ-se necessidde de se ter derênci entre identificção de u roble institucionl observdo e ccidde de resost de u dd ferrent de M&A. Observ-se co o estudo de cso, que AEI se resent coo ferrent de grnde utilidde r consolidção d rátic de M&A no governo estdul, contribuindo r o fortleciento d olític de contrtção de resultdos, u vez que evidenci s ossibiliddes e liitções do odelo e ont cinhos r seu erfeiçoento, segundo sisteátic dronizd. 1

2 1. INTRODUÇÃO A dend or ferrents que contribu r institucionlizção e erfeiçoento ds tividdes de onitorento é notdente crescente. Esse é o cinho ercorrido elos governos que, coroetidos co efetividde de sus ções, busc consolidção de seu siste de onitorento e vlição (M&A). N gestão r resultdos e Mins Geris ve sendo desenvolvid u série de trblhos co esse intuito. Dentre os trblhos is recentes está Avlição Executiv de Indicdores (AEI), cuj ileentção é nlisd neste rtigo. A AEI é u tecnologi crid el Unidde de Indicdores do Progr Estdo r Resultdos, co o oio d consultor Git Busjeet, r ser eregd n vlição d qulidde dos indicdores onitordos no âbito d gestão or resultdos do Governo do Estdo de Mins. A idei se bseou n etodologi desenvolvid or consultores do Bnco Mundil junto o Consejo Ncionl de Evlución de l Polític de Desrrollo Socil (CONEVAL). O instruento consiste nu série de 34 ergunts direts (n su iori do tio si ou não, outrs co oção de resost si, rcilente ), que estão distribuíds e qutro eixos co esos diferencidos: Produção dos Ddos, Produção do Indicdor, Conceito e Metodologi, e Uso e Counicção. Co esss ergunts buscou-se identificção d resenç, ou usênci, ds crcterístics desejáveis os indicdores, tl coo reconizdo n litertur sobre o te: CREAM (Cler, Relevnt, Econoic, Adequte e Monitorble) e SMART (Secific, Mesurble, Achiveble, Relistic e Tiily). Co esse instruento rocedeu-se vlição d crteir de indicdores finlísticos de 2009, no de elborção e exerientção d etodologi. E seguid foi relizd AEI 2010, e resost o objetivo inicil de fzer onderções sucessivs rtir dess tecnologi, co registro ds lições rendids. A últi relizd foi AEI 2007, osteriorente, escolhido or ter sido o no d crição do rogr Estdo r Resultdos. A crteir de 2008 não foi vlid. Tnto etodologi d vlição coo os resultdos d AEI 2009, cordos de for gerl os resultdos d AEI 2007 e 2010, são resentdos ns seções subsequentes. Esse rtigo é coosto or ess introdução, seguid el seção Gestão r Resultdos e Mins Geris, que contextuliz o uso de indicdores no governo estdul. N seção subseqüente resent-se o rco teórico, co o referencil ds rorieddes desejáveis os indicdores. N qurt seção qutro descreve-se ferrent AEI, sus origens e etodologi. A seção cinco trz os resultdos d AEI 2009, rieiro exercício de ileentção d tecnologi, enqunto seção seis é coost el breve corção dos resultdos encontrdos n AEI 2007, 2009 e Por fi são feits lgus considerções finis. 2. GESTÃO PARA RESULTADOS EM MINAS GERAIS A gestão r resultdos levd cbo e Mins Geris é singulr, rincilente or se trtr de u dtção ds recoendções d litertur r o contexto olítico e econôico estdul. Co bse ns reisss de juste fiscl e odernizção d dinistrção úblic, o estdo de Mins Geris instituiu, rtir de 2003, o rogr Choque de Gestão. Foi dotdo o dulo lnejento no governo, ssocindo ets de longo e de curto rzo. O lnejento de longo rzo se terilizou no Plno Mineiro de Desenvolviento Integrdo (PMDI ), elbordo elo oder executivo e rovdo elo legisltivo, que continh visão de futuro tornr Mins Geris o elhor estdo r se viver. 2

3 Aós conquist desse biente de equilíbrio fiscl e revigorento ds rátics de lnejento, criou-se condições r, rtir de 2007, elborção de u nov versão do PMDI, introduzindo orientção r resultdos de odo is robusto. O PMDI bordou os objetivos estrtégicos do governo or áres de resultdos. Esses objetivos for trduzidos e indicdores co ets definids r édio e longo rzo. Portnto, o odelo tul de gestão estdul surgiu de u conceçãoo co forte orientçãoo r resultdos, s su execução não teve cráter fixo e inlterável. Pelo contrário, reconhece-se desde o início necessidde de elhoris e busc d efetiv gestão or resultdos no Governo. A AEI é u fruto dess rocur. Antes de resentr etodologi e os resultdos d vlição, é ertinente fzer u breve descrição do histórico recente do uso de indicdores elo governo do estdo. O conhento e o uso de indicdores n gestão r resultdos e Mins Geris tor vulto rtir de 2007, co insturção do Progr Estdo r Resultdos 2. Entre sus tribuições está de ser o gurdião dos resultdos estbelecidos no PMDI e de zelr el qulidde dos registros dos indicdores utilizdos no onitorento dessess resultdos (GUIMARÃES; CAMPOS, 2009,. 10). O PMDI oercionlizou os objetivos do governo or eio de indicdores, chdos de indicdores finlísticos, que são conhdos e onitordos elo Progr Estdo r Resultdos, or interédio d Unidde de Indicdores. Os indicdores elencdos no PMDI estv nu nível de desenvolviento uito inicil. Dentre os indicdores roostos hvi lguns que er ens ideis de indicdores. Outros indicdores estv conceitulentee definidos, s não tinh su rieir ensurção relizd. Alguns indicdores tinh outros robles tis coo usênci de u série históric consolidd, eriodicidde suerior nul e defsge uito grnde n divulgção dos resultdos. Pr os indicdores que estv e u estágio de desenvolviento is vnçdo, for estbelecids ets de édio e longo rzo (2011 e 2023). Esses indicdores for levdos r os Acordos de Resultdos 2007, rieiros contrtos de gestão ctudos ós conclusão do PMDI Pr os Acordos de Resultdos 2007 estbelecer-se ets r o referido no e trnsortr-se s ets de 2011 que já constv no PMDI. Assi, reroduzir-se nos Acordos de Resultdos de 2007 s lcuns dos indicdores do PMDI, tl coo ostr FIG. 1. Figur 1: Distribuição dos indicdores do Acordo de Resultdos 2007 Fonte: Unidde de Indicdores/Progr Estdo r Resultdos. Percebe-se, ortnto, que s tividdes do Progr Estdo r Resultdos, no que diz reseito o onitorento, coeçr co o desfio do riorento d crteir de 3

4 indicdores finlísticos r tender às necessiddes d gestão r resultdos, co ets nuis. O roble d indequção dos indicdores se refletiu n vlição dos Acordos de Resultdos Aroxidente 32% dos indicdores ctudos não tiver os resultdos desse no vlidos. Outros 9% for urdos or eio de roxy, coo ostr FIG. 2. Nos nos seguintes, foi feit então u revisão d crteir de indicdores, terind e julho de 2008, que culinou e u novo conjunto que reresentou u udnç significtiv cerc d qulidde e robustez e relção o qudro inicil, no que diz reseito à eóri de cálculo e construção desss esttístics (GUIMARÃES; CAMPOS, 2009,. 11). Ess ior qulidde e derênci os requisitos do odelo de gestão dos Acordos de Resultdos ode ser vist elo uento considerável de indicdores vlidos. Percebe-se, ind el FIG. 2, que uentou, o longo dos nos, o núero de roxies utilizds, de odo vibilizr vlição dos indicdores revistos no PMDI, ntendo o linhento co os objetivos estrtégicos. Refletindo o vnço observdo e 2008, crteir de indicdores finlísticos sofreu oucs lterções e Figur 2: Distribuição dos indicdores segundo for de urção 36% 25% 37% 2% % 22% 38% 1% Avlidos confore PM DI Avlidos trvés de roxy % 9% 32% Indicdores coleentres Não vlidos Fonte: Unidde de Indicdores/Progr Estdo r Resultdos. Tendo lcnçd reltiv dequção d crteir às necessiddes d gestão e 2009, ublicse el rieir vez o Cderno de Indicdores 3. Este docuento buscou tornr úblic evolução exerientd no odelo de gestão or resultdos, evidencindo seus liites, desfios e ossibiliddes (MINAS GERAIS, 2009,.9). O Cderno de 2009 resentou o conjunto de 104 indicdores finlísticos revisdos e dequdos o onitorento nul, distribuídos confore lógic estrtégic de tução do governo estdul, or áres de resultdos. A reiss foi que todos eles deveri ser uráveis nulente, ind que co lgu defsge teorl e deveri estr linhdos à estrtégi de longo rzo estbelecid no PMDI. O conjunto de indicdores foi revisto e tulizdo, coo recoenddo r cd negocição nul, subsidindo construção d segund edição do Cderno de Indicdores e , coost or 105 indicdores. Reconhece-se necessidde de riorento contínuo do conjunto de indicdores, o que requer rofundr o conheciento sobre crteir e estbelecer os râetros que define o cinho r elhori. A AEI foi concebid co esse objetivo. 4

5 3. REFERENCIAL: PROPRIEDADES DESEJÁVEIS AOS INDICADORES A escolh e nutenção de bons indicdores no ortfólio d gestão r resultdos é fundentl. Esse cuiddo se justific or figurre os indicdores entre os rinciis instruentos de conhento dos resultdos dos rogrs governentis os quis se rticul (MPOG, 2010,. 17). É iortnte que escolh dos indicdores sej fundentd e coerente co recoendção d litertur. Diverss orgnizções buscr definir quis râetros são desejáveis r u indicdor. Entre esss diretrizes, destcrse àquels ssocids os crônios CREAM e SMART. Atende os requisitos CREAM, confore Shivo-Co e Tosi (1999), os indicdores que são: Clros (recisos e inequívocos); Relevntes (dequdos o te e czes de edir o que se retende edir); Econôicos (disoníveis custo rzoável); Adequdos (fornece u bse suficiente r vlir erfornce do rogr); e Monitoráveis (ssíveis de vlidção indeendente). Indicdores CREAM deve refletir os resultdos de neir diret. Eles deve ser czes de edir o objetivo de for suficienteente recis, sere válidos teóric e rticente, eritir u colet de ddos efetiv e sere sensíveis udnçs nos resultdos. Ao retrtr os resultdos, é desejável que sej desgregdos, eritindo corções or uniddes geográfics ou outrs fors de gregção. Já os requisitos SMART são relciondos indicdores que são Esecíficos, Mensuráveis, Atingíveis, Relevntes e Teestivos (MPOG, 2010,. 18). Esecificidde é qulidde do indicdor que não te u escoo lo ou genérico, ortnto, não conduz interretções duvidoss ou à erd de foco, ne te ets iossíveis de sere lcnçds els ções que coõe o rogr. Mensurável é o indicdor ssível de ser edido, logo, ele ode ser conhdo e onitordo. Atingível é o indicdor cujs ets são relists e viáveis, ou sej, ssíveis de sere tingids co os recursos hunos e teriis disoníveis, considerds tbé s restrições tíics d dinistrção úblic. E relção às ets tingíveis, cbe frisr que els deve ser, siultneente, ertinentes, relizáveis e desfidors. Ests crcterístics são reentes e u odelo de gestão r resultdos (GONÇALVES, CAMPOS e CARVALHO, 2010). Antes de tudo, é reciso ter clrez do que é u et fctível e desfidor. Deve-se buscr r cd indicdor u et que cobine o desfio, que otiv, e fctibilidde, que evit desistênci. Por outro ldo, u indicdor é relevnte se seu objetivo estiver ssocido u roble considerdo rioritário r gend governentl. Nesse cso, será linhdo às ções ou objetivos estrtégicos elencdos elos órgãos setoriis ou elo governo centrl. E o indicdor será teestivo se ossuir rzos deliitdos r ser ferido e for cz de contribuir, e teo hábil, co elhoris e riorentos do rogr vlido ou co o rocesso de tod de decisão. U indicdor ótio deveri, idelente, tender tods esss diretrizes. Ms, n relidde, tenderá o ior núero ossível. A relidde restringe s oções e iede que sej sere ilntdo o odelo idel. N iossibilidde de se trblhr co indicdores que ossue tods s crcterístics desejáveis, dite-se os liitdos. Por exelo, lgus bses de ddos e os indicdores dels derivdos não erite desgregção confore recoenddo, ou não tê brngênci desejd, ou, ind que necessários e justificdos, não são econôicos. U ortfólio coosto or indicdores ótios, que tende stisftoriente às crcterístics CREAM e SMART, é fundentl r retrtr relidde, r resonder à ltur o desfio de sintetizá-l. O be-estr socil é is colexo do que o odelo 5

6 coosto or indicdores que busc resui-lo. Esse siste de esttístics deve, necessriente, ser lurl - orque nenhu edid ode resuir lgo tão colexo coo o be-estr dos ebros d sociedde, nosso siste de edição recis brnger u série de edids diferentes 5 (STIGLITZ; SEN; FITOUSSI; 2010,. 12). A crteir de indicdores não ode retender edir tudo, ou se tornri ineficiente, or deserdiçr recursos, e ineficz, or disersr esforços e rejudicr o lcnce dos resultdos. Ms não ode deixr de edir o essencil, de reunir s inforções que ode subsidir elhori d tod de decisão. Alé disso, s edids deve ter significânci, não deve ser oercionlizds or obrigção ou iosição legl, s or se constituíre ferrents úteis todo o ciclo de gestão ds olítics úblics (MPOG, 2010,. 21). Tendo e vist esse referencil e busc de solução do roble de fortleciento do siste de M&A, buscou-se o desenvolviento d Avlição Executiv de Indicdores, resentd n seção seguinte. 4. A AVALIAÇÃO EXECUTIVA DE INDICADORES As revisões r elhori dos indicdores que coõe crteir ineir deveri ser blizds or u etodologi esecífic, dronizd e que udesse ser licd eriodicente. A etodologi deveri exor s bses r o julgento d qulidde dos indicdores, identificndo sus forçs e frquezs, sus ossibiliddes e liitções. O resultdo desse rojeto é descrito nest seção. E julho de 2009 for elbordos os esboços iniciis do questionário e do Mnul do Avlidor 6. E novebro u rieir versão desses docuentos foi consolidd r licção de u ré-teste. No ré-teste for vlidos qutro indicdores. A rtir d exeriênci do ré-teste e ds sugestões d consultor d vlição, Git Beker Busjeet, tnto o questionário coo o nul do vlidor for riordos r tender dequdente os objetivos d vlição. As versões do nul e do questionário que viri ser utilizds n vlição for concluíds e dezebro de 2009, dt d rieir rodd de vlição. O questionário é coosto or 34 quesitos que estão divididos e qutro eixos: Figur 3: Qudro descritivo dos eixos que coõe AEI Produção dos Ddos contel os eleentos do rocesso de rodução dos ddos utilizdos no cálculo do indicdor. Avli qulidde dos rocessos de colet, registro e consolidção dos ddos, be coo su historicidde, for de divulgção e outros sectos. Produção do Indicdor coreende o rocesso finl de cálculo do indicdor. Exin existênci de registro d etodologi, eóri dos rocedientos de cálculo, be coo extensão d série históric, for de rzenento ds inforções e outros sectos relevntes. Conceito e Metodologi exin s rorieddes conceituis, etodológics e de linhento do indicdor co s olítics úblics. Esse eixo trt tbé d clrez de objetivo, fcilidde de interretção, suficiênci, econoicidde, dentre outros sectos relciondos. Uso e Counicção vli rorição do indicdor els instituições e gestores governentis e su divulgção r sociedde. Fonte: Unidde de Indicdores/Progr Estdo r Resultdos. 6

7 O núero de quesitos e cd u dos eixos é distinto: 13 estão no eixo Produção dos Ddos, seis n Produção do Indicdor, 11 e Conceito e Metodologi, e qutro e Uso e Counicção. Os esos dos eixos e dos quesitos nos eixos - n vlição gerl do indicdor tbé são diferentes e for definidos elos técnicos d Unidde de Indicdores rtir d nálise de lguns critérios, tis coo, núero de quesitos e relevânci do eixo n exeriênci recente d gestão úblic r resultdos do Governo de Mins. Os robles relciondos à fse de rodução dos ddos rece recorrenteente n tividde de onitorento d Unidde de Indicdores, ois eles iõe liitções o cálculo e conhento dos indicdores. Por esse otivo, o eixo rodução dos ddos teve ior detlhento. Isso está refletido no núero de quesitos que o coõe e no seu eso reltivo. Adeis, os esos dos quesitos nos eixos for definidos co utilizção de etodologi de corção r r. A etodologi consiste n tribuição d iortânci de cd quesito n vlição e relção todos os outros. U quesito ode ser considerdo is, igulente, ou enos iortnte que outro. O quesito considerdo is (enos) iortnte que iori dos outros quesitos recebe ior (enor) eso. A licção d etodologi de corção foi relizd elos técnicos d Unidde de Indicdores o longo de reuniões que subsidir tribuição dos esos reltivos. A vlição foi executd or 10 técnicos d Unidde de Indicdores. Cd técnico vliou o conjunto de indicdores sob su resonsbilidde de conhento no âbito d gestão r resultdos do Governo de Mins. O rincil instruento d vlição foi o Mnul do Avlidor 7, já enciondo nteriorente. Estbelecer-se lguns rocedientos sequenciis n execução d vlição. Inicilente cd técnico d Unidde de Indicdores resondeu o questionário, vlindo os indicdores elos quis é resonsável elo conhento. As ergunts for resondids rtir ds inforções disonibilizds els instituições resonsáveis nos docuentos oficiis e nos sítios eletrônicos. Qundo esss fontes não trzi s inforções necessáris r resonder os ontos do quesito, o vlidor fzi contto direto co os resonsáveis, essolente, or telefone ou or e-il. Não houve registro de dificulddes n obtenção ds inforções or contto direto, esecilente nos feitos co resonsáveis nos órgãos estduis. Os ebros d equie d Unidde de Indicdores já tinh u cnl de counicção estbelecido co os resonsáveis elos ddos riários ou registros dinistrtivos. Este cnl foi estbelecido no conhento sisteático dos resultdos dos indicdores finlísticos. Procurou-se dr is ênfse n necessidde de se construir e consolidr o conheciento sobre o indicdor e enos no cráter vlitório do trblho. As dúvids sere er colocds e u to eno r evitr resistênci or rte dos resonsáveis. As inforções sobre s fontes secundáris for obtids quse que totlente nos docuentos já disonibilizdos els instituições. Meso ssi, lgus instituições receber visit técnic de coonentes d Unidde de Indicdores co o intuito de lir o conheciento já cuuldo sobre s fontes de ddos. Coo exelo, encion-se visit técnic feit o Instituto Brsileiro de Geogrfi e Esttístic. Nest visit foi rofunddo o conheciento sobre os rocessos de rodução d Pesquis de Orçentos Filires (POF) e Pesquis Ncionl or Aostr de Doicílios (PNAD). 7

8 As resosts r dee todos os quesitos r todos os o indicdoores for redigids de d neir sintéétic e consoolidds e u lnillh eletrônic dronizzd. O objeetivo dest lnilh foii reuniir tods s inforçõees relevntees r trribuição d resost ddo vlidorr: si; si,, rciilente; ou o não. Neess lnilhh for ex xecutdos os o cálculoss de dese enho doss indiccdores or eixo, or árre de resultdos e d crteir c co o u todo.. Aóss vlição reliinnr de cd técnico, os resultddos er leevdos r o que see denooinou Worrksho de Avlição. A O Worksho o consistiuu nu reuunião de trblho co rticição de todos técniicos d Uniidde de In ndicdores. Ness reunnião se ressv cd u ds resostts dds eelos vliddores. For relizdoos 10 worksshos de vlição. Noo workksho s ressosts er discutids, rejeits ou o oidss. Os técnicoos si do o worksho co s indicçções de elhori ds resosts. Aesr de cnstivs e desgstntes, essss reuniiões n errceção doos rórios vlidorees for exxtreentte iortn ntes r o nivellento connceitul e r dronnizção dss resosts. N et seeguinte, os vlidoress relizzv s ddequções sugerids s noo worksho. E gerl, esss dequuções er relizdss riddente (doois ou três dis). d E lgus ocsiões foi neecessário fzer nov consult oss docuuentos de referênci, reforçr s evidêncis e té reto r o contto co os reesonsáveiss eloss ddos. Co s dequçções feits, s resosts er nov vente coonsolidds n lnilh eletrônic elo coordendoor d vlição. O cooordendor tbé t fzzi ness et u reevisão gerll r (ffortção,, dronizção). Ele reuni r s reesosts doos técnicos, fzi u ds resosts nov leitur e crrític. Os rrobles iind identifiicdos ness et er resolvido os co cd u dos d vlidoores. Concluuíd ess ett, o resu ultdo finl foi subetiido o coorrdendor d Uniddde de Inddicdores r vlidçãão finl. E oucs siituções houuve necessiidde de see retifiicr lgu quesito ós subisssão r vlidção finnl. A vllição foi considerd c encerrrd ós vlidção do resonsável el Unidde U de Indicdores.. Figu ur 4: Proceessos d Avvlição Exxecutiv de Indicdores I s Fontee: Unidde de Indicdores/P Progr Estdo r Resulltdos. 5 RESULTADOS DETALH 5. HADOS DA A AEI 2009 Conffore descrrito n etoodologi d vlição, o indicdorr recebe u not igul zero, 500 ou 1000 e cd quesito. A not do inddicdor é clculd orr édi rit étic ond derd. Já o resulltdo or grruo de inddicdores, cooo or áre de resulttdos, or eeixo d vlição ou o resulltdo gerl d crteirr, é clculldo or édi rit étic siles do ressultdo doss indiccdores. A fi de exliccitr o oteencil e contribuição o efetiv d AEI, ssreos discutir co is detlhe os resultdos d AEI 20009, elencd dos n TAB. 1, or eixoo e áre de resultdos.. Obseerv-se quee, nu vlição de zero 100 0, o ortfóllio de indiccdores finlísticos d gestãão r resuultdos de Mins M Geris recebeu u not de d 68,5 onntos. O eixo o is be vliido foi Prrodução doos Ddos (75,6 ontos), seguiddo de Connceito e Metodologi, M, Proddução do Inddicdor e Usso e Counnicção (71,,7; 63,8; e 52,1 5 ontos;; resectiv ente). 8

9 Tbel 1: Resultdo gerl or eixo e áre de resultdo, AEI 2009 Áre de Resultdo Produção dos Ddos Produção do Indicdor Conceito e Metodologi Uso e Counicção Not Finl Educção de Qulidde 88,1 64,8 82,4 74,2 79,6 Vid Sudável 89,9 66,3 74,1 56,0 75,4 Qulidde Fiscl 90,2 65,8 67,2 69,6 75,4 Redução d Pobrez e Inclusão Produtiv 89,3 68,1 77,7 41,6 74,4 Investiento e Vlor Agregdo d Produção 84,1 69,3 73,5 58,8 74,2 Desenvolviento do Norte de Mins, Jequitinhonh, Mucuri e Rio Doce 79,6 61,5 82,8 43,7 71,5 Defes Socil 68,9 64,8 79,9 61,5 70,2 Qulidde Abientl 72,7 63,1 63,6 57,0 65,7 Logístic de Integrção e Desenvolviento 62,8 58,1 76,5 57,3 65,1 Protgoniso Juvenil 64,1 60,3 78,7 33,9 63,2 Inovção, Tecnologi e Qulidde 61,4 61,8 60,6 46,6 59,0 Rede de Ciddes e Serviços 62,4 61,0 61,5 33,3 57,5 Qulidde e Inovção e Gestão Públic 54,8 57,3 69,8 36,6 57,0 TOTAL 75,6 63,8 71,7 52,1 68,5 Fonte: Unidde de Indicdores/Progr Estdo r Resultdos. A áre de resultdos co o conjunto de indicdores is be vlido é Educção de Qulidde co 79,6 ontos. El está 11 ontos ci d édi gerl e qutro ontos ci d not de Vid Sudável que rece logo n sequênci (75,4). Os sistes de esttístics desss dus áres são bstnte desenvolvidos. São áres de grnde relevânci socil e, or conseqüênci, de uito interesse dos estudiosos. Els ossue bses de ddos consolidds e indicdores reconhecidos elos rofissionis d áre de onitorento e vlição. Atribui-se esses ftores bo vlição desss dus áres de resultdos. A elhor e ior rodução de ddos for verificds ns áres de resultdo Qulidde Fiscl e Qulidde e Inovção e Gestão Públic, os ilres do Estdo r Resultdos: 90,2 e 54,8 ontos, resectivente. Qulidde e Inovção e Gestão Públic é tbé áre de resultdo co ior vlição gerl (57,0). A diferenç ode ser tribuíd às crcterístics intrínsecs às tividdes relizds nesss áres. Os ddos fiscis ossue regulentção legl e, or isso, são objeto de rigoroso controle, são dronizdos or nors ncionis e uditdos sisteticente. Já o registro ds inforções tinentes à tividde de gestão úblic coeçou só uito recenteente receber ior cuiddo. Por isso, os indicdores d áre estão e u estágio de desenvolviento uito inicil. O desfio de riorr os indicdores de gestão é lido qundo se trt de outcoes, u vez que ess é crcteristicente u áre eio. No eixo Produção do Indicdor, destque r áre de resultdo Investiento e Vlor Agregdo d Produção que obteve 69,3 ontos. Logístic de Integrção e Desenvolviento e Qulidde e Inovção e Gestão Públic figur co s iores nots nesse eixo, bs inferiores 60. Desenvolviento do Norte de Mins, Jequitinhonh, Mucuri e Rio Doce (82,8) e Educção de Qulidde (82,4) são s áres de resultdo is be vlids no eixo Conceito e Metodologi. É iortnte ressltr que rieir é ford or indicdores ds outrs áres, ens co o recorte dess região enos desenvolvid no Estdo, tis coo de educção e 9

10 súde. Coo Edducção de Qulidde e Vid Su udável são s dus áres is be vlids,, d se eserrr que Desennvolvientoo do Norte de d Mins, Jequitinhonh J h, Mucuri e Rio Docee er de tbbé fosse. Uso e Counicção, eixo co c ior noot gerl, teeve u bo vlição ns áres de d resultdoo Educcção de Qulidde Q e Quliddee Fiscl. A rieir ficou f ci dos 70 o ontos. Já segunnd ficou uito róxii dess not. n A io or vliçãoo nesse eixoo foi n áree Rede dee Ciddes e Serviçços, co 333,3 ontos. As nots n bixs do eixo Usso e Counnicção od de ser iutds duus cuss rinciis: usênnci de çõees de counnicção e oo bixo reco onhecientto do indicdor, derivd do d bix quliidde edidd elos ouutros três eiixos d vlição. Connsider-se qque est últi sej cus reonderrnte. Indicdores que não detê s roriedddes desejááveis enciionds noss eixoss nteriores e que, or isso, não ossue o reeconhecieento dos roofissionis d d áre quee rereesent, difficilente teerão u usoo efetivo e serão s objetoos de ções de couniccção. Os inndicdores tbé foor clssifficdos e cinco ctegoris (níveis de tu uridde) dee corddo co oontução obbtid n vlição. O nível n is elevdo e de turidde é o nível 1,, denooindo Suuficiente. Pr ertenccer est clsse o inndicdor deeve ter nott igul ouu suerrior 80. O níível de turidde i editennte inferiorr é o Modderdo, do qul fze rte oss indiccdores vllidos entree 70 e 80 oontos. Os in ndicdores n n fix entrre 60 e 70 coõe c o gruo dos indicdores co turiddee Liitd. N sequêncci estão os indicdores co nívell de turidde F Frco e Preccário, cujss nots n vlição vri entre 40 e 60 e entre e zero e 40, resectivente. A FIG. 5 ostr que iior rte doss indicdorees foi clssiificd el AEI 2009 no nível dee desennvolviento Moderddo (37,5%).. Aens 19,2% 1 dos indicdores ertence o nívell consiiderdo Sufficiente. Essse ercentul é inferiorr o de indiccdores do nnível Frco:: 23%. Figu ur 5: Perceentul de in ndicdores or nível dee desenvolvviento Suficiente ,1% 20,2% 19,2% % 37,5% Moderdo Liitdo Frco Fontee: Unidde de Indicdores/P Progr Estdo r Resulltdos. Outro exercícioo relizdo co os reesultdos d d AEI consistiuu n identiificção doo otenncil de elhor d quulidde d crteir. Esse exercícioo ode ser ffeito sob dois cenários:: (1) ntendo-se e os esos indicdorees; ou (2) trrocndo-se indicdores i or outros.. No rieiro, levvnt-se os o ontos que, q sob tução doss resonsáveeis ou dos técnicos d Uniddde de Inddicdores, ode ser elhordo os e cd indicdor d crteir. Ou sej,, identtific-se quis quessitos oderri, co o trblhho direcionndo d Unidde U dee Indiccdores, ter resost convertid c d tios n dos não ou si, rcileente r si. No entnto, e ne todos os eleentos estão sob gestão dos resonsávveis ou d Unidde U dee Indiccdores. Duus situçõees exelifiic o segu undo cenáriio. As lcunns etodollógics nãoo 10

11 ode ser suriids ntendo-se o indicdor n crteir. Isso ocorre orque lterção n etodologi signific, e rieir instânci, doção de outro indicdor. Adeis, uitos indicdores são clculdos co fontes de ddos secundáris e, or isso, sus crcterísticss não ode ser lterds els equies citds. Coo or exelo, cit-se o cso de u indicdor cuj fonte de ddos é secundári e esses só são disonibilizdos co is de u no de defsge. Dificilente se oderá estbelecer u ção r reduzir esse teo, or não estre os resonsáveis or el subetidos à utoridde do governoo estdul. A FIG. 6 ilustr o resultdo gerl e nos qutro eixos, be coo o otencil de elhor de cd u deles. N rte inferior ds coluns resent-se os ontos obtidos e cd eixo. A rcel de ontos no relce interediário d colun corresonde o otencil de elhori, ntendo-se os esos indicdores n crteir. Já rte suerior, destcd no interior d áre trcejd, reresent o esço no qul s ções de elhori não estão sob gestão d Unidde de Indicdores elos otivos já exlicitdos. Observ-se que o eixo Uso e Counicção é o que te, reltivente, ior ossibilidde de elhor. Ddo que su vlição ficou e quse 52% e que tods s lcuns desse eixo ode ter lgu intervenção d Unidde de Indicdores, existe u otencil rel de elhori de 48% %. O eixo Produção do Indicdor tbé resent u grnde otencil de elhor, no qul existe u lcun equivlente 36%. Iortnte destcr que esse eixo está e grnde rte sobre resonsbilidde diret d Unidde de Indicdores. Assi, sugere-se u direcionento d Unidde n solução dos robles identificdos nesse eixo, o que ode resultr e u elhor sensível d qulidde dos indicdores. Os outros dois eixos já resent lgu esço no qul os indicdores não ode ser erfeiçodos, cso oçãoo sej ntê-los n crteir: 5% e Produçãoo dos Ddos e 23% e Conceito e Metodologi. Figur 6: Resultdo gerl e otencil de elhor or eixo ,3% 19,1% 0,9% 22,6% 5,7% 9,0% 22,5% ,6% 35,3% 63,8% 71,7% 0,0% 47,9% 52,1% 68,5% Produção dos Ddos Produção do Indicdor Conceito e Metodologi Uso e Counicção Not Finl Pontuçãoo não lcnçável Pontução otencil Pontução obtid Fonte: Unidde de Indicdores/Progr Estdo r Resultdos. Co esses resultdos e exelos evidenci-see que AEI é is do que u siless vlição. É u vlioso instruento gerencil. De neir brngente, AEI ve uxilir gestão de indicdores definir su estrtégi r o erfeiçoento d crteir. Alé disso, 11

12 de neir is esecífic, el revel os ontos de deve ser trblhdos e cd u dos indicdores no Plno de Ação. Mis iortnte do que not ou clssificção obtid elo indicdor é identificção dos ontos que ode ser elhordos. Foi co esse intuito que for rerdos u Plno de Ação r cd indicdor, u docuento que descreve de neir sintétic os resultdos geris d vlição do indicdor, elbordo elos vlidores ós et de vlidção. O docuento conté ens dus ágins r cd indicdor, frente e verso (FIG. A do Aêndice). Os itens de identificção são resentdos no too d rieir ágin. São resentdos o noe do indicdor, órgão e esso resonsável, not gerl obtid n vlição, clssificção de turidde e objetivo. O resultdo obtido é ilustrdo or u equeno gráfico que trz not obtid nos qutro eixos. O coro d rieir ágin do Plno de Ação trz ind s considerções geris sobre erforce, u descrição sucint dos sectos ositivos e ds lcuns do indicdor e cd u dos eixos d vlição. Procur-se destcr os sectos deterinntes d not obtid elo indicdor, ositivos ou negtivos. O Plno de Ação tbé se contitui u esço r se roor ções r elhori dos sectos considerdos deficientes. É iortnte encionr que ne todos os sectos são ssíveis de ções de elhori. Pode-se citr os robles relciondos à etodologi de cálculo do indicdor. Se etodologi de cálculo é considerd indequd r tender o objetivo roosto r o indicdor, então ess lcun só oderá ser resolvid co lterção d etodologi, o que significri substituição do indicdor. A sugestão d etodologi de cálculo dequd estrá resente no Plno de Ação no qudro de recoendções. 6. Resultdos cordos d AEI 2007, AEI 2009 e AEI 2010 A FIG. 7 trz o resultdo gerl d AEI 2007, 2009 e 2010, or áre de resultdos. Observ-se que, nu vlição de zero 100, o ortfólio de indicdores finlísticos d gestão r resultdos de Mins Geris recebeu u not de 54,3 n AEI 2007, 68,5 n de 2009 e 74,0 n de O cresciento ont que, e relção o conjunto de quesitos que coõe vlição, houve elhor r tods s áres de resultdo. A áre de resultdo co elhor vlição dos indicdores e 2010 foi Educção de Qulidde, já ior foi Inovção, Tecnologi e Qulidde. Figur7: Resultdo gerl or áre de resultdo, AEI 2007, 2009 e 2010 TOTAL 54,3 68,5 74,0 Educção de Qulidde 58,1 79,6 83,5 Vid Sudável 64,7 75,4 82,5 Qulidde Fiscl 59,8 75,4 80,8 Redução d Pobrez e Inclusão Produtiv 55,6 74,4 79,0 Investiento e Vlor Agregdo d Produção 54,9 74,2 79,2 Desenvolviento do Norte de 60,2 71,5 77,9 Defes Socil 54,1 70,2 72,3 Qulidde Abientl 59,9 65,7 74,6 Logístic de Integrção e Desenvolviento 33,7 65,1 69,5 Protgoniso Juvenil 48,3 63,2 68,5 Inovção, Tecnologi e Qulidde 39,3 59,0 64,2 Rede de Ciddes e Serviços 47,8 57,5 64,6 Qulidde e Inovção e Gestão Públic 39,7 57,0 66,2 0,0 10,0 20,0 30,0 40,0 50,0 60,0 70,0 80,0 90,0 100,0 AEI 2007 AEI 2009 AEI

13 Fonte: Unidde de Indicdores/Progr Estdo r Resultdos. Cure observr lgus liitções cerc d elhor bsolut o longo dos nos. É reciso slientr que AEI 2007, or exelo, foi relizd e 2010, ortnto, co u eríodo significtivo de defsge, que uentou dificuldde de reunir evidêncis que justificsse resosts si r lguns dos quesitos. Alé disso, coo enciondo nteriorente, u ercentul elevdo, de 32% dos indicdores revistos r 2007, não foi vlido. Destrte, diferenç de nível entre AEI 2007 e AEI 2009 não é devid ens gnhos de rodutividde e ccitção n gestão de indicdores, s tbé à udnç n coosição d crteir, que linh objetivos ideis indicdores de ensurção fctível. Outro destque refere-se o curto eríodo coreendido entre relizção d AEI 2009 e AEI 2010, enos de seis eses, qundo o idel seri u no. Os resultdos d AEI 2009, reunidos nos Plnos de Ação, não uder ser utilizdos r contrtção dos Acordos de Resultdos de Recoendções derivds d vlição de 2009, ts lir elhori observd entre AEI 2009 e AEI 2010, serão discutids co os resonsáveis elos indicdores nos órgãos estduis, co execttiv de erfeiçoento d orgnizção, d segurnç e d fcilidde de nuseio ds bses de ddos, or exelo, co reflexos eserdos r AEI A TAB. 2 deonstr coo foi distribuição or eixos r not gerl d crteir de indicdores. O núero bsoluto reresent not cuuld e cd eixo e, entre rênteses, resent-se o ercentul d not obtid e relção à not áxi de cd eixo. Tbel 2: Resultdo gerl or eixo, AEI 2007, 2009 e 2010 Áre de Resultdo Produção dos Ddos 25,1 (71,8%) 26,5 (75,6%) 27,6 (78,7%) Produção do Indicdor 2,4 (12,0%) 12,8 (63,8%) 17,2 (85,9%) Conceito e Metodologi 23,0 (76,6%) 21,5 (71,7%) 21,6 (72,0%) Uso e Counicção 3,9 (25,7%) 7,8 (52,1%) 7,7 (51,3%) Not Finl 54,3 AEI 2007 (54,3%) 68,5 AEI 2009 (68,5%) 74,0 AEI 2010 (74,0%) Fonte: Unidde de Indicdores/Progr Estdo r Resultdos. Percebe-se, el nálise d TAB. 2, que houve gnhos e todos os eixos, de , exceto e Conceito e Metodologi. Os quesitos que for cd eixo estão descritos no Aêndice, n FIG. A. A Produção dos Ddos recebeu iores nots grçs à elhor substncil e todos os quesitos, exceto o relciondo à ossibilidde de desgregção or unidde geográfic, que erneceu rticente constnte. A Produção do Indicdor teve o ior gnho cuuldo o longo dos nos. Por se trtr do eixo sob resonsbilidde diret d equie que relizou vlição, for reunidos esforços r uentr s nots dos indicdores, co efetiv relizção ds recoendções derivds ds vlições executivs. Alé disso, de 2009 r 2010, foi ossível roover udnçs ontuis, coo incororção de checgens sistetizds d rodução dos indicdores, verificção que gerou ior orgnizção ds eóris de cálculo e dos docuentos de descrição dos indicdores, or exelo. Entre AEI 2009 e AEI 2010 o ior gnho foi resultdo do quesito ssocido à checge e verificção do cálculo do indicdor, que uentou e qutro ontos not finl d crteir. 13

14 O eiixo Conceiito e Metoodologi teeve equen n qued o longo dds AEI. Issso orquee indiccdores ideis, sob o onto de viist etodo ológico, reesentes no cconjunto rrevisto r 20077, for suubstituídos e e 2009 e 2010 or indicdoress co qulificção eetodológic reltiivente enor, s ssíveeis de co onheento, enquunto os indicdores i s bnndondos nãão o er. A noot e Usso e Couunicção uuentou bstnte de 2007 r 2009, errnecendoo consttnte entre 2009 e Suõe--se que incororçãoo dos indiccdores finlísticos n gennd governentl os colocou e e evidêncci, ebor ind hjj uito esço r elhhorr: n TA AB. 2 é oossível notr que o eix xo teve rroxideente 50% d d su not otenncil áxi (7,7 onttos e 15). 7 Consider 7. ções Finiss O deesfio que se segue à relizção d AEI é o lnej ento ds ções de feedbck oss resoonsáveis eelos indicddores. É cerrto que cd d resonsávvel será vissitdo elo técnico d Uniddde, que resentrá o resultdoo d vliçção. O técnnico frá ss exlicçõees sobre oss resulltdos e ouvvirá s connsiderções do resonssável. Alé disso, o rresonsável receberá o Mnuul do Avllidor e o Plno de Açãão r que oss ser consultdo. c Entennde-se quee o cesso o Mnul do Avliidor elos resonsávveis é de fu undentll ioortânci rr o rocesso de erffeiçoento o dos indicdores. O M Mnul desscreve cd u ds crctterístics deesejáveis os indicdo ores, te u u funçãoo didátic e ode serr consuultdo no rrocesso de elborção e dos indicd dores ds insstituições. Ms ileenntção ds elhoris roosts no os Plnos de d Ação nãoo deve ser relizd r dee neeir dronnizd. Cdd instituiçãão te u dinâic róri dde funcionento. Oss orgãoos úblicoss estão e estágios diiferentes, co o reseitoo à rorição do con nhecientoo sobree s fontes de ddos, gerencien g nto d inforrção e etodologi de indicd dores. Nestee sentiido, roõe--se que ggend de exeecução ds ções de elhori sej definid cso cso. Outros ftores tbé deve d ser considerd dos nesse lnejen nto. Bsic ente doiss d ds rioridddes n execcução ds elhoris: o critérrios deve ser consideerdos n definição resulltdo d vlição e iortânci d áre do o onto de vist d geestão estrtéégic. Se oss indiccdores de u deter ind áre de resultdos, tid coo c rioriitári no lnejentoo estrtégico do governo, g tiveere u vlição ru ui, indubittvelente ess áre deeve receberr ri zi no lnejento d execuçãão dos lno os de elhoori. Nesse sentido, AEI é u instruuento quee contribui r dr foco no trblho relizddo el uniidde reson nsável eloo co nhentto dos indiccdores. A AEI A ve, oortnto, forrtlecer tividde dee onitor ento exerrcid el Unidde U dee Indiccdores. A FIG. F 8 ilustrr coo el se insere no n ciclo de rocedient tos nuis d d Unidde.. No rieiro tri estre equuie de técnnicos se ded dic à urção dos vlores fechdos do noo nterrior e, siultneentee, fz vlição ds ets ctuuds nos A Acordos de Resultdos. R. Conccluíd ess et, Unidde U dee Indicdorres trblh n ubliccção do Cderno C dee Indiccdores, cujjo conteúdoo é o conjuunto de ind dicdores ctudos nno no nteerior e co ets definids r o no corrente. Figu ur 8: Proceedientos nuis d tividde de onitor ento d Un nidde de Indicdores In Fontee: Unidde de Indicdores/P Progr Estdo r Resulltdos. 14

15 A AEI 2009 tbé foi relizd no rieiro triestre No entnto, coo ctução de indicdores e ets gerlente ocorre no finl do no (out-dez), os indicdores de 2010 já tinh sido ctudos qundo AEI 2009 foi concluíd. Não existiu u intervlo de teo r que s ções sugerids rtir d vlição d crteir de indicdores de 2009 fosse executds r o riorento dos indicdores ctudos r Por esse otivo, rtir de 2010 AEI ss ser relizd entre io e junho, coo ostr Figur 8. Aós conclusão d AEI será inicid execução ds elhoris sugerids nos Plnos de Ação (eríodo de julho setebro). Assi, s elhoris ileentds serão roveitds n et de negocição e ctução de indicdores e ets r o no seguinte. Co isso, eser-se que os indicdores ctudos gnhe e qulidde e, or conseqüênci, sej is be vlidos el AEI do no seguinte. A AEI roiciou u dignóstico objetivo d crteir de indicdores utilizd no odelo de contrtulizção d gestão r resultdos e Mins Geris. Dentre outrs inforções, o dignóstico trouxe u nálise do otencil de elhori de cd indicdor. A vlição ossibilitou sistetizção dos critérios que deve conduzir seleção dos indicdores, crindo u eóri institucionl que reúne s inforções relevntes sobre seus tributos, ntes tcitente cuulds elos resonsáveis elo seu onitorento. A AEI result ind n lição d trnsrênci e n diinuição d ssietri de inforção existente entre executores e gestores do rogrs governentis el ublicção dos tributos considerdos desejáveis os indicdores. A AEI contribui r o dureciento d gestão úblic bsed e evidênci: o uso de indicdores cujo érito é discutido de for objetiv e relicável. Alé disso, te otencil utilidde r outros governos estduis e de outrs esfers, tornndo ossível o benchrking e hoogeneizndo os gnhos co gestão de indicdores. A Unidde de Indicdores já relizou vlição d crteir de indicdores Os docuentos d AEI já for disonibilizdos os interessdos e, e breve, os resultdos serão divulgdos. A rtir de então, o trblho de erfeiçoento d crteir será feito, gor de neir tecnicente orientd. REFERÊNCIAS BIBLIOGRÁFICAS BECHELAINE, Cinthi Helen de Oliveir. A gestão úblic or resultdos no estdo de Mins Geris: u estudo de cso sobre o Progr Estdo r Resultdos. Monogrfi (grdução) Fundção João Pinheiro, Escol de Governo de Mins Geris. Belo Horizonte, GONÇALVES, Éber; CAMPOS, Eder Sá Alves; CARVALHO, Florence Fiuz de. Análise e reflexão sobre etodologis r vlição de ets de indicdores de icto n gestão úblic r resultdos. III Congresso CONSAD de Gestão Públic. Brsíli: CONSAD, GUIMARÃES, Tdeu Brreto; CAMPOS, Eder Sá. Gestão or Resultdos e Mins Geris: Análise Crític do Arrnjo Increentl de Monitorento e Avlição. XXXIII EnANPAD XXXIII Encontro d ANPAD. São Pulo: ANPAD, MINAS GERAIS. Acordo de Resultdos, 1ª Et, Siste de Plnejento e Gestão. Belo Horizonte: SEPLAG,

16 MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO. Secretri de Plnejento e Investiento Estrtégicos. Indicdores de rogrs: gui etodológico. Brsíli: Ministério do Plnejento, rço SCHIAVO-CAMPO, Slvtore; TOMMASI, Dniel. Mnging Governent Exenditure. Mnil,Philiines: Asin Develoent Bnk, STIGLITZ, Joseh E.; SEN, Arty; FITOUSSI, Jen-Pul. Reort by the Coission on the Mesureent of Econoic Perfornce nd Socil Progress Disonível e: < >. Acesso e 04/go. de Not 1 Os utores grdece contribuição d consultor Git Beker Busjeet n conceção d Avlição Executiv e os coonentes d Unidde de Indicdores do Progr Estdo r Resultdos que trblhr co finco r su concretizção. 2 O Progr Estdo r Resultdos foi crido el Lei Delegd n.º 112, de 25 de jneiro de O conhento dos indicdores finlísticos é feito el Unidde de Indicdores. Pr sber is sobre o Progr Estdo r Resultdos ver GUIMARÃES e CAMPOS (2008) e BECHELAINE (2009). 3 Disonível e: <htt:// docuentos-do-rogr>. 4 Disonível e: <htt:// docuentos-do-rogr>. 5 Trdução róri. Originl e inglês. 6 O forto do nul do vlidor construído r AEI foi insirdo nos guis do Progr Assessent Rting Tool (PART) do governo ericno. Mis inforções e: < htt:// 7 Disonível e: <htt:// 16

17 APÊNDICE Figur A: Plno de Ação Frente e Verso 17