Avaliação de programas públicos: desafios conceituais e metodológicos*

Transcrição

1 Avaliação de programa público: deafio conceiuai e meodológico* Frederico Luoa da Coa** Joé Cezar Caanhar** S UMÁRIO: 1. Inrodução; 2. O arcabouço eórico; 3. A meodologia uuai de avaliação; 4. Uma aplicação da meodologia de avaliação de programa ociai; 5. Concluõe. S UMMARY: 1. Inroducion; 2. Theoreical framework; 3. The uual evaluaion mehodologie; 4. An applicaion of he mehodology for ocial program evaluaion; 5. Concluding remark. P ALAVRAS-CHAVE: programa público; avaliação; meodologia. K EY WORDS: public program; evaluaion; mehodology. Ee arigo enfaiza a neceidade de avaliar programa público diane do aprofundameno da crie fical, da ecaez de recuro do eor público e da imprecindível inervenção governamenal para aender à população mai neceiada. A avaliação iemáica, conínua e eficaz urge como ferramena gerencial poderoa, fornecendo ao formuladore de políica pública e ao geore de programa condiçõe para aumenar a eficiência e efeividade do recuro aplicado em programa ociai. O exo ece conideraçõe obre o emaranhado conceiual que ainda prevalece nee campo, demonrado pela muliplicidade de conceio aplicávei, por diferene ipo de avaliação e pela variedade de criério aponado pelo eudioo da maéria. A aplicação do criério requer, por ua vez, forma epecífica de operacionalização, que ão conhecida como indicadore ociai, cuja definição ambém não é um pono pacífico. A avaliação é um conjuno de * Arigo recebido em e e aceio em maio Uma primeira verão meno abrangene, com o íulo Avaliação de programa ociai: limie e poibilidade, foi apreenada no 22 o Enconro Anual da Anpad, Foz do Iguaçu, de 27 a ** Profeore da Ebape/FGV. fred@fgv.br; caanhar@fgv.br. RAP Rio de Janeiro 37(5):969-92, Se./Ou. 2003

2 970 Frederico Luoa da Coa e Joé Cezar Caanhar écnica que adoa conceio diferenciado para e referir muia veze ao memo procedimeno. Porano, enquano não e avançar na eorização da práica e bucar o coneno neceário à conrução de paradigma conceiuai, cada eforço de avaliação vai requerer o eabelecimeno prévio de uma eruura de referência para a análie e o reinameno uperviionado do peoal envolvido. Profiionai experimenado podem adoar ee procedimeno na condução do rabalho de conuloria, ma nem odo o peoal écnico pode aumir ea arefa em ornar a práica da avaliação ainda mai difícil. De qualquer maneira, nem a dificuldade nem o rico devem er obáculo inuperável para a enaiva de e aplicar de forma iemáica ea meodologia. Afinal, ee é um campo, como muio ouro na adminiração, em que o aprendizado com a experiência práica conribui para a uperação da dificuldade conceiuai e operacionai. Evaluaing public program: mehodological and concepual challenge Thi paper emphaize he imporance of evaluaing public program, conidering he acuene of he fical crii, he lack of public ecor funding, and he indipenable governmen inervenion in order o mee he need of he underprivileged. Syemaic, coninuou and effecive evaluaion i a powerful managerial ool, allowing policymaker and program manager o increae he efficiency and effecivene of ocial program funding. The paper dicue he concepual maze ha ill prevail in hi field, revealed by he muliple concep ha can be applied, by he differen ype of evaluaion and by he variey of crieria preened by peciali. Crieria applicaion, on he oher hand, require pecific operaional form, known a ocial indicaor, whoe definiion i no unanimou eiher. Evaluaion i a e of echnique which ue diincive concep ofen o refer o he ame procedure. Therefore, unil here i ome progre in heorizing he pracice and finding he neceary conenu for he conrucion of concepual paradigm every evaluaion effor will require he previou eablihmen of a reference framework for analyi and upervied peronnel raining. Experienced profeional may adop hi procedure for conulancie, bu no all echnical peronnel can underake hi job wihou making evaluaion even more difficul. Bu neiher difficulie nor rik hould be an overwhelming obacle for rying o apply uch mehodology yemaically. Afer all, hi i a field uch a many oher in adminiraion in which learning wih pracice conribue for overcoming concepual and operaional hindrance. 1. Inrodução Hioricamene, na adminiração pública braileira não há a preocupação de avaliar programa público, em geral, e programa ociai, em paricular. Durane ano, a produção de conhecimeno écnico na buca da melhoria do padrõe de gerenciameno do eor público empre eeve muio mai vola-

3 Avaliação de Programa Público: Deafio Conceiuai e Meodológico 971 da para o proceo de formulação de programa do que para o relacionado a ua implemenação e avaliação. Exiem, enreano, evidência de que ee deineree hiórico eá diminuindo rapidamene. A razõe dea mudança decorrem da profunda ranformaçõe obervada na ociedade e no Eado braileiro dede meado do ano 1980 e, paricularmene, em ano mai recene. Com efeio, no ano 1980, a crie da dívida exerna e a inerrupção de um longo ciclo de crecimeno econômico aprofundaram a deigualdade ociai preene na realidade do paí. Por eu urno, a reforma eruurai empreendida no ano 1990 aberura comercial e inegração, reforma do Eado, deeaização, enre oura alargaram ainda mai ea aimeria na medida em que aumenaram o deemprego, ornaram precário o emprego remanecene e, coneqüenemene, reduziram o alário reai. A conjunura econômica defavorável provocou um crecimeno da demanda por açõe e erviço ociai, epecialmene o de naureza compenaória. Na conramão dea demanda crecene, verificou-e ainda um agravameno da crie fical, ampliando ainda mai a crônica ecaez de recuro do eor público, juamene num momeno em que e orna eencial e inadiável a ua inervenção para aender à população mai neceiada. A inervenção governamenal nea circunância é eencial, ano pelo imperaivo moral a ela inerene, quano por queõe de eraégia econômica, poi já e abe que a pobreza repreena um ério obáculo ao deenvolvimeno uenável. O que e coloca, enão, é a neceidade crucial e urgene de e ober maior eficiência e maior impaco no inveimeno governamenai em programa ociai. A avaliação iemáica, conínua e eficaz dee programa pode er um inrumeno fundamenal para e alcançar melhore reulado e proporcionar uma melhor uilização e conrole do recuro nele aplicado, além de fornecer ao formuladore de políica ociai e ao geore de programa dado imporane para o deenho de políica mai coniene e para a geão pública mai eficaz. Independenemene da conjunura de crie, a avaliação de deempenho empre eve imporância no eor público. Na medida em que o erviço público não êm um mercado conumidor compeiivo que poa ervir como medida da qualidade e eficácia de ua preação, obreudo pelo comporameno da demanda, o Eado é obrigado a proceder à avaliação regular de eu programa e aividade. A iniciaiva de reforma do Eado que e realizam em odo o cano do planea há mai de uma década e meia razem em eu bojo um deafio porenoo: fazê-lo funcionar melhor, porém, com um cuo menor (Kel, 1998:74-6). A buca dea melhoria paa pela avaliação do deempenho do programa público, o que eneja a poibilidade de avaliar a própria performance do aparelho eaal. Ou eja, quando e eabelecem a eficiência,

4 972 Frederico Luoa da Coa e Joé Cezar Caanhar eficácia e efeividade como medida de uceo da ação governamenal, impõe-e criar ambém meio de avaliar diferene alernaiva para e ober reulado equivalene (Kel, 1998:87). Uma vez que o poder público paa a delegar a agência auônoma e emprea privada a execução de eu erviço, crece a neceidade de avaliação. De fao, a deeaização do erviço público e a crecene auonomia conferida à agência pública, exigindo a adoção de forma de definição de deempenho em conrao, baeada na prévia definição de indicadore e medida de uceo, impõe à adminiração pública a neceidade de deenvolver inrumeno e meodologia de avaliação, ágei e de baixo cuo, capaze de oferecer ao dirigene bae mai ólida para a omada de deciõe em maéria de políica pública e à ociedade em geral uma apreciação mai precia obre o deempenho de ai agência. A avaliação de reulado paa a er, porano, pedra fundamenal na uenação da reforma do Eado. A eguir, o arcabouço eórico é expoo realando a variedade de conceio e meodologia de avaliação uilizado pelo eudioo da maéria e pelo organimo inernacionai, caracerizando o que e denomina aqui de emaranhado conceiual. O conhecimeno da divera opçõe eórica é fundamenal na ecolha do méodo mai adequado para cada ipo de programa em oda a eapa do proceo, dede a elaboração da meodologia aé a aferição do reulado. E ambém uma explanação da meodologia mai uada na avaliação do programa ociai, dealhando odo o proceo envolvido. A apreenação de uma meodologia de avaliação e acompanhameno do programa ociai deenvolvida para a Secrearia Municipal de Deenvolvimeno Social (SMDS) do município do Rio de Janeiro coniui a pare final do arigo. Mora-e, aravé de uma experiência do auore, o deafio e poibilidade de operacionalização de uma meodologia de avaliação que leva em cona a naureza do programa e o meio diponívei. 2. O arcabouço eórico A definição do que eja avaliação parece er quae conenual. De acordo, com a Unicef (1990), por exemplo, raa-e do exame iemáico e objeivo de um projeo ou programa, finalizado ou em curo, que conemple o eu deempenho, implemenação e reulado, com via à deerminação de ua eficiência, efeividade, impaco, uenabilidade e a relevância de eu objeivo. O propóio da avaliação é guiar o omadore de decião, orienandoo quano à coninuidade, neceidade de correçõe ou memo upenão de uma deerminada políica ou programa.

5 Avaliação de Programa Público: Deafio Conceiuai e Meodológico 973 Criério Se a avaliação é uma forma de menurar o deempenho de programa, é neceário definir medida para a aferição do reulado obido. Ela ão denominada de criério de avaliação e nee pono e encerra o coneno obre apeco conceiuai e meodológico no campo da avaliação de programa ou políica pública, dando lugar ao que e poderia chamar de um auênico emaranhado conceiual, que repreena um obáculo ao uo mai freqüene dea ferramena gerencial no eor público. Embora e aocie normalmene a avaliação de deempenho à menuração de eficiência na geão de programa público, ee não é, evidenemene, o único e, evenualmene, nem o mai imporane criério a er uilizado na avaliação. A lia do criério que podem er uilizado é longa e a ecolha de um, ou vário dele, depende do apeco que e deeja privilegiar na avaliação. Segundo o manual da Unicef, o mai comun ão: eficiência ermo originado na ciência econômica que ignifica a menor relação cuo/benefício poível para o alcance do objeivo eabelecido no programa; eficácia medida do grau em que o programa ainge o eu objeivo e mea; impaco (ou efeividade) indica e o projeo em efeio (poiivo) no ambiene exerno em que inerveio, em ermo écnico, econômico, ocioculurai, iniucionai e ambienai; uenabilidade mede a capacidade de coninuidade do efeio benéfico alcançado aravé do programa ocial, apó o eu érmino; análie cuo-efeividade imilar à idéia de cuo de oporunidade e ao conceio de perinência; é feia a comparação de forma alernaiva da ação ocial para a obenção de deerminado impaco, para er elecionada aquela aividade/projeo que aenda o objeivo com o menor cuo; aifação do beneficiário avalia a aiude do uuário em relação à qualidade do aendimeno que eá obendo do programa; eqüidade procura avaliar o grau em que o benefício de um programa eão endo diribuído de maneira jua e compaível com a neceidade do uuário. Indicadore A aplicação dee criério requer forma epecífica de operacionalização, já que coniuem medida indirea, ou eja, que devem er calculada a parir

6 974 Frederico Luoa da Coa e Joé Cezar Caanhar da idenificação e quanificação do reulado obido. Em geral, denominae ea oura caegoria de medida de indicadore. Aqui ambém enconramo uma variedade de forma de definir e uilizar ea medida, dependendo da área e do propóio da avaliação. Ao propor um iema de indicadore para a univeridade braileira, Schwarzman (1994) define rê ipo: imple, definido como aquele que ão expreo em ermo aboluo (número de profeore, área conruída ec.); de deempenho, que requerem um padrão ou um objeivo para comparação e ão relaivo (cuo por aluno, relação aluno/profeor ec.); gerai, aquele que ão gerado fora da iniuição (ou programa), com bae em eaíica gerai ou em opiniõe de epecialia (por exemplo, a avaliação do programa de pó-graduação realizada pela Cape). Um ouro exemplo de definição de indicadore para a avaliação do deempenho de programa público pode er enconrado na propoa de Indicadore de excelência, elaborada pelo Miniério de Previdência e Aiência Social, para erem uilizado como uma ferramena para a menuração e o acompanhameno do deempenho da gerência do eguro ocial do INSS. O rabalho propõe e define rê ipo de indicadore: primário, que expream medida elemenare de eficiência (empo médio de epera para a conceão de benefício, paricipação de benefício com demora uperior a 45 dia no oal de benefício concedido ec.); parciai de excelência, que procuram indicar a eficácia da operação (índice de cumprimeno de prazo, de velocidade na conceão ec.); globai de deempenho, conruído a parir do indicadore parciai e que viam a exprear o deempenho da geão do programa, aravé de uma medida única. Uma enaiva de iemaizar ea dicuão, reguardando ao memo empo a diveridade inerene ao ema, pode er enconrada em Rob Vo (1993), que diingue, do pono de via meodológico, pelo meno rê caegoria de indicadore ociai: de reulado; de inumo e de aceo. O indicadore de reulado refleem o nívei de aifação de neceidade báica alcançado. São ambém denominado de indicadore de nível de vida. Por exemplo: eperança de vida, moralidade infanil, grau de alfabeização, nívei de educação e nurição, enre ouro. O indicadore de inumo e referem ao meio (recuro) diponívei para e ober um deerminado padrão de vida. Ee meio para aender neceidade báica diina podem incluir, por exemplo, no campo da nurição, a renda e a diponibilidade de alimeno; no campo da aúde, a diponibilidade de água poável, de cenro de aúde e o número de médico por habiane e; na área da educação, o número de ecola e de profeore por aluno. Já o indicadore de aceo idenificam o deerminane que permiem ornar efeiva (e em que grau) a uilização de recuro diponívei para aender deerminada neceidade báica. Para fin de avaliação de políica e programa ociai ee erceiro ipo de indicadore é paricularmene relevan-

7 Avaliação de Programa Público: Deafio Conceiuai e Meodológico 975 e, já que a exiência de erviço báico não lhe aegura o aceo univeral. Na realidade, é comum a exiência de faore que dificulam a uilização do erviço diponívei, como, por exemplo, a diância geográfica (obreudo em área de população dipera) e o cuo privado relacionado com o uo de erviço público (maerial ecolar, ranpore, remédio ec.). Pode-e mencionar ambém elemeno mai difícei de erem quanificado, como a qualidade do erviço oferecido, caraceríica culurai da região ec. Padrõe A avaliação do deempenho de um programa requer ainda que e definam padrõe de referência para julgar ee deempenho. Ele poderiam er: aboluo, a mea eabelecida por um programa ão coniderada como o padrão a er alcançado e o devio devem er regirado e analiado; hiórico, comparam reulado de um período com o obido em período aneriore; normaivo, comparam o deempenho de um programa com ouro imilare ou com programa emelhane realizado em ouro nívei de governo, região, ou no exerior; eórico, ão o eabelecido na própria elaboração do programa, ob a hipóee da obenção do reulado eperado, dado o recuro diponívei; negociado ou de compromio, ão aquele que e baeiam em algum procedimeno epecífico para ua fixação, geralmene decorrene de acordo enre a pare envolvida na geão de programa e o formuladore. Uma meodologia de avaliação de programa ociai envolve, enão, a ecolha de um conjuno de criério e o uo de um elenco de indicadore (ou oura forma de menuração) coniene com o criério ecolhido e que permiam efeuar um julgameno coninuado e eficaz acerca do deempenho de um programa ou conjuno de programa, mediane o confrono com o padrõe de deempenho aneriormene eabelecido. O que avaliar? Permanece, odavia, uma queão crucial e preliminar: o que avaliar? Segundo Donald Kel (1998:87-92), o deenho de um programa público ou a ação de uma agência governamenal pode er ineizado em uma eqüência de definiçõe correpondene a grau uceivo de agregação de objeivo, no cao mião > mea > objeivo. Ouro auore poderão hierarquizar de oura maneira ea eqüência de agregação de compromio, colocando depoi da mião (ou propóio) o objeivo e ó em eguida a mea. Ee rabalho adoa ea úlima perpeciva, mai coniene com a radição braileira nee campo (propóio > objeivo > mea > aividade).

8 976 Frederico Luoa da Coa e Joé Cezar Caanhar Tomando como exemplo um programa de aúde pública, a mião coniiria na prevenção de doença, o objeivo poderia er definido como uma campanha de vacinação e a mea exprea como o compromio de vacinar oda a população em idade pré-ecolar. A aferição do deempenho pode e referir ao reulado do programa, que mediriam o alcance da mião ou o produo gerado pela implemenação do programa. 1 O proceo de avaliação erá faciliado e mai úil e baeado em um planejameno coniene, capaz de eabelecer: relaçõe cauai enre aividade e produo; produo e reulado que permiam aingir a mea viada; reulado que cauem efeio mai ou meno precio e repondam pelo alcance de um objeivo epecífico; e efeio que produzam o impaco preendido pelo propóio ou mião do programa, de al ore que e buque fazer com que a aividade de fao conribuam para o alcance dee memo propóio. É a facibilidade dea relaçõe cauai que dá cona da coniência do planejameno e permie eperar que a inervenção numa inância (ou variável) paricular dee proceo, como que uma paricular definição de aividade, produza um deerminado efeio numa inância (ou variável) mai abrangene, como no objeivo de um deerminado programa: propóio ou mião impaco objeivo efeio mea reulado aividade produo Uma maneira de permiir que a avaliação de programa público poa conribuir para ear a própria coniência do planejameno é aravé da definição prévia da mariz lógica do programa. 2 Segundo Wholey (1994:15-20), a conrução da mariz lógica começa pela idenificação do objeivo gerai e epecífico do programa e do indicadore de performance (ipo de evidência) pelo quai o programa erá avaliado, bem como a indicação da fone de dado que erão uada para a menuraçõe, comparaçõe e análi- 1 Aqui ambém exiem muia perpeciva diferene para deignar o ipo de avaliação de reulado que podem e concenrar na mea (produo) ou no impaco (alcance do propóio ou mião), adoando denominaçõe divera para a mema arefa. 2 Adoamo aqui a denominação mariz lógica do programa, com o memo enido de marco lógico, ermo conagrado pelo BID e pela Cepal (BID, 1994). Já na lieraura nore-americana ão uuai a denominaçõe lógica do programa (program logic) ou eruura do programa (program deign), para deignar inrumeno emelhane ao definido pelo BID/Cepal (Wholey e al., 1994).

9 Avaliação de Programa Público: Deafio Conceiuai e Meodológico 977 e neceária. Num egundo momeno a meodologia da mariz lógica volae para a idenificação do recuro (financeiro, humano e de infra-eruura) alocado ao programa, a aividade previa, o reulado eperado e a relaçõe cauai (uma paricular combinação de recuro, permiindo a realização de um deerminado conjuno de aividade, que levará à produção de deerminado reulado, que, preume-e, permiirão que e alcancem deerminado objeivo aociado ao programa) que a eoria por rá do programa preupõe que podem er aumida. Noe-e que um apeco práico imporane no deenvolvimeno da mariz lógica é a idenificação de reulado inermediário (Wholey e al., 1994:20) que aociem deerminada aividade do programa a um ou mai objeivo do memo. O quadro 1 ilura, para o cao hipoéico de um programa de agriculura irrigada, a maneira como e pode proceder para idenificar a mariz lógica de um programa e como ee modelo pode conribuir para uma avaliação adequada e eficaz. Reale-e que e raa apena de um eboço, já que a mariz definiiva depende do eudo dealhado do programa. Quadro 1 Eboço da mariz lógica do projeo de agriculura irrigada Inpu do programa Aividade do programa Reulado imediao Reulado (impaco) de médio prazo Reulado (impaco) de longo prazo Faore conexuai Recuro financeiro Peoal alocado ao programa Recuro de reinameno (maerial inrucional) Infra-eruura Financiameno à produção Apoio à comercialização Treinameno Aiência écnica Apoio à comercialização Treinameno Aiência écnica Realização de obra de irrigação Mudança no iema produivo Melhoria de volume de produção e valor agregado Melhoria de renda Manuenção de nívei adequado de endividameno Inalação de agroindúria e erviço correlao Mudança no iema de comercialização da produção Aumeno no nívei de aociação e inegração enre o uuário Mudança no padrõe de vida da populaçõe beneficiada Redução da ingerência do eor público na operação do programa coninua

10 978 Frederico Luoa da Coa e Joé Cezar Caanhar Inpu do programa Aividade do programa Reulado imediao Reulado (impaco) de médio prazo Reulado (impaco) de longo prazo Faore conexuai Equipameno Produore rurai elegívei para o projeo Aquiição e diribuição de equipameno para irrigação Cadarameno e idenificação do perfi do beneficiário Manuenção de nívei adequado de arrecadação x cuo de operação Manuenção de nívei mínimo de inadimplência Manuenção de nívei mínimo de ranferência de loe O faore conexuai mencionado na mariz acima referem-e a apeco que eão fora de conrole da equipe de planejameno e geão do projeo, ma que podem exercer impaco poiivo ou negaivo obre o reulado do projeo, ai como: caraceríica empreendedora do beneficiário, caraceríica de liderança comuniária, perfi de gerene envolvido na execução do projeo, auação de liderança políica locai e regionai, enre ouro. A idenificação dee faore e a ua relação com o reulado do projeo ão imporane para uma melhor compreenão da dinâmica do programa, epecialmene quando e almeja replicá-lo. O modelo lógico do projeo pode er deenhado de oura forma, que complemena a anerior, relacionando objeivo do projeo (explício ou implício) a variávei operacionai e a indicadore (forma de menuração) que permiam menurar o grau em que o objeivo gerai e epecífico do projeo vão endo aingido, como mora o quadro 2. Quadro 2 Exemplo de modelo lógico Objeivo Variável Indicador Informação neceária Méodo de colea de dado Aumenar a produção agrícola do beneficiário do projeo Volume da produção agrícola Valor da produção agrícola Quanidade produzida por culura Faurameno com a produção (por culura) Dado obre produção Dado obre receia financeira Pequia ecundária (anuário de produção) Pequia de campo

11 Avaliação de Programa Público: Deafio Conceiuai e Meodológico 979 É evidene que avaliar deempenho aravé de reulado (ou impaco de longo prazo) é mai imporane (e poliicamene enador) quando e deeja aferir a mudança efeiva que um programa poderia ear promovendo. Ocorre, odavia, que quae empre é impoível iolar o efeio de faore exerno ao programa obre a mudança ocorrida. Na práica, a avaliaçõe da produção (exprea na mariz lógica pelo inpu e aividade do programa) e do reulado imediao ão a única que envolvem, efeivamene, apena o faore (variávei) que podem er conrolado pelo geore do programa e que devem fazer pare, porano, do proceo gerencial. A avaliação de reulado (ou impaco) de médio e longo prazo, embora não deva er deconiderada, deve er empreendida com meodologia e eraégia de implemenação mai complexa, complemenando, periodicamene, a avaliação de produção (Kel, 1998). O dilema obre qual deve er o foco da avaliação reflee-e na exiência de diferene meodologia de avaliação, que erão decria de forma ucina a eguir. 3. A meodologia uuai de avaliação A experiência de avaliação de programa podem er agrupada, para fin analíico, em rê meodologia báica (Sulbrand, 1993). Avaliação de mea (realização de produção ou produo) É o ipo mai radicional e em como propóio medir o grau de êxio que um programa obém com relação ao alcance de mea previamene eabelecida. Mea do programa ão o produo mai imediao (ou concreo) que dele decorrem peoa aendida em cenro de aúde; número de leio hopialare; número de hora de aula, enre ouro. Ea modalidade de avaliação preupõe que e aribuam valore a um conjuno de mea, definindo-e o êxio relaivo do programa em função do grau em que ai mea enham ido cumprida. Traa-e, porano, de uma avaliação ex-po faco, ou eja, requer que o programa (ou uma eapa do memo) enha ido concluído para e poder avaliá-lo. Enre a principai limiaçõe dee ipo de avaliação, pode-e ciar: a dificuldade de epecificar a mea de forma precia; a exiência de vária mea; a eleção de mea a erem incluída no proceo de avaliação; mudança na mea ao longo da própria execução do programa.

12 980 Frederico Luoa da Coa e Joé Cezar Caanhar Avaliação de impaco (alcance do propóio ou mião) A avaliação de impaco procura idenificar o efeio produzido obre uma população-alvo de um programa ocial. Buca-e verificar não apena e a aividade previa foram execuada, como ambém e o reulado finai que e eperavam foram igualmene alcançado. O foco dee ipo de eudo é, em ínee, deecar mudança na condiçõe de vida de um grupo-alvo ou de uma comunidade, como reulado de um programa e em que medida a mudança ocorreram na direção deejada. O problema cenral a inveigar nee cao é a efeividade do programa e, para coneguir ee ineno, e recorre a mecanimo que permiam eabelecer relaçõe cauai enre a açõe de um programa e o reulado final obido. O objeivo dee ipo de avaliação pode er definido como endo o de idenificar o efeio líquido de uma inervenção ocial. À emelhança da avaliação de mea, decria aneriormene, ea abordagem é realizada apó o encerrameno do programa ou de eapa do memo. Avaliação de proceo Ea modalidade de avaliação inveiga de forma iemáica o deenvolvimeno de programa ociai com o propóio de: medir a coberura do programa ocial; eabelecer o grau em que eá alcançando a população beneficiária; e, principalmene, acompanhar eu proceo inerno. Seu objeivo é deecar poívei defeio na elaboração do procedimeno, idenificar barreira e obáculo à ua implemenação e gerar dado imporane para ua reprogramação, aravé do regiro de eveno e de aividade. Aim, o uo adequado da informaçõe produzida durane o deenvolvimeno do programa permie inroduzir mudança no eu coneúdo durane a própria execução. Ao conrário, porano, do enfoque aneriore, ea modalidade de avaliação e realiza imulaneamene com o deenvolvimeno do programa, endo ambém chamada de avaliação formaiva. Sua aplicação requer, odavia, que e poa deenhar o fluxo e proceo de programa. Além dio, preupõe a exiência de um adequado iema de informaçõe gerenciai, que erviram de bae ao rabalho do geore e do avaliadore na época oporuna. 4. Uma aplicação da meodologia de avaliação de programa ociai Um iema de avaliação compleo uiliza meodologia que prevêem a avaliação de reulado e a avaliação de proceo. Na eqüência, ão apreena-

13 Avaliação de Programa Público: Deafio Conceiuai e Meodológico 981 da a definiçõe e a forma de operacionalização uilizada no modelo propoo. No fim dee arigo, como exemplo, a caegoria meodológica ão aplicada em um programa da Secrearia Municipal de Deenvolvimeno Social do município do Rio de Janeiro. Avaliação de reulado Aqui, reulado ão definido como coniuído por reulado imediao, reulado (impaco) de médio prazo e reulado (impaco) de longo prazo. Aim, para a avaliação ugere-e o uo de indicadore de impaco para a menuração do reulado de longo prazo, relacionado ao objeivo gerai do programa e de indicadore de reulado para menurar o reulado imediao e de médio prazo. O indicadore de reulado menuram o efeio do programa: juno à população-alvo como um odo e juno ao uuário do programa. No primeiro cao, devem er levanado doi ipo de indicadore de reulado, com pequia de campo ou o auxílio de bae de dado e/ou cadaro já exiene: grau de coberura geral mede o índice de coberura da populaçãoalvo pelo programa. Tano o défici como o uperávi de peoa beneficiada ão moivo para mudança de roa no programa. O primeiro demonra a neceidade de expanão, e o egundo, que eá havendo deperdício de recuro (peoa não-elegívei como população-alvo eão e beneficiando); grau de coberura diferenciada do programa mede a paricipação diferenciada do ubgrupo da população-alvo propoa. Ea axa pode reraar a dicriminação (ou vié) na eleção do cliene do programa em função de região, faixa eária, exo ec. Quano ao egundo pono, ou eja, a avaliação de reulado juno ao uuário do programa, podem er uilizado indicadore de aferição de benefício, que levam em conideração o objeivo epecífico de cada programa ou projeo. Rob Vo (1993) cia algun exemplo de indicadore normalmene mai uilizado juno ao uuário do programa e à população-alvo: para programa de nurição axa de denurição por faixa eária; de moralidade e de morbidade; para programa de educação axa de analfabeimo; de repeência; de evaão; coeficiene de ecolarização e grau de ecolaridade;

14 982 Frederico Luoa da Coa e Joé Cezar Caanhar para programa de aúde axa de moralidade em geral; de moralidade infanil; de moralidade maerna; de naalidade; de fecundidade e eperança de vida ao nacer; para programa de habiação défici quaniaivo de moradia; qualidade de conrução da moradia e diponibilidade de erviço báico. O indicadore de inumo aponam o meio ou o recuro diponívei para o alcance do objeivo propoo. Recuro ecao e inadequado (em ermo financeiro, de mão-de-obra, de maerial ec.) endem quae empre a compromeer o reulado eperado. Vo (1993) menciona algun exemplo mai comun de indicadore de inumo, como: para programa de nurição diponibilidade de alimeno por peoa; para programa de educação relaçõe aluno/profeor; aluno/ecola; número de érie oferecida por eabelecimeno ecolar e diponibilidade de maerial didáico por aluno; para programa de aúde número de médico por habiane; de poo de aúde por habiane; de leio por habiane e de vacina diponívei por habiane. Já o indicadore de aceo idenificam o deerminane que permiem ornar efeiva a uilização do recuro diponívei no programa para o alcance da mea previa. O mai comun ão: para programa de aúde número de conula médica por adulo equivalene; diância geográfica ao erviço de aúde mai pero; renda diponível por família (dado úil para viabilizar a compra de medicameno, por exemplo) e faore culurai; para programa de educação diância da ecola; adequação curricular e renda diponível por família (para poibiliar, por exemplo, a compra de maerial ecolar). Além dio, a aplicação de queionário permie medir a aifação da clienela, endo um bom indicador de qualidade, ma não o único nem o mai compleo. Nee enido ainda é poível eabelecer indicadore compoo aravé da conrução de índice formado por um conjuno de aribuo definido a parir da caraceríica do erviço.

15 Avaliação de Programa Público: Deafio Conceiuai e Meodológico 983 Avaliação de proceo A avaliação de proceo pode er definida como a maneira de idenificar o verdadeiro coneúdo de um programa público, e ele eá endo realizado como previo, e eá alcançando o público para o qual foi concebido e e o benefício eão endo diribuído na inenidade previa (Scheirer, 1994:40). A avaliação de proceo requer, porano, que e deenvolvam méodo para reponder a rê perguna (Scheirer, 1994:40-41): de que (e como) e coniui o programa em paua? (méodo para deenvolver e epecificar o componene de um programa); o que é, na realidade, enregue ao beneficiário? (méodo para menurar a implemenação do programa); por que exiem diferença enre o objeivo (e inençõe) do programa e o que ão realmene realizado? (avaliar faore que influenciam a implemenação, provocando mudança enre o previo e o realizado). Componene de um programa A decrição complea e adequada do componene de um programa é eencial para e avaliar a ua execução. Componene ão a eraégia, aividade, comporameno, forma de comunicação e ecnologia neceário para a implemenação do programa, bem como a epecificação do beneficiário e a iuaçõe em que e dá a implemenação. O quadro 3 reume a caegoria incluída em componene de um programa, exemplificando-a. Quadro 3 Exemplo de componene de um programa Tipo de componene Exemplo Beneficiário preendido Caraceríica ociodemográfica apropriada para o programa Faixa eária; enia; nível de renda; iuação de aúde; gênero Requiio de elegibilidade Somene minoria; omene deempregado há mai de rê mee; omene idoo Mecanimo de recruameno Por organizaçõe exiene; anúncio na mídia; divulgação informal Proceo de eleção de beneficiário Auo-eleção por criério do programa; primeiro a chegar; exame coninua

16 984 Frederico Luoa da Coa e Joé Cezar Caanhar Tipo de componene Exemplo Conexo iniucional previo para a implemenação do programa Tipo de organizaçõe pública que vão paricipar da execução do programa e ua caraceríica Ecriório decenralizado de órgão federai; ecrearia eaduai; órgão municipai Organizaçõe ociai comuniária Parceria com o eor privado; parceria com organizaçõe comuniária Forma previa de execução Aividade: quem faz o quê? Com quem? Funcionário dão informaçõe a uuário; agene ociai abordam criança de rua; profiionai paricipam volunariamene de programa de reinameno (are, informáica) Recuro humano: de que ipo, com que formação e experiência? Maeriai (equipameno, infra-eruura) neceário para a execução do programa Médico ou agene de aúde para programa de aúde da família; aiene ociai para programa de aiência a menino de rua Livro e maerial didáico adequado; maerial para reinameno de funcionário envolvido Informação e iema de informação Acear regiro informaizado de beneficiário elegívei; maner regiro obre aendimeno para avaliação Ecopo previo para o programa Número de órgão e unidade envolvido no programa; número de beneficiário previo Fone: Scheirer, 1994:46. A adequada e precia idenificação do componene do programa permiirá que e avalie quai apeco do programa foram implemenado como previo, quai não foram e quai faore influenciaram evenuai dicrepância na implemenação. Um ouro apeco que a correa epecificação do componene permie avaliar diz repeio à medida que o ecopo do programa (beneficiário preendido) foi obervado. Além dio, poibiliará conjecurar obre o elo enre o reulado da implemenação e o reulado do programa propriamene dio (em ermo de produção, reulado inermediário, impaco ec.). Um apeco inereane a er obervado é que, ao memo empo em que a epecificação (ou dealhameno) do coneúdo do programa é uma condição preliminar para a avaliação de proceo, a própria iniciaiva de e planejar e realizar a avaliação de proceo conribui para uma epecificação mai adequada e realia do coneúdo do programa. Noe-e que io é uma condição imporane para, de um lado, aegurar que o programa eja mai efeivo (já que a coniência inerna do programa erá paado por um crivo preliminar) e, de ouro, que a avaliação de reulado e impaco eja mai efi-

17 Avaliação de Programa Público: Deafio Conceiuai e Meodológico 985 caz uma vez que o deempenho do programa erá comparado com mea e expecaiva mai coerene e realia. Para permiir que a avaliação de proceo poa melhorar o deenho e a epecificação de um programa público, alguma écnica podem er uilizada. Avaliação formaiva: baeada em dado coleado de projeo piloo e de beneficiário, ao longo da realização de uma deerminada inervenção e que permie ober informaçõe obre a viabilidade de deerminado aividade e inrumeno e em que medida ele ão adequado ao deenho planejado e ao beneficiário previo; Verificação da avaliabilidade : conjuno de proceo iemáico para o deenvolvimeno adequado da eoria ubjacene a um dado programa público, e dealhar e clarificar o uo previo para o dado no proceo de avaliação, ane do início de uma avaliação em ecala complea. Seu pao mai imporane incluem (Scheirer, 1994:49-50): a) envolver o principai formuladore de políica, gerene e funcionário aravé de uma érie de reuniõe para clarificar ua expecaiva para o programa e para a avaliação propriamene dia; b) uando um modelo de diagrama denominado mariz lógica, dealhar a relaçõe cauai eperada enre rê apeco do programa: recuro alocado ao programa, realização da aividade epecífica previa pelo programa e reulado eperado; c) refinameno da eoria ubjacene ao programa, por um proceo ieraivo, uando viia ao locai do projeo e informaçõe diponívei, para examinar a realidade da operaçõe no campo e em que medida a eoria propoa é plauível; d) clarificar o uo previo para a informaçõe obida com a avaliação, mediane dicuõe com formuladore de políica e gerene do programa, incluindo mudança no próprio programa. Uo da eoria para ajudar na epecificação do programa: aplicação de eoria relevane para o ema ubanivo do qual raa o programa, e o uo de dado para elucidar proceo ubjacene. Ee ipo de avaliação de proceo é imporane não apena para epecificar o coneúdo do programa como ambém para vincular aividade do programa com medida (indicadore) de reulado a erem uilizado em poeriore avaliaçõe de impaco.

18 986 Frederico Luoa da Coa e Joé Cezar Caanhar O ermo eoria refere-e aqui a princípio iner-relacionado que explicam e permiem upor o comporameno de uma peoa, grupo ou organização. Chen (1990) diingue doi grande ipo de eoria: a normaiva, que define o que um programa deveria er e a caual, que decreve empiricamene a relaçõe cauai enre oluçõe propoa (incluindo faore conexuai) e o reulado obido. Um exemplo práico O auore dee arigo pariciparam da equipe da Ebape da FGV encarregada de deenvolver uma propoa de meodologia de avaliação e monioração do programa adminirado pela Secrearia Municipal de Deenvolvimeno Social (SMDS) do município do Rio de Janeiro. A propoa apreenada, e decria reumidamene no anexo, foi uma oporunidade inereane de ear o limie e a poibilidade da avaliação de programa público. O exercício ó chega aé o egundo nível de agregação do compromio programáico (objeivo gerai e objeivo epecífico) e define apena indicadore de impaco (para o objeivo gerai) e de reulado (para odo o objeivo epecífico). Embora não enham ido dealhado o procedimeno neceário para a avaliação de proceo, procurou-e idenificar na mariz lógica, ob o íulo fone de verificação, a fone de dado e o inrumeno de colea de informação neceário para realizar-e a avaliação. Procurou-e indicar na mema mariz, ob o íulo preupoo, eveno e procedimeno para que a informaçõe neceária para a avaliação foem obida e o indicadore ugerido calculado. Ee elemeno podem auxiliar no eabelecimeno poerior do pao e mecanimo neceário para a avaliação de proceo, bem como na reflexão obre o aprimorameno da lógica do programa. Um apeco inereane a realar obre o exemplo apreenado refere-e ao fao de que a mariz propoa foi conruída a parir de uma ampla paricipação e envolvimeno do formuladore da políica e gerene do programa, bem como reulou de um proceo ieraivo no qual a propoa foi gradualmene aprimorada, uilizando aim a eqüência analíica propoa na meodologia denominada acima de verificação de avaliabilidade, que, epera-e, pode fazer com que o proceo de avaliação ocorra de forma mai harmonioa e eficaz e eu reulado ejam efeivamene uilizado. 5. Concluõe

19 Avaliação de Programa Público: Deafio Conceiuai e Meodológico 987 O grande deafio para a dieminação da práica da avaliação de projeo no eor público é, em dúvida, enconrar forma práica de menurar o deempenho e fornecer ao reponável pela geão do programa ociai, bem como para o demai aore envolvido, informaçõe úei para a avaliação obre o efeio de ai programa, neceidade de correçõe, ou memo da inviabilidade do programa. Como vimo, a dificuldade meodológica acabam levando à uilização de indicadore que e aplicam, predominanemene, ao apeco da produção do programa (alcance da mea, ou objeivo). É claro que ea dificuldade práica pode levar o geore de programa público a caírem na armadilha de coniderar o proceo de aferição, epecialmene o de produção, como um fim em i memo. Ma, conforme lembra Kel, o objeivo báico do proceo não é produzir número e im melhorar o reulado. Deve-e er empre em mene que a inovação adminiraiva imporane é praicar a adminiração por deempenho e não a aferição do deempenho. A avaliação é um conjuno de écnica que adoa conceio diferenciado para e referir muia veze ao memo procedimeno. Enquano não e avançar na eorização da práica e bucar o coneno neceário à conrução de paradigma conceiuai, cada eforço de avaliação vai requerer o eabelecimeno prévio de uma eruura de referência para a análie e o reinameno uperviionado do peoal envolvido. Profiionai experimenado podem adoar ee procedimeno na condução do rabalho de conuloria, ma nem odo o peoal écnico pode aumir ea arefa em ornar a práica da avaliação ainda mai difícil. A condição de poibilidade da avaliação é a coniência do planejameno. De qualquer maneira, nem a dificuldade nem o rico mencionado acima devem e coniuir num obáculo inuperável para a enaiva de e aplicar de forma iemáica ea meodologia. Afinal, ee é um campo, como muio ouro na adminiração, em que o aprendizado com a experiência práica conribui para a uperação da dificuldade conceiuai e operacionai. Referência bibliográfica BID/INDES/OFICINA DE EVALUACIÓN. El marco lógico BRASIL. MPAS. SUBSECRETARIA DE PLANEJAMENTO E ORÇAMENTO. Indicadore de excelência. /d. (mimeo). CHEN, H. T. Theory driven evaluaion. Newbury Park: Sage, COHEN, Erneo; FRANCO, Rolando. Evaluación de proyeo ociale. Madrid: Siglo XXI, 1993.

20 988 Frederico Luoa da Coa e Joé Cezar Caanhar COSTA, Frederico Luoa da (Coord.). Foralecimeno iniucional da Secrearia de Deenvolvimeno Social da Prefeiura da Cidade do Rio de Janeiro. Quaro módulo: propoa de um iema de moniorameno e avaliação para a SMDS/RJ. Rio de Janeiro: FGV, FAYOL, Henri. Adminiraion indurielle e generale: prevoyance, organiaion, commandemen, coordinaion, conrole. Pari: Dunod, JENKINS, Bill; GRAY, Andrew. Evaluación y el uuario: la experiencia del Reino Unido. Geión y Análii de Políica Pública. Madrid, e./dic KETTL, Donald F. (1996) A revolução global: reforma da adminiração do eor público. In: BRESSER-PEREIRA, Luiz Carlo; SPINK, Peer. Reforma do Eado e adminiração pública gerencial. Rio de Janeiro: FGV, RICO, Elizabeh Melo (org.). Avaliação de políica ociai: uma queão em debae. São Paulo: Corez; Iniuo de Eudo Epeciai, ROSSI, Peer; FREEMAN, Howard. Evalución: un enfoque iemáico. Thouand Oak: Sage, SCHEIRER, Mary Ann. Deigning and uing proce evaluaion. In: WHOLEY, Joeph S.; HATRY, Harry P.; NEWCOMER, Kahryn E. (Ed.). Handbook of pracical program evaluaion. San Francico: Joey-Ba Publiher, SCHWARTZMAN, Jacque. Um iema de indicadore para a univeridade braileira. São Paulo: Nupe/USP, (Documeno de rabalho 5/94). SFEZ, Lucien. Criique de la deciión. 4. ed. Pari: Pree de la Fondaion Naionale de Science Poliique, SUBIRATS, Joan. Lo inrumeno de la políica, el debae público y el proceo de evaluación. [.l.]: [.ed.], [.d.]. SULBRANDT, Joé. La evaluación de lo programa ociale: una perpeciva críica de lo modelo uuale. In: KLIKSBERG, Bernardo (Org.). Pobreza: un ema impoergable. México: Fondo de Culura Economica, TENÓRIO, Fernando Guilherme (Coord.) e al. Avaliação de projeo comuniário uma abordagem práica. São Paulo: Ediçõe Loyola, UNICEF. Guide for monioring and evaluaion. New York: Unicef, VOS, Rob. Hacia un iema de indicadore ociale. Wahingon: BID/Inde, WHOLEY, Joeph S. Aeing he feaibiliy and likely uefulne of evaluaion. In: WHOLEY, Joeph S.; HATRY, Harry P.; NEWCOMER, Kahryn E. (Ed.). Handbook of pracical program evaluaion. San Francico: Joey-Ba Publiher, WHOLEY, Joeph S.; HATRY, Harry P.; NEWCOMER, Kahryn E. (Ed.). Handbook of pracical program evaluaion. San Francico: Joey-Ba Publiher, 1994.

21 Avaliação de Programa Público: Deafio Conceiuai e Meodológico 989 Anexo Programa Rio Criança Maravilhoa Ee programa do Bird engloba o Programa Rio Creche da Secrearia Municipal de Deenvolvimeno Social e a açõe de oura ecrearia municipai. Objeivo geral Indicadore de impaco Fone de verificação Preupoo Conribuir para ampliar e melhorar a qualidade do erviço preado à criança de 0 a ei ano na área de aúde, educação e deenvolvimeno ocial. Taxa de moralidade de menore de cinco ano (por mil naivivo). Ceno demográfico (IBGE) para o município e/ou eimaiva preliminare do IBGE. Criar procedimeno para a obenção dea eaíica pelo meno de cinco em cinco ano, e com razoável grau de aualização. Taxa de denurição infanil: menore de cinco ano com peo deficiene para a alura (denurição aguda) e alura deficiene para a idade (denurição crônica). Eaíica do Benfam. Objeivo epecífico Indicadore de reulado Fone de verificação Preupoo Reduzir a axa de morbidade e de moralidade infanil de criança menore de cinco ano. Número de cao de diarréia por 100 mil. Número de cao de IRA (infecçõe repiraória aguda) por 100 mil. Número de cao de denurição por 100 mil. Número de cao de doença de noificação compulória por 100 mil. Coberura vacinal (%). Taxa de moralidade infanil (por mil naivivo). Taxa de moralidade de criança menore de cinco ano (por mil naivivo). SMS/SIG (menal). Criar procedimeno para colea da informação. coninua

22 990 Frederico Luoa da Coa e Joé Cezar Caanhar Objeivo epecífico Indicadore de reulado Fone de verificação Preupoo Índice geral de qualidade do erviço (índice com inervalo de variação enre 0 e 100) no poo de aúde/hopiai do município para aendimeno de criança de 0 a ei ano. Queionário a er aplicado pela upervião na unidade de execução da SMS (anual). Monar queionário de avaliação com o auxílio de epecialia, definindo aribuo e ponderaçõe(padrõe de qualidade). Reduzir a axa de morbidade e de moralidade maerna. Coberura do pré-naal: percenual de geane mariculada no prénaal (%). Taxa de moralidade maerna (por mil mulhere). SMS/SIG (menal). Criar procedimeno para colea da informação. Número de criança com amamenação naural em relação ao oal de criança com aé ei mee de vida (%). SMS/campanha de vacinação. Criar procedimeno para colea da informação. Garanir o aceo e a permanência da criança com neceidade epecífica 1 e em iuação de rico 2 ao erviço de educação, aúde e deenvolvimeno ocial (SMDS). Número de criança com neceidade epecífica na creche em relação ao oal de criança com neceidade epecífica em idade de creche (%). SMDS/STE/CR/ unidade de erviço (anual). Criar procedimeno para colea da informação. Número de criança em iuação de rico na creche em relação ao oal de criança em iuação de rico em idade de creche (%). SMDS/STE/CR/ unidade de erviço (anual). Número de criança com neceidade epecífica na préecola em relação ao oal de criança com neceidade epecífica em idade de pré-ecola. SME/ATP (Aeoria Técnica de Planejameno)/ CRE (Coordenadoria Regional de Educação)/ Unidade Ecolar (UE) (anual). coninua

23 Avaliação de Programa Público: Deafio Conceiuai e Meodológico 991 Objeivo epecífico Indicadore de reulado Fone de verificação Preupoo Número de criança em iuação de rico na préecola em relação ao oal de criança em iuação de rico em idade de pré-ecola (%). SME/ATP/CRE/ Unidade Ecolar (anual). Aperfeiçoar a práica ocioeducaiva do profiionai que rabalham no erviço de aendimeno à criança de 0 a ei ano (SMDS: criança aé quaro ano incompleo). Profiionai reinado em relação ao oal de profiionai que neceiam er reinado (%). SMDS/ATE; SME; SMS/CRH (anual). Taxa de roaividade: percenual de profiionai reinado que e deligam no 1º ano apó o reinameno (%). SMDS/ATE, SME; SMS/CRH (anual). Criar procedimeno para colea da informação. Periodicidade da upervião (mee). SMDS/CR; SMS; SME: upervião a parir da unidade de execução. Índice geral de avaliação da capaciação (índice com inervalo de variação enre 0 e 100). Supervião periódica. Monar queionário de avaliação com o auxílio de epecialia e uuário, definindo aribuo e ponderaçõe. Periodicidade da upervião (mee). SMDS/CR; SMS; SME: upervião a parir da unidade de execução. Índice geral de avaliação da capaciação (índice com inervalo de variação enre 0 e 100). Supervião periódica. Monar queionário de avaliação com o auxílio de epecialia e uuário, definindo aribuo e ponderaçõe. coninua

24 992 Frederico Luoa da Coa e Joé Cezar Caanhar Objeivo epecífico Indicadore de reulado Fone de verificação Preupoo Aumenar a paricipação da família e da comunidade na queõe relaiva à primeira infância (SMDS). Número de conelho ou repreenaçõe comuniária exiene em cada eor (aúde, educação e deenvolvimeno ocial) por área de planejameno (AP). Criação e implemenação de conelho e repreenaçõe comuniária. Criar procedimeno para colea da informação. Número de aividade ocioeducaiva realizada por mê pelo conelho ou repreenaçõe comuniária. SMDS/CR (menal). Taxa de adeão na aividade promovida pelo conelho e repreenaçõe comuniária: média de preença em relação ao público eperado (%). SMDS/CR (menal). Número de aividade ocioeducaiva promovida por mê pela unidade de execução para a família do uuário. SMDS/CR (menal). Taxa de adeão da família nea aividade ocioeducaiva: média de preença em relação ao público eperado (%). SMDS/CR (menal). Índice geral de aifação da família (índice com inervalo de variação enre 0 e 100). A parir de queionário a er propoo (anual). Monar queionário de avaliação com o auxílio de epecialia, definindo aribuo e ponderaçõe. 1 Criança com neceidade epecífica ão aquela poradora de deficiência, de índrome, de ala habilidade e de doença crônica; e ainda criança hopializada e imobilizada. 2 Criança em iuação de rico ão aquela poradora de HIV, em iuação de rua e a viimizada.