MEDIR O IMPACTO. Métodos de avaliação do impacto para os que decidem em política

Transcrição

1 MEDIR O IMPACTO Métds de avaliaçã d impact para s que decidem em plítica Marie-Hélène Clutier & Patrick Premand Banc mundial Addis Abeba, Etípia, Mai Esta apresentaçã funda-se sbre manual intitulad a avaliaçã d impact em prática: Gertler, P. J.; Martinez, S., Premand, P., Rawlings, L. B. and Christel M. J. Vermeersch, 2010, A Avaliaçã d Impact em Prática, O Banc Mundial, Washingtn DC ( O cnteúd desta apresentaçã reflecte as pinões ds autres e nã necessariamente as d banc mundial.

2 Avaliaçã d impact O quadr lógic Medir impact Cm funcina prgrama na teria Estratégia de identificaçã Dads Plan peracinal Recurss

3 Cenáris cntrafactuais Cenáris cntrafactuais cntrafeits Antes & Após (Pré & Pst) Inferência Inscrits & Nã inscrits (Maçãs e Laranjas) causal

4 Selecaçã leatória Prmçã aleatória Mdel de discntinuidade Dupla Diferênca u Diff-in-Diff Emparelhament Emparelhament da marca de prpensã Métds de avaliaçã d impact

5 Cenáris cntrafactuais Cenáris cntra-factuais cntrafeits Antes & Após (Pré & Pst) Inferência Inscrits & Nã inscrits (Maçãs e Laranjas) causal

6 Nss bjectiv Avaliar efeit causal ( impact) da intervençã (P) sbre resultad (Y). (P) = Prgrama u Tratament (Y) = Indicadr, Medida d sucess Exempl: Qual é efeit de um prgrama de transferências mnetárias (P) sbre cnsum ds lares (Y)?

7 Inferência causal Qual é impact de (P) sbre (Y)? α= (Y P=1)-(Y P=0) Tems terminad?

8 Prblema de dads faltand α= (Y P=1)-(Y P=0) Para um beneficiári d prgrama : Observa se (Y P=1): O nível de cnsum (Y) cm um prgrama de transferências mnetáris (P=1) Mas nã se bserva (Y P=0): O nível de cnsum (Y) sem um prgrama de transferências mnetárias (P=0)

9 Sluçã Estimar resultad que Y vai bter na ausência de P. Ist chama-se Cenári cntrafactual.

10 Estimaçã d impact de P sbre Y α= (Y P=1)-(Y P=0) OBSERVAR (Y P=1) O resultad cm tratament IMPACTO = Resultad cm tratament Intençã de tratad (IDT) Unidades nas quais tratament fi ferecid Tratament sbre as unidades tratadas (TT) s e as que recebem tratament ESTIMAR (Y P=0) O cenári cntrafactual - Resultad Cenári cntrafactual Usar um grup de cmparaçã u grup de cntrl (u grup testemunha)

11 Exempl: Qual é impact de Dar à Fulanit O dinheir de bls suplementári (P) Sbre seu cnsum de bmbms (Y)?

12 O cln perfeit Fulanit Seu cln 6 bmbms 4 bmbms IMPACTO=6-4=2 bmbms

13 Em realidade, usar s estatístics O grup de tratament O grup testemunha Média de Y=6 bmbms Média de Y=4 bmbms IMPACTO= 6-4 =2 bmbms

14 Encntrar bms grups de cmparaca Querems encntrar clns para s Fulanits ds nsss prgramas. Os grups tratads e de cmparaçã devem: Ter as mesmas características Except naquil que está relacinad cm a sua participaçã a prgrama. Na prática, utilisar as regras de ilegibilidade e de selecçã d prgrama par prduzir um cenári cntrafactual cnveniente.

15 Estud de cas: Prgresa Prgrama nacinal de luta cntra a pbreza n Méxic Lançad em milhões de beneficiáris entre 1997 e 2004 Ilegibilidade baseada sbre um índice de pbreza (Prxy Mean) Transferências mnetárias Cndicinal na frequência ds estabeleciments esclares e ds centrs de saúde

16 Estud de cas: Prgresa Avaliaçã rigrsa d impact sbre a base de um vlume imprtante de dads Para 506 cmunidades, lares Enquérit de referência em 1997 e de acmpanhament em 2008 Muits resultads digns de interesse Aquí, tmams em cnta: cnsum pr pessa Qual é efeit de Prgresa (P) sbre cnsum pr pessa (Y)? Se impact aumenta cnsum de $20 u mais, esperar pr em escala d prgrama sbre tda a extensã d teritóri nacinal.

17 Ilegibilidade e Inscriçã Pessas ilegíveis (Nã pbres) Pessas elegíveis (Pbres) Nã inscrits Inscrits

18 Cenáris cntrafactuais Cenáris cntrafactuaiss cntrafeits Inferência causal Antes & Após (Pré & Pst) Inscrits & Nã inscrits (Maçãs & Laranjas)

19 Cenári cntrafactual cntrafeit #1 Antes & Depis Y A A-C = 2 IMPACTO? C (cenári cntrafactual ) A-B = 4 B T=0 Pnt inicial T=1 Pnt final Temp

20 Cas 1: Antes & Depis Qual é impact de Prgresa (P) sbre cnsum (Y)? Y (1) Observar smente s beneficiáris (P=1) 268 A (2) Duas bservações n temp : O cnsum em temp T=0 e aquele em temp T= B α = $35 T=1997 T=1998 Temp IMPACTO=A-B= $35

21 Cas 1: Antes & Depis O cnsum (Y) Resultad depis d tratament (Depis) Cenári cntrafactual (Antes) Impact (Y P=1) - (Y P=0) 35.3** Impact estimad sbre cnsum (Y) Regressã lineal 35.27** Regressã lineal multivariada 34.28** OBS: Efeit estatisticamente significativ à 1% indicad pr ** e à 10% pr+

22 Cas 1: Onde está prblema? Cresciment ecnómic: Impact real=a-c A-B é uma sbestimaçã Recessã ecnómica: Impact real =A-D A-B é uma subestimaçã Y T=0 T=1 A C? B D? Impact? α = $35 Impact? Temp

23 Cenáris cntrafactuais Cenáris cntrafactuais cntrafeits Inferência causal Antes & Após (Pré & Pst) Inscrits & Nã inscrits (Maçãs & Laranjas)

24 Cenári cntrafactual cntrafeit#2 Inscrits & Nã inscrits Se tems dads d após-tratament sbre : Os inscrits: O grup expst a tratament Os nã inscrits: O grup de cntrl (u testemunha ) (cenári cntrafactual) Os elegíveis e s ilegíveis a prgrama. Os que esclheram participar e s que NÃO esclheram participar n prgrama. Meis de seleçã A nã-inscriçã crrelacinada cm resultad (Y) Cntrlar que é bservável, e que nã é! O impact estimad pde se cnfundir cm de utrs prgramas.

25 Cas 2: Inscrits & Nã inscrits Resultads da medida após-tratament (T=1) Pessas ilegíveis (Nã pbres) Pessas elegíveis (Pbres) Nã inscrits Y=290 Inscrits Y=268 Em que s inscrits/nã inscrits pdem diferenciar, fra da sua participaçã a prgrama?

26 Cas 2: Inscrits & Nã inscrits O cnsum (Y) Resultad após tratament (Inscrits) 268 Cenári cntrafactual (Nã inscrits) 290 Impact (Y P=1) - (Y P=0) -22** Impact estimad sbre cnsum (Y) Regressã lineal -22** Regressã lineal multivariada OBS: Efeit estatisticamente significativ à 1% indicad pr ** e à 10% pr+

27 Qual a recmendaçã para Prgresa? Cas 1: Antes & Após Cas 2: Inscrits & nã inscrits O impact sbre cnsum (Y) Regressã lineal 35.27** Regressã lineal multivariada 34.28** Regressã lineal -22** Regressã lineal multivariada Analisand resultad, recmendaría a implementaçã em escala d Prgresa? Antes & Após: Será que há utrs factres que variam em funçã d temp que pdem também influenciar cnsum? Inscrits & nã inscrits Os nã inscrits pdem ter ligações cm cnsum? Vias de seleçã. OBS: Efeit estatisticamente significativ à 1% indicad pr ** e à 10% pr+

28 Antes & Após A reter! Inscrits & Nã inscrits Cmpare: Certas pessas Antes e Após sua expsiçã a P. Prblema: Outrs factres que pdem se mdificar cm temp. Cmpare: O grup de pessas inscritas a prgrama a grup daquelas que esclheram nã se inscrever. Prblema: Vias de seleçã. Nã sabems as razões dessa nãinscriçã. Os dis cenáris cntrafactuais pdem levar a err na estimaçã d impact.

29 Selecçã aleatória Prmçã aleatória Mdel de discntinuidade Dupla Diferênça Ou Diff-in-Diff Emparelhament Emparelhament d bjectiv de prpensã Métds de avaliaçã d impact

30 Esclher a sua metdlgia de EI Para determinar uma metdlgia de avaliaçã para seu prgrama, de se cnsiderar: Avaliaçã prspectiva/retrspectiva As regras e critéris de elegibilidade Plan de desenrlament u de passagem à escala (ledut) O númer de pessas elegíveis ultrapassa s recurss dispníveis? Nível de pbreza Situaçã gegrafica Restrições em term de rçament e de capacidades. Pedid excessiv para prgrama. Etc

31 Esclher a sua metdlgia de EI Esclher melhr métd em relaçã a cntext peracinal : O melhr métd O melhr grup de cntrl (u testemunha) + menr risc peracinal Tems cntrlad tud (tmad em cnta)? O resultad é valid pr tds? Validade interna Tems bm grup de cntrl (u grup de testemunha)? Validade externa Efeit d tratament lcal em relaçã à um efeit glbal Os resultads da avaliaçã se aplicam à tda ppulaçã que ns interessa.

32 Selecçã aleatória Prmçã aleatória Mdel de discntinuidade Dupla Diferênca Ou Diff-in-Diff Emparelhament Emparelhament d gl de prpensã Métds da avaliaçã d impact

33 Selecçã aleatória d tratament # de elegível > # de benefícis dispníveis Aleatrizar! (fazer a selecçã d grup de tratament de frma aleatória) Srteiar s beneficiáris Encntar uma maneira de selecçã equitativa, transparente e ética quand a ppulaçã alv nã pde ser repartida cm base n mêrit u d desej. Sb-inscriçã Cnceder à cada grup as mesmas chances de participar Cmparar s que beneficiam da prestaçã as que nã se beneficiam. Densenrlament aleatóri pr fases Cnceder à cada grup ilegível as mesmas chances de receber tratament em primeir, em secund, em terceir Cmparar s que receberam tratament em primeir as que receberá mais tarde.

34 1. A ppulaçã Selecçã aleatória d tratament 2. Amstra das unidades elegíveis 3. Assignaçã aleatória d tratament Cmparaçã = ilegível = elegível Validade externa Validade interna

35 Cas 3: Selecçã aleatória O prgrama Prgresa CCT Unidade de base da aleatrizaçã: A cmunidade Mstra da avaliaçã cubrind 506 cmunidades Intrduçã d element de aleatrizaçã 320 cmunidades submetidas a tratament (14446 lares): Primeiras transferências efectuadas em abril cmunidades cntrlads (9630 lares): Primeiras transferências efectuadas em nvembr 1999

36 320 Cmunidades submetidas a tratament Cas 3: Assignaçã aleatória T=0 T=1 Temp 186 Cmunidades de cntrl Períd de cmparaçã

37 Cas 3: Selecçã aleatória Cm saber se tems bms clns? Na ausência de Prgresa, s grups de tratament e de cntrl devem ser perfeitamente idêntics Cmparams as suas características n pnt de partida (T=0)

38 Cas 3: Equilíbri na partida Cas 3: Aleatrizaçã Grup cntrl Grup tratament Stat. T Cnsum (mensal pr pessa, em $) Idade d chefe de familia (pr an) Idade d esps(sa) (pr an) Nível de instruçã d chefe de familia (pr an) ** Nível de instruçã d esps (sa)(pr an) OBS: Efeit estatisticamente significativ à 1% indicad pr ** e à 10% pr+

39 Cas 3: Equilibri na partida Cas 3: Aleatrizaçã Grup cntrl Grup tratament Stat. T O chefe de familia e uma mulher = Indígen= Númer de pessa n lare Os quarts de banh= Terras (em hectare) Distância em relaçã a hspital (em km) OBS: Efeit estatisticamente significativ à 1% indicad pr ** e à 10% pr+

40 Cas 3: Selecçã aleatória Grup de tratament (Assignad aleatriamente a grup tratament) Cenári cntrafactual (Assignad aleatriamente a grup cntrl) Impact (Y P=1) - (Y P=0) Referência (T=0) Cnsum (Y) Acmpanhament (T=1) Cnsum (Y) ** Impact estimad sbre cnsum (Y) Regressã lineal 29.25** Regressã lineal multivariada 29.75** OBS: Efeit estatisticamente significativ à 1% indicad pr ** e à 10% pr+

41 Recmendaçã para Prgresa? O impact de Prgresa sbre cnsum (Y) Cas 1: Antes & Após Cas 2: Inscrits & Nã inscrits Regressã lineal multivariada 34.28** Regressã lineal -22** Regressã lineal multivariada Cas 3: Aleatrizaçã Regressã lineal multivariada 29.75** OBS: Efeit estatisticamente significativ à 1% indicad pr ** e à 10% pr+

42 Unidade de selecçã aleatória A esclher em funçã d tip de prgrama Individual/Lare Escla /Centr de saúde/bacia Bairr/Pvaçã/Cmunidade Serviç/District/Regiã Atençã! Um númer suficientemente grande de unidades é necessári para pder detectar um impact mínim desejad: O pder. Custs peracinais e custs d enquêrit

43 A reter! Selecçã aleatória Quand as amstras sã grandes, a assignaçã aleatória prduz dis grups estatisticamente equivalentes. Tems identificad cln perfeit. Aleatrizaçã d beneficiári Aleatrizaçã da unidade de cntrl Viável para as avaliações prspectivas cm sbinscriçã/pedid excessiv. A mairía ds prgramas pilts e nvs prgramas se encntram nesta categria.

44 Selecçã aleatória cm diferentes níveis de prestações Questã clássica da avaliaçã: Qual é impact de um prgrama sbre um resultad? Outrs tips de questões dignas de interesse: Qual é nível ideal de prestaçã de um prgrama? Qual e impact de um tratament à frte intensidade cmparativamente à um utr de mens intensidade? Aleatrizaçã de 2 níveis de prestações Cmparaçã Frac nível de prestaçã Nível elevad de prestaçã X

45 Selecçã aleatória cm diferentes níveis de prestações 1. Ppulaçã elegível 2. Amstra de unidades elegíveis 3. Selecçã aleatória ds 2 níveis de prestaçã. Cmparaçã = Os ilegíveis = Os elegíveis

46 Selecçã aleatória: cenári de intervenções multíplas Outr tip de questões chaves n cas de um prgrama ferecend diferentes prestações : Qual é impact de cada prestaçã cmparada à um utr? Há cmplementaridades entre as diferentes prestações? Selecçã aleatória cm 2 prestações: Intervençã 1 Cmparaçã Tratament Grup A Grup C Intervençã 2 Cmparaçã Tratament X Grup B Grup D

47 1. Ppulaçã elegível Selecçã aleatória O cenári das intervenções multíplas 2. Amstra das unidades elegíveis 3. Selecçã aleatória da intervençã 1 4. Selecçã aleatória da intervençã 2 X = Nã admissível = Admissível

48 selecçã aleatória Prmçã aleatória Mdél de discntinuidade Dupla Diferença Ou Diff-in-Diff Emparelhament Emparelhament d bjectiv Métds de avaliaçã d impact

49 E se nã pdems esclher? Nã é sempre pssível selecinar grup de cntrl. Prgramas nacinais nde td mund e elegível? Prgramas nde a inscriçã se faz sbre uma base vluntária? Prgramas nde a pessa nã pde ser excluida? Pdems cmparar s inscrits & s nã-inscrits? Pendr de Seleçã!

50 Oferecer u prmver prgrama aleatriamente Se é pssivel excluir certas unidades, sem frçar nenhuma em participar: Oferecer prgrama srteiand Muits vã aceitar Alguns nã vã aceitar Oferta aleatária Se nã é pssível excluir qualquer nem frçar qualquer : Oferecer prgrama à tds Mas fazer prmçã, encrajament, u incitações suplementares à uma amstra aleatória : Infrmações adicinais Uma frma de encrajament. Medidas de incitaçã (pequens presentes u prémi). Tmar a respnsabilidade d transprte (bilhete). Prmçã aleatória

51 Oferta u prmçã aleatória Cndições necessárias: 1. Os grups as quais prgrama u a prmçã é ferecida e as quais s prgramas u prmções nã sã ferecidas sã cmparáveis : O fact de que prgrama u a prmçã seja ferecid, nã tem nenhuma ligaçã cm a ppulaçã Garantid pela srte. 2. Os grups as quais prgrama u a prmçã é ferecida têm uma taxa de inscriçã mais elevada a prgrama. 3. A ferta das prestações u a prmçã d prgrama nã afecta direitamente s resultads.

52 Prmçã aleatória Prmçã efectuada junt de 3 grups de unidades /ds indivídus Nã se inscrevem nunca Se inscrevem quand encrajads Se inscrevem sempre cm prmçã Sem prmçã

53 A ppulaçã elegível Oferta u prmçã aleatória Nã selecinada Srte da ferta u a prmçã Inscriçã Selecinada 0 elegível Inscriçã Nunca Prmçã Sempre

54 Oferta u prmçã aleatória Grup prmvid Grup nã prmvid Impact % inscrits=80% Média Y para td grup =100 % inscrits =30% Média Y para td grup =80 Inscrits =50% Y=20 Impact= 20/50%=40 Nunca inscrits X Inscrits se encrajads Sempre inscrits X

55 Exempls de prmçã aleatória Segur de saúde matern e infantil na Argentina Campanhas de infrmaçã intensiva Gestã cmunitária das esclas n Nepal Assistência das ONG em matéria de frmalidades de inscriçã

56 Gestã cmunitária das esclas n Nepal Cntext: Um sistema esclar centralizad 2003: Decisã de permitir à administraçã lcal das esclas O prgrama: Cmunidades manifestam seu interesse à participar. Elas recebem ds estímuls mnetáris ($1500) Qual é impact da gestã lcal das esclas sbre : A taxa de esclarisaçã, absenteism ds dcentes, a qualidade d ensin e a gestã financeira. Prmçã aleatória : Assistência das ONG em matéria de frmalidades de inscriçã. Prmçã aleatória junt de 40 cmunidades (15 inscrits) Nenhuma prmçã aleatória junt de 40 cmunidades (5 inscrits)

57 Segur de saúde matern e infantil na Argentina Cntext: 2001: Crise financeira A cbertura d segur de saúde baixa Prgrama de remuneraçã apntad sbre s resultads : Mudança n sistema de pagament para s beneficiáris. 40% pag segund à cnfrmidade às nrmas de qualidade Qual é impact d nv sistema de pagament sbre a saúde das mulheres grávidas e das crianças? Prmçã aleatória : Prgrama alargad à escala nacinal. Campanhas de infrmaçã intensivas e aleatórias afim de infrmar as mulheres envlvidas pel nv sistema para levar-las à utilizar cm sucess s serviçs de saúde.

58 Cas 4: Prmçã aleatória A prmçã aleatória é uma Variável Instrumental (VI) Uma variável crrelacinada cm tratament unicamente (i.e. prmçã aleatória) Quand selecina as unidades à quem ferecer tratament mas que a participaçã vluntária nã é 100% A utilizaçã deste métd permite bter efeit de Tratament sbre as unidades Tratadas (TT) Cm? Grup prmvid = grup a qual tratament é ferecid Grup nã prmvid = grup a qual tratament nã é ferecid.

59 Cas 4: Prmçã aleatória para PROGRESA Grup Prmvid Grup nã prmvid Impact % Inscrit=92% Média Y para td grup = 268 % Inscrit=0% Média Y para td grup = 239 Inscrit=0.92 Y=29 Impact= 29/0.92 =31 Nunca inscrits X Inscrits se encrajads Sempre inscrits X

60 Cas 4: Prmçã aleatória Impact estimad sbre cnsum (Y) Regressã cm variável instrumental 29.8** Regressã multivariada cm variável instrumental 30.4** OBS: Efeit estatisticamente significativ à 1% indicad pr ** e à 10% pr+

61 A reter! Prmçã aleatória A prmçã aleatória deve ser eficaz (experimentar antepadamente!) A estratégia de prmçã ajuda também a cmpreender cm aumentar a participaçã n prgrama. Nã exclue ninguém mas A estratégia depende d sucess e da validade da prmçã A estratégia permite estimar um efeit d tratament lcal. A estimaçã é viável smente para s indivídus de um cert tip (ex. chapeu em triângl)

62 Selecçã aleatória Prmçã aleatória Mdel de discntinuidade Dupla diferênça Ou Diff-in-Diff Emparelhament Emparelhament de gl de prpensã Métds de avaliaçã de impact

63 Mdel de discntinuidade Muits prgramas sciais selecinam s beneficiáris utilisand um índice u uma meta: Prgramas de luta cntra a pbreza Refrmas Blsas de estud Agricultura Determinam s lares em baix d limiar da pbreza (Prxy Mean) Determinam a ppulaçã acima de uma certa idade Destinadas as aluns cujs resultads ns testes sã elevads Fertilizante destinad às pequenas explrações (< um cert númer de hectares)

64 Exempl: Efeit de prgrama de fertilizantes sbre a prduçã agrícla Objectiv Melhrar a prduçã agrícla (rendiment de arrz) das pequenas explrações. Métd Explrações cm terren (meta) 50 ha sã pequenas Explrações cm terren (meta) >50 ha sã grandes Intervençã Os pequens explradres recebem subsídis para cmprar fertilizante

65 Mdel de discntinuidade da regressã situaçã de referência Ilegível Nã ilegível

66 Mdel de discntinuidade da regressã situaçã depis da intervençã IMPACTO

67 Cas 5: Mdel de discntinuidade Tems um índice cm um limiar de ilegibilidade bem definid. Lare cm gl limiar sã ilegíveis Lare cm gl > limiar sã inelegíveis Ou vice-versa Intuiçã para métd: Unidades quase acima d limiar sã muit similares as quase em baix cmparável estaçã Cmparar resultad Y para as unidades quase acima e quase em baix d limiar

68 Cas 5: Mdel de discntinuidade Elegibilidade para Prgresa é baseada sbre um índice nacinal de pbreza Lares cnsiderad pbre se valr d índice é 750 Elegibilidade para Prgresa: Elegível=1 se valr d índice 750 Elegível=0 se valr d índice > 750

69 Cas 5: Mdel de discntinuidade Valr d índice vs. cnsum antes tratament Cnsum Valres predits Fitted values puntaje estimad en fcalizacin Índice de pbreza

70 Cas 5: Mdel de discntinuidade Valr d índice vs. cnsum depis tratament Cnsum Valres Fitted predits values 30.58** Impact estimad sbre cnsum (Y) Regressã multivariada puntaje estimad en fcalizacin Índice de pbreza OBS: Efeit estatisticamente significativ à 1% indicad pr ** e à 10% pr+

71 A reter! Mdel de discntinuidade Mdel de discntinuidade Requer um índice cntínu de elegibilidade cm um limiar bem definid Prduz uma estimaçã nã prpensa a efeit de tratament para as bservações a vlta d limiar de elegibilidade (que pdem ser cmparadas). Nã precisa de excluir um grup de lares u de indivídus elegíveis. Pde, às vezes, ser utilizad para prgramas já em curs.

72 A reter! Mdel de discntinuidade Mdel de discntinuidade Prduz uma estimaçã lcal : Efeit d prgrama a vlta d limiar/pnt de discntinuidade Nem sempre generalisáveis Pder : É necessári muitas bservações a vlta d limiar de elegibilidade. Imprtante evitar errs n mdel estatístic : As vezes que assemelha a uma discntinuidade é defact diferente d presumível.

73 Selecçã aleatória Prmçã aleatória Mdel de discntinuidade Dupla diferênça Ou Diff-in-Diff Emparelhament Emparelhament de bjectiv Métds da avaliaçã de impact

74 Dupla Diferença (Diff-in-diff) Y=Taxa de esclarizaçã das raparigas P=Prgrama para melhrar a educaçã Inscrits Nã inscrits Antes Após = Diferênça Diff-in-Diff: Impact=(Y t1 -Y t0 )-(Y c1 -Y c0 )

75 Dupla Diferênça (Diff-in-diff) Y=Rendiment de sja (em tnelads pr acre) P=Nv tip de fertilisante Inscrits Nã inscrits Após Antes Diferênça = 0.11 Diff-in-Diff: Impact=(Y t1 -Y c1 )-(Y t0 -Y c0 )

76 Impact=(A-B)-(C-D)=(A-C)-(B-D) Taxa de esclarizaçã Nã inscrits Inscrits D=0.78 B=0.60 C=0.81 A=0.74 Impact=0.1 1 T=0 T=1 Temp

77 Impact =(A-B)-(C-D)=(A-C)-(B-D) Taxa de esclarizaçã Nã inscrits Inscrits D=0.78 B=0.60 C=0.81 A=0.74 Impact<0.1 1 T=0 T=1 Temp

78 Cas 6: Dupla Diferença Inscrits Nã inscrits Diferênça Referência (T=0) Cnsum (Y) Acmpanhament (T=1) Cnsum (Y) Diferênça Impact estimad sbre Cnsum (Y) Regressã Lineal 27.06** Regressã Lineal Multivariada 25.53** OBS: Efeit estatisticamente significativ à 1% indicad pr ** e à 10% pr+

79 Recmendaçã para Prgresa? Impact de Prgresa sbre Cnsum (Y) Cas 1: Antes & Após 34.28** Cas 2: Inscrits & Nã inscrits Cas 3: Assignaçã aleatória 29.75** Cas 4: Prmçã aleatória 30.4** Cas 5: Mdel de discntinuidade 30.58** Cas 6: Dupla diferença 25.53** OBS: Efeit estatisticamente significativ à 1% indicad pr ** e à 10% pr+

80 A reter! Dupla Diferênça Dupla Diferença: cmbina inscrits & nã inscrit cm antes & após. Prduz um cenári cm uma tendência cntrafactual para a mudança n resultad Para testar ist, a mens 3 bservações n temp sã necessárias: 2 bservações antes 1 bservações após. Hipótese Fndamental: As tendências sã idênticas ns grups de tratament e de cntrl

81 Selecçã Aleatória Prmçã Aleatória Mdel de Discntinuidade Dupla Diferênças Ou Diff-in-Diff Emparelhament Emparelhament bjectiv Métds de avaliaçã de impact

82 Emparelhament (cmbinaçã) Ideia Para cada unidade tratada, esclher a melhr unidade de cmparaçã de uma utra fnte de dads. Cm? Os pares sã selecinads sbre a base das similaridades nas características bservadas. Prblema? Se há características nã bserváveis e que estes «nã-bserváveis» influenciam a participaçã: tendências de seleçã!

83 Emparelhament d bjectiv de prpensã (PSM) Grup de Cmparaçã : nã-participantes cm as mesmas características bserváveis que s participantes. Na prática, é muit difícil. Pde haver muitas características imprtantes! Emparelhar sbre a base d bjectiv de prpensã, Sluçã prpsta pr Rsenbaum e Rubin: Calcular a prbabilidade de participaçã de cada um, baseada sbre as suas características bserváveis. Esclher s pares que têm a mesma prbabilidade de participaçã cm as unidades tratadas. Ver anex 2.

84 Densidade d bjectiv de prpensã ensidade Nã-Participantes Participantes Suprte Cmum 0 Objectiv de Prpensã 1

85 Cas 7: Emparelhament d bjectiv de prpensã Característica de referência Ceficiente Estimad Prbit, Prb Inscrit=1 Idade d chefe (an) ** Idade da espsa (an) ** Educaçã d chefe (an) ** Educaçã da espsa (an) -0.03** O chefe é uma mulher= Indígen= ** Númers de membrs d lare 0.216** Quart sala= ** Quart de banh= ** Hectares de terens ** Distância a hspital (km) 0.001* Cnstante 0.664** OBS: Efeit estatisticamente significativ à 1% indicad pr **, 5% pr * e à 10% par+

86 Cas 7: Suprte Cmum (Prgresa) Densidade: Pr (Inscrits) Densidade: Pr (Inscrits) Densidade: Pr (Inscrits) Pr (Inscrits)

87 Cas 7: Emparelhament d bjectiv de prpensã Impact Estimad sbre Cnsum (Y) Regressã lineal multivariada OBS: Efeit estatisticament significativ à 1% indicad pr **, 5% pr * e à 10% par+

88 A reter! Emparelhament O emparelhament requer grandes amstras e dads de ba qualidade. O emparelhament na linha de base pde ser útil: Cnhecer as régras de selecçã e emparelhar em funçã de semelhança de característcas Cmbinar cm utras técnicas (i.e. diff-in-diff) O emparelhament ex-pst (após intervençã) nã é recmdável: Pde faltar suprte cmum em terms de semelhança de características! O emparelhament sbre variáveis endógens ex-pst dá maus resultads.

89 Recmendaçã para Prgresa? Impact de Prgresa sbre a Cnsum (Y) Cas 1: Antes & Após 34.28** Cas 2: Inscrits & Nã inscrits Cas 3: Selecçã aleatória 29.75** Cas 4: Prmçã aleatória 30.4** Cas 5: Mdel de discntinuidade 30.58** Cas 6: Dupla Diferênça 25.53** Cas 7: Emparelhament OBS: Efeit estatisticamente significativ à 1% indicad pr **, 5% pr * e à 10% par+

90 Recmendaçã para Prgresa? Impact de Prgresa sbre Cnsum (Y) Cas 1: Antes & Após 34.28** Cas 2: Inscrits & Nã inscrits Cas 3: Selecçã aleatória 29.75** Cas 4: Prmçã aleatória 30.4** Cas 5: Mdel de discntinuidade 30.58** Cas 6: Dupla Diferênças 25.53** Cas 7: Emparelhament OBS: Se efeit é estatisticamente significativ à um nível de uma imprtância de 1%, nós marcams impact estimad pr 2 asteriscs (**). Se é significativ à um nível de 10%, nós marcams impact de +

91 Seleçã Aleatória Prmçã Aleatória Mdel de Discntinuidade Dupla Diferênça Ou Diff-in-Diff Emparelhament Emparelhament d bjectiv de prpensã Métds da avaliaçã d impact

92 Dnde vêm s grups de cmparaçã? As régras de execuçã ds prgramas determinam a estratégia da avaliaçã. É quase sempre pssível encntrar um grup de cmparaçã se: as régras de seleçã ds beneficiáris sã equitativas, transparentes a avaliaçã é cncebida de maneira prspectiva.

93 Regras peracinais e avaliaçã prspectiva Reparar as prtunidades para prduzir bms grups de cmparaçã e assegurar que s dads de referência sã clectads 3 questões para determinar métd aprpriad para um determnad prgrama: Financiament: O prgrama tem s recurss suficientes para passar a escala e serviçs para tds s beneficiáris elegíveis? Regras de escrutíne: Quem é elegível para prgrama? O prgrama é escrutinad a partir de uma base de um índice u é dispnível para tds? Calendári: Cm s beneficiáris sã envlvids n prgrama tds a mesm temp u pr fases?

94 Esclher seu métd cm base em em 3 questões Financiament Objectiv Calendári Recurss Limitads (pedid > ferta) Recurss ilimitads Objectivad Universal Objectivad Universal Pst em bra pr fases 1 Selecçã Aleatória 4 Mdel de discntinuidade 1 Selecçã Aleatória 2 Prmçã aleatória 3 DD cm 5 Eparelhament 1 Selecçã Aleatória 4 Mdel de discntinuidade 1 Selecçã Aleatória pr fases 2 Prmçã aleatória 3 DD cm 5Emparelhament Implementad imediatamente 1 Assignaçã Aleatória 4 Mdel de discntinuidade 1 Assignaçã Aleatória 2 Prmçã aleatória 3 DD cm 5Emparelhament 4 Mdel de discntinuidade Se participaçã parcial: 2 Prmçã aleatória 3 DD cm 5 Emparelhament

95 Lembram-ns O bjectiv da avaliaçã d impact é de estimar efeit causal u impact de um prgrama sbre indicadres de resultads.

96 Lebram-ns Para estimar impact, nós devems estimar cenári cntrafactual. O que acntecería na ausência d prgrama? Utilizar um grup de cmparaçã (grup cntrl u testemunha)

97 Lembram-ns Nós tems uma caixa de ferramentas cm 5 métds para definir u identificar s grups de cmparaçã.

98 Lembram-ns Esclher melhr métd de avaliaçã que é praticável n cntext peracinal.

99 Referência Versões em Francês e em Espanhl dispníveis

100 Thank brigad Yu

101 Q & A

102 Anex 1 Pequens quadrads em 2 etapas (2SLS) Mdel cm tratament endgen (T): y = + T + x+ α β β ε 1 2 Fase 1: Regressar a variável endógena sbre a variável instrumental (Z) e as utras variáveis explicativas: T = + x+ Z + δ δ θ τ Calcular valr predit para cada bservaçã: T «chapéu»

103 Anex 1 Pequens quadrads em 2 etapas (2SLS) Fase 2: Regressar resultad sbre a variável predita (e utras variáveis explicativas): ^ y = α + β ( T) + β x+ ε 1 2 Crigir s errs standard (eles sã baseads sbre s T Chapéu e nã T) Na prática, utilizar STATA «ivreg». Intuiçã: T fi desembaraçad da sua crrelaçã cm ε.

104 Anex 2 Etapas de emparelhament d gl de prpensã 1. Inquêrit altamente cmparável e representativ sbre s nã participantes e s participantes. 2. Re-agrupar as duas amstras e estimar um mdel «lgit» da participaçã a prgrama. 3. Restringir as amstras para garantir um suprte cmum (imprtante fnte de meis ns estuds bservacinais) 4. Para cada participante, encntrar uma amstra de nã participantes cm um índice de prpensã similar. 5. Cmparar s indicadres ds resultads para cada bservaçã e grup de bservações emparelhads: a diferênça é a estimaçã d lucr dad a prgrama. 6. Calcular a média destes lucrs individuais para bter lucr médi glbal.