Relatóro de Avalação Econômca 6. Programa Melhora da educação no Muncípo 2007
1
O PROGRAMA AVALIAÇÃO ECONÔMICA DE PROJETOS SOCIAIS conta com a coordenação técnca da Gerênca de Avalação de Projetos do Banco Itaú. Equpe responsável pela avalação: Banco Itaú-U nbanco: Líga Vasconcellos Consultor externo: Naerco Menezes-Flho (Insper e USP) 2
Apresentação Crado em 2004, o PROGRAMA AVALIAÇÃO ECONÔMICA DE PROJETOS SOCIAIS ocorre em parcera entre a Fundação Itaú Socal e o Banco Itaú. Desta forma, o Banco Itaú leva suas competêncas na área econômca para o campo socal. O PROGRAMA possu duas vertentes prncpas de atuação, a realzação de avalações de projetos e a dssemnação da cultura de avalação para gestores de projetos socas e de polítcas públcas. No campo da avalação, tem-se por premssa sua realzação para todos os programas própros. A dssemnação da cultura de avalação é feta tanto através da avalação de projetos de terceros, como também de ações de dssemnação de conhecmento, por meo de cursos, semnáros e nformações dsponblzadas na págna eletrônca da Fundação Itaú Socal. A avalação econômca engloba a avalação de mpacto, que verfca se os mpactos esperados foram alcançados, e se foram efetvamente causados pelo programa; e o cálculo do retorno econômco, que é fruto de uma análse de custo-benefíco do programa. Acredtando que a partcpação de todos os nteressados na avalação é o melhor meo de valdar e perpetuar a cultura de avalação, o PROGRAMA procura nclur os gestores do projeto a ser avalado nas dscussões sobre o desenho da avalação. Este trabalho conjunto possblta, de um lado, um maor conhecmento do programa em questão, mportante para um bom desenho de avalação, e, por outro, leva à apropração pelos gestores da cultura de avalação. 3
Avalação econômca Programa Melhora da Educação Sumáro Executvo O programa Melhora da Educação busca auxlar os órgãos de governos muncpas a planejar, mplementar e avalar seus projetos educatvos, vsando garantr ensno de qualdade e permanênca na escola. O programa exste desde 1999 e já esteve presente em 17 estados brasleros. Foram oto edções até esta avalação. A avalação de mpacto analsa se o programa gerou melhora na méda muncpal de fluxo escolar antes e depos da partcpação. Especfcamente, os ndcadores utlzados são as varações das taxas de aprovação, reprovação e abandono um ano e dos anos após da partcpação do muncípo no programa. A análse após um ano nclu dados das edções 2 a 5; e após dos anos, apenas dados das edções 2 e 3. Foram consderados dferentes recortes dos muncípos partcpantes, que defnem a dedcação ao programa e também a forma de mplementação. A dedcação é medda pela entrega de dos relatóros que constam da formação, a análse de dagnóstco da educação no muncípo, e um plano de ação, planejado para execução durante o período de formação. A mplementação consdera se a formação fo realzada dretamente pela equpe do Cenpec - Centro de Estudos e Pesqusas em Educação, Cultura e Ação Comuntára, ou se fo mnstrada por multplcadores trenados pelo Cenpec. As estmatvas, portanto, foram calculadas para todos os muncípos; somente para os que fzeram avalação dagnóstca; somente para os que desenvolveram plano de ação; e somente para os muncípos que receberam formação dreta. A avalação utlza dados secundáros do Censo Demográfco de 2000 e dos Censos Escolares dos anos de 2000 a 2005. A metodologa é de mínmos quadrados ponderados, sendo o ponderador baseado na probabldade estmada de partcpação do muncípo. Para determnação do grupo de muncípos de comparação, utlzamos varáves que defnem dferentes perfs de muncípos e qualdade da educação. Em 2000, as taxas médas de fluxo escolar do grupo de tratamento eram 72% de aprovação, 14% de reprovação, e 14% de abandono. A taxa de aprovação ca após um ano de programa, recuperando-se no ano segunte (aumento de 0,67 pontos percentuas após 4
dos anos); a taxa de reprovação aumenta nos dos períodos que se seguem ao programa (0,86 pp após dos anos), e a taxa de abandono dmnu nos dos períodos (1,53 pp após dos anos). Todas as varações de fluxo são melhores que as do grupo de controle, apesar das varações contráras ao esperado para aprovação e reprovação. A avalação de mpacto verfca se essa melhora pode ser atrbuída ao programa Melhora da Educação, e se ela é estatstcamente sgnfcatva. Consderando o grupo de muncípos tratados que fez avalação dagnóstca, os resultados são postvos e estatstcamente sgnfcatvos: o programa aumentou as taxas de aprovação e dmnuu as taxas de reprovação e de abandono em relação às taxas do grupo de controle, um e dos anos após o programa. Nos muncípos que elaboraram plano de ação e nos que tveram formação dreta, o programa teve mpacto estatstcamente sgnfcatvo sobre as taxas de aprovação e de abandono, um e dos anos após o programa. Para a amostra com todos os muncípos, contudo, os resultados não são estatstcamente sgnfcatvos para o mpacto um ano após a partcpação no programa. O mpacto é sgnfcatvo sobre as taxas de aprovação e reprovação dos anos após o programa. Os resultados, portanto, são mas robustos quando há avalação dagnóstca ou plano de ação (caso de cerca de 50% dos muncípos) ou houve formação dreta (70% dos muncípos). Resultados por edção e especfcamente para a Paraíba, estado que recebeu atenção especal nas prmeras edções, não apresentaram mpactos estatstcamente sgnfcatvos. O menor tamanho das amostras pode ajudar a explcar a dferença de resultado por edções em relação ao resultado para o total de muncípos. 5
Índce 1 Descrção do programa... 7 2 Metodologa... 8 2.1 Avalação de mpacto...9 2.1.1 Mínmos quadrados ponderados...9 2.1.2 Dados...10 2.1.3 Defnção dos grupos de tratamento e controle...11 3 Análse descrtva dos dados da pesqusa... 12 4 Avalação de mpacto... 15 4.1 Estmatvas por edção...17 4.2 Estmatvas para a Paraíba...19 5 Anexos... 21 6 Fontes bblográfcas... 23 6
1 Descrção do programa O programa Melhora da Educação busca auxlar os órgãos de governos muncpas a planejar, mplementar e avalar seus projetos educatvos, vsando garantr um ensno de qualdade e a permanênca na escola. É realzado pela Fundação Itaú Socal, em parcera com a Uncef, a Undme e o Cenpec. Os partcpantes do programa são ncentvados a desenvolver uma avalação dagnóstca das prncpas questões a serem trabalhadas em seus muncípos e, posterormente, um plano de ação para resolver os prncpas problemas. É oferecda formação dreta para alguns muncípos. Outros partcpam de formação ndreta, através da formação de técncos em Núcleos Regonas. Estes técncos são multplcadores nos Núcleos Muncpas, que englobam muncípos de uma mesma regão, dssemnando as orentações do programa. O programa é focado nos muncípos de pequeno porte (até 20 ml habtantes), com exceção das sedes dos polos regonas (em geral muncípos maores, que também recebem formação). O programa exste desde 1999 e já esteve presente em 17 estados brasleros. Foram oto edções até esta avalação, como mostram as tabelas 1 e 2: Tabela 1 Edção Estados Período 1 AL, AM, PA, CE, MA, BA, PB, PE, PI, 2 o semestre 1999 a 1 o semestre RR, SE, SP 2000 2 AC, MS, SP 2 o semestre 2000 a 1 o semestre 2001 3 AL, MA, MG, PB, PI, SP 2 o semestre 2001 a 1 o semestre 2002 4 GO, MG, PB, RN, SE 2 o semestre 2002 a 1 o semestre 2003 5 BA, PB, PE, PI 2003 6 BA, PE, PI, SP 2004 7 PI, SP 2005-2006 8 MG 2006-2007 7
Tabela 2 - Formação dreta Edções 2 3 4 5 Nº de muncípos com formação dreta % dos partcpantes Estado MS 22 100% AC 22 100% AL 20 100% MA 21 100% MG 11 79% PB 15 79% PI 18 100% SP 3 23% GO 21 100% MG 17 85% RN 27 100% SE 20 100% BA 13 81% PE 3 100% PI 1 50% 2 Metodologa Fo realzada a avalação do mpacto do programa através da comparação de alguns ndcadores entre os muncípos que partcparam (grupo de tratamento) e os que não partcparam (grupo de controle). Os ndcadores muncpas de desempenho utlzados foram as varações das taxas de aprovação, reprovação e abandono antes e depos da partcpação no programa. 1 Na avalação foram consderadas as edções 2, 3, 4 e 5. Foram excluídos da análse os muncípos que partcparam da prmera edção, porque esta apresentou característcas muto dversas das demas. Os muncípos que partcparam das edções 6, 7 e 8 foram consderados não-partcpantes (grupo de controle), pos os dados utlzados são anterores a essas edções. Além do mpacto médo do programa, estmou-se o mpacto separadamente para cada edção e para o Estado da Paraíba. As estmatvas foram fetas para dferentes recortes da amostra dos partcpantes, que defnem dferentes níves de envolvmento com o programa: - todos os muncípos; - somente os que fzeram a avalação dagnóstca; 1 Também fo feta a análse com as varáves em nível (em anexo). 8
- somente os que desenvolveram o plano de ação; Fo feto também um outro recorte para tpos dferentes de formação: - somente os que partcparam de formação dreta. Foram excluídos da amostra os muncípos que partcparam mas de uma vez do programa. Para a análse específca sobre a Paraíba, foram usados todos os muncípos, pos houve mutos muncípos rencdentes e sua exclusão podera afetar o resultado da análse. 2.1 Avalação de mpacto O objetvo da avalação de mpacto é mensurar o efeto que o programa teve sobre os ndcadores escolhdos. Como é mpossível saber o que tera ocorrdo se o muncípo não tvesse partcpado do programa, busca-se comparar os muncípos que partcparam com os não-partcpantes que sejam mas parecdos. Para determnar o grupo de controle parecdo, utlzamos varáves que defnem dferentes perfs de muncípos e qualdade da educação, com dados do Censo Demográfco de 2000 e Censo Escolar dos anos de 2000 a 2005. As varáves relatvas aos muncípos utlzadas foram: porcentagem de professores com nível superor, méda de horas-aula das escolas do muncípo, IDH-educação, renda méda per capta, tamanho da população e varáves dummy para os dferentes estados do País. A metodologa econométrca utlzada está explcada no box Mínmos quadrados ponderados. 2.1.1 Mínmos quadrados ponderados Imbens (2004) propõe uma combnação do método de propensty score com a regressão, que tem o benefíco de ser duplamente robusto. A regressão estmada é Y = α + τ + ε, com pesos guas a: W λ = W 1 W + e( X ) 1 e( X, onde: ) Y = resultado W = varável de partcpação no programa (0 ou 1) e ( X ) = propensty score 9
X = característcas observadas que explcam a partcpação no programa λ = peso O coefcente τ estmado é um estmador consstente para o efeto médo do tratamento (ATE). A regressão tem a vantagem de dmnur o vés e aumentar a precsão da estmatva. Sem os pesos dados pelo propensty score, porém, o estmador de mínmos quadrados não sera consstente. Sendo ê um estmador consstente do propensty score e garantndo que cada termo dentro da raz quadrada some 1, o estmador por mínmos quadrados ponderados é consstente para o ATE: W = ê( X ) ˆλ + N W N ê( X ) = 1 ( 1 W ) ( 1 ê( X ) ) ( ) ( 1 ê( X ) ) = 1 1 W em que ê(x) é o propensty score estmado. Para se estmar o efeto-tratamento sobre os tratados (ATT), o ponderador = W ˆλ + N N W = 1 ( 1 W ) ê( X ) ( 1 ê( X ) ) ( ) ( ) ( 1 ê( X ) ) = 1 1 W ê X produz o estmador do coefcente τ que é consstente para o ATT. 2.1.2 Dados Foram utlzadas as seguntes fontes de dados: - base de dados do programa, elaborada pelo Cenpec muncípos partcpantes, com nformação se fzeram avalação dagnóstca, plano de ação e formação dreta. - Censo Escolar dos anos de 2000 a 2005 porcentagem de professores com nível superor, horas-aula, taxas de aprovação, reprovação e abandono; - Censo Demográfco de 2000 população, renda per capta, IDH educação. Os dados utlzados são as médas por muncípo. No caso dos dados escolares, são consderadas apenas as escolas muncpas. 10
Para cada edção, foram consderadas as varações nos ndcadores de fluxo escolar referentes a um ano antes e um e dos anos após o programa. Assm: Edção 2, realzada em 2000/2001 varação 2000-2002 e 2000-2003 Edção 3, realzada em 2001/2002 varação 2001/2003 e 2001-2004 Edção 4, realzada em 2002/2003 varação 2002-2004 Edção 5, realzada em 2003 varação 2002-2004 Nas duas últmas edções, não fo utlzada a nformação sobre dos anos após o programa por falta de dados dsponíves. 2.1.3 Defnção dos grupos de tratamento e controle O grupo de tratamento é formado pelos muncípos partcpantes do programa, que partcparam só uma vez. Supõe-se que os muncípos que partcparam mas de uma vez possam apresentar resultados melhores, e portanto afetaram os resultados relatvos a uma partcpação. Os números de muncípos partcpantes por estado, com e sem os muncípos que partcparam mas de uma vez, são apresentados nas tabelas 3 e 4. Tabela 3: Muncípos partcpantes por estado Edção: AC AL BA GO MA MG MS PB PE PI RN SP SE % do total de muncípos 2 22 22 55 3 20 21 14 19 18 13 4 21 20 60 27 20 5 16 68 3 2 100% 19% 4% 9% 10% 4% 28% 51% 2% 9% 16% 9% 27% Tabela 4: Muncípos partcpantes por estado, exclundo os que partcparam mas de uma vez Edção: AC AL BA GO MA MG MS PB PE PI RN SP SE 2 22 22 48 3 20 21 11 19 18 6 4 21 17 28 27 20 5 16 36 3 2 % do total de muncípos 100% 19% 4% 9% 10% 3% 28% 37% 2% 9% 16% 8% 27% 11
Nos poucos casos em que o estado partcpou em dferentes edções, consderou-se apenas a edção com maor número de muncípos partcpantes. Foram desprezados, portanto (ver tabela 4, números que não estão em negrto): - Muncípos de São Paulo que partcparam na edção 3 (6 muncípos); - Muncípos de Mnas Geras que partcparam na edção 3 (11 muncípos); - Muncípos da Paraíba que partcparam nas edções 3 e 4 (47 muncípos); - Muncípos do Pauí que partcparam na edção 5 (2 muncípos). Portanto, a amostra utlzada consdera apenas a partcpação em uma edção por estado. Esta exclusão de alguns estados ocorreu em função de um problema de dentfcação. Como não sera possível usar dummes de estado e de edção em um panel, optou-se por uma regressão de seção transversal com a dentfcação dos estados. O grupo de controle é formado pelos muncípos que não partcparam do programa nas edções 1 a 5 e os que partcparam apenas nas edções posterores (pos os ndcadores relatvos a eles são anterores à sua partcpação no programa). São consderados somente os estados onde houve alguma partcpação a partr da segunda edção, logo não foram consderados 14 estados: AM, AP, CE, DF, ES, MT, PA, PR, RJ, RO, RR, RS, SC e TO. Para os muncípos de controle, são consderadas as taxas de fluxo escolar referentes à edção em que o seu estado partcpou. Assm, para os muncípos do Maranhão que não partcparam, por exemplo, fo consderada a varação dos ndcadores de fluxo escolar referentes à edção 3 (ou seja, 2001/2003 e 2001-2004). Para os muncípos da Paraíba que não partcparam, fo consderada a varação referente à edção 5. 3 Análse descrtva dos dados da pesqusa A tabela 5 mostra o tamanho das amostras do grupo de tratamento. Alguns muncípos foram excluídos da estmatva por não terem nformações dsponíves de todas as varáves explcatvas (por sso, os números dos grupos de tratamento não concdem exatamente com os da tabela 4). Nas estmatvas específcas a cada edção, o número de observações nas subamostras de muncípos que fzeram avalação dagnóstca, plano de ação e que tveram formação dreta é muto pequeno, mpedndo que uma estmatva confável fosse realzada. 12
Na estmatva do mpacto do programa sobre os ndcadores de fluxo escolar dos anos à frente, mutas observações foram desprezadas por falta de dados dsponíves para as edções 4 e 5, como mostra a tabela 6. Tabela 5: Número de observações Total Avalação dagnóstca Plano de Ação Formação Dreta Tabela 6: Número de observações - com dados para 2 anos após o programa Total Avalação dagnóstca Plano de Ação Formação Dreta Todas Edção 2 Edção 3 Edção 4 Edção 5 tratados 261 63 91 113 57 controle 2495 264 1576 1299 794 tratados 129 17 26 82 33 controle 2441 210 711 1299 794 tratados 124 16 18 77 33 controle 2441 210 711 1299 794 tratados 180 18 87 85 17 controle 2194 54 1523 1208 703 Todas tratados 121 controle 674 tratados 39 controle 620 tratados 31 controle 620 tratados 74 controle 464 A tabela 7 mostra que os estados que partcparam do programa têm menor proporção de professores com nível superor, menor IDH e menor renda per capta, ndcando que a focalzação do programa nos estados que mas necesstam é boa. Fonte: Partcparam sm não Prof. com nível superor 17% 23% Horas-aula 4,2 4,1 IDH - educação 0,7503 0,8278 Renda per capta 144 205 População 21.731 29.268 Censo escolar 2001 Censo demográfco 2000 Tabela 7: Médas dos estados A tabela 8 mostra as médas das varáves explcatvas para os muncípos e a comparação entre os muncípos que partcparam e os que não partcparam. Nota-se que a 13
porcentagem de professores com nível superor é maor nos muncípos que partcparam do programa, mas o IDH da educação nestes é menor. Renda per capta e horas-aula apresentam valores smlares. Em méda, os muncípos que partcparam são maores (embora o foco do programa sejam os muncípos com menos de 20 ml habtantes, as cdades-polo aumentam a méda populaconal). Tabela 8 % professores com Renda per capta Méda de horasaula nível superor 2000 (R$) População 2000 IDH educação 2000 Partcpou Méda Desvopadrãpadrãpadrãpadrãpadrão Desvo- Desvo- Desvo- Desvo- Méda Méda Méda Méda não 16,2 22,2 141 85 4,2 0,3 20.602 58.145 0,749 0,086 sm 20,1 23,7 140 85 4,2 0,4 35.721 108.413 0,742 0,097 Total 16,5 22,3 141 85 4,2 0,3 21.951 64.370 0,748 0,087 A tabela 9 mostra a evolução dos ndcadores de fluxo escolar ao longo do tempo. O ndcador que apresentou maor varação ao longo do tempo fo a taxa de abandono e ela cau um pouco mas entre os partcpantes do programa. As taxas de aprovação aumentaram, mas em menor magntude, e o grupo de muncípos que partcparam de formação dreta aparentemente teve melhor desempenho. A taxa de reprovação aumentou em todos os grupos. A avalação de mpacto, levando em consderação os muncípos parecdos, rá confrmar ou não o resultado da comparação de médas smples. Tabela 9 Partcpou Amostra 2000 2001 2002 2003 2004 Varação 2000-2004 Médas das taxas de abandono não 14,0 10,9 9,7 9,7 10,4-25,73% aval. dagnóstca 16,1 12,0 11,0 10,6 11,5-28,32% sm formação dreta 15,6 12,0 11,3 10,9 11,2-28,03% total partcpantes 14,2 10,8 10,2 9,8 10,3-27,22% Total 14,0 10,9 9,7 9,7 10,4-25,87% Médas das taxas de aprovação não 71,8 75,1 75,7 75,2 73,9 2,87% aval. dagnóstca 67,5 71,3 71,9 72,8 70,6 4,71% sm formação dreta 65,9 69,8 71,9 71,2 69,2 4,89% total partcpantes 69,4 73,0 73,5 73,9 72,0 3,74% Total 71,6 74,9 75,5 75,1 73,7 2,95% Médas das taxas de reprovação não 14,2 14,0 14,6 15,1 15,8 10,75% aval. dagnóstca 16,5 16,7 17,0 16,5 17,9 8,30% sm formação dreta 18,5 18,1 17,9 17,9 19,6 6,14% total partcpantes 16,4 16,2 16,3 16,3 17,7 7,74% Total 14,4 14,2 14,8 15,2 15,9 10,44% 14
4 Avalação de mpacto 4.1. Estmatvas para todas as edções As tabelas abaxo apresentam os resultados das estmatvas do mpacto do programa sobre os ndcadores de fluxo escolar. O símbolo * ndca que o resultado é estatstcamente sgnfcante a um nível de 90%. As estmatvas para a varação de fluxo escolar de um ano consderam todas as edções (2 a 5). As estmatvas para dos anos depos consderam apenas as edções 2 e 3. A metodologa de mínmos quadrados ponderados (MQP) gera resultados consstentes e mas efcentes que as estmatvas por pareamento, apresentadas no anexo. Para a amostra de todos os muncípos os resultados não são estatstcamente sgnfcantes para o mpacto um ano após a partcpação no programa. O mpacto é sgnfcante sobre as taxas de aprovação e reprovação quando se consdera as taxas dos anos após o programa. Abaxo seguem os resultados da estmatva para a amostra total, um ano após a partcpação no programa: O prmero estágo é uma estmatva probt em que a varável dependente é a partcpação no programa. Tabela 10: Regressão probt Número de obs = 2756 LR ch2(16) = 235.38 Prob > ch2 = 0.0000 Log verossmlhança = -745.72461 Pseudo R2 = 0.1363 ------------------------------------------------------------------------------ Partcpação Coef. Erro-padrão z P> z [Interv. de conf. 95%] -------------+---------------------------------------------------------------- % prof super.0003389.002344 0.14 0.885 -.0042553.004933 méda h-aula -.0101428.1401422-0.07 0.942 -.2848165.2645309 dh educação 2.388147.8221426 2.90 0.004.776777 3.999517 renda p.cap. -.0018974.0009151-2.07 0.038 -.0036909 -.0001039 população 1.33e-06 4.11e-07 3.23 0.001 5.21e-07 2.13e-06 Baha -1.100913.2036408-5.41 0.000-1.500041 -.7017838 Goás -.7544334.2460412-3.07 0.002-1.236665 -.2722016 Maranhão -.5133572.2014715-2.55 0.011 -.9082341 -.1184802 Mnas Geras -1.440774.2173008-6.63 0.000-1.866676-1.014873 Mato G. Sul.0094801.2599563 0.04 0.971 -.5000249.5189852 Paraíba.1836923.1931445 0.95 0.342 -.1948639.5622485 Pernambuco -1.410087.2861398-4.93 0.000-1.970911 -.8492637 Pauí -.6106377.1991088-3.07 0.002-1.000884 -.2203917 Ro G. Norte -.3206802.2043118-1.57 0.117 -.7211239.0797636 Sergpe.029817.229969 0.13 0.897 -.4209139.4805479 São Paulo -.3486329.2792754-1.25 0.212 -.8960027.1987369 constante -2.165446.7385234-2.93 0.003-3.612925 -.7179669 ------------------------------------------------------------------------------ 15
O segundo estágo é uma estmatva de mínmos quadrados ponderados, que usa as probabldades estmadas no prmero estágo como ponderador para a estmatva da relação entre partcpação no programa e fluxo escolar. No exemplo abaxo, a varável dependente é a varação da taxa de aprovação. Apesar de a melhora na taxa de aprovação do grupo de tratamento ser maor (0,49pp), este aumento não é estatstcamente sgnfcante: Tabela 11: SS df MS Número de obs = 2778 -------------+------------------------------ F( 1, 2776) = 2.15 Modelo 146.954807 1 146.954807 Prob > F = 0.1423 Resíduo 189377.257 2776 68.2194729 R-2 = 0.0008 -------------+------------------------------ R-2 ajustado = 0.0004 Total 189524.212 2777 68.2478256 Root MSE = 8.2595 ------------------------------------------------------------------------------ Taxa aprov. Coef. Erro-padrão t P> t [Interv. de conf. 95%] -------------+---------------------------------------------------------------- Partcpação.4946908.3370514 1.47 0.142 -.1662059 1.155587 constante -.8356802.1894862-4.41 0.000-1.207228 -.4641321 ------------------------------------------------------------------------------ Na tabela 12 são apresentadas as estmatvas consderando as dferentes subamostras: apenas os muncípos que mplementaram bem o programa (fzeram análse dagnóstca e/ou plano de ação) e apenas os muncípos que tveram formação dreta. No recorte da amostra que consdera, entre muncípos tratados, só os que fzeram avalação dagnóstca, os resultados são estatstcamente sgnfcantes o programa aumentou as taxas de aprovação e dmnuu as taxas de reprovação e abandono, um e dos anos após o programa. Nos muncípos que elaboraram um plano de ação e nos que tveram formação dreta, o programa teve mpacto postvo e sgnfcante sobre as taxas de aprovação e abandono, um e dos anos após o programa. Tabela 12: Impacto do Programa - todas as edções (pontos percentuas) amostras Varação da aprovação 1 ano depos Varação da aprovação 2 anos depos Varação da reprovação 1 ano depos todos avalação dagnóstca plano de ação formação dreta 0,495 1,292 * 0,937 * 1,190 * 1,068 * 2,427 * 1,994 * 2,590 * -0,316-0,557 * -0,228-0,411 Varação da reprovação 2 anos depos -0,775 * -1,056 * -0,552-0,947 Varação do abandono 1 ano depos -0,179-0,735 * -0,709 * -0,779 * Varação do abandono 2 anos depos -0,292-1,371 * -1,442 * -1,643 * * estatstcamente sgnfcante a 90% 16
Os resultados, portanto, são muto mas robustos quando o programa é bem mplementado ou oferece formação dreta. Cerca de 50% dos muncípos mplementaram bem o programa, e 70% receberam formação dreta. 4.1 Estmatvas por edção Para a edção 2, não fo possível consderar as amostras de muncípos que fzeram avalação dagnóstca, plano de ação e formação dreta porque o número de observações tratadas era muto pequeno. Os resultados não são estatstcamente sgnfcantes para as varações das taxas de aprovação e reprovação. No caso das taxas de abandono, o resultado é sgnfcante mas ndesejável: ndca que a partcpação no programa aumentou a taxa de abandono. Tabela 13: Impacto do Programa - Edção 2 (pontos percentuas) Aprovação 1 ano depos -0,660 Aprovação 2 anos depos 0,430 Reprovação 1 ano depos -0,844 Reprovação 2 anos depos -0,622 Abandono 1 ano depos 1,504 *pos Abandono 2 anos depos 0,192 UFs partcpantes: AC, MS, SP * sgnfcatvos a 90% Na estmatva referente à edção 3, somente a subamostra dos muncípos que tveram formação dreta tnha observações sufcentes para fazer as estmatvas. Os muncípos de estados que partcparam em outras edções (6 muncípos de SP, 11 de MG e 19 da PB), que foram retrados na amostra total, foram mantdos nesta amostra específca. Em méda, a taxa de abandono destes muncípos aumentou mas (ou dmnuu menos) que a do restante, logo a nclusão desses muncípos contrbuu para que o resultado fosse por que o resultado da amostra total. 17
Tabela 14: Impacto do Programa - Edção 3 (pontos percentuas) amostras Varação da aprovação 1 ano depos -0,155-0,278 Varação da aprovação 2 anos depos -0,700-0,792 *neg Varação da reprovação 1 ano depos -0,353-0,231 Varação da reprovação 2 anos depos -0,198-0,120 Varação do abandono 1 ano depos 0,508 *pos 0,509 *pos Varação do abandono 2 anos depos 0,898 *pos 0,912 *pos UFs partcpantes: AL, MA, MG, PB, PI, SP * estatstcamente sgnfcante a 90% todos formação dreta Para a edção 4, só hava nformação dsponível para avalar o mpacto sobre os ndcadores referentes a um ano após a partcpação no programa. Nos muncípos que tveram formação dreta, o mpacto sobre a taxa de abandono fo sgnfcante. Tabela 15: Impacto do Programa - Edção 4 (pontos percentuas) amostras Varação da aprovação 1 ano depos 0,508 0,182 0,005 0,748 Varação da reprovação 1 ano depos -0,362-0,261-0,004-0,196 Varação do abandono 1 ano depos -0,146 0,079-0,001-0,552 * UFs partcpantes: GO, MG, PB, RN, SE * estatstcamente sgnfcante a 90% todos avalação dagnóstca plano de ação formação dreta Para a edção 5, assm como nas edções 2 e 3, só foram estmados os mpactos para a amostra total, em função do tamanho das subamostras. Os resultados não são sgnfcatvos. Tabela 16: Impacto do Programa - Edção 5 (pontos percentuas) Varação da aprovação 1 ano depos -0,023 Varação da reprovação 1 ano depos 0,308 Varação do abandono 1 ano depos -0,285 UFs partcpantes: BA, PB, PE, PI * sgnfcatvos a 90% 18
4.2 Estmatvas para a Paraíba As tabelas a segur mostram como evoluíram os ndcadores do total de muncípos partcpantes da Paraíba, partcpantes que tveram formação dreta, e dos não-partcpantes. Somente a edção 3 ofereceu formação dreta (para 15 muncípos). Tabela 17 - Paraíba Partcpou Amostra 2000 2001 2002 2003 2004 Varação 2000-2004 Médas das taxas de aprovação não 65,61 68,19 69,02 69,80 66,49 1,34% sm formação dreta 66,20 69,57 68,95 70,35 66,81 0,92% total partcpantes 65,35 68,88 68,27 68,82 65,57 0,33% Total 65,47 68,57 68,60 69,25 65,98 0,78% Médas das taxas de reprovação não 16,91 17,98 18,15 17,66 18,48 9,28% sm formação dreta 15,90 15,54 15,92 15,68 16,35 2,85% total partcpantes 15,56 17,23 17,77 17,66 18,52 19,02% Total 16,16 17,56 17,94 17,66 18,50 14,50% Médas das taxas de abandono não 17,48 13,82 12,83 12,54 15,04-14,00% sm formação dreta 17,90 14,89 15,13 13,97 16,84-5,94% total partcpantes 19,08 13,90 13,95 13,52 15,91-16,63% Total 18,37 13,86 13,46 13,09 15,52-15,52% Para estmar o mpacto do programa no estado da Paraíba, fzemos duas estmatvas. A prmera consdera os muncípos que partcparam das edções 4 e 5, já que a varação dos ndcadores de fluxo utlzados para essas edções é referente aos mesmos anos (2002-2004). Não foram desprezados os muncípos que partcparam mas de uma vez. A outra estmatva utlza o método de panel, consderando também os muncípos que partcparam na edção 3. Nesta estmatva, as nformações dos muncípos que partcparam uma vez e não partcparam nas edções seguntes fo consderada apenas até o ano de sua partcpação. Desta forma eles não são utlzados como grupo de controle nos anos seguntes à partcpação no programa. Nenhuma das estmatvas teve resultado estatstcamente sgnfcante. 19
Tabela 18: Impacto do Programa - Paraíba - panel amostras total Varação da aprovação 1 ano depos -0,761 Varação da reprovação 1 ano depos 0,741 Varação do abandono 1 ano depos 0,020 avalação dagnóstca -0,207-0,343 0,550 plano de ação -0,134-0,252 0,386 formação dreta -0,174 0,198-0,023 Tabela 19: Impacto do Programa - Paraíba - edções 4 e 5 Varação da Varação da Varação do aprovação 1 reprovação 1 ano abandono 1 ano amostras total ano depos -0,061 depos 0,288 depos -0,227 avalação dagnóstca 0,647-0,602-0,045 plano de ação 0,726-0,490-0,237 formação dreta - - - 20
5 Anexo O mpacto também fo calculado com o método de propensty score matchng, com local lnear regresson. Seguem abaxo explcação da metodologa e resultados obtdos. As estmatvas obtdas por este método não são estatstcamente sgnfcatvas. Método: Pareamento pelo método local lnear regresson Sejam dos resultados potencas (Y0, Y1), onde 1 ndca resultado com tratamento. Seja D = 1 se ocorre tratamento e D = 0 caso contráro. Sejam X varáves observadas que determnam a partcpação no tratamento e seu resultado. Podemos escrever o efeto tratamento sobre tratados (ATT) como: E (Y1- Y0 X, D=1) (1) Como não temos o contrafactual E (Y0 X, D=1), o problema de seleção surge quando queremos utlzar a dferença das médas amostras observadas para estmar o efeto do tratamento: E (Y1 X, D=1) E (Y0 X, D=0) (2) No caso do ATT, o vés gerado equvale à dferença entre (1) e (2): [E (Y1 X, D=1) E (Y0 X, D=0) ] [E (Y1- Y0 X, D=1) ] = = E (Y0 X, D=1) E (Y0 X, D=0) (3) As hpóteses de dentfcação, ou seja, as hpóteses que garantem que a dferença em (3) é nula, são: (a) Y0 D X, sto é, ndependênca de Y0 em relação a D X (b) 0 < Pr(D=1 X) = P(X) < 1, sto é, exstem observações tratadas e não-tratadas. Rosenbaum e Rubn (1983) mostram que, dados (a) e (b), também vale: (c) Y0 D P(X), o que reduz a dmensão necessára para resolver o pareamento. A hpótese (a) podera ser smplfcada para a hpótese de ndependênca de médas, E(Y0 X, D=0) = E(Y0 X). Neste caso, porém, a condção (c) não segue medatamente, precsando ser consderada uma hpótese adconal. Se, por um lado, a hpótese de dentfcação pode ser forte em casos em que nem todas as varáves relevantes são observáves, o pareamento tem a vantagem de não exgr exogenedade das varáves explcatvas (se o pareamento é bom, as varáves não 21
observadas relevantes estão gualmente dstrbuídas nos grupos de tratados e de controle, e seu efeto, portanto, se cancela) e não exgr restrção de exclusão (que entre as varáves que explcam a partcpação no programa haja varáves que não são correlaconadas com o resultado). A hpótese de dentfcação depende, portanto, de não haver varáves nãoobservadas que afetem o resultado de forma dferencada nos grupos de tratamento e controle. O uso de P(X) em vez de X é conhecdo como método de propensty score. Escolhemos as observações matched de acordo com as probabldades estmadas (propensty scores) mas parecdas com as estmadas para o grupo de tratados. Para garantr que as observações sejam realmente parecdas, utlzamos um suporte comum de probabldades, tal que apenas as observações não-tratadas com propensty score dentro da faxa de propensty score das observações tratadas são consderadas. Resultados: Impacto do Programa - todas as edções (pontos percentuas) todos avalação dagnóstca plano de ação formação dreta Varação da aprovação 1 ano depos 0,122 0,907 0,520 0,561 Varação da aprovação 2 anos depos -0,600-0,554-3,337 0,275 Varação da reprovação 1 ano depos -0,415-0,451-0,180-0,446 Varação da reprovação 2 anos depos -0,715-0,230 0,307-0,427 Varação do abandono 1 ano depos 0,293-0,456-0,340-0,115 Varação do abandono 2 anos depos 1,315 0,784 3,030 0,152 22
6 Fontes bblográfcas CENPEC (2005) Os muncípos em busca da melhora da educação. São Paulo. CENPEC (2006) Avalação de mpacto do programa melhora da educação no muncípo. FIRPO, S. (2006) Comentáro sobre IMBENS (2004). (manuscrto). IMBENS, G. (2004) Nonparametrc estmaton of average treatment effects under exogenety: a revew. The Revew of Economcs and Statstcs, Feverero, 86(1). 23