Avaliação do impacto dos programas do Instituto Ayrton Senna Ricardo Barros IPEA Mirela de Carvalho IETS Ao longo da última década, cada vez mais redes públicas de ensino municipais e estaduais passaram a adotar programas do Instituto Ayrton Senna voltados para a correção de fluxo (Acelera e Se Liga) e melhoria da gestão escolar (Circuito Campeão e Gestão Nota 10). Em 1998, o Instituto apoiava apenas 24 municípios. Já em 2008, eram 624 municípios em 21 das 27 unidades da federação com ao menos um dos programas. A questão é qual terá sido a contribuição do Instituto Ayrton Senna para a melhoria do desempenho educacional nessas redes de ensino, isto é, qual foi o impacto de seus programas? O impacto de uma intervenção dessa natureza é, em última instância, o resultado de uma comparação: do desempenho educacional das redes que adotaram o programa com o que teria ocorrido na ausência do mesmo. Idealmente, essa resposta requer da avaliação um desenho experimental, onde redes ou outras unidades são selecionadas ao acaso para participar ou não da intervenção. O contraste entre o desempenho das redes atendidas e não atendidas seria uma medida do impacto. Na ausência de informações de tal natureza, buscamos caminhos alternativos. Uma alternativa considerada foi contrastar o progresso entre 1999 e 2005 dos municípios que adotaram algum programa do Instituto nesse período com o dos municípios que nunca adotaram programas do Instituto até o final de 2005. Sob a hipótese de que, em média, os municípios participantes não são especiais em qualquer aspecto particular e, portanto, na ausência dos programas teriam um desempenho similar ao dos que não participaram, podemos usar a diferença entre o desempenho de participantes e não participantes como uma medida do impacto da participação em programas do Instituto sobre o desempenho educacional do município. Essa foi nossa 1ª abordagem. Uma vez que a participação nos programas do Instituto requer do município ou estado certas atitudes, além de uma considerável predisposição para a organização e introdução de modernas técnicas de gestão, se poderia argumentar que as redes não 1
participantes são distintas das participantes e, portanto, as diferenças entre elas em progresso educacional já existiriam mesmo na ausência dos programas. Preocupados com essa possibilidade, consideramos um procedimento alternativo que consiste em contrastar o progresso das redes que adotaram um dos programas do Instituto antes de 2005 com o de redes que o fizeram após esse ano. Nesse caso, a comparação fica restrita a municípios que adotaram algum programa do Instituto e a diferença entre os dois grupos está apenas no momento da implantação. Isso torna os municípios que adotaram o programa após 2005, final do período de avaliação, um grupo de controle quase ideal. Por essa razão, adotamos como 2ª abordagem para estimação do impacto dos programas do Instituto, o contraste entre o progresso dos municípios que entraram em pelo menos um dos programas até 2005 e o dos que vieram a participar após essa janela de avaliação. Além disso, sabemos que as condições socioeconômicas dos municípios atendidos e não atendidos pelo Instituto, bem como dos municípios atendidos antes e após 2005, não são exatamente iguais. Portanto, é esperado que existam diferenciais de desempenho educacional entre os grupos, mesmo na ausência dos programas do Instituto. Dessa forma, ajustamos os diferenciais de desempenho educacional, levando em conta as diferenças socioeconômicas entre os municípios. O desempenho educacional foi medido a partir de indicadores de resultados do fluxo escolar (taxas de aprovação, reprovação, abandono, defasagem série-idade), também a partir de algumas características básicas dos serviços oferecidos (como número médio de alunos por turma, número de horas-aula por dia e qualificação dos professores), bem como diversas características da infraestrutura escolar. Porque a Prova Brasil foi iniciada apenas em 2005 e nosso estudo contrasta o progresso entre 1999 e 2005, uma análise do impacto dos programas do Instituto sobre o rendimento em Matemática e Língua Portuguesa, nesses mesmos moldes, não pôde ser realizada. Contudo, foi possível contrastar o progresso na Prova Brasil entre 2005 e 2007 dos municípios participantes e não participantes (1ª abordagem) e também dos que ingressaram antes de 2007 com os que ingressaram depois desse ano (2ª abordagem). Os resultados encontrados revelam que cada ano no programa eleva a taxa de aprovação em 2,3 pontos percentuais se a 1ª abordagem for adotada e 1,1 ponto percentual no caso da 2ª abordagem. Historicamente, a taxa de aprovação vem crescendo, em média, 2
no país cerca de 0,5 ponto percentual a cada ano. Assim, a incorporação de um programa do Instituto iria tipicamente quintuplicar ou triplicar a intensidade do progresso educacional nas redes, dependendo se adotamos a 1ª ou 2ª abordagem de avaliação. Considerando o efeito apenas da melhora socioeconômica das famílias sobre a taxa de aprovação, temos que um ano de melhora socioeconômica aumenta a taxa de aprovação nos municípios em 0,4 ponto percentual. Assim, um ano do programa seria equivalente a seis ou três anos de progresso socioeconômico, dependendo da abordagem utilizada para estimar o impacto. Em outras palavras, o que o programa é capaz de fazer pelo município em um ano, levaria de três a seis anos para ser alcançado por meio do simples progresso socioeconômico local. Quando os mesmos procedimentos são utilizados para se avaliar o impacto dos programas do Instituto sobre a taxa de reprovação, obtém-se que um ano de participação reduz a taxa de reprovação em 1,2 ou 0,4 ponto percentual dependendo da abordagem utilizada. Dado que um ano de melhoria nas condições socioeconômicas do município leva a uma redução na taxa de reprovação de 0,25, o programa é capaz de fazer em um ano, o que levaria de 5 a 1,5 anos para ser alcançado pelo simples progresso socioeconômico do município. O impacto dos programas do Instituto sobre a taxa de abandono tende a ser ainda mais acentuado. Dependendo da abordagem considerada, um ano de participação pode ser responsável por uma redução na taxa de abandono de 1,0 ou 0,7 ponto percentual. O declínio histórico tem sido de 0,7 ponto percentual por ano. Daí segue que a incorporação de um programa do Instituto iria tipicamente dobrar a intensidade do progresso educacional nas redes, independente da abordagem utilizada. De maneira alternativa, temos que melhorias nas condições socioeconômicas do município são responsáveis por um declínio de 0,2 ponto percentual por ano na taxa de abandono. Nesse caso, o programa faz em um ano o que levaria de 7 a 5 anos para ser alcançado pelo simples progresso socioeconômico do município. Por causa de seu próprio desenho, os programas do Instituto têm um impacto significativo sobre a taxa de distorção série-idade. Estima-se que um ano no programa deve reduzir a taxa de distorção série-idade em 1,6 ou 1,1 ponto percentual. Como a taxa de abandono vem declinando historicamente a uma média de 2 pontos percentuais por ano, a 3
incorporação de um programa do Instituto iria tipicamente dobrar ou elevar em 50% a intensidade do progresso educacional nas redes. Alternativamente, como melhorias nas condições socioeconômicas do município tendem a reduzir a taxa de distorção série-idade em 0,7 ponto percentual por ano, tem-se que o programa é capaz de fazer em um ano aquilo que levaria dois anos para ser alcançado pelo simples progresso socioeconômico do município. Portanto, independente da abordagem adotada, a conclusão é sempre a mesma: o impacto do programa sobre o fluxo educacional é substancial e em todos os casos analisados é estatisticamente significante. A análise dos resultados da Prova Brasil revela que a substancial melhora no fluxo educacional alcançada pelas redes que adotaram os programas do Instituto ocorreu sem prejuízo nos rendimentos médios em Matemática ou Língua Portuguesa. De fato, independente da abordagem utilizada, encontramos sempre que, a despeito da queda acentuada nas taxas de reprovação, distorção idade-série e abandono nos municípios atendidos pelo Instituto, a melhoria nos rendimentos em Língua Portuguesa e Matemática nunca é inferior ao que se observa nos municípios que não participaram do programa e que, portanto, mantém taxas de reprovação e distorção idade-série mais elevadas. Quando estudamos o impacto dos programas do Instituto sobre a escolaridade dos professores e tamanho da sala de aula não encontramos resultados estatisticamente significativos. Essas podem ser evidências de que os programas operam muito mais por meio de formação continuada dos professores já disponíveis na rede do que propriamente induzindo à contratação de um volume maior de profissionais ou ainda à substituição por profissionais com maior escolaridade. Vale ressaltar, entretanto, que se observou algum efeito positivo dos programas do Instituto sobre a jornada escolar diária. Os efeitos sobre os diversos aspectos da infraestrutura das escolas são, em geral, menos importantes e estatisticamente não significativos, indicando talvez que os programas operam muito mais elevando a efetividade da infraestrutura disponível do que propriamente promovendo a melhoria dela. É importante ressaltar que foram encontrados impactos negativos e estatisticamente significativos quanto à construção de quadra de esportes e acesso à internet, o que talvez indique uma priorização da alocação dos escassos recursos disponíveis a finalidades mais 4
diretamente relacionadas ao desempenho acadêmico da escola. De qualquer forma, estes efeitos colaterais poderiam facilmente ser compensados pela concomitante adoção de programas diretamente voltados à promoção de esportes e informatização nas escolas. 5