REMUNERAÇÃO POR MÉRITO, DESAFIO PARA A EDUCAÇÃO. Teresa Cozetti Pontual novembro de Estudo comissionado pela Fundação Lemann

Transcrição

1 REMUNERAÇÃO POR MÉRITO, DESAFIO PARA A EDUCAÇÃO Teresa Cozetti Pontual novembro de 2008 Estudo comissionado pela Fundação Lemann

2 ÍNDICE Introdução... 3 I - Remuneração Variável: Teorias e Conceitos Norteadores... 5 II - As Experiências com Remuneração Variável fora do Brasil... 7 III - Duas Pesquisas Experimentais sobre Remuneração Variável...16 IV - Experiências com Remuneração Variável no Brasil...26 V - Conclusões, Reflexões e Proposições...41 Bibliografia

3 INTRODUÇÃO O presente estudo visa avaliar as atuais experiências com remuneração variável para profissionais da educação pública do ensino básico em estados brasileiros. A pesquisa parte do princípio de que a remuneração variável de profissionais de educação com base no desempenho dos seus alunos e demais indicadores de resultado traz benefícios mensuráveis à qualidade da educação, como mostram experiências em vários estados dos Estados Unidos e em alguns países em desenvolvimento. O objetivo da pesquisa será mostrar os diversos caminhos escolhidos pelos estados brasileiros que já adotaram ou planejam adotar políticas de remuneração variável e sugerir linhas de pesquisa e avaliação que aumentem as chances de sucesso dessas políticas. Seguindo esta introdução, a primeira parte do estudo consistirá em resumo bibliográfico sobre as teorias subjacentes à política de remuneração variável para professores baseada no desempenho de seus alunos, qual a lógica de tal política e quais são os principais resultados esperados de sua adoção. A segunda parte fará um resumo das pesquisas já realizadas sobre a adoção de políticas de remuneração variável para professores em redes de ensino, fora do Brasil, com o intuito de esclarecer as principais lições que essas experiências têm a nos oferecer. A terceira irá descrever duas pesquisas experimentais sobre políticas de remuneração por desempenho realizadas no Quênia e na Índia. A quarta seção fará um relato dos programas de remuneração variável que já foram ou estão sendo implementados em estados brasileiros, além de uma análise preliminar de seus resultados, quando possível, e das críticas e resistências geradas pelas experiências existentes. A quinta e última parte concluirá o estudo juntando, às experiências enumeradas, reflexões e recomendações sobre caminhos de pesquisa e avaliação necessários para o sucesso das políticas de remuneração variável. A metodologia utilizada será de pesquisa documental, tendo como fonte as Secretarias de Estado de Educação dos estados em questão, e bibliográfica, utilizando estudos, livros e matérias publicados sobre políticas de remuneração variável no Brasil e em outros paises. Conversas, entrevistas e informações obtidas em palestras também serão utilizadas como fonte. Este estudo não tem como objetivo tirar conclusões definitivas sobre os benefícios ou deméritos dos programas de remuneração variável, seja no Brasil, seja nos demais países e, portanto, não realizará análises quantitativas com este fim. Onde pesquisas rigorosas de avaliação de resultados destas políticas estejam disponíveis, estas 3

4 serão apresentadas. Este estudo visa somente fazer um apanhado do que é conhecido sobre remuneração variável até o presente momento, reunindo o que as pesquisas internacionais nos mostram ao que está sendo feito no Brasil. O objetivo final da realização desta pesquisa, de certo modo prematura, já que grande parte das experiências brasileiras consideradas ou foram abandonadas ou se encontram em fase de desenvolvimento ou de implementação inicial, é trazer atenção para uma política inovadora e promissora de melhoria da qualidade da educação. O Brasil tem a oportunidade, através de pesquisas rigorosas sobre políticas como as de remuneração variável, de fazer parte do diálogo internacional sobre as estratégias mais eficazes de melhoria da qualidade de ensino em grande escala. Daí a importância de se destacar as experiências e pesquisas pioneiras de políticas de remuneração variável para que os gestores públicos sejam munidos de informações que os ajudem a desenhar políticas cada vez mais eficazes. 4

5 I - REMUNERAÇÃO VARIÁVEL: TEORIAS E CONCEITOS NORTEADORES A remuneração de professores na maioria dos sistemas de ensino é única para todos os profissionais, oferecendo uma base salarial que varia com base em dois critérios: tempo de serviço e titulações obtidas. Em outras profissões, a incidência de remuneração variável com base nos resultados e produtividade dos profissionais é prática comum. De acordo com uma pesquisa feita em 1996 com firmas, 61% delas utilizavam algum tipo de esquema de remuneração variável com base no desempenho (Podgursky e Springer, 2006). Outro estudo revela que três quartos dos empregados assalariados de grandes firmas fazem parte de algum esquema de remuneração variável por desempenho (Ibid.). No campo da educação pública, como o mercado não serve como indicador de desempenho, a dificuldade de se encontrar uma medida de desempenho objetiva e padronizada para todo um sistema fez com que a remuneração variável demorasse a surgir como opção viável. Além da questão da mensuração, há também a proteção oferecida pela legislação aos empregos dos professores da maioria das redes públicas de ensino, o que torna sua demissão por mal desempenho (caso seja possível aferi-lo com exatidão e objetividade) praticamente impossível. O desenvolvimento dos testes padronizados de larga escala que ganharam popularidade nos anos 90 e vem se consolidando desde então, ganhando dimensão internacional com o advento do Programme for International Student Assessment (PISA) e Trends in International Mathematics and Science Studies (TIMSS), passou a oferecer aos sistemas de ensino uma medida quantificável e padronizada do desempenho dos alunos de sua rede, tornando viável, portanto, a identificação de professores e escolas cujo desempenho atinja patamares recomendáveis e satisfatórios, e permitindo que surgisse a opção de se associar a remuneração dos professores de uma escola, individualmente ou coletivamente, ao desempenho de seus alunos. Através de um bônus por desempenho para professores, espera-se alinhar os interesses do aluno aos dos professores e assim motivar o professor a aumentar seu esforço dentro de sala de aula, contribuir para a profissionalização do magistério, estimular professores a investirem no seu próprio desenvolvimento profissional, assim como atrair professores mais bem qualificados para a profissão. Ou seja, não só melhorar a produtividade de quem já está na profissão, mas aumentar a qualidade da força de trabalho 5

6 docente como um todo, atraindo e retendo professores cujos alunos obtêm alto desempenho (Podgursky e Springer, 2006; Umansky, 2005; Gordon et al., 2006). No entanto, junto a essa possibilidade surge também uma série de questões complexas para as quais não há respostas prontas e objetivas, tal como: a definição do valor do bônus; se só serão beneficiados os professores das matérias e séries testadas; se os bônus serão individuais ou coletivos (para a escola, ou para grupos de professores de uma matéria ou série); a dificuldade da elaboração de um teste padrão que meça competências e habilidades; a periodicidade dos testes; as matérias e séries a serem testadas; a dificuldade de se basear a remuneração do professor num teste que reflete uma única dimensão do aprendizado do aluno; a promoção de um foco exagerado em técnicas para responder testes de múltipla escolha ao invés de conteúdos pedagógicos ( teaching to the test ); tirar o foco das matérias que não são testadas pelos testes-padrão; e a dificuldade de se evitar práticas escusas de manipulação dos resultados da avaliação externa, são algumas das mais mencionadas. Apesar das incertezas que rodeiam a política de bônus por desempenho para professores, o fato é que a sua popularidade é crescente, como provam os sistemas de ensino público de todo o mundo que adotam tais políticas com cada vez mais freqüência. Cada experiência com esta política oferece soluções para as questões enumeradas acima e apresenta resultados que devem ser considerados no seu aprimoramento pelos futuros sistemas que pretendem adotá-la. Este estudo tratará de expor algumas das experiências com remuneração variável em redes de ensino dentro e fora do Brasil. E relatará, também, os resultados de duas pesquisas experimentais realizadas no Quênia e na Índia que auxiliam na compreensão do impacto de políticas de remuneração variável no desempenho dos alunos. II - AS EXPERIÊNCIAS COM REMUNERAÇÃO VARIÁVEL FORA DO BRASIL Os Estados Unidos oferecem não só o maior número de experiências com remuneração variável em sistemas de ensino, como também o maior número de tentativas de avaliar seu impacto sobre o desempenho dos alunos. Murnane e Cohen (1986) identificam que a prática de remunerar professores por mérito perdeu popularidade do início do Século XX para cá: sua presença passou de 48 por cento dos distritos escolares 6

7 dos Estados Unidos, em 1918, para 20 por cento em 1939, para só 4 por cento em 1953 (Murnane e Cohen, 1986; Figlio e Kenny, 2006). No entanto, nos anos 80 e 90, essa tendência se inverteu, com 10 por cento dos distritos escolares adotando políticas de bônus por desempenho em 1984, e 12 por cento deles em 1993 (Ballou, 2001 citado em Figlio e Kenny, 2006). E continua positiva no início do Século XXI; as políticas de responsabilização do governo Bush aumentaram a pressão nos sistemas de ensino dos EE.UU. para elevar o desempenho de seus alunos como mensurado nos testes de desempenho padrão como o NAEP (National Assessment of Educational Progress ou Avaliação Nacional de Progresso Educacional). Em busca de maneiras inovadoras de alcançarem os novos padrões exigidos nacionalmente pela lei Nenhuma Criança Deixada para Trás (No Child Left Behind - NCLB), muitos distritos adotaram políticas de remuneração variável como uma das estratégias para melhorar o nível de aprendizagem de seus alunos. Podgursky e Springer (2006), em estudo publicado pelo National Center for Performance Incentives da Universidade Vanderbilt, defendem que o interesse pelas políticas de remuneração por desempenho está crescendo indubitavelmente, assim como o número de programas desse tipo que estão sendo desenvolvidos e implementados. Eles mencionam também que por uma estimativa jornalística, um terço dos distritos de educação básica [dos Estados Unidos] parece estar pronto para participar em políticas de incentivo por desempenho de iniciativa local, estadual ou federal (p. 1, tradução minha). Uma análise do conjunto de pesquisas existentes sobre o impacto dessas políticas no desempenho dos alunos aponta para a existência de uma associação positiva e estatisticamente significativa entre a adoção de políticas de remuneração variável e o desempenho dos alunos na maioria dos casos (Podgursky e Springer, 2006). Alguns dos programas de remuneração por desempenho que existem nos Estados Unidos são: o Sistema de Remuneração Profissional para Professores (ProComp) da cidade de Denver no Colorado, os programas de Prêmio por Excelência para Educadores do estado do Texas, os programas Professores Especiais São Reconhecidos do estado da Flórida, o programa Q-Comp (Quality Compensation ou Remuneração por Qualidade) do estado de Minnesota, além de programas criados por fundações filantrópicas como o Programa de Avanço para o Professor (Teacher Advancement Program - TAP) criado pela Fundação 7

8 Milken e o programa federal Fundo de Incentivo ao Professor (Teacher Incentive Fund - TIF), que no seu primeiro ano, em 2006, repassou cerca de metade dos US$ 99 milhões da reserva orçamentária feita em sua criação para 16 programas de remuneração variável em 14 estados americanos (Podgursky e Springer, 2006). Uma meta-análise que tente agrupar todas as pesquisas sobre o impacto desses programas, como já foi feito sobre o número de alunos em sala de aula, qualificação de professores, ou investimento por aluno, não é recomendável nesse caso porque cada programa de remuneração variável mencionado acima, apesar de todos de alguma forma usarem o desempenho do aluno para calcular a remuneração do professor, difere dos outros em desenho, de tal forma que eles não são, de fato, comparáveis. Não só os bônus são calculados e oferecidos em formatos e com freqüências completamente diversas, mas são diversas também as formas de medir o desempenho dos professores, com alguns programas usando somente avaliações externas dos alunos (que nos EE.UU. variam de estado para estado), outros usando modelos de valor-agregado ( value-added model ) e ainda outros usando um conjunto de medidas que incluem não só alguma medida do desempenho dos alunos mas também avaliações dos diretores de escola, de algum conselho ou comitê que exista na escola, ou dos pais dos alunos. Esses fatores nos impedem de resumir o efeito do bônus por desempenho para professores como se fosse uma política uniforme. No entanto, é possível analisar as avaliações dos programas de remuneração variável existentes e averiguar se seu saldo final é positivo, misto ou negativo, como fizeram Podgursky e Springer (2006) em seu estudo. Com base em nove avaliações sobre programas de bônus por desempenho realizados em cinco países e três estados americanos, estes autores puderam observar que os resultados, em termos de melhoria na avaliação do desempenho dos alunos em diversas matérias, foi positivo em sete e misto em dois deles (Podgursky e Springer, 2006). Destas nove avaliações, três foram pesquisas experimentais, ou seja, utilizavam um grupo de controle escolhido de forma aleatória e exógena ao tratamento (nestes casos definido como o bônus por desempenho), permitindo que diferenças observadas ao longo do tempo no desempenho dos alunos desses dois grupos pudessem ser atribuídas exclusivamente ao tratamento avaliado (duas destas pesquisas, uma realizada na Índia e a outra no Quênia, serão apresentadas em maior 8

9 detalhe na terceira seção deste estudo). Enquanto que as outras sete avaliaram os programas depois de já implementados, com base nos dados disponíveis, realizando análises estatísticas com controles multivariados, às vezes identificando grupos de controle ex-post, como no caso de Lavy (2002 e 2004), em Israel, para identificar associações (positivas ou não) estatisticamente significativas entre o desempenho dos alunos e o programa de remuneração variável avaliado. Uma destas sete pesquisas usando métodos de controle estatístico, mencionadas por Podgursky e Springer (2006) foi realizada por Figlio e Kenny (2006) usando os micro-dados de uma pesquisa nacional longitudinal da educação (National Education Longitudinal Survey) realizada em 1993 e uma pesquisa realizada pelos próprios autores em Eles criaram um índice para classificar os distritos escolares quanto à magnitude das suas práticas de política de remuneração por desempenho (com base na faixa salarial e na porcentagem dos professores que ganhavam ou bônus por desempenho ou aumento por desempenho). Correlacionando as notas dos alunos com esses índices de remuneração variável e ao mesmo tempo controlando pelas variáveis sócioeconômicas e observáveis disponíveis, Figlio e Kenny (2006) encontram associações positivas e estatisticamente significativas entre políticas de remuneração por desempenho e o desempenho dos alunos. Ou seja, na média, nas 502 escolas na base de dados analisada por estes pesquisadores, as que adotam políticas de remuneração variável possuem alunos com desempenho entre 1.6 e 3.2 pontos a mais nos testes do que as que não as adotam (Figlio e Kenny, 2006). Embora esses valores sejam pequenos quando comparados com o desvio padrão de 33 pontos nesses mesmos testes, eles equivalem em magnitude a aumentar a educação da mãe em três anos (Ibid.). Uma conclusão interessante da pesquisa destes autores é que a remuneração variável tem efeito positivo quando o benefício está disponível para todos, mas somente poucos o recebem: Nossa análise, que é única na literatura sobre incentivos, sugere que existe uma relação entre desempenho de alunos em avaliações externas e remuneração por desempenho que beneficia poucos professores, mas nenhuma associação entre desempenho dos alunos e remuneração por desempenho que beneficia a maioria deles (Figlio e Kenny, 2006, p. 19, tradução minha). No entanto, como na maioria das pesquisas realizadas ex-post que não contam com grupo de controle aleatório, essa associação não pode ser conclusivamente atribuída à política de remuneração variável. Como os próprios autores colocam: Nós demonstramos que alunos 9

10 aprendem mais em escolas onde os professores recebem incentivos financeiros para fazerem um bom trabalho, mas não podemos distinguir se esta associação resulta dos incentivos ou do fato de que escolas que já são melhores decidiram implementar programas de remuneração por desempenho (Figlio e Kenny, 2006, p , tradução minha). As experiências, avaliações e estudos com e sobre remuneração por desempenho para professores dos EE.UU., em suma, apontam para uma associação positiva entre a adoção desta política e o desempenho dos alunos. No entanto, ainda são poucas as experiências e as avaliações realmente conclusivas sobre o efeito que a política de remuneração variável, em suas quase que infinitas possíveis versões, pode ter no desempenho dos alunos. Como concluem Figlio e Kenny (2006), uma pesquisa experimental controlada seria necessária para obter estimativas do efeito de incentivos individuais para professores no desempenho dos alunos que poderia realmente ser considerada causal (p. 18, tradução minha). As duas pesquisas experimentais controladas realizadas no Quênia e na Índia, que fazem contribuições valiosas para essa discussão, serão discutidas em mais detalhe na terceira seção deste estudo. Na América Latina, as experiências com este tipo de política são poucas, assim como as pesquisas publicadas sobre elas. No livro que mais extensamente trata do assunto, Incentives to Improve Teaching: Lessons from Latin America organizado por Emiliana Vegas (2005) e publicado pelo Banco Mundial, as únicas experiências com remuneração por desempenho citadas são as do Chile e do México. A experiência mexicana se refere ao programa nacional Carrera Magisterial, que criou um novo plano de carreira para os professores mexicanos que visava promover os professores com base no seu desempenho. Este programa, iniciado em 1993, atribui pontos aos professores em seis áreas, chegando à nota máxima de 100 pontos. As áreas avaliadas são a) educação (10 pontos), b) anos de experiência (15 pontos), c) formação continuada (17 pontos), d) avaliação do diretor (10 pontos), e) teste de conteúdo aplicado ao professor (28 pontos), f) desempenho do aluno (20 pontos), medido por avaliação externa (McEwan e Santibáñez, 2005). A partir do nono ano do programa, o governo federal impôs uma pontuação mínima de 70 pontos para que o professor pudesse ser promovido dentro deste novo plano de carreira. Embora a participação neste programa seja voluntária, a vasta 10

11 maioria dos professores participa do sistema de avaliação nas áreas acima enumeradas (McEwan e Santibáñez, 2005). São cinco os níveis de promoção na Carrera Magisterial, denominados A, B, C, D e E. Cada nível corresponde a um aumento permanente no salário do professor (McEwan e Santibáñez, 2005). O aumento obtido em cada nível é substancial, indo de 24,5 por cento no Nível A a 197 por cento do salário base do professor no nível E (Ibid., p. 218). Os pesquisadores McEwan e Santibáñez utilizaram o método estatístico de descontinuidade de regressão (regression discontinuity design) para avaliar o efeito da Carrera Magisterial no desempenho dos alunos, se valendo do fato de que os professores cuja pontuação nas áreas a a e acima somava menos que 50 ou mais que 70 pontos tinham um baixo incentivo para aumentar o desempenho dos seus alunos 1, quesito responsável por 20 pontos na sua avaliação. Somente os professores cuja pontuação nos quesitos de a a e somasse entre 50 e 70 teriam fortes incentivos para melhorar o desempenho de seus alunos e assim passariam o limiar de 70 pontos que lhes permitiria serem promovidos. Usando métodos estatísticos (descontinuidade de regressão e diferença em diferença), checando a robustez de suas análises (robustness checks procurando interações e heterogeneidade dos efeitos) e testando uma variedade de hipóteses alternativas (testando outros cortes na soma dos quesitos de a a e), os autores concluíram que a promoção de professores na Carrera Magisterial não está associada ao melhor desempenho de seus alunos (McEwan e Santibáñez, 2005). Essa conclusão pode parecer surpreendente, mas quando se leva em conta a complexidade do sistema de remuneração instaurado pelo programa, a participação ativa do sindicato em seu desenho e a pequena proporção da pontuação dos professores que é atribuída ao desempenho dos seus alunos, ela se torna compreensível. Os autores McEwan e Santibáñez (2005) mostram em seu estudo que 85 por cento dos professores não têm forte incentivo para melhorar o desempenho de seus alunos, seja por sua pontuação estar abaixo de 50 nos outros quesitos, seja por já estar acima de 70. Isto sugere que a capacidade que uma política de remuneração variável tem de incentivar o professor a melhorar o desempenho dos seus alunos será influenciada pela fórmula utilizada para quantificar e medir o desempenho do professor. A literatura sugere que, para ser efetiva, 1 Isto porque as notas nesses quesitos saíam dois meses antes da prova de desempenho dos alunos (quesito f) e eram relativamente estáveis (McEwan e Santibáñez, 2005). 11

12 uma política de remuneração variável deve ser desenhada de modo a garantir que o maior número possível de professores tenha a chance de ganhar o prêmio (ou seja, se sintam motivados a melhorar o desempenho de seus alunos), que o prêmio seja distribuído somente àqueles que realmente melhoram o desempenho de seus alunos (para tanto, tem que haver uma forte relação entre o desempenho dos alunos e o do professor, nem sempre fácil de determinar) e seja alto o suficiente para ser almejado por todos os professores (Vegas e Umansky, 2005). Duas das pesquisas mais citadas na literatura sobre remuneração variável vêm de Israel, onde Lavy (2002 e 2004) identificou uma associação positiva entre o bônus por desempenho para professores e o desempenho dos alunos em duas experiências com bônus por desempenho, uma em 2002 e outra em Nas duas pesquisas, Lavy utilizou a metodologia de descontinuidade de regressão para identificar se houve diferença no desempenho dos alunos entre as escolas que receberam e aquelas que não receberam o bônus (Podgursky e Springer, 2006). O uso desta metodologia foi possibilitado pelas regras claras para a participação no programa que traçavam uma linha entre o grupo de participantes e não-participantes, permitindo se comparar o desempenho daqueles logo abaixo desta linha com o daqueles logo acima dela (o pressuposto é que as escolas logo abaixo e logo acima desta linha não diferem de forma sistemática ou significativa e, portanto, se alguma diferença significativa é encontrada entre o desempenho de seus alunos após o programa, tal diferença pode ser atribuída ao programa). O programa de bônus por desempenho avaliado por Lavy em 2002 era destinado à escola e distribuído igualmente entre os professores, com uma parte reservada para melhorias na infra-estrutura da escola. Já o programa de 2004 era uma bônus individual para professores. Nos dois casos o desempenho dos professores e das escolas foi medido a partir da melhora no desempenho de seus alunos em testes de conclusão do ensino médio (comparável ao ENEM no Brasil, se passar o ENEM fosse requisito para conclusão do ensino médio) e nos dois casos a comparação entre as escolas mostrou que o desempenho dos alunos daquelas que concorreram ao prêmio foi melhor do que os daquelas que não concorreram (na pequena faixa de escolas comparáveis acima e abaixo da linha que divide as escolas concorrentes das não-concorrentes) (Lavy, 2002 e 2004). Além do melhor desempenho, Lavy (2004) também constatou que não houve piora no desempenho dos 12

13 alunos das escolas participantes nas matérias que não estavam atreladas ao prêmio, o que rebate um argumento comum contra o bônus por desempenho, o de que este tira a atenção dos professores das matérias não-testadas. Outro resultado importante de Lavy (2004) vem da comparação entre o custo-eficácia do bônus coletivo (para toda a escola) e do bônus individual (diretamente para os professores), na qual o bônus individual teve o maior benefício pelo menor custo (Podgursky e Springer, 2006). Este resultado foi o mesmo encontrado por Muralidharan e Sundararaman (2006 e 2008) em sua pesquisa no estado de Andhra Pradesh na Índia, relatado na seção seguinte. III - DUAS PESQUISAS EXPERIMENTAIS SOBRE REMUNERAÇÃO VARIÁVEL Como mencionado na seção anterior, a maioria das avaliações sobre políticas de remuneração variável tem a difícil tarefa de tirar conclusões causais sobre seu efeito no desempenho dos alunos sem ter um grupo de controle contra o qual uma comparação confiável possa ser feita. Toda a avaliação de impacto tem a difícil tarefa de responder à pergunta: o que teria acontecido com os indivíduos afetados pelo programa (ou política) sendo avaliado na ausência dele? (Duflo e Kremer, 2003). Simplesmente comparar os resultados dos alunos depois da adoção da política com aqueles de antes de sua adoção é insuficiente, pois não podemos isolar todos os outros possíveis fatores, internos e externos, que podem ter influenciado o resultado concomitantemente. Uma cidade (ou estado) que não adotou a mesma política não serve como um grupo de controle satisfatório, mesmo que tenha características observáveis similares, porque não podemos eliminar a possibilidade de que as mesmas razões endógenas e não-observáveis que fizeram aquela cidade adotar a política, e não a política em si, é que explicam as diferenças encontradas entre os dois grupos. Essas limitações são conhecidas como o problema de viés de seleção na literatura sobre avaliações de impacto (Duflo e Kremer, 2003). A melhor maneira de eliminar o viés de seleção é escolher aleatoriamente um grupo de controle e um de tratamento dentro de uma população de possíveis participantes de uma programa. Neste caso, podemos garantir que os dois grupos não são diferentes na média (todos são plausíveis participantes do programa), e portanto qualquer diferença estatisticamente significativa encontrada entre os dois grupos, no resultado que o programa esperava afetar, pode ser confiavelmente atribuído a ele (Ibid.). Este é o método usado por pesquisas experimentais com controle 13

14 aleatório que são cada vez mais comuns no campo da economia do desenvolvimento e inclusive na educação, como demonstra o trabalho de centros de pesquisa americanos como o Abdul Latif Jameel Poverty Action Lab do Massachusetts Institute of Technology e o Education Innovation Laboratory (Ed Labs) da Universidade de Harvard 2 (Duflo, Glennerster e Kremer, 2007; Duflo e Kremer, 2003; Figlio e Kenny, 2006; Glewwe, Ilias e Kremer, 2003; Muralidharan e Sundararaman, 2006 e 2008; Duflo, Dupas e Kremer, 2007). Sobre o tema de remuneração por desempenho, já foram publicados os resultados de duas pesquisas experimentais com controle aleatório, uma no Quênia e uma na Índia (Glewwe, Ilias e Kremer, 2003; Muralidharan e Sundararaman, 2006 e 2008). A) Bônus por desempenho no oeste do Quênia Glewwe, Ilias e Kremer (2003) desenharam uma pesquisa experimental com controle aleatório para avaliar o impacto de um programa de bônus por desempenho para professores financiado pela International Christelijk Steunfonds (ICS), uma ONG holandesa, nos distritos de Busia e Teso no oeste do Quênia. O programa oferecia às escolas a oportunidade de premiar os professores de 4ª à 8ª séries se os alunos de sua escola apresentassem bom desempenho na avaliação externa distrital. Escolas poderiam ser premiadas em uma de duas categorias: melhor desempenho e maior progresso em relação ao ano base. O valor anual do bônus chegava a 43% do salário-base mensal dos professores (esta proporção bônus-salário equivale àquela utilizada nos bônus por desempenho adotados em estados dos EE.UU.). O salário de professores no Quênia é relativamente alto, chegando a $2.000 dólares por ano, o que representa cerca de cinco vezes o PIB per capita (Glewwe, Ilias e Kremer, 2003). Como no caso do Brasil, o salário do professor queniano é definido exclusivamente pelo seu tempo de serviço e qualificação educacional, e ele usufrui de fortes proteções legislativas e sindicais como servidor público (Ibid.). Apesar de sua situação salarial relativamente vantajosa, o levantamento dos pesquisadores indicou que o professor queniano falta, na média, 20% dos dias letivos (Ibid.). Para evitar que as escolas incentivassem os piores alunos a ficarem de fora da avaliação, os pesquisadores 2 Mais sobre o trabalho destes dois centros de pesquisa nos seus sítios de internet: e respectivamente. 14

15 atribuíram notas baixas aos alunos que faltassem à prova. De um grupo de 100 escolas identificadas pelo Ministério da Educação do Quênia como de baixo desempenho, mas que haviam ficado de fora de um programa do Banco Mundial, 50 foram aleatoriamente selecionadas para participar da premiação por desempenho para os professores de 4ª à 8ª séries (grupo de tratamento), enquanto as outras 50 serviram como grupo de controle (estas escolas se beneficiaram de outro programa direcionado à pré-escola). Como já mencionado, a seleção aleatória das escolas entre grupos de tratamento e controle permite a presunção de homogeneidade entre elas e a atribuição de diferenças identificadas na média de um e de outro grupo ao programa sendo avaliado (Duflo, Glennerster e Kremer, 2007; Duflo e Kremer, 2003). Ao final de dois anos de programa, os pesquisadores constataram que as escolas que faziam parte do grupo de tratamento tiveram desempenho nos testes distritais 0,14 desvios padrão maior que as escolas do grupo de controle, diferença estatisticamente significativa para 5% (Glewwe, Ilias e Kremer, 2003). Os alunos das escolas de tratamento também apresentaram maior probabilidade de fazer o teste distrital que os alunos das escolas de controle (diferença estatisticamente significativa para 5%) (Ibid.). No entanto, ao comparar os resultados dos alunos originalmente no grupo de controle com aqueles originalmente no grupo de tratamento, um ano após o término do programa, a diferença entre os grupos havia desaparecido, sugerindo que o efeito positivo encontrado resultou de uma melhoria na habilidade de fazer provas a curto prazo e não no aprendizado a longo prazo (Ibid.). Como uma avaliação com grupo de controle aleatório pressupõe a participação dos pesquisadores junto à implementação inicial do programa sob avaliação, isto permite o acompanhamento do programa ao longo de sua duração, possibilitando que os mecanismos que levaram aos resultados encontrados sejam identificados ao longo da avaliação. No caso da pesquisa no Quênia, o comportamento dos professores em cada grupo foi comparado ao longo do programa e a única diferença encontrada foi na freqüência de sessões preparatórias para provas fora do horário escolar (Ibid.). Outros fatores, como a freqüência dos professores na escola ou em sala de aula ou a freqüência com a qual os professores passaram dever de casa para seus alunos, não diferiram entre o grupo de controle e o de tratamento (Ibid.). Os autores usaram as notas dos alunos em outros testes, um nacional 15

16 (KCPE) e outro aplicado pela ONG (ICS) que financiou o programa, para comparar os resultados. Durante a duração do programa, a nota média dos alunos no grupo de tratamento foi significativamente maior no teste nacional mas não no teste da ICS, o que reforçou a conclusão de que a diferença favorável no desempenho dos alunos encontrada nas escolas de tratamento resultou da adoção de métodos que focaram na habilidade a curto prazo de responder provas padrão e não no seu aprendizado real (Ibid.). B) Bônus por desempenho no estado de Andhra Pradesh na Índia Mais recentemente, no estado de Andhra Pradesh (AP) na Índia, o Estudo Avaliativo de Andhra Pradesh (o Andhra Pradesh Randomized Evaluation Study-AP RESt), uma parceria entre o governo de AP, a fundação indiana Azim Premji e o Banco Mundial, utilizou o desenho de pesquisa experimental com controle aleatório para avaliar quatro políticas educacionais alternativas: 1) contratar um professor para a escola através de contrato temporário (sem concurso), 2) repassar uma verba para ser gasta de acordo com critérios pré-estabelecidos, 3) bônus por desempenho para a escola distribuir igualmente entre os professores, 4) bônus por desempenho para professores (Muralidharan e Sundararaman, 2006 e 2008). O valor orçamentário de cada programa foi idêntico, para permitir uma comparação da relação custo-eficácia de cada alternativa. Além dos quatro grupos, de 100 escolas cada, onde as políticas foram implementadas, houve um quinto grupo de 100 escolas que serviu como grupo de controle. Todas as escolas foram monitoradas igualmente. O presente estudo irá se ater às duas políticas de bônus por desempenho avaliadas, e as outras duas serão utilizadas somente para fins comparativos. O desempenho dos alunos de 1ª à 5ª séries para fins comparativos e para definição do bônus foi medido através de provas de linguagem e de matemática. As primeiras provas foram aplicadas antes do início do programa para servir como base de referência. As provas foram desenvolvidas por uma empresa especializada e aplicadas pela Fundação Azim Premji. O bônus por desempenho equivaleu a cerca de $500 rúpias para cada ponto percentual de melhora acima de 5% na média das notas dos alunos. Esse bônus foi calculado de modo a totalizar mais ou menos 3% do salário anual do professor (Ibid.). Os alunos das escolas que receberam o bônus individual ou coletivo tiveram desempenho significativamente melhor do que aqueles do grupo de controle. A magnitude 16

17 da melhora foi de 0,22 desvios padrão depois de dois anos do programa, o que equivale a cerca de nove pontos percentuais na média da distribuição (diferença estatisticamente significativa p<0,05), não havendo diferença significativa na freqüência nos testes entre os alunos dos grupos de tratamento e controle (Ibid.). Adicionalmente, esta melhora foi encontrada em todos os subgrupos e tipos de participantes: em todas as cinco séries (1ª à 5ª), nos cinco distritos de Andhra Pradesh, para todos os níveis de dificuldade de perguntas avaliadas, entre todos os níveis sócio-econômicos, para os alunos com notas altas e baixas no teste inicial de referência (Ibid.). O melhor desempenho também ocorreu nos alunos de diferentes subgrupos de professores: mais velho e mais novo, mulher e homem, mais qualificado e menos qualificado (Ibid.). Ou seja, não houve heterogeneidade no efeito do tratamento. Além disso, os ganhos das escolas tratadas foram maiores em todos os pontos da curva de distribuição, o que significa que ninguém teve desempenho pior após o tratamento (Ibid.). Para averiguar se a melhora encontrada adveio simplesmente da aquisição de habilidades referentes à prática de responder testes-padrão e não do aprendizado real e duradouro, os testes foram especificamente desenvolvidos para testar tanto conhecimentos mecânicos como conceituais (Ibid.). De fato, os alunos das escolas que adotaram o bônus por desempenho (seja ele coletivo ou individual) tiveram desempenho estatisticamente significativamente 3 melhor do que os alunos das escolas de controle nos dois tipos de pergunta (Ibid.). Para averiguar se o bônus desviou a atenção das matérias cujo desempenho em testes não estava atrelada a seu recebimento, um teste surpresa em ciências e estudos sociais foi aplicado aos alunos. O desempenho dos alunos das escolas que adotaram qualquer tipo de bônus por desempenho, mesmo nesses testes, foi estatisticamente significativamente maior que o dos alunos das escolas do grupo de controle (Ibid.). Estes resultados sugerem que a melhora nas notas representam ganhos reais em aprendizagem e não simplesmente uma melhor capacidade de fazer provas. A ocorrência de práticas desonestas foi limitada pois a Fundação Azim Premji se dedicou ao controle e monitoramento das avaliações de modo a garantir sua legitimidade. Somente um caso de tentativa de manipulação de resultados foi detectado no segundo ano 3 Neste estudo a expressão estatisticamente significativa se refere a um valor de p menor que 0,05. Em outras palavras, p<0,05 nos permite rejeitar a hipótese nula de que não há diferença entre os grupos sendo comparados. 17

18 do programa, resultando na desqualificação desta escola. Já na comparação entre as escolas onde foi implementado o bônus individual e aquelas onde o bônus foi para a escola como um todo, a análise dos dados revelou que ao final do primeiro ano, as escolas com bônus coletivo tiveram resultados praticamente idênticos àquelas com bônus individuais. As duas tiveram desempenho cerca de 0,15 desvio padrão acima do grupo de controle (p<0,05) (Ibid). Já ao fim do segundo ano, as escolas com bônus individual tiveram desempenho 0,27 desvios padrão maior que o grupo de controle, enquanto que as escolas com bônus coletivo tiveram desempenho 0,16 desvio padrão maior que o controle (Ibid.) Esta diferença entre o desempenho das escolas com bônus individual e o das escolas com bônus coletivo é estatisticamente significante a favor do primeiro grupo, ou seja as escolas com bônus individual tiveram desempenho melhor que as escolas com bônus coletivo (Ibid.). No entanto, quando as quatro políticas educacionais sendo avaliadas são comparadas, os dois programas de bônus tiveram resultados significativamente melhores do que as outras duas intervenções que ofereceram mais recursos humanos ou financeiros para as escolas pelo mesmo custo. Enquanto a melhora foi de 0,22 desvios padrão para os programas de bônus, os programas de aumento de recursos mostraram desempenho 0,08 desvio padrão maior quando comparados às escolas do grupo de controle depois de dois anos de programa (Ibid.). O desenho do estudo AP RESt vai além de determinar se a política sendo avaliada tem efeito positivo no desempenho dos alunos mas pretende explicitar, através de observações presenciais e pesquisas qualitativas, os mecanismos através dos quais esta melhoria ocorreu. No caso do bônus por desempenho, o que este monitoramento identificou foi que não houve melhora na freqüência dos professores, mas que a quantidade de dever de casa aplicado aumentou, assim como a quantidade de tarefas realizadas dentro da sala de aula, a freqüência das aulas extras de preparo para o teste, a prática com testes simulados, e a atenção dada aos piores alunos (Ibid.). 4 Estas foram as principais mudanças de comportamento identificadas pela pesquisa nas escolas onde o bônus por desempenho foi implementado. 4 Estas conclusões foram tiradas a partir da comparação estatística entre as respostas de questionários aplicados aos professores das escolas com bônus e das escolas controle. 18

19 C) Lições das pesquisas experimentais sobre remuneração por desempenho Apesar de terem resultados mistos, as duas pesquisas experimentais com controle aleatório apresentadas aqui sugerem que a política de remuneração por desempenho tem o potencial para efetivamente alcançar melhorarias no desempenho dos alunos. No caso de Andhra Pradesh, dois anos de dados sugerem que o impacto positivo não resultou somente do fato de a política ter sido uma novidade. Os ganhos continuados em componentes mecânicos e conceituais, assim como em matérias que não participaram do bônus, sugerem que o problema de se direcionar o ensino somente para a prática de testes (teaching to the test), argumento comum contra políticas de remuneração por resultado, é menos comum em contextos onde o nível de aprendizado é muito baixo (como na Índia e no Brasil), apesar de os resultados do Quênia apontarem na direção oposta. A ausência de evidências definitivas e incontestáveis sobre a efetividade da adoção de bônus por desempenho na melhoria da qualidade do ensino reforça a necessidade de se avaliar cuidadosa e rigorosamente, com definição de grupos de controle aleatório quando possível, a adoção desta política por sistemas de ensino nos diversos contextos internacionais. As pesquisas experimentais com controle aleatório são recomendáveis por eliminarem o problema de viés de seleção, comum em avaliações de impacto, de forma definitiva. Além disso, este método nos permite entrar na caixa preta dos programas explicitando os mecanismos através dos quais os resultados encontrados foram alcançados, informação essencial para o desenho de políticas públicas efetivas. No entanto, as dificuldades de se aplicar este método à avaliação de políticas públicas são muitas. Muitas vezes há problemas éticos quando um serviço é negado a um grupo que poderia se beneficiar dele, por exemplo. No entanto, na medicina, campo de onde pesquisas com grupo de controle aleatório originam e onde a conseqüência desta exclusão pode ser até fatal, este tipo de pesquisa continua a predominar, pois seu benefício supera o custo. Não é possível lançar uma nova droga no mercado sem provas científicas suficientes que comprovem sua efetividade no combate de determinada doença. Num contexto de recursos escassos e de baixíssima qualidade do ensino, como vivemos no Brasil, pesquisas experimentais com controle aleatório nos permitiriam economizar recursos e simultaneamente gastá-los da forma mais efetiva possível, já que somente os programas que efetivamente levassem ao aumento do desempenho, em avaliações capazes de medir 19

20 habilidades e competências, seriam adotados como políticas por toda uma rede. É claro que, se fosse tão simples, outros sistemas de ensino já o teriam feito e talvez já teríamos a receita perfeita do que precisamos para melhorar o desempenho dos alunos, sejam eles quem forem e venham de onde vierem. Este tipo de pesquisa não pode responder a todas as perguntas, nem todos os resultados desejados são necessariamente mensuráveis, e dificilmente uma pesquisa experimental possa indicar as possíveis combinações de políticas que levem ao resultado ótimo. No entanto, diante das inúmeras incertezas que ainda reinam no campo da educação e da caixa preta que é a sala de aula, pesquisas experimentais podem fornecer respostas valiosas que ajudem a obter melhores resultados dos investimentos financeiros neste campo, que são significativos. Nos EE.UU., um país onde a educação pública é altamente descentralizada, o governo federal tomou para si a tarefa de financiar exatamente este tipo de avaliação através de órgãos independentes de pesquisa, para que estes resultados sirvam de subsídio para as decisões dos sistemas de educação locais (Figlio e Kenny, 2006). Este mesmo modelo poderia ser adotado pelo Ministério da Educação brasileiro, que pode se valer da expertise encontrada em nossas universidades, empresas de consultoria e órgãos multilaterais, como o Banco Mundial, aqui presentes para a realização de tais pesquisas. A posição financeira e política do MEC é indubitavelmente preferível à dos estados e municípios para o cumprimento deste papel. A tendência de se basear a adoção e o desenho de políticas públicas em evidências obtidas através de pesquisas rigorosas deve ser promovida e financiada não só pelo setor público, mas também pelo terceiro setor, que deveria reconhecer neste nicho sua vantagem comparativa. Governos enfrentam pressões políticas que facilmente prejudicariam a isenção, objetividade, continuidade e comprometimento exigidos de pesquisas experimentais avaliativas desta natureza, mesmo quando o seu papel é de contratantes de serviços e não de realizadores da pesquisa. Fundações, institutos de responsabilidade social e outras entidades do terceiro setor estão certamente melhor posicionados para liderarem este movimento pela avaliação rigorosa de programas a serem adotados como políticas, para que estas passem a representar de fato o melhor investimento possível do orçamento público em termos dos resultados almejados. IV - EXPERIÊNCIAS COM REMUNERAÇÃO VARIÁVEL NO BRASIL 20