Remuneração Variável: O que mostram as pesquisas Teresa Cozetti Pontual, Ed.M. Harvard Graduate School of Education
A remuneração por resultado para professores tem o potencial de: Aumentar a motivação do professor e levá-lo a se esforçar mais em sala de aula Contribuir para uma maior profissionalização do magistério quando o bom desempenho é medido, reconhecido e recompensado Estimular professores a investirem no seu próprio desenvolvimento profissional se o bom desempenho é, de fato, recompensado Atrair professores mais bem qualificados para a profissão 2
Mas, a remuneração variável também pode ter conseqüências negativas: Pode diminuir a motivação intrínseca dos professores Pode aumentar a prática de ensinar somente o teste (teaching to the test) Pode levar a práticas desonestas, como a manipulação da população testada ou eventuais colas Na teoria, o impacto da remuneração variável é ambígua e as evidências empíricas são limitadas 3
Estudos Experimentais: Caso do Quênia Caso da Índia 4
1. Quênia Programa implementado por uma ONG em dois distritos na região oeste do Quênia Ofereceu às escolas a oportunidade de dar bônus para professores da 4ª à 8ª séries com base no desempenho em avaliações distritais Todos os professores da 4ª à 8ª séries podiam receber o bônus Dois tipos de bônus: escolas com melhor desempenho e escolas que mais melhoraram Bônus: 21-43% do salário médio dos professores Alunos que não fizeram a prova receberam notas baixas (prejudicaram o desempenho da escola) As escolas que receberam o bônus (tratamento) e as que não receberam (controle) foram selecionadas aleatoriamente e portanto podem ser presumidas homogêneas 5
Quênia - Impacto do Programa: Desempenho maior das escolas que participaram do tratamento durante os dois anos do programa: escolas do grupo de tratamento tiveram desempenho 0,14 desvios padrão maior que as escolas do grupo de controle O estudo mostrou que com o programa de bônus: A freqüência dos professores não melhorou A quantidade de dever de casa aplicado não mudou Método pedagógico permaneceu o mesmo Professores deram aulas extras só de preparo para o teste Maior probabilidade de estar presente no teste entre os alunos das escolas de tratamento Infelizmente, não houve persistência desses ganhos depois do término do programa 6
2. Índia - Andhra Pradesh Professores receberam bônus salariais com base na média de melhoria das notas de todos os alunos da série/escola em comparação com as notas do teste inicial de referência Os alunos foram testados em matemática e língua Os testes foram desenvolvidos por uma empresa especializada independente As avaliações foram conduzidas por uma ONG independente Formula do bônus R$ 500 para cada um ponto percentual de melhora acima de 5% na média das notas Esse bônus foi calculado de modo a totalizar mais ou menos 3% do salário anual do professor Foram testados bônus coletivos (para toda a escola) e individuais (para os professores) Cada grupo de tratamento e controle possuía 100 escolas 7
Índia - Impacto do Programa: Alunos nas escolas que receberam o tratamento tiveram desempenho significativamente melhor do que aqueles no grupo de controle O desempenho foi 0,22 desvios padrão maior depois de 2 anos do programa Equivalente a cerca de 9 pontos percentuais na média da distribuição O programa de incentivo melhorou o desempenho de forma generalizada Todas as 5 séries (1ª à 5ª), todos os 5 distritos, e todos os níveis de dificuldade de perguntas avaliadas Alunos de todos os níveis sócio-econômicos Alunos com notas altas e baixas no teste inicial de referência Todos os tipos de professores Mais velho/mais novo, mulher/homem, mais qualificado/menos qualificado Os ganhos das escolas tratadas foram maiores em todos os pontos da curva de distribuição (ninguém foi prejudicado pelo tratamento) 8
Índia Impacto do programa Alunos das escolas tratadas tiveram melhor desempenho tanto em perguntas mecânicas quanto em conceituais, indicando que houve melhora real no ensino Os alunos das escolas tratadas tiveram desempenho significativamente melhor em ciência e estudos sociais, mesmo essas matérias não recebendo bônus e sendo testadas sem aviso prévio Sugere que a melhora nas notas são melhoras reais em aprendizagem e não vem simplesmente de uma melhor habilidade em fazer provas Não houve diferença em presença nas provas entre alunos das escolas dos grupos de tratamento e controle A ocorrência de práticas desonestas foi limitada já que todas as avaliações foram monitoradas por uma organização nãogovernamental de boa reputação Somente um caso detectado no segundo ano e esta escola foi desqualificada 9
Impacto diferencial: No final do primeiro ano, o grupo de escolas que recebeu o bônus coletivo teve resultados praticamente idênticos aos do grupo que recebeu bônus individuais (desvio padrão de 0,15) Ao fim do segundo ano, o programa de bônus individual teve desempenho significativamente maior do que o programa de bônus coletivo (desvios padrão de 0,27 contra 0,16) Mas os dois programas tiveram resultados significativamente melhores do que intervenções que ofereçam mais recursos para as escolas pelo mesmo custo (desvios padrões de 0,22 contra 0,08) 10
Por dentro da diferença nos resultados: De acordo com observações presenciais e pesquisas qualitativas com os professores, nas escolas que receberam o programa de bônus, seja coletivo ou individual: A freqüência dos professores não melhorou Mais professores nas escolas com bônus indicaram ter: Aumentado a quantidade de dever de casa aplicado Aumentado a quantidade de trabalho realizado dentro da sala de aula Dado aulas extras de preparo para o teste Passado pré-testes para seus alunos Prestado mais atenção nos piores alunos 11
Lições para a política pública: A remuneração variável promete ser uma política efetiva para melhorar o desempenho dos alunos Dois anos de dados sugerem que o impacto positivo não resultou somente do fato da política ter sido uma novidade Os ganhos continuados em componentes mecânicos e conceituais, assim como em matérias que não participaram do bônus sugere que o problema de se direcionar o ensino somente para o teste (teach to the test), argumento comum contra políticas de remuneração por resultado, é menos comum em contextos aonde o nível de aprendizado é muito baixo (como na Índia e no Brasil) É possível que aspectos de bônus coletivos e individuais possam ser combinados para se chegar a uma política que beneficie os alunos sem prejudicar a cultura cooperativa de uma escola Pode ter um custo orçamentário muito baixo se for implementada como parte de uma política maior de aumento salarial 12
Conclusões finais: Qualquer política de remuneração variável tem que estar acoplada a uma política de valorização da carreira do professor que enfatize o desempenho e não somente os anos de estudo e experiência de cada um Um dos maiores desafios é manter a integridade de um sistema desses para que tenha legitimidade, mas os ganhos podem ser tremendos 13
Fontes: Duflo, E., Dupas, P. and Kremer, M. (2007) Peer Effects, Pupil-Teacher Ratios, and Teacher Incentives: Evidence from a Randomized Evaluation in Kenya Muralidharan, K. and Sundararaman, V. (2006) Teacher Incentives in Developing Countries: Experimental Evidence from India Muralidharan, K. and Sundararaman, V. (2008) Teacher Performance Pay: Experimental Evidence from India 14