Nigel Brooke GAME/FAE/UFMG

Transcrição

1 Nigel Brooke GAME/FAE/UFMG

2 A Fundação Victor Civita, que tem por missão contribuir para a melhoria da qualidade da Educação Básica no Brasil, produzindo publicações, sites, material pedagógico, pesquisas e projetos que auxiliem na capacitação dos professores, gestores e demais responsáveis pelo processo educacional, implantou uma área de estudos com objetivo de levantar dados e informações que auxiliem as discussões sobre práticas, metodologias e políticas públicas de Educação. Para acompanhar outros trabalhos, visite o nosso site EQUIPE DA FUNDAÇÃO VICTOR CIVITA DIRETORIA EXECUTIVA Angela Cristina Dannemann COORDENAÇÃO PEDAGÓGICA Regina Scarpa REVISTA NOVA ESCOLA/REVISTA GESTÃO ESCOLAR Gabriel Grossi Paola Gentile ESTUDOS, PESQUISAS E PROJETOS Mauro Morellato Adriana Deróbio

3 DEFINIÇÕES Avaliação externa Avaliação padronizada; avaliação de sistemas; avaliação em larga escala Gestão educacional As políticas das Secretarias Estaduais de Educação (SEE) que usam como critério os resultados dos sistemas próprios de avaliação (sistemas estaduais e os das grandes capitais) Para quais políticas os gestores estão usando os resultados dos sistemas de avaliação? Pesquisa FVC

4 RESUMO Sistema classificatório para os usos da avaliação Achados principais da pesquisa Política de bonificação ou incentivo salarial Alcance Características técnicas Seus impactos Pesquisa no Brasil Pesquisa nos Estados Unidos e outros países Especulações sobre consequências

5 NÚMERO DE ESTADOS COM SISTEMAS PRÓPRIOS DE AVALIAÇÃO EDUCACIONAL

6 SISTEMAS ESTADUAIS DE AVALIAÇÃO Tendência Aumento gradual mesmo inconsistente Hiatos Transição para TRI Momentos de mudança política Recuos Dados imperfeitos Nenhum órgão para coletar esse tipo de informação De que consiste um sistema estadual? Abrangência

7 EXPANSÃO E DIVERSIFICAÇÃO Crescimento no uso dos resultados pelas SEE Reformas da Educação década 1990 calcadas na avaliação da qualidade (Brasil só um exemplo: 13 países da América Latina adotam sistemas de avaliação entre 1990 e 1998) Reforma da gestão pública: ênfase na produtividade e eficiência do aparato governamental; melhoria na qualidade dos serviços públicos; metas e controle a posteriori dos resultados. Educação na linha de frente Incorporação de modelos de accountability responsabilização dos atores públicos via consequências Para dar conta da expansão e diversificação dos usos, um novo sistema classificatório bidimensional

8 USO DOS RESULTADOS SISTEMA CLASSIFICATÓRIO

9

10 FOCO Vou me concentrar no uso da avaliação para políticas de incentivo/bonificação salarial Política veio para ficar Sete estados já têm experiência: Amazonas, Ceará, Pernambuco, Rio de Janeiro, Minas Gerais, Espírito Santo e São Paulo Distrito Federal já estabeleceu os procedimentos Duas capitais uma conseguiu (São Paulo) e outra não (Belo Horizonte)

11 Até os municípios menores estão embarcando (usando o Ideb) segundo reportagem UOL Educação 02/09/2011 Em Trairão, pequena cidade no sudoeste do Pará, a secretária de Educação fala do projeto que dá mais dinheiro aos professores e às escolas que apresentam desempenho melhor. Com o projeto Professor por Excelência, a gente espera que dê uma alavancada no município. Para quem mais se destacar, o professor vai ganhar um valor de R$ 1 mil cada um e a escola, R$ 500. Mesmo não sendo um valor alto, a gente espera motivar os envolvidos, explica Maria Regina No município de Careiro (AM), o secretário Paulo de Andrade conta que estipulou uma meta mais ousada para estimular seus profissionais a trabalhar com mais afinco. Na escola, que tira nota 5,1 no Ideb, os professores recebem 14º e 15º salários

12 QUE POLÍTICA É ESSA? Não é nova. Uso de avaliações externas para responsabilizar professores, escolas e sistemas pela aprendizagem dos alunos tem longa história: Em 1863, Parlamento britânico criou sistema de financiamento de escolas de acordo com os resultados dos alunos Nova fase dessa política começa com o movimento de padrões mínimos na década de 1970 nos EUA. A lei Nenhuma Criança Deixada para Trás (2001) é um exemplo recente

13 CARACTERÍSTICAS geração (por exemplo, Ceará 2001 Prêmio Educacional Escola do Novo Milênio; Rio de Janeiro 2000 Programa Nova Escola): Prêmio para a média de desempenho mais alto (ou % alunos com desempenho satisfatório) Ou evolução maior na média de desempenho Outros critérios (gestão) geração Distribuição por faixa de desempenho Medida do nível socioeconômico e/ou esforço da escola Uso de metas Valorização da permanência Avaliações múltiplas (matérias, anos) geração(?) Critérios múltiplos Valor agregado

14 QUAIS SÃO OS IMPACTOS? Do ponto de visto do gestor: Que há ganhos na aprendizagem pelos efeitos sobre o professor Motivação e competência Que há custos também Custo/benefício Do ponto de vista dos críticos, os efeitos colaterais dos testes high stakes (alto impacto) são severos: Reduzem o ensino à preparação para os testes/estreitam o currículo Falseiam os dados das avaliações (inflação) Induzem à desonestidade Desestruturam métodos colaborativos (quando individualizada)

15 COMO AVALIAR? A pesquisa no Brasil é escassa Pesquisa descritiva (terminologia: bônus, bonificação, prêmio, gratificação, incentivo por mérito, por desempenho, por resultado) Pesquisas de impacto Sobre a política Nova Escola Rio de Janeiro (Rodrigues, 2007; ganhos em Língua Portuguesa, perdas em Matemática) Uma em andamento C. Ferraz, Pernambuco Nem pesquisas mais qualitativas sobre os efeitos colaterais negativos. (?) Uma sobre os efeitos do Acordo de Resultados em MG (Soares, 2011) (resultados no Simave/Proeb; bônus até 100% vencimento mensal); pressão sobre professores de Português e Matemática para ensinar de acordo com a matriz de referência

16 PESQUISA NOS EUA Precisa fazer distinções: incentivos salariais versus outros tipos de incentivo/accountability (por exemplo: Nenhuma Criança Deixada para Trás (NCLB); exames de saída Ensino Médio) Professor versus aluno (Nova York, Ohio) Programas não são comparáveis Diferentes no formato/cálculo dos bônus, na forma de medir desempenho dos professores (testes, VA, critérios múltiplos) Mesmo assim, volume enorme de estudos e nem todos com a mesma qualidade. Problema para as meta-avaliações (por exemplo: Teresa Cozetti Pontual, Remuneração por Mérito, Fundação Lemann, 2008)

17 FONTE CONFIÁVEL National Research Council. Committee on Incentives and Test-Based Accountability in Public Education Estudos precisam ter grupo de controle Precisa de testes low-stakes como medida de ganho real (controlar por distorção/inflação) Excluir estudos transversais que comparam resultados com e sem programas de incentivos mas sem controlar pelos critérios de inclusão nos programas Precisa olhar outros países

18 ESTADOS UNIDOS Nashville (Springer et al. 2010): experimento de 3 anos; professor de matemática/ginasial; bônus individual de US$5 a US$15 mil; medida VA (valor agregado), teste estadual; critério 85% na distribuição distrital. Efeitos positivos para anos 5 (só um ano) e 6, negativos para 7 e 8 Chicago (Glazerman et al. 2009): 2 anos; ensino fundamental; VA de ganhos teste estadual + observações; até US$12 mil; das 10 combinações matéria/ano, 8 negativos, nenhum significativo; efeito positivo sobre retenção de professores Texas (Jackson, 2010); desde 1996; professores e alunos ensino médio; US$500 a US$1000 para alunos com pontuação de 3 ou mais em testes de advanced placement; aumento de 1 a 2%/ano na proporção de alunos; e de 5,3% em alunos indo para faculdade Escolas do Teacher Advancement Program (Springer, 2008): 2 estados; 1,2 mil escolas; 4 anos; dados de painel; matemática anos 2 a 5 ganhos significativos de 0,2 d.p. (desvio padrão de 7 a 8 pontos) (; anos 7 a 10 sem ganho ou decréscimo. De 18 combinações, ganho médio 0,01 d.p.

19 OUTROS PAÍSES Índia (Muralidharan and Sundararaman, 2009,2011): experimento 2 anos; ensino fundamental; incentivos individuais e coletivo; 100 escolas cada grupo; ganhos em Matemática e Língua; testes específicos; bônus de 3% salário; ganho médio de 0,19 d.p. (significativo); ganho maior em matemática. (Escolas com incentivos individuais 0,22 d.p., escolas coletivos 0,15 d.p.) Israel (Lavy, 2002): incentivos coletivos; ensino médio; de US$250 a US$ 1000 (salário médio 30 mil); 1/3 melhores escolas; medidas diversas inc. % com diploma; aprox. 62-1/3 das escolas de ensino médio do pais; proporção com diploma não mudou; efeito médio nos testes 0,12 d.p.; efeitos maiores entre alunos de desempenho mais baixo Israel (Lavy 2009): incentivos individuais; bônus de US$ 1750 a US$ 7,5 mil para professores de inglês e matemática se turmas superaram expectativas; 49 escolas; número passando e a média nos testes melhoraram; efeitos significativos; principalmente para alunos de desempenho mais baixo

20 CONCLUSÕES NATIONAL RESEARCH COUNCIL Estados Unidos; efeito médio -0,02 a 0,06 desvios padrão Programas de incentivos não têm influenciado níveis de desempenho de forma significativa. Muitos programas próximo de zero quando usa testes low-stakes de controle Outros países: os efeitos são maiores mas continuam relativamente baixos. Média 0,08 d.p. Efeitos mais pronunciados para Matemática, Ensino Fundamental. Benefícios pequenos. Porém: Muitos desenhos ainda não testados (tipos de incentivo, individual versus coletivo, medidas de desempenho, outros tipos de accountability, etc) Custos altos. Não deve substituir investimento em outras políticas de melhoria

21 ALGUMAS ESPECULAÇÕES O ambiente de responsabilização muito mais intenso nos Estados Unidos, por exemplo, Ensino Médio expectativas dos pais e efeito NCLB. Nesse contexto de preocupação com os resultados dos alunos, o impacto de incentivos salariais é próximo do zero. Será que é por esse motivo que os impactos são sempre maiores nos outros países? Qual o impacto no Brasil, onde os incentivos salariais são a opção escolhida para transmitir a importância associada aos resultados?

22 CONSIDERAÇÕES FINAIS Ainda não temos a pesquisa necessária nem para falar dos efeitos negativos nem dos possíveis benefícios Extrair conclusões da pesquisa norte-americana é extremamente difícil. Além da falta de comparabilidade dos programas, há a questão do contexto de responsabilização Talvez a ausência de pesquisa e de comprovação dos efeitos colaterais, mesmo no Ceará, seja a indicação que os impactos não seriam tão negativos no Brasil Os programas de bônus podem ser inócuos em relação à aprendizagem (EUA) ou podem render benefícios parecidos com os de outros países (Índia, Israel)

23