Sobre o que importa para a melhoria da qualidade da educação e os mecanismos de incentivos para sua promoção Ricardo Paes de Barros (SAE) Diana Grosner (SAE) Brasília, Maio de 2013
0. Qualidade da Educação Disponibilidade de Insumos Qualidade dos Insumos Qualidade dos resultados
1. Sobre o progresso recente e a necessidade de continuidade Pelo PISA o Brasil está entre os 5 países que mais progrediram ao longo da última década (33 pontos na escala PISA) Mesmo assim, continua entre os 15 países com pior desempenho, 38 pontos abaixo do Chile A velocidade atual vamos atingir 2021 com o nível de aprendizado que o Chile tinha em 2009 A escolaridade dos jovens brasileiros que acabam de entrar na idade adulta é idêntica a dos pais dos jovens chilenos que acabam de entrar na idade adulta Apenas 25% dos nossos alunos alcança nível adequado de proficiência, quando a meta para 2021 é de 70% 3
Progresso entre 2000 e 2009 Pelo PISA o Brasil está entre os 5 países que mais progrediram ao longo da 60 Distribuição dos países segundo a progreso no desempenho médio nas avaliações última de português, década matemática (33 pontos e ciências na escala entre PISA) 2009 e 2000 50 40 Brasil 30 33 20 10 0-10 -20-30 -40 0 10 20 30 40 50 60 70 80 90 100 Distribuição dos países (%) Fonte: Dados extraídos do Programa Internacional de Avaliação de Alunos (PISA/OCDE) de 2009. Os dados estão disponíveis no site http://www.inep.gov.br/internacional/novo/ PISA/resultados.htm 4
Proficiência Mesmo assim, continuamos entre os 15 países com pior desempenho, 38 pontos abaixo do Chile. À velocidade atual vamos atingir 2021 com o nível de aprendizado que o Chile já alcançou. Distribuição dos países segundo o desempenho médio nas avaliações de português, matemática e ciências: PISA, 2009 600 580 560 540 520 500 480 460 440 Chile 420 400 380 360 340 320 38 Brasil 300 0 10 20 30 40 50 60 70 80 90 100 Distribuição dos países (%) Fonte: Dados extraídos do Programa Internacional de Avaliação de Alunos (PISA/OCDE) de 2009. Os dados estão disponíveis no site http://www.inep.gov.br/internacional/novo/ PISA/resultados.htm 5
Escolaridade (anos de estudo) A escolaridade dos jovens brasileiros que acabam de entrar na idade adulta é idêntica a dos pais dos jovens chilenos que acabam de entrar na idade adulta Evolução da escolaridade por coorte de nascimento: Brasil e Chile 14 13 12 11 10 9 Nascidos em 1952 no Chile 9 9 28 anos de atraso 8 7 6 Chile Brasil Nascidos em 1980 no Brasil 5 4 3 2 1 0 1920 1925 1930 1935 1940 1945 1950 1955 1960 1965 1970 1975 1980 Ano de nascimento 6
Porcentagem que atingiram a Meta 3 Apenas 25% dos nossos alunos alcança nível adequado de proficiência, quando a meta para 2021 é de 70% Porcentagem de alunos com aprendizado adequado: Brasil, 2009 100 90 80 70 Meta para 2021 60 50 40 30 34 Língua Portuguesa 26 29 33 Matemática 20 10 15 11 0 4ª/5º EF 8ª/9º EF 3ª EM 4ª/5º EF 8ª/9º EF 3ª EM 7
2. Como acelerar o aprendizado: Necessidade de melhorar a qualidade do gasto com educação Aumentando o volume de recursos (públicos e privados) alocados à educação Elevando a efetividade do que se já gasta (melhorar a qualidade do gasto) Fazer os dois: melhorando a qualidade dos que se já gastava, aumentando o gasto e alocando melhor os recursos adicionais. Melhorar o aprendizado é preocupação de todos os países ricos e pobres Um país com um aprendizado em Matemática 15 pontos na escala SAEB maior (tipicamente o que se aprende num ano letivo) terá uma taxa de crescimento 1% mais acelerada 8
Taxa de crescimento (%) 5 Relação entre a taxa de crescimento anual do PIB por trabalhador no período 2002-2006 e a proficiência em Matemática na 8 a série em 1995: Unidades da Federação 4 3 2 1 0-1 17 15 1pp -2 Um aprendizado em Matemática 15 pontos maior (tipicamente o que se -3 Impacto do programa na aprende em um ano letivo) leva a amostra entre alunos que uma taxa de crescimento -4 fizeram as avaliações no PIB por trabalhador diagnóstica 1% mais acelerada e somativa -5 210 215 220 225 230 235 240 245 250 255 260 265 270 275 280 Proficiência em matemática Fonte: Estimativas produzidas com base no dados da Pesquisa Nacional por Amostra de Domicílio (PNAD) de 2002 a 2006 e do Sistema de Avaliação da Educação BásicaSAEB/INEP 9
3. Associação ou Causalidade: o que importa para o desenho de políticas educacionais? Para o desenho das políticas educacionais o que se deseja conhecer é em quanto o aprendizado irá se alterar, caso uma determinada ação seja implementada (impacto causal da ação), e não simplesmente quão maior é o aprendizado nas escolas que implantaram a ação em comparação com as que não implantaram (associação) É preciso identificar isolar e quantificar a magnitude do impacto de diversos fatores determinantes do aprendizado Dessa forma, é possível construirmos um mapa dos impactos e não apenas um mapa de fatores associados ao aprendizado 10
Porcentagem de um desvio-padrão 35% Magnitude do Impacto de Fatores Determinantes Selecionados do Aprendizado 30% 25% 29% 20% 15% 20% 20% 10% 5% 10% 0% Redução no tamanho da turma de 22 para 15 alunos Aumento no número efetivo de dias letivos de 190 para 200 Melhores (20% melhores) vis-àvis piores professores (20% piores)2 Professores com 3 a 5 anos experiência versus sem experiência 11
Magnitude do impacto da qualidade do professor sobre o aprendizado dos alunos Aprendizado dos alunos que tem aula com os melhores (20% melhoes) professores Aprendizado típico em um ano letivo Aprendizado dos alunos que tem aula com os piores (20% piores) professores Impacto da qualidade do professor 9,6 pontos na escala SAEB 0 2 4 6 8 10 12 14 16 18 20 Aprendizado ao longo de um ano letivo 12
Magnitude do impacto da qualidade do professor sobre o aprendizado dos alunos Aprendizado dos alunos que tem aula com os melhores (20% melhoes) professores Aprendizado típico em um ano letivo Aprendizado dos alunos que tem aula com os piores (20% piores) professores Impacto da qualidade do professor 68% do aprendizado típico de um ano letivo 0% 20% 40% 60% 80% 100% 120% 140% Aprendizado ao longo de um ano letivo 13
Magnitude do impacto da experiência do professor sobre o aprendizado dos alunos Aprendizado quando o professor tem de 3 a 5 anos de experiência Aprendizado típico em um ano letivo Aprendizado quando o professor não tem experiência Impacto da experiência 3,3 pontos na escala SAEB 0 2 4 6 8 10 12 14 16 18 20 Aprendizado ao longo de um ano letivo 14
Magnitude do impacto da experiência do professor sobre o aprendizado dos alunos Aprendizado quando o professor tem de 3 a 5 anos de experiência Aprendizado típico em um ano letivo Impacto da experiência Aprendizado quando o professor não tem experiência 22% do aprendizado típico de um ano letivo 0% 20% 40% 60% 80% 100% 120% 140% Aprendizado ao longo de um ano letivo 15
Magnitude do impacto sobre o aprendizado dos alunos de uma redução no tamanho da turma de 22 para 15 alunos Aprendizado em uma turma com 15 alunos Aprendizado típico em um ano letivo Aprendizado em uma turma com 22 alunos Impacto do tamanho da turma 6,6 pontos na escala SAEB 0 2 4 6 8 10 12 14 16 18 20 Aprendizado ao longo de um ano letivo 16
Magnitude do impacto sobre o aprendizado dos alunos de uma redução no tamanho da turma de 22 para 15 alunos Aprendizado em uma turma com 15 alunos Aprendizado típico em um ano letivo Aprendizado em uma turma com 22 alunos Impacto do tamanho da turma 44% do aprendizado típico de um ano letivo 0% 20% 40% 60% 80% 100% 120% 140% Aprendizado ao longo de um ano letivo 17
4. Principais limitações Problemas relacionados às estimativas de impacto de um fator mantendo-se os demais constantes (Ceteris paribus) Mas mantendo os demais fatores constantes em que nível? Quão dependente é a estimativa de impacto ao nível dos demais fatores? Dificuldades com a validade externa (e daí com a utilidade) das estimativas Impacto marginal e linearidade Diferenças na sensibilidade à margem intensiva e extensiva: aumento na experiência de todos os professores versus aumento na proporção de professores com experiência 18
4. Principais limitações Impactos diretos e indiretos: Avalia-se prioritariamente o impacto direto de reduções no tamanho da turma sobre o aprendizado. Mas reduções no tamanho das turmas podem requerer aumento no número e daí a uma queda na qualidade dos professores Foco apenas no aprendizado: Turmas homogêneas são melhores para o aprendizado Mas outros objetivos da educação podem relevar a que turmas heterogêneas sejam preferíveis Falta informação sobre custos, o que impede uma avaliação da relação custo-efetividade das diversas alternativas 19
5. Sistema de Incentivos Incentivos Proporcional ao esforço Proporcional ao desempenho Proporcional as necessidades Punições Responsabilização Proporcional ao esforço Proporcional ao desempenho