Seletividade e Medidas de Qualidade da Educação Brasileira

Transcrição

1

2 Seletividade e Medidas de Qualidade da Educação Brasileira Marcelo Côrtes Neri * Alexandre Pinto de Carvalho ** Gostaríamos de agradecer a Luisa Carvalhaes de Melo Coutinho pela excelente assistência dada ao trabalho e a Adriana Fernandes Lima (SAEB), Rosangela Magalhães Antunes Pereira (Departamento de Emprego e Rendimento IBGE) e Maurício Franca Lira (Departamento de Emprego e Rendimento IBGE) pelo apoio técnico. Finalmente, agradecemos a Aloisio Araújo pelos inestimáveis comentários e sugestões fornecidos. * Professor na EPGE/FGV e Chefe do Centro de Políticas Sociais (CPS ) no IBRE/FGV. ** Pesquisador do Centro de Políticas Sociais (CPS) no IBRE/FGV.

3 Seletividade e Medidas de Qualidade da Educação Brasileira Marcelo Neri Alexandre Pinto ÍNDICE Visão Geral Preliminares: Comparação de Médias entre Amostras com e sem Filtros Etários Primeiro Estágio Equações de Rendimento Escolar Segundo Estágio Comparação de Notas Equivalentes entre Grupos de Freqüência Escolar Segundo Estágio Comparação de Notas Equivalentes entre 1995 e Segundo Estágio Comparação de Notas Equivalentes Desagregadas por Anos de Idade...16 Visão Geral Uma anedota a respeito do efeito-composição foi contada pelo então primeiro-ministro australiano: se ele emigrasse da Austrália para Nova Zelândia a qualidade média de ambos os paises seria aumentada 1. Observamos ao longo dos últimos anos no Brasil a atuação de vieses de seletividade na medição da qualidade de ensino produzida pela migração de crianças e adolescentes em direção aos bancos escolares. A crescente expansão do sistema escolar incorporou novos estudantes que apresentam na margem atributos individuais, familiares e geográficos inversamente relacionados aos respectivos desempenhos educacionais. Este fato poderia, pelo menos em parte, determinar uma piora do desempenho educacional observado pelos dados do SAEB no período 1995 a 2001, tal como divulgados pelo MEC. O objetivo desta nota é fazer uma avaliação direta dos impactos de problemas de seletividade e decorrentes efeitos-composição sobre a mensuração da qualidade média do ensino. O procedimento utilizado pode ser descrito através de dois passos básicos. Inicialmente, estimamos uma equação dos determinantes da qualidade de ensino usando os dados do Sistema Nacional de 1

4 Avaliação da Educação Básica (SAEB). As variáveis explicativas utilizadas estão restritas àquelas variáveis também encontradas na Pesquisa Nacional de Amostras Domiciliares (PNAD) do IBGE. Posteriormente, aplicamos a equação estimada a partir do SAEB nos microdados da PNAD a fim de atribuir notas médias a segmentos diversos. O segundo estágio da análise visa calcular a partir das regressões do primeiro estágio e informações de background individual, familiar e regional contidas na PNAD, notas equivalentes o que nos permite medir problemas de seletividade inerentes ao grupo que respondeu à prova do SAEB. De maneira geral, buscamos oferecer uma visão de notas equivalentes do conjunto da população em idade escolar, e não apenas dos alunos freqüentando as séries avaliadas pelo SAEB. Este passo impõe a necessidade de restringirmos, já no primeiro passo, a amostra a grupos etários específicos pois caso contrário estaríamos incorporando àqueles que freqüentam as séries passíveis de avaliação pelo SAEB todo o restante da população. Por exemplo, entrariam idosos, pessoas de meia idade e recém-nascidos que, a princípio, não deveriam estar freqüentando os bancos escolares.o segundo estágio pode ser adaptado a objetivos complementares, a saber: i) imputar notas àqueles que não estão freqüentando a escola num determinado ano. ii) imputar notas a estes grupos em outros anos de análise. Segundo Neri 2 et all 2002, existe evidencias de mudança considerável na extensão daqueles que freqüentam os bancos escolares, e nos seus perfis durante o período 1995 e No presente trabalho buscamos uma medida que sintetiza estes efeitos em termos das unidades básicas de aferição de proficiência do SAEB. O procedimento aqui utilizado permite circunscrever problemas de seleção associados à decisão de freqüência e a mecanismos de aprovação escolares. Buscamos, desta forma, estimar notas equivalentes de pessoas em determinados grupos etários que superem o conjunto da população, passível de avaliação pelo SAEB. Imputamos notas aos seguintes grupos: Grupos: i) Grupo que freqüenta a escola na série avaliada pela prova do SAEB em questão. ii) Grupo que não freqüenta escola. iii) Grupo que freqüenta a escola em outra série não contemplada pela prova do SAEB em questão. 1 Austrália e Nova Zelândia vivem um tipo de rivalidade similar a de alguns estados brasileiros como Rio de Janeiro e São Paulo ou Ceará e Pernambuco, respectivamente. 2

5 iv) O resíduo que não respondeu a pergunta se freqüenta, ou não, a escola ou a série que se encontra. v) O conjunto total composto pelos quatro grupos listados acima. As notas de português e de matemática estimadas ao nível de cada indivíduo destes grupos pertencentes a amostra da PNAD são cruzadas e agregadas nas seguintes faixas-etárias: Faixas-etárias agregadas: i) faixa etária entre 9 e 14 anos para a quarta série do ensino fundamental. ii) faixa etária entre 13 e 18 anos para a oitava série do ensino fundamental. iii) faixa etária entre 16 e 21 anos para a terceira série do ensino médio. O resultado é a obtenção de 15 estimativas de proficiência média para o cruzamentos entre grupos e faixas etárias obtidas em cada um dos quatro anos da PNAD analisados (1995, 1997, 1999 e 2001). O objetivo final do exercício é avaliar a extensão do efeito-composição embutido na mensuração da qualidade do ensino. Procuramos fazer inferências sobre o efeito de alguns tipos de política. Em primeiro lugar, políticas que visam aumentar a freqüência escolar. Por exemplo, políticas que aumentem a atratividade da escola como a bolsa escola, a aprovação automática, o FUNDEF a expansão de programas como livro didático e merenda escolar etc. A evidencia empírica e o bom senso sugerem que estas políticas podem ajudar a explicar a cadente evasão escolar observada no período. Este trabalho busca testar em que medida estas políticas introduzem vieses de seletividade que ajudariam a explicar a queda do rendimento escolar também observada. Estes problemas devem ser encarados como erros de mensuração que tornariam tendenciosas e imprecisas a comparação dos resultados do SAEB aferidos em sucessivos anos. Nos preocupamos aqui, especificamente com o impacto de duas políticas : o Bolsa-escola e a aprovação automática. Esta última pode não só impactar a atratividade da escola, para o ex-aluno repetente e desencorajado como introduzem mudanças significativas na composição etária daqueles que freqüentam as séries avaliadas pelo SAEB. 2 NERI, Marcelo Côrtes, SOUZA, Priscila Zeraik de, COSTA, Daniela Ribeiro da e MONTE, Samanta dos Reis Sacramento. Dezembro 2002, Bolsa-Escola, Aprovação Automática e a Mensuração da Qualidade de Ensino no Brasil, Ensaios Econômicos, Rio de Janeiro EPGE. 3

6 Apresentamos aqui, a título de exemplo, os resultados encontrados para a prova de português da quarta série do ensino fundamental. As respectivas tabelas para as cinco demais avaliações do SAEB são encontrados no corpo do trabalho. Os principais resultados são os seguintes: i) A comparação de notas equivalentes entre os que freqüentam e os que não freqüentam a escola revela um diferencial de 5.4% favorável àqueles que freqüentam. Nas demais cinco provas do SAEB observamos diferenciais um pouco menores entre 3.5% e 5.1%. ii) Houve mudança considerável no perfil dos alunos do SAEB entre 1995 e No caso dos alunos da prova de português dos alunos da quarta série do ensino fundamental os diferenciais caíram de 10.4% para 5.4% entre 1995 e O que pode ser lida como um prenúncio de uma redução da desigualdade de rendimentos quando este público infanto-juvenil chegar ao mercado de trabalho. Nas demais provas observamos uma queda também próxima à metade do diferenciais de notas equivalente entre aqueles que freqüentavam e os que estavam fora da escola. iii) Cerca de um décimo da queda de proficiência observada para prova de português dos alunos da quarta série do ensino fundamental é por uma piora na composição dentro do grupo daqueles que freqüentavam as escolas. Este resultado dá razão para a interpretação que a queda de proficiência observada pode ser explicada pela piora da qualidade dos alunos, entretanto o efeito é pequeno do ponto de vista substantivo. Cabe lembrar, que no período 1995 a 2001 houve um aumento da nota equivalente média do conjunto total da população entre 9 e 14 anos de 1.48% em função do crescimento da educação dos pais em função da natural expansão do sistema educacional ao longo das décadas anteriores. De forma que a queda relativa ao conjunto da população foi maior do que a queda absoluta. iv) iv) A proporção de pessoas que não freqüentavam a escola na faixa entre 9 a 14 anos cai de 9.25% a 3.68%, enquanto aquelas que freqüentavam a 4 série do ensino fundamental aonde o SAEB é aplicado sobe de 15.42% para 18.65%. Este efeitocomposição entre grupos parece ser o maior efeito aqui encontrado. v) O resultado mais inesperado é que as notas equivalentes daqueles no grupo de 9 a 14 anos que não freqüentavam os bancos escolares aumenta de 3.54% contra 1.48% do conjunto da população. Este dado tomado a valor de face indicam que entre os que não freqüentavam a escola aqueles de pior background foram preferencialmente incorporados aos bancos escolares. Resultados qualitativamente similares são encontrados para outras faixas etárias e provas do SAEB. 4

7 A interpretação para o surpreendente fenômeno de que o movimento de entrada na escola foi mais intensivo entre aqueles de pior qualidade pode passar pelo novo desenho das políticas sociais deste período O acesso ao bolsa-escola generalizado em termos nacionais a partir do biênio exige como contrapartida a freqüência escolar e foca em crianças pobres de municípios pobres. De forma que o a própria seletividade do bolsa-escola poderia explicar a seletividade dos novos entrantes em relação aqueles que não freqüentavam anteriormente a escola. Complementarmente, a política de aprovação automática tende a incentivar a entrada na escola daqueles com baixo desempenho esperado. Entretanto, talvez o principal efeito da aprovação automática seja sobre a estrutura etária obtida em cada série avaliada pelo SAEB. Neste caso é desejável uma análise do efeito composição entre idades em cada série. O trabalho apresenta um conjunto de 720 imputações resultantes da abertura de cada ano de idade de cada faixa.etária explorada acima no qual foi rodada uma regressão correspondente. Apresentamos um resumo das notas de português na quarta-série do ensino fundamental para cada um destes cruzamentos. Em primeiro lugar, de 1995 a 2001 o crescimento da proporção daqueles que não estavam atrasados na quarta série do ensino fundamental de 39% para 47% do total do grupo etário sugerindo a magnitude prática de aprovação automática adotada. A comparação das proficiências contidas na tabela indica que a maior queda de proficiência se deu entre aqueles de menor idade que freqüentavam a escola o que pode indicar de maneira mais fina o efeito da aprovação automática adotada sobre os resultados do SAEB. 5

8 Tabela 1 (parte A) Proficiência Escolar - Português - Quarta Série do Ensino Fundamental Variação 2001/1995 Pessoas que frequentam escola e estão na 4ª série do ensino fundamental 9 a 14 anos % 9 anos % 10 anos % 11 anos % 12 anos % 13 anos % 14 anos % Pessoas que não frequentam escola 9 a 14 anos % 9 anos % 10 anos % 11 anos % 12 anos % 13 anos % 14 anos % Pessoas que frequentam escola e não estão na 4ª série do ensino fundamental 9 a 14 anos % 9 anos % 10 anos % 11 anos % 12 anos % 13 anos % 14 anos % Total de Pessoas 9 a 14 anos % 9 anos % 10 anos % 11 anos % 12 anos % 13 anos % 14 anos % Fonte: CPS/FGV processando os microdados da PNAD/IBGE A nota encontra-se organizada em três seções adicionais, acompanhadas de um conjunto amplo de tabelas ao final do texto. Na primeira seção apresentamos comparações entre médias de proficiência do SAEB tal como divulgadas pelo MEC em relação a grupos etários utilizados nos exercícios empíricos. A segunda seção apresenta os resultados dos modelos de regressão ligados a determinação da proficiência escolar para diferentes grupos da população de acordo com status 6

9 da freqüência escolar em grupos de idade agregados. O final da seção explora estimativas similares para cada ano de idade a fim de se avaliar o impacto de mudanças da estrutura etária de quem faz a prova do SAEB. Apresentamos dois anexos com modelos utilizados menos parcimoniosos no Anexo 2. Finalmente, a última seção imputa a partir destas regressões notas equivalentes a vários grupos da população. Elas complementam a informação da prova de português na quarta série do ensino fundamental encontrada na Tabela do texto para outras provas, outras séries e outros grupos etários. 1. Preliminares: Comparação de Médias entre Amostras com e sem Filtros Etários Apresentamos abaixo a média do desempenho em português na quarta série do ensino fundamental, publicada pelo MEC a partir do SAEB e logo abaixo as médias estimadas a partir do filtro etário de 9 a 14 anos utilizado nos nossos exercícios empíricos a fim de oferecer ao leitor uma base de comparabilidade de resultados. Os mesmos passos são replicados para as cinco demais provas aplicadas pelo SAEB nas tabelas encontradas ao final do trabalho. A análise demonstra que quando retiramos da amostra os extremos dos perfis etários, isto é pessoas com 8 ou menos anos de ensino e 15 ou mais anos de estudo, a média sobe de para Tabela 2 (parte A) Médias de desempenho Língua Portuguesa - 4ª série do ensino fundamental 2001 Média Erro Padrão SAEB Alunos que frequentam a 4ª série do ensino fundamental Alunos de 9 a 14 anos de idade que frequentam a 4ª série do ensino fundamental 165,12 0, ,46 0,844 Fonte: CPS/FGV processando os microdados do SAEB/MEC 7

10 2. Primeiro Estágio Equações de Rendimento Escolar O objetivo deste primeiro estágio é estimar um modelo simples de regressão linear a partir dos microdados do SAEB Este ano, o SAEB apresenta uma maior riqueza de variáveis explicativas 3, No apêndice B apresentamos um modelo mais completo que poderia ser usado para prever resultados de maneira mais apurada num mesmo ano. Posteriormente prevemos o desempenho dos alunos que freqüentam e não freqüentam escola utilizando para isso os dados da PNAD em diferentes anos 2001, 1999, 1997 e O uso da análise de regressão tem como finalidade estudar a dependência entre a variável resposta, por excelência no SAEB, seria desempenho do aluno, em relação a uma ou mais variáveis explicativas (ex: sexo, cor, escolaridade do pai, escolaridade da mãe, unidades da federação etc.), a fim de se prever a média (o valor médio da resposta em temos dos valores conhecidos das variáveis explicativas). Apresentamos abaixo a equação inicialmente estimada. Esta variáveis podem ser encontradas em quase todas as PNADs e SAEBs do período 1995 a 2001 possuindo ainda a vantagem de serem mais ou menos fixas. Outras variáveis como acesso a diversos tipos de duráveis ou mesmo acesso a serviços públicos são menos aplicadas a uma análise temporal por terem passado por grande alteração durante o período de análise. (Pr ofic ) UF + u i = α + β1sexoi + β2cori + β3edumaei + β4edupaii + β5 i i onde: - i representa o i-ésimo aluno da 4ª série do ensino fundamental, 8ª série do ensino fundamental ou 3ª série do ensino médio, ou seja, i=1, 2, 3,...,n; - Profic = Desempenho do i-ésimo aluno (nível); - sexo - é variável indicadora para o sexo masculino, recebe valor 1 quando o entrevistado pertence a esse grupo, caso contrário recebe valor 0; - edupai- escolaridade do pai do aluno; - edumae - escolaridade da mãe do aluno; 3 Em particular, o SAEB para a quarta série do ensino fundamental de 1995 não apresentava informações sobre a escolaridade do pai e da mãe. 8

11 - UF variável indicadora da Unidade da Federação que é domicílio do aluno; - duráveis variáveis indicadoras dos seguintes duráveis: cozinha, sala, quarto, banheiro, rádio, televisão em - u i é a perturbação (componente estocástico). Tabela 3 Data Summary Number of Observations Sum of Weights Weighted of PROFIC Weighted Sum of PROFIC Design Summary Number of Strata 290 Number of Strata Collapsed 2 Number of Clusters 3927 Fit Statistics R-square Root MSE Denominator DF 3638 Class Variable uf Class Level Information Levels Values 27 Acre Alagoas Amapá Amazonas Bahia Ceará Distrito Federal Espírito Santo Goiás Maranhão Mato Grosso Mato Grosso do S Minas Gerais Paraná Paraíba Pará Pernambuco Piauí Rio Grande do No Rio Grande do Su Rio de Janeiro Rondônia Roraima Santa Catarina Sergipe Tocantins zzsão Paulo ANOVA for Dependent Variable PROFIC Source DF Sum of Squares Square F Value Pr > F Model E <.0001 Error E Corrected Total E9 9

12 Tests of Model Effects Num Effect DF F Value Pr > F Model <.0001 Intercept <.0001 Sexo <.0001 Cor <.0001 ped <.0001 ped <.0001 ped <.0001 ped <.0001 med <.0001 med <.0001 med <.0001 med <.0001 Uf <.0001 The denominator degrees of freedom for the F tests is Estimated Regression Coefficients Parameter Estimate Standard Error t Value Pr > t 95% Confidence Interval Design Effect Intercept < sexo < cor < ped < ped < ped < ped < med < med < med < med < uf Acre < uf Alagoas < uf Amapá < uf Amazonas < uf Bahia < uf Ceará < uf Distrito Federal uf Espírito Santo uf Goiás < uf Maranhão < uf Mato Grosso < uf Mato Grosso do S < uf Minas Gerais uf Paraná uf Paraíba < uf Pará < uf Pernambuco <

13 Estimated Regression Coefficients Parameter Estimate Standard Error t Value Pr > t 95% Confidence Interval Design Effect uf Piauí < uf Rio Grande do No < uf Rio Grande do Su uf Rio de Janeiro uf Rondônia < uf Roraima < uf Santa Catarina uf Sergipe < uf Tocantins < uf zzsão Paulo Os coeficientes estimados das variáveis ligadas ao gênero, raça e escolaridade do pai e escolaridade da mãe apresentam os sinais esperados e são estatisticamente diferentes de zero a níveis usuais de significância. As dummies ligadas a unidades da federação são significativas no seu conjunto e só não são estatisticamente diferentes de São Paulo, a variável omitida, nos estados do Rio de Janeiro, de Minas Gerais e para o Distrito Federal. O R-quadrado da regressão encontra-se no nível de 21.83% o que não é particularmente baixo para regressões em dados transversais. Cabe lembrar que a estimativa da média, bem o erro padrão das regressões apresentadas mais abaixo incorpora o desenho amostral e não apenas os pesos para a expansão amostral nos seus respectivos cálculos 4. O mesmo procedimento é replicado para as cinco demais provas aplicadas pelo SAEB em 2001, que consta do apêndice A Segundo Estágio Comparação de Notas Equivalentes entre Grupos de Freqüência Escolar Este segundo estágio da análise pode ser adaptado a vários objetivos concorrentes. No primeiro deles imputamos notas àqueles que não estão freqüentando a escola nas séries passíveis de avaliação pelo SAEB. Desta forma, pretende-se atribuir notas equivalentes controladas pelo background da criança ou adolescente. Este tipo de procedimento permite circunscrever o processo de seleção da freqüência escolar e atribuir notas para todo o conjunto de um determinado grupo etário da população e não só aqueles passíveis de avaliação pelo SAEB. 4 O cálculo do Efeito do Plano Amostral (EPA), apontado como design effect nas tabelas, engloba a divisão entre a variância verdadeira do estimador e o estimador usual da variância calculado sob a hipótese de observações independentes e identicamente distribuídas. Quando essa medida resulta em valores acima de 1, conclui-se que a adoção da hipótese de amostra aleatória simples (não levando em consideração o plano amostral) gera estimativas de variâncias subestimadas e quando resulta em valores abaixo de 1, a adoção da mesma hipótese gera estimativas de variância sobreestimadas. 11

14 As tabelas abaixo apresentam um quadro comparativo das notas imputadas na PNAD entre os que freqüentam e os que não freqüentam a escola a partir de informações do background familiar e das unidades da federação. Na prova de português este diferencial é de 5.4% ( em relação a ) favorável àqueles que freqüentam. Tabela 2 (parte B) Médias de desempenho (SAEBxPNAD) Língua Portuguesa - 4ª série do ensino fundamental 2001 Média Erro Padrão SAEB Alunos de 9 a 14 anos de idade que frequentam a 4ª série do ensino fundamental 169,46 0,844 PNAD Alunos de 9 a 14 anos de idade que frequentam a 4ª série do ensino 171,69 0,226 9 a 14 anos de idade que não frequentam escola 162,88 0,409 Alunos de 9 a 14 anos de idade que frequentam outra série 173,25 0,175 Missing 157,39 0,000 População de 9 a 14 anos 172,59 0,162 Fonte: CPS/FGV processando os microdados da PNAD/IBGE e SAEB/MEC Nas demais provas observamos diferenciais um pouco menores entre 3.5% e 5.1%. 12

15 Tabela 1 (parte B) Proficiência por faixa de idade - Brasil 2001 Média Erro padrão da média Pessoas que frequentam escola e estão na 4ª série do ensino fundamental 9 a 14 anos Português Matemática Pessoas que não frequentam escola 9 a 14 anos Português Matemática Pessoas que frequentam escola e estão na 8ª série do ensino fundamental 13 a 18 anos Português Matemática Pessoas que não frequentam escola 13 a 18 anos Português Matemática Pessoas que frequentam escola e estão na 3ª série do ensino médio 16 a 21 anos Português Matemática Pessoas que não frequentam escola 16 a 21 anos Português Matemática Fonte: CPS/FGV processando os microdados da PNAD/IBGE 3.2. Segundo Estágio Comparação de Notas Equivalentes entre 1995 e 2001 No presente exercício contra-factual imputamos notas em outros anos de análise. Como demonstramos mais acima, ouve mudança considerável no perfil dos alunos do SAEB entre 1995 e A idéia aqui é avaliar a extensão deste efeito-composição e os diferenciais entre freqüentadores e não freqüentadores de notas equivalentes explicadas pelos atributos pessoais, familiares e geográficos dos mesmos grupos em diferentes períodos. 13

16 Tabela 1 (parte C) Proficiência por faixa de idade - Brasil 1995 Média Erro padrão da média Pessoas que frequentam escola e estão na 4ª série do ensino fundamental 9 a 14 anos Português Matemática Pessoas que não frequentam escola 9 a 14 anos Português Matemática Pessoas que frequentam escola e estão na 8ª série do ensino fundamental 13 a 18 anos Português Matemática Pessoas que não frequentam escola 13 a 18 anos Português Matemática Pessoas que frequentam escola e estão na 3ª série do ensino médio 16 a 21 anos Português Matemática Pessoas que não frequentam escola 16 a 21 anos Português Matemática Fonte: CPS/FGV processando os microdados da PNAD/IBGE Os diferenciais de notas equivalentes entre os que freqüentavam e os que não freqüentavam os bancos escolares era significativamente maior em 1995 do que em No caso dos alunos da prova de português dos alunos da quarta série do ensino fundamental os diferenciais caíram de 10.4% para 5.4% entre 1995 e O que pode ser lida como um prenúncio de uma redução da desigualdade de rendimentos no público infanto-juvenil. Nas demais provas observamos uma queda também próxima à metade da nota equivalente entre aqueles que freqüentavam e os que estavam fora da escola. A queda da qualidade do ensino entre 1995 e 2001 para os alunos que freqüentavam a respectiva série cai de 12.3% para prova de português dos alunos da quarta série do ensino fundamental é em 5 Nesta versão preliminar estamos reportando apenas os resultados para esta prova. A análise das demais cinco provas será incorporada na próxima versão da nota. 14

17 parte explicada, por uma piora na composição dentro do grupo daqueles que freqüentavam as escolas. As notas equivalentes caem de para O resultado mais inesperado é que as notas equivalentes daqueles no grupo de 9 a 14 anos que não freqüentavam os bancos escolares aumenta de para Este dado tomado a valor de face indicam que entre os que não freqüentavam a escola aqueles de pior background foram preferencialmente incorporados aos bancos escolares. Resultados similares são encontrados para outras provas. Cabe lembrar, que no período 1995 a 2001 houve um aumento da nota equivalente média do conjunto total da população entre 9 e 14 anos de 1.48% em função do crescimento da educação dos pais em função da natural expansão do sistema educacional ao longo das décadas anteriores. De forma que a queda relativa ao conjunto da população foi maior do que a queda absoluta. A proporção de pessoas que não freqüentavam a escola na faixa entre 9 a 14 anos cai de 9.25% a 3.68%, enquanto aquelas que freqüentavam a 4 série do ensino fundamental aonde o SAEB é aplicado sobe de 15.42% para 18.65%. Este efeito-composição entre grupos parece ser o maior efeito aqui encontrado. Tabela 1 (parte D) Total de Alunos por Faixa Etária e Série que frequenta Nível Comp. Comp. Nível Vertical Vertical População de 9 a 14 anos , ,00 Alunos de 9 a 14 anos de idade que frequentam a 4ªsérie do 15,42 18,65 9 a 14 anos de idade que não frequentam escola 9,25 3,68 Alunos de 9 a 14 anos de idade que frequentam outra série 75,29 77,66 Missing 17 0,04 3 0,01 População de 13 a 18 anos , ,00 Alunos de 13 a 18 anos de idade que frequentam a 8ªsérie do 9,42 13,40 13 a 18 anos de idade que não frequentam escola 28,73 18,49 Alunos de 13 a 18 anos de idade que frequentam outra série 61,81 68,11 Missing 16 0,04 3 0,01 População de 16 a 21 anos , ,00 Alunos de 16 a 21 anos de idade que frequentam a 3ªsérie do 5,50 8,86 16 a 21 anos de idade que não frequentam escola 54,02 44,82 Alunos de 16 a 21 anos de idade que frequentam outra série 40,46 46,31 Missing 8 0,02 5 0,01 15 Fonte: CPS/FGV processando os microdados da PNAD/IBGE

18 Em suma, a análise das notas equivalentes (isto é, controladas pelo efeito de características dos alunos, seus familiares e geográficas) revelam que: i) os diferenciais entre os que freqüentavam e os que não freqüentavam a escola sobe a pouco menos do que o dobro entre 1995 e ii) entre os que freqüentavam a respectiva série a queda de notas equivalentes observada entre 1995 e 2001 indica a presença do efeito composição viesando para baixo as avaliações do SAEB. iii) por último, e mais importante, a proporção de pessoas que não freqüentavam a escola na faixa entre 9 a 14 anos cai de 9.25% a 3.68%, enquanto aquelas que freqüentavam a 4 série do ensino fundamental aonde o SAEB é aplicado sobe de 15.42% para 18.65% Segundo Estágio Comparação de Notas Equivalentes Desagregadas por Anos de Idade A interpretação para o até certo ponto surpreendente fenômeno de que o movimento de entrada na escola foi mais intenso entre aqueles de pior qualidade pode passar pelo novo desenho das políticas sociais implantados neste período. O acesso ao bolsa-escola generalizado em termos nacionais a partir do biênio exige como contrapartida a freqüência escolar e foca em crianças pobres de municípios pobres. A população elegível ao programa é aquela entre 7 a 15 anos integrantes de famílias com renda familiar per capita inferior a meio salário mínimo e moradoras de municípios com Índice de Desenvolvimento Humano (IDH) inferior a meio. De forma que a própria seletividade do desenho do bolsa-escola poderia explicar a seletividade dos novos entrantes em relação aqueles que não freqüentavam anteriormente a escola. Complementarmente, a política de aprovação automática tende a incentivar a entrada na escola daqueles anteriormente desencorajados com baixo desempenho esperado. Entretanto, talvez o principal efeito da aprovação automática seja sobre a estrutura etária obtida em cada série avaliada pelo SAEB. Neste caso é desejável uma análise do efeito composição entre idades em cada série. O trabalho apresenta um conjunto de 720 imputações resultantes da abertura de cada ano de idade de cada faixa.etária explorada acima no qual foi rodada uma regressão correspondente. Entretanto, o efeito mais decisivo exercido pela aprovação automática seria sobre a estrutura etária obtida em cada série avaliada. Neste aspecto é desejável uma análise do efeito composição entre idades a cada série. Para tanto rodamos regressões separadas para cada faixa etária agregada apontada acima resultando em cinco regressões para cada prova (mais o total) o que resultou em imputações em 60 imputações para cada uma das três séries onde o SAEB é aplicado. Resultando em 180 imputações por ano ou 720 imputações nos quatro anos analisados. 16

19 Apresentamos um resumo das notas de português na quarta-série do ensino fundamental para cada um destes cruzamentos. Em primeiro lugar, o crescimento de 1995 a 2001 da proporção daqueles que não estavam atrasados na quarta série do ensino fundamental de 39% para 47% do total do grupo etário indica a magnitude da prática de aprovação automática adotada. A comparação das proficiências contidas na tabela indica que a maior queda de proficiência se deu entre aqueles de menor idade que freqüentavam a escola o que pode indicar de maneira mais fina o efeito da aprovação automática adotada sobre os resultados do SAEB. 17

20 Tabela 1 (parte E) Total de alunos por faixa etária e série que frequenta - Comp. Vertical Pessoas que frequentam escola e estão na 4ª série do ensino fundamental 9 a 14 anos anos anos anos anos anos anos Pessoas que frequentam escola e estão na 8ª série do ensino fundamental 13 a 18 anos anos anos anos anos anos anos Pessoas que frequentam escola e estão na 3ª série do ensino médio 16 a 21 anos anos anos anos anos anos anos Fonte: CPS/FGV processando os microdados da PNAD/IBGE 18

21 Anexo 1: Esse anexo contém tabelas que complementam a informação da prova de português na quarta série do ensino fundamental encontrada na Tabela 1 do texto para outras provas, outras séries e outros grupos etários. Tabelas: Proficiência em Português Brasil 2001 Proficiência em Matemática Brasil 2001 Proficiência em Português Brasil 1999 Proficiência em Matemática Brasil 1999 Proficiência em Português Brasil 1997 Proficiência em Matemática Brasil 1997 Proficiência em Português Brasil 1995 Proficiência em Matemática Brasil

22 Proficiência em Português - Brasil 2001 Amostra População Média Erro padrão da média Pessoas que frequentam escola e estão na 4ª série do ensino fundamental 9 a 14 anos anos anos anos anos anos anos Pessoas que não frequentam escola 9 a 14 anos anos anos anos anos anos anos Pessoas que frequentam escola e não estão na 4ª série do ensino fundamental 9 a 14 anos anos anos anos anos anos anos Pessoas responderam ignorado na pergunta sobre freqüenta escola 9 a 14 anos anos anos anos anos anos anos 0... Total de Pessoas 9 a 14 anos anos anos anos anos anos anos Fonte: CPS/FGV processando os microdados da PNAD/IBGE 20

23 Proficiência em Matemática - Brasil 2001 Amostra População Média Erro padrão da média Pessoas que frequentam escola e estão na 4ª série do ensino fundamental 9 a 14 anos anos anos anos anos anos anos Pessoas que não frequentam escola 9 a 14 anos anos anos anos anos anos anos Pessoas que frequentam escola e não estão na 4ª série do ensino fundamental 9 a 14 anos anos anos anos anos anos anos Pessoas responderam ignorado na pergunta sobre freqüenta escola 9 a 14 anos anos anos anos anos anos anos 0... Total de Pessoas 9 a 14 anos anos anos anos anos anos anos Fonte: CPS/FGV processando os microdados da PNAD/IBGE 21

24 Proficiência em Português - Brasil 2001 Amostra População Média Erro padrão da média Pessoas que frequentam escola e estão na 8ª série do ensino fundamental 13 a 18 anos anos anos anos anos anos anos Pessoas que não frequentam escola 13 a 18 anos anos anos anos anos anos anos Pessoas que frequentam escola e não estão na 8ª série do ensino fundamental 13 a 18 anos anos anos anos anos anos anos Pessoas responderam ignorado na pergunta sobre freqüenta escola 13 a 18 anos anos anos anos anos anos anos 0... Total de Pessoas 13 a 18 anos anos anos anos anos anos anos Fonte: CPS/FGV processando os microdados da PNAD/IBGE 22

25 Proficiência em Matemática - Brasil 2001 Amostra População Média Erro padrão da média Pessoas que frequentam escola e estão na 8ª série do ensino fundamental 13 a 18 anos anos anos anos anos anos anos Pessoas que não frequentam escola 13 a 18 anos anos anos anos anos anos anos Pessoas que frequentam escola e não estão na 8ª série do ensino fundamental 13 a 18 anos anos anos anos anos anos anos Pessoas responderam ignorado na pergunta sobre freqüenta escola 13 a 18 anos anos anos anos anos anos anos 0... Total de Pessoas 13 a 18 anos anos anos anos anos anos anos Fonte: CPS/FGV processando os microdados da PNAD/IBGE 23

26 Proficiência em Português - Brasil 2001 Amostra População Média Erro padrão da média Pessoas que frequentam escola e estão na 3ª série do ensino médio 16 a 21 anos anos anos anos anos anos anos Pessoas que não frequentam escola 16 a 21 anos anos anos anos anos anos anos Pessoas que frequentam escola e não estão na 3ª série do ensino médio 16 a 21 anos anos anos anos anos anos anos Pessoas responderam ignorado na pergunta sobre freqüenta escola 16 a 21 anos anos anos anos anos anos anos Total de Pessoas 16 a 21 anos anos anos anos anos anos anos Fonte: CPS/FGV processando os microdados da PNAD/IBGE 24

27 Proficiência em Matemática - Brasil 2001 Amostra População Média Erro padrão da média Pessoas que frequentam escola e estão na 3ª série do ensino médio 16 a 21 anos anos anos anos anos anos anos Pessoas que não frequentam escola 16 a 21 anos anos anos anos anos anos anos Pessoas que frequentam escola e não estão na 3ª série do ensino médio 16 a 21 anos anos anos anos anos anos anos Pessoas responderam ignorado na pergunta sobre freqüenta escola 16 a 21 anos anos anos anos anos anos anos Total de Pessoas 16 a 21 anos anos anos anos anos anos anos Fonte: CPS/FGV processando os microdados da PNAD/IBGE 25

28 Proficiência em Português - Brasil 1999 Amostra População Média Erro padrão da média Pessoas que frequentam escola e estão na 4ª série do ensino fundamental 9 a 14 anos anos anos anos anos anos anos Pessoas que não frequentam escola 9 a 14 anos anos anos anos anos anos anos Pessoas que frequentam escola e não estão na 4ª série do ensino fundamental 9 a 14 anos anos anos anos anos anos anos Pessoas responderam ignorado na pergunta sobre freqüenta escola 9 a 14 anos anos anos anos anos anos anos 0... Total de Pessoas 9 a 14 anos anos anos anos anos anos anos Fonte: CPS/FGV processando os microdados da PNAD/IBGE 26

29 Proficiência em Matemática - Brasil 1999 Amostra População Média Erro padrão da média Pessoas que frequentam escola e estão na 4ª série do ensino fundamental 9 a 14 anos anos anos anos anos anos anos Pessoas que não frequentam escola 9 a 14 anos anos anos anos anos anos anos Pessoas que frequentam escola e não estão na 4ª série do ensino fundamental 9 a 14 anos anos anos anos anos anos anos Pessoas responderam ignorado na pergunta sobre freqüenta escola 9 a 14 anos anos anos anos anos anos anos 0... Total de Pessoas 9 a 14 anos anos anos anos anos anos anos Fonte: CPS/FGV processando os microdados da PNAD/IBGE 27

30 Proficiência em Português - Brasil 1999 Amostra População Média Erro padrão da média Pessoas que frequentam escola e estão na 8ª série do ensino fundamental 13 a 18 anos anos anos anos anos anos anos Pessoas que não frequentam escola 13 a 18 anos anos anos anos anos anos anos Pessoas que frequentam escola e não estão na 8ª série do ensino fundamental 13 a 18 anos anos anos anos anos anos anos Pessoas responderam ignorado na pergunta sobre freqüenta escola 13 a 18 anos anos anos anos anos anos anos Total de Pessoas 13 a 18 anos anos anos anos anos anos anos Fonte: CPS/FGV processando os microdados da PNAD/IBGE 28

31 Proficiência em Matemática - Brasil 1999 Amostra População Média Erro padrão da média Pessoas que frequentam escola e estão na 8ª série do ensino fundamental 13 a 18 anos anos anos anos anos anos anos Pessoas que não frequentam escola 13 a 18 anos anos anos anos anos anos anos Pessoas que frequentam escola e não estão na 8ª série do ensino fundamental 13 a 18 anos anos anos anos anos anos anos Pessoas responderam ignorado na pergunta sobre freqüenta escola 13 a 18 anos anos anos anos anos anos anos Total de Pessoas 13 a 18 anos anos anos anos anos anos anos Fonte: CPS/FGV processando os microdados da PNAD/IBGE 29