RESULTADOS DO ENEM 2014

RESULTADOS DO ENEM 2014 Boletim IDados da Educação nº 2015-02 Dezembro 2015

RESULTADOS DO ENEM 2014 Boletim IDados da Educação Dezembro 2015

APRESENTAÇÃO O Boletim IDados da Educação é uma publicação do IDados, uma unidade do Instituto Alfa e Beto dedicada à análise de dados e de evidências sobre a educação brasileira, com o objetivo de informar e lançar questões para debate entre os diversos públicos responsáveis e/ou comprometidos com a melhoria da Educação. A segunda edição deste Boletim apresenta a análise dos dados preliminares do Exame Nacional do Ensino Médio (ENEM) 2014 - mais precisamente, a análise do documento ENEM por Escola, divulgado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Enfatizamos se tratar de dados preliminares uma vez que o Inep ainda não divulgou os microdados referentes ao exame do ano em questão, o que seria essencial para análises mais profundas. A título de esclarecimento, registramos que no momento da nossa análise (dezembro/2015) o Inep ainda não havia divulgado os dados consolidados do ENEM 2015, sendo conhecidas apenas as notas individuais dos candidatos bem como informações gerais sobre participação. No entanto, apesar da defasagem dos dados, os resultados de exames desta natureza raramente apresentam poucas mudanças significativas entre diferentes aplicações, daí por que as questões aqui levantadas servem para balizar o debate sempre atual sobre este tema. Este Boletim IDados de Educação está dividido em sete partes. Em cada uma das seis primeiras partes, um aspecto do ENEM é explicado e refletido criticamente. A última parte apresenta uma série de questões levantadas ao longo do texto, com o objetivo de suscitar debates pela comunidade empresarial, acadêmica, mídia e a sociedade em geral. Para conferir todas as edições do Boletim IDados da Educação, acesse: www.alfaebeto.org.br/idados 3

RESUMO EXECUTIVO 1. Onde estavam matriculados os participantes do ENEM 2014? 4. Como se comparam os 30 melhores alunos das escolas das redes estaduais e municipais? Pouco mais da metade dos participantes do ENEM 2014 já havia concluído o Ensino Médio em anos anteriores. Apenas 24% cursavam o último ano do Ensino Médio. Os outros tinham um nível de educação igual ou inferior ao penúltimo ano do Ensino Médio. Dos 24% que estavam concluindo o Ensino Médio, aproximadamente 27% estavam matriculados na rede privada, que contém 22% das matrículas no último ano do E.M. e que portanto está super-representada. 2. Como foi o desempenho global dos alunos em 2014? As médias das provas das diferentes disciplinas são muito parecidas e fortemente correlacionadas. Esse dado sugere que qualquer uma das provas é razoavelmente capaz de prever o desempenho dos alunos em todas as outras provas. As notas das escolas das redes privadas são consistentemente superiores às notas das redes estaduais, com uma diferença em torno de 1,5 desvio padrão. Esses resultados foram muito parecidos com os de 2013. 3. Quantos alunos atingiram cada nível de desempenho? As notas foram classificadas pelo Inep em 5 níveis de desempenho. Entre 16% e 45% dos alunos das redes estaduais atingiram os níveis mais altos (3 ou mais) dependendo da prova. Essas porcentagens Os 30 melhores alunos das escolas das redes privadas têm notas entre 1,08 e 1,26 desvios padrão acima das redes estaduais. As notas dos 30 melhores alunos das redes estaduais é inferior à média geral dos alunos das redes privadas. 5. Qual é a relação entre o nível socioeconômico e o desempenho das escolas? Em qualquer faixa de classificação do nível socioeconômico os alunos das escolas privadas dessa mesma faixa obtêm melhores resultados do que os das escolas públicas. Ou seja: o fato de que os alunos das redes privadas têm, na média, nível socioeconômico mais elevado que os das redes estaduais não é suficiente para explicar as diferenças de desempenho. Além disso, os dados analisados sugerem que as escolas privadas parecem possuir melhores elementos para promover a equidade, especialmente nos níveis mais baixos da distribuição, e muito particularmente no nível socioeconômico médio baixo.. 6. Existe relação entre gastos e desempenho dos alunos nas redes estaduais? Os dados analisados sugerem que não existe uma relação significativa entre gastos e desempenho. Estados que apresentam gastos mais elevados não obtiveram necessariamente médias mais altas no ENEM 2014. ficam entre 52% e 81% no caso das redes privadas.

1. ONDE ESTAVAM MATRICULADOS OS PARTICIPANTES DO ENEM 2014? A Figura 1.1 apresenta o total de matrículas no Ensino Médio em 2014. Ela mostra que do total de alunos, apenas 27,55% estavam no último ano, vs. 40,50% no primeiro ano, o que indica uma elevada taxa de perda de alunos. A figura também mostra a distribuição dos alunos por rede, sendo 84,66% da matrícula nas redes estaduais, 12,90% nas redes privadas e o restante na rede federal e nas redes municipais. FIGURA 1.1 - MATRÍCULAS NO ENSINO MÉDIO: TOTAL, POR SÉRIES E REDES Já a Figura 1.2. mostra que do total de 8,7 milhões de alunos inscritos no ENEM apenas 71,01% foram avaliados, sendo que destes apenas 23,98% estavam concluindo o ensino médio em 2014. FIGURA 1.2 - TOTAL DE ALUNOS INSCRITOS, AVALIADOS E DE CONCLUINTES NO ANO 5

Os Quadros 1.1. e 1.2. referem-se apenas aos alunos efetivamente avaliados em 2014, e nos permitem identificar a taxa de participação dos alunos das diferentes redes. O Quadro 1.1. apresenta a quantidade de escolas, de alunos matriculados no último ano do ensino médio e, desses, dos alunos efetivamente avaliados. Pode-se inferir que apenas 71,8% (983.770/1.370.520) dos alunos matriculados no último ano do ensino médio foram avaliados. Esse quadro também nos permite inferir que aproximadamente 88% dos alunos não avaliados eram de escolas estaduais. QUADRO 1.1 - ESCOLAS, MATRÍCULAS E ALUNOS AVALIADOS POR REDE DE ENSINO O Quadro 1.2. complementa e desagrega a informação acima, no nível de escola. Ele nos permite observar que a taxa de participação dos alunos das diferentes redes na Prova é muito desigual: é superior a 85% nas redes federal e privada e de aproximadamente 67% nas escolas da rede estadual. QUADRO 1.2 - ALUNOS MATRICULADOS, AVALIADOS E TAXA DE PARTICIPAÇÃO POR REDE DE ENSINO 6

Combinando os resultados desses quadros e figuras cabe ressaltar: A maioria dos participantes do ENEM não são alunos concluintes do ensino médio: eles são uma minoria. Isso sugere que o ENEM se tornou essencialmente um instrumento de seleção para o Ensino Superior. A representatividade das escolas públicas no exame é muito reduzida, o que sugere que estamos comparando o universo dos alunos de escolas privadas (e federais) com uma amostra de alunos das escolas estaduais. Possivelmente essa amostra exclui a maioria dos alunos mais fracos. Isso, por sua vez, sugere que o desempenho real das escolas de ensino médio pode ser ainda inferior ao indicado pelas notas do ENEM. 7

2. COMO FOI O DESEMPENHO GLOBAL DOS ALUNOS EM 2014? O Quadro 2.1 apresenta as médias de desempenho das escolas estaduais e privadas nas 5 provas do ENEM: Redação (RED), Linguagens e Códigos (LC), Matemática (MAT), Ciências Humanas (CH), Ciências da Natureza (CN). As médias das diferentes provas dentro de cada rede são muito parecidas, e a correlação entre as médias é muito elevada, variando de 0,759 a 0,936. Isso significa que qualquer uma das provas é razoavelmente capaz de prever o desempenho dos alunos nas demais provas, sugerindo que a mesma avaliação poderia ser feita com menos recursos. Da mesma forma, a diferença entre os alunos da rede pública e privada é consistente, sempre em torno de 1,4 desvio padrão. A menor diferença é na prova de Matemática (1,39 DP) e a maior na prova de Redação (1,46 DP). Isso significa que a grande maioria dos alunos da rede pública se situa abaixo da média dos alunos das escolas privadas. Essa diferença se torna mais clara quando examinamos o desvio padrão das duas redes. Na prova de Redação, o desvio padrão de ambas é próximo e muito elevado. Nas demais provas o desvio padrão da rede privada é muito maior do que na rede pública é o dobro em Matemática e Ciências Naturais. Isso sugere que a diversidade de desempenho dos alunos das escolas privadas é muito grande, mas, apesar disso, suas médias continuam muito superiores às dos alunos das redes públicas. 8

QUADRO 2.1 - RESULTADO DAS ESCOLAS ESTADUAIS E PRIVADAS NAS 5 PROVAS DO ENEM Nota: DP global= desvio padrão de todas as escolas estaduais e privadas. As correlações indicadas são as mais altas e mais baixas entre todos os possíveis pares de provas (exemplo: LC x MAT, CH x CN) nas duas redes. Todas as correlações entre pares de provas são significativas no nível 0,01. A Figura 2.1 compara as notas do Quadro 2.1 com as de 2013. Tanto em 2013 quanto em 2014, os resultados das escolas da rede privada são consistentemente melhores do que os da rede estadual. Ambas as redes obtiveram resultados piores em Matemática em 2014. A queda na rede estadual foi de 37 pontos, 4 pontos a mais do que na rede privada, aumentando ainda mais a diferença entre as redes. Houve uma queda na nota de Redação na rede estadual, ao passo que a nota na rede privada melhorou. Consequentemente, a diferença entre as duas redes passou de 105 pontos em 2013 para 145 pontos em 2014. 9

FIGURA 2.1 - COMPARAÇÃO DAS NOTAS NO ENEM DE 2013 E 2014 REDES ESTADUAIS E PRIVADAS 10

3. QUANTOS ALUNOS ATINGIRAM CADA NÍVEL DE DESEMPENHO? Os resultados dos alunos podem ser desagregados em 5 níveis de desempenho, o nível 5 é o mais elevado. O Quadro 3.1 apresenta a porcentagem de alunos em cada nível de desempenho nas 5 provas nas redes estadual e privada. O Quadro 3.2 apresenta a percentagem de alunos nos níveis 3, 4, e 5. Se considerarmos o nível 3 como o mínimo adequado para concluir o Ensino Médio (pelo menos 600 pontos na prova de Redação e 550 nas demais provas), aproximadamente 20% dos alunos avaliados das redes estaduais estariam aptos a concluir o Ensino Médio e prosseguir estudos. No entanto se considerarmos o total de alunos matriculados no último ano do E.M. nas redes estaduais, isso significa que apenas cerca de 10% dos alunos das redes estaduais atingem níveis satisfatórios ao final do Ensino Médio. Chama a atenção a concentração de alunos nos níveis mais altos na prova de Ciência Humanas (45% nas redes estaduais e 81% nas redes privadas). Uma possível explicação é que essas provas requerem mais habilidades intelectuais gerais, que dependem do nível intelectual do aluno e seu ambiente do que conhecimentos específicos, que dependem mais da qualidade do ensino e do esforço de aprendizagem. QUADRO 3.1 - PERCENTAGEM DE ALUNOS EM CADA NÍVEL DE DESEMPENHO 11

QUADRO 3.2 - PERCENTAGEM DE ALUNOS NOS NÍVEIS 3, 4 E 5 Fonte: MEC/inep. Elaboração: IDados - Instituto Alfa e Beto Nota: DP=desvio padrão do número de alunos nos 3 níveis, por rede e por disciplina. A Figura 3.1 mostra a distribuição das notas de Redação nas escolas das redes Estadual e Privada. A maioria (pouco mais de três quartos) das escolas da rede estadual não consegue atingir uma média de 500 pontos, e apenas 4 das 8990 escolas estaduais avaliadas atingem uma média superior a 700. Na rede privada, aproximadamente 93% das escolas atingem uma média superior a 500 pontos e 549 das 6215 escolas superam os 700 pontos. Aproximadamente metade das escolas privadas tem média acima do ponto de corte do Nível 3 (600 pontos). Menos de 2% das escolas da rede estadual conseguem superar essa média. FIGURA 3.1 - DISTRIBUIÇÃO DAS NOTAS DE REDAÇÃO DAS ESCOLAS DAS REDES ESTADUAIS E PRIVADAS 12

4. COMO SE COMPARAM OS 30 MELHORES ALUNOS DAS ESCOLAS DAS REDES ESTADUAIS E MUNICIPAIS O Quadro 4.1 compara o desempenho dos 30 melhores alunos das escolas das redes estadual e privada. Há uma enorme diferença entre os 30 melhores alunos das duas redes as diferenças variam de 1,08 a 1,26 desvio padrão. O desvio padrão é maior em Matemática e Ciências, matérias normalmente consideradas mais difíceis e mais decisivas para ingresso em instituições mais competitivas de ensino superior. A média dos 30 melhores alunos das redes públicas é inferior à média do conjunto dos alunos das escolas privadas em todas as provas. QUADRO 4.1 - COMPARAÇÃO DA MÉDIA DOS 30 MELHORES ALUNOS DE CADA PROVA Nota: DP = desvio padrão dos 30 melhores considerando escolas estaduais e privadas 13

5. QUAL É A RELAÇÃO ENTRE O NÍVEL SOCIOECONÔMICO E O DESEMPENHO DAS ESCOLAS? O Quadro 5.1 apresenta o desempenho por nível socioeconômico nas redes estaduais e privadas. A unidade de análise do quadro é a escola, ou seja, a média não é ponderada pelo número de alunos. QUADRO 5.1 - DESEMPENHO POR NÍVEL SOCIOECONÔMICO NAS REDES ESTADUAIS E PRIVADAS Nota: O ganho se refere ao nível imediatamente inferior. 14

Em qualquer nível socioeconômico, os alunos das escolas privadas obtêm melhores resultados do que os das escolas públicas. Isso sugere que há um efeito escola ou efeito do ambiente da escola privada sobre o desempenho dos alunos. O efeito é menor para os alunos de nível socioeconômico baixo nos demais níveis é consistentemente maior, superior a 0,55 desvio padrão. A diferença de ganhos dentro de cada rede também chama a atenção: nas redes estaduais, o ganho entre os níveis muito baixo e baixo é de 10,48 pontos (o menor ganho) e de 25,42 pontos (entre os níveis médio alto e alto ). Nos níveis intermediários é de 16,26 a 17,19 pontos. Na rede privada o ganho entre baixo e médio baixo é de 36,45 pontos, entre médio alto e alto é de 25,05 pontos, e entre alto e muito alto é de 40,47 pontos. Isso sugere que a rede privada parece oferecer oportunidades que beneficiam mais os alunos situados nos extremos da distribuição (exceto no caso de alunos de nível muito baixo que não se encontram em escolas privadas da amostra do ENEM). Os dados sugerem que as escolas privadas parecem possuir melhores elementos para promover a equidade, especialmente nos níveis mais baixos da distribuição, especialmente no nível socioeconômico médio baixo. Os dados também sugerem a hipótese que os alunos de nível socioeconômico mais elevado poderiam estar desempenhando muito abaixo de seu potencial seja por falta de estímulos do meio seja devido a incentivos perversos. 15

6. EXISTE RELAÇÃO ENTRE GASTOS E DESEMPENHO DOS ALUNOS NAS REDES ESTADUAIS? QUADRO 6.1 - CUSTO ALUNO (R$) DA REDE ESTADUAL POR UF E DESEMPENHO NAS PROVAS OBJETIVAS Nota Quadro 6.1: ISE_UF é o Índice Socioeconômico das escolas da rede estadual de cada UF. Este índice é uma média ponderada do ISE de cada escola divulgado na base de dados disponibilizada pelo Inep. Os dados são de 2014, excluindo as 5 exceções: (*) MG, RN, RR: dados de 2013 / (**) AL, RS: dados de 2012. 16

O Quadro 6.1. ordena as U.F. em função do custo/aluno, mostra o custo por aluno das redes estaduais de cada U.F., o ranking, a nota média de seus alunos nas provas objetivas escolas estaduais, a nota média nas provas objetivas das escolas privadas, a diferença entre as redes estaduais e privadas e o ISE_UF. Este índice é uma média ponderada do índice socioeconômico de cada escola divulgado na base de dados disponibilizada pelo Inep. A Figura 6.1 ilustra o que foi mostrado no Quadro 6.1 e que pode ser confirmado estatisticamente: não existe relação significativa entre gastos e desempenho. O D.F., ponto fora da curva, é uma exceção: com um gasto 3 vezes superior à média obtém o segundo desempenho, mas muito próximo a pelo menos 5 outras redes estaduais com notas superiores a 490 FIGURA 6.1 - RELAÇÃO ENTRE GASTO POR ALUNO E DESEMPENHO NAS PROVAS OBJETIVAS DO ENEM NAS REDES ESTADUAIS. A Figura 6.2 mostra que a forte relação entre o Índice socioeconômico da U.F. e desempenho nas provas demonstrado na análise das escolas na seção anterior se mantém na análise agregada das redes estaduais. O coeficiente de correlação é 0,794, e é significativo no nível 0,0001. 17

FIGURA 6.2 - RELAÇÃO ENTRE DESEMPENHO NAS PROVAS OBJETIVAS DO ENEM NAS REDES ESTADUAIS E ÍNDICE SOCIOECONÔMICO. A Figura 6.3. mostra que o nível socioeconômico das UF não tem correlação com a diferença de desempenho entre os alunos de escolas estaduais e privadas em cada unidade. FIGURA 6.3 - RELAÇÃO ENTRE O ÍNDICE SOCIOECONÔMICO E A DIFERENÇA DESEMPENHO ENTRE AS REDES ESTADUAIS E PRIVADAS 18

A análise de regressão realizada com base nos dados do ISE_UF e o custo por aluno como variáveis independentes para explicar a nota média nas provas. O resultado (R2 =0,647) confirma o impacto forte e significativo do ISE e fraco e não-significativo do custo por aluno. A conclusão é clara: para explicar o desempenho dos alunos da rede estadual, o nível socioeconômico dos alunos importa e o custo por aluno e o Indice SE de cada U.F. não importam. 19

7. QUESTÕES PARA DEBATE 1. Eficiência e custos. A maioria dos participantes do ENEM é formada por pessoas que já concluíram o Ensino Médio, apenas 24% dos participantes são concluintes. Portanto o objetivo real da Prova parece ser o de selecionar alunos para o ensino superior. Dado o alto grau de correlação entre os resultados das provas e os elevados custos dos testes, especialmente da prova de Redação, não seria o caso de utilizar meios mais baratos, mais eficientes e igualmente eficazes para (a) atingir os mesmos objetivos e (b) permitir maior diversificação nas opções de prova que os alunos fazem e (c) dar respostas mais rápidas para alunos e universidades organizarem seus planos de vida? 2. Representatividade. Os dados aqui analisados sugerem que há um problema de representatividade dos alunos da rede estadual, o que, por sua vez, compromete a validade dos resultados. A hipótese mais plausível é que os alunos que não compareceram, em sua grande maioria, teriam notas ainda inferiores aos que fizeram a prova. Que fatores impedem uma maior representatividade e que políticas e normas poderiam ser alteradas para tornar mais transparente a participação dos alunos das redes estaduais no ENEM? 3. Ensino público, ensino privado. Os dados sugerem que há um efeito associado às escolas privadas, nas quais alunos de mesmo nível socioeconômico logram melhores resultados. Que fatores promoveriam essa melhoria? Em que medida esses fatores poderiam ser reproduzidos em escolas públicas? Uma pergunta associada, que merece investigação: em que medida as atuais regras do sistema de cotas estariam desestimulando estudantes talentosos a se refugiar em escolas públicas para se esforçar menos? 4. Diversificação do Ensino Médio. A projeção dos dados da Prova Brasil e análises como a aqui feitas sugerem que pelo menos durante muitos anos se é que jamais - o Brasil não terá contingente de alunos devidamente preparados para enfrentar os desafios de um Ensino Médio acadêmico. Cabe indagar e debater: por que o país não adota estratégias de Ensino Médio diversificado, como ocorre nos demais países industrializados? Não seria esta uma estratégia mais adequada para promover a equidade e eficiência da educação? 20

5. Acesso aos microdados. Apesar da Lei de Acesso à informação, o acesso aos dados e microdados do ENEM (e dos demais testes do Inep) padece de vários problemas. O primeiro se refere à forma de apresentação normalmente o MEC/Inep divulga os dados e divulga press releases à imprensa antes de torná-los disponíveis para os pesquisadores. O segundo se refere à falta de um calendário e, em consequência, da incerteza e demora na divulgação dos mesmos. O terceiro se refere às restrições de acesso a dados individuais causada pela regulamentação daquele órgão. Como o país poderia avançar nessas áreas, a exemplo do que ocorre nos países industrializados? 21

DADOS UTILIZADOS Os Quadros 1.1, 1.2, 2.1, 3.1, 3.2, 4.1 e 5.1, e as Figuras 2.1, e 3.1, foram elaborados com base nos dados divulgados na planilha disponibilizada no link http://portal.inep.gov.br/web/enem/enem-por-escola. O critério de inclusão de escolas e alunos pode ser encontrado na nota disponível no link: http://download. inep.gov.br/educacao_basica/enem/nota_tecnica/2014/nota_explicativa_enem_2014_por_escola.pdf. Na Figura 1.1 foram utilizados os dados divulgados na Sinopse Educação Básica, disponível no link: http://portal.inep.gov.br/basica-censo-escolar-sinopse-sinopse Na Figura 1.2 foram utilizados os dados divulgados no link: http://portal.inep.gov.br/todas-noticias?p_p_auth=h9xoto77&p_p_id=56_instan- CE_d9Q0&p_p_lifecycle=0&p_p_state=normal&p_p_mode=view&p_p_col_id=column-2&p_p_ col_pos=2&p_p_col_count=3&_56_instance_d9q0_groupid=10157&p_r_p_564233524_articleid=143028&p_r_p_564233524_id=144048 No Quadro 5.1: - As escolas para as quais o NSE não consta na planilha do Inep foram excluídas. - A Média analisada corresponde à média aritmética das 5 provas. - A categoria Geral considera escolas de todas as dependências administrativas. - O DP (desvio padrão) considera as escolas das redes estaduais e privadas. - O baixo número de escolas estaduais de nível socioeconômico muito alto e de escolas privadas de nível muito baixo não permite uma análise estatística adequada, portanto estas escolas foram excluídas da análise Os dados utilizados no Quadro 6.1 e nas Figuras 6.1, 6.2 e 6.3 foram obtidos nas seguintes fontes: - Planilha de Resultado por Escolas: http://portal.inep.gov.br/web/enem/enem-por-escola - Site do FNDE/Sistema SIOPE - Relatórios Estaduais/Demonstrativo da Função Educação: http://www.fnde.gov.br/fnde-sistemas/sistema-siope-apresentacao/siope-relatorios-estaduais - Consulta de Matrículas no site do Inep: http://portal.inep.gov.br/basica-censo-escolar-matricula - O cálculo do custo total foi feito somando as despesas pagas, as sub-funções do Ensino (excluindo o Ensino Superior), e os custos com inativos. O número de alunos utilizado para chegar ao custo por aluno corresponde ao total de matrículas na rede estadual. 22

COMO CITAR ESTE BOLETIM IDados.. 2015. Boletim IDados da Educação 2015-02. Rio de Janeiro: Instituto Alfa e Beto. 23