Evolução da qualidade (resultados) dos cursos de nível superior nas áreas CTEM: padrões observados a partir do ENADE

Transcrição

1 Evolução da qualidade (resultados) dos cursos de nível superior nas áreas CTEM: padrões observados a partir do ENADE Renato H. L. Pedrosa Departmento de Política Científica e Tecnológica/ Instituto de Geociências Grupo de Estudos em Educação Superior/Centro de Estudos Avançados Unicamp renato.pedrosa@ige.unicamp.br

2 Alguns pontos sobre o ENADE (comparação com ENEM) ENEM Avaliação individual Exame de alto impacto para estudante Exame de baixo-médio impacto para escola Escala de proficiência calibrada Equalizado temporalmente ENADE (componente específico) Avaliação de curso/instituição Exame de baixo impacto para estudante Exame de alto impacto para curso/instituição Sem escala de proficiência/calibrado pela norma Sem equalização temporal Baixa correlação entre resultados (entre médias por curso)

3 Alguns pontos sobre metodologia Unidade de estudo é CURSO, não aluno ou instituição Como não há equalização temporal, só é possível obter resultados decorrentes de relações internas aos resultados em cada ano Uma vez analisadas relações internas aos resultados de cada ano, buscar alterações de padrão entre anos distintos Como o objetivo é avaliar a qualidade da formação dos concluintes na COMPONENTE ESPECÍFICA, não é útil empregar os escores produzidos pelo INEP, como: CONCEITO ENADE (2011, pois usa nota da FORMAÇÃO GERAL) IDD (valor adicionado pelo curso) CONCEITO PRELIMINAR DE CURSO - CPC

4 Os escores do INEP ENADE 2011 Categoria Administrativa Organização Acadêmica Média CE Conc Nota Enem Ingressantes Nota IDD CPC Faixa PÚBLICA UNIVERSIDADES 33,03 49,97 5,00 5 PRIVADA FACULDADES 34,60 52,67 3,97 5 PRIVADA UNIVERSIDADES 38,06 59,00 4,84 5 PRIVADA UNIVERSIDADES 39,73 55,43 4,54 5 PRIVADA CENTROS UNIVERSITÁRIOS 44,67 53,12 4,75 5 PRIVADA FACULDADES 48,02 62,33 5,00 5 PÚBLICA UNIVERSIDADES 49,81 69,25 5,00 5 PÚBLICA UNIVERSIDADES 55,08 65,12 5,00 5 PRIVADA UNIVERSIDADES 55,25 57,70 5,00 5 PÚBLICA UNIVERSIDADES 56,68 67,74 5,00 5 PÚBLICA UNIVERSIDADES 57,24 69,48 4,07 5 PÚBLICA UNIVERSIDADES 57,90 67,82 4,03 5 PRIVADA UNIVERSIDADES 58,28 52,94 5,00 5 PÚBLICA UNIVERSIDADES 59,60 67,76 5,00 5 PÚBLICA UNIVERSIDADES 61,72 64,67 4,41 5 PÚBLICA UNIVERSIDADES 63,80 63,69 4,42 5 PÚBLICA FACULDADES 65,77 74,33 3,79 5 PÚBLICA FACULDADES 70,07 76,01 4,40 5 PÚBLICA FACULDADES 70,54 73,87 4,73 4

5 Metodologia para análise das relações internas para cada ano Utilizar apenas médias dos cursos para a componente específica (CE) : ingressantes e concluintes 2011: apenas concluintes para ingressantes: médias dos cursos no ENEM Separamos os cursos em quintis, pelas médias dos concluintes na CE Comparamos lado-a-lado, por quintis 2005/2008: médias dos ingressantes e concluintes na CE 2011: médias dos ingressantes no ENEM e médias dos concluintes na CE O que observar: Médias relativas em cada quintil e como depende dos quintis Público x privado Correlações entre ingressantes x concluintes

6 Engenharias, 2008/ CE Ingressantes CE Concluintes 50 Enem Ingressantes CE Enade Concluintes I II III IV V 0 I II III IV V Enade cursos R=0,797 Enade cursos R=0,540

7 Correlações Ingressantes x Concluintes (médias dos cursos) Engenharias, 2008/2011 Quintil I 0,266 0,050 II 0,124 0,058 III 0,070 0,135 IV 0,128 0,110 V 0,651 0,282 Geral 0,797 0, : Conteúdo específico x Conteúdo específico 2011: Enem x Conteúdo específico

8 Metodologia para análise das relações temporais Utilizar apenas médias dos cursos para a componente específica (CE) Concluintes: 2005/2008/2011 Separamos os cursos em quintis, pelas médias dos concluintes na Componente Específica Comparamos lado-a-lado, por quintis Alguma normalização? (Não) Observar variação relativa entre quintis variação relativa entre instituições públicas x privadas

9 Engenharias Médias concluintes CE 2005/2008/ Notas de corte entre grupos Min 5,7 13,5 8,5 I/II 31,4 29,6 30,2 II/III 36,4 33,9 35,1 III/IV 42,3 39,3 39,3 IV/V 48,2 45,4 45,6 Max 75,5 73,2 70, cursos 924 cursos cursos 10 0 I II III IV V

10 Engenharias Médias concluintes CE - público x privado 2008/2011 Pública Privada Pública Privada Total Total V V IV IV III III II II I I 0% 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100%

11 Biologia - Ingressantes x Concluintes 2008/ CE Ingressantes CE Concluintes 50 Enen ingressantes CE Enade concluintes I II III IV V 0 I II III IV V Enade cursos R=0,696 Enade cursos R=0,448

12 Biologia Médias concluintes CE 2005/2008/ Notas de corte entre grupos Max 55,3 65,4 63,9 IV/V 29,5 42,0 48,1 III/IV 26,4 36,7 44,3 II/III 24,4 33,5 41,1 I/II 22,1 30,1 37,0 Min 10,2 9,8 4, cursos 423 cursos 644 cursos 10 0 I II III IV V

13 Biologia Público x Privado 2008/2011 Pública Privada V V IV IV III III II II I I Total Total 0% 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100%

14 Biologia Público x Privado Bacharelado/Licenciatura 2011 Pública Privada Pública Privada Total Total V V IV IV III III II II I I 0% 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100% Licenciatura Bacharelado

15 Biologia Licenciatura x Bacharelado 2011 N cursos por quintil V IV III Bacharelado Licenciatura II I

16 Biologia Licenciatura/Bacharelado 2011 Ingressantes x Concluintes Enen ingressantes CE Enade concluintes 50 Enen ingressantes CE Enade concluintes I II III IV V 0 I II III IV V Licenciatura 360 cursos R=0,438 Bacharelado 161 cursos R=0,406

17 Biologia Licenciatura/Bacharelado 2011 Enade/Enem Enem Licenciatura Enem Bacharelado 50 Enade Licenciatura Enade Bacharelado I II III IV V 0 I II III IV V Enem ingressantes Enade concluintes

18 Conclusões preliminares Engenharias A nota dos ingressantes e concluintes, até 2008, eram altamente correlacionadas (R=0,80) Isso se alterou com o uso do Enem, com queda significativa na correlação (R=0,54) entre ingressantes e concluintes O uso do Enem para estimar o valor adicionado é questionável Não há alteração significativa no desempenho dos concluintes ao se observar os exames de , em termos absolutos, e o comportamento relativos à distribuição interna em cada ano também pouco se altera O desempenho dos concluintes dos três quintis inferiores esteve, em média, abaixo do dos ingressantes em Não há nada que indique que houve alteração nesse comportamento em 2011 (apesar de não termos os dados dos ingressantes para o ENADE) A expansão do sistema se deu tanto no sistema público como no privado, sem alteração significativa das distribuições ao longo dos anos.

19 Conclusões preliminares Biologia A nota dos ingressantes e concluintes, até 2008, eram bem correlacionadas (R=0,70) Isso se alterou com o uso do Enem, com queda significativa na correlação (R=0,45) entre ingressantes e concluintes O uso do Enem para avaliar o valor adicionado é questionável Há alteração significativa no desempenho dos concluintes ao se observarem os exames de , em termpos absolutos, provavelmente devido a modificações na elaboração do exame O comportamento interno a cada ano mostra uma dispersão das médias abaixo da do caso da engenharia (V-I = 24,5 (E) e = 19,8 (B)) A expansão do sistema se deu tanto no sistema público como no privado, com ligeiro crescimento relativo do setor público; houve uma pequena queda de participação do setor privado nos quintis mais altos de 2008 para 2011 Não há diferença significativa de comportamento entre bahcarelado e licenciatura, apenas que o desemepnho dos alunos da licenciatura é um pouco mais baixo, tanto no ENEM como no ENADE (2011)

20 OBRIGADO!