Fatores associados ao desempenho dos concluintes de cursos de engenharia no ENADE 2011

Transcrição

1 Fatores associados ao desempenho dos concluintes de cursos de engenharia no ENADE 2011 Gabriela Moriconi (FCC - consultora BID/IPEA) Paulo Nascimento (IPEA) Aguinaldo Maciente (IPEA)

2 Contexto Internacional Grande interesse sobre os profissionais de carreiras técnicocientíficas: STEM fields (Science, Technology, Engineering and Mathematics), especialmente na literatura norteamericana e inglesa; São vistos como a força básica por trás da competitividade internacional, da inovação e do crescimento econômico dos países (Ehrenberg, 2010; Rask, 2010): Sociedade crescentemente técnica gaps na oferta desses profissionais podem significar sérios problemas sociais e econômicos; Taxa de crescimento da produtividade da nação depende da taxa de inovação na economia, que depende do percentual da mão de obra no país com diplomas em campos como ciência e engenharia.

3 Contexto do Projeto Debate acerca da disponibilidade de mão de obra para sustentar o crescimento econômico do Brasil receio do apagão de profissionais especializados; IPEA produziu uma série de análises acerca da oferta e demanda desses profissionais para os próximos anos no país (Nascimento, 2011; Gusso e Nascimento, 2011; Pereira, Nascimento e Araújo, 2011); Além da quantidade de profissionais, interesse em aspectos relativos à qualidade e à eficiência na formação dos cursos de STEM fields: estudos sobre fatores associados ao rendimento e sobre a evasão dos estudantes;

4 O Estudo Analisa a qualidade da formação dos alunos de carreiras técnico-científicas, por meio do seu desempenho no ENADE (Exame Nacional de Estudantes); Objetivos: Verificar qual a variação do desempenho dos alunos entre cursos e dentro dos cursos; Identificar quais fatores relativos ao curso e ao estudante estariam associados a melhores desempenhos dos alunos no ENADE; Aqui serão apresentados os resultados referentes aos cursos de Engenharia.

5 O ENADE Exame para concluintes dos cursos de ensino superior no país; Cada área é avaliada de 3 em 3 anos; Seus resultados são utilizado no cálculo de indicadores para a avaliação e a regulação dos cursos de ensino superior; Baseado em matrizes elaboradas por comissões a cada ano de aplicação, orientadas pelas diretrizes curriculares da área; Não é baseado em padrões: Não é possível apontar se os resultados de um curso são satisfatórios, ou se melhoraram ou pioraram ao longo do tempo; As notas só permitem fazer análises comparativas entre os resultados dos cursos dentro de cada área a cada ano;

6 Organização da Prova Formação Geral 10 questões (peso 25% da Prova): 8 objetivas (peso 60% da Formação Geral); 2 discursivas (peso 40% da Formação Geral); Componente Específico 30 questões (peso 75% da Prova): 27 objetivas (peso 85% do Componente Específico); 3 discursivas (peso 15% da Componente Específico); As notas de cada aluno nos dois componentes são transformadas em valores de 0 a 100; As notas são utilizadas para calcular o conceito ENADE de cada curso, que vai de 1 a 5, comparando os cursos de cada área;

7 Eficácia escolar Há uma ampla literatura voltada para a eficácia escolar, especialmente voltada para a educação básica; Entende-se a eficácia como a capacidade de produzir maiores avanços em termos do desempenho dos alunos (maior valor agregado); Para esse tipo de análise, é necessário ter 2 medidas de desempenho, uma inicial e uma final; Principais objetivos básicos dessa literatura (Murillo, 2008): Estimar a magnitude dos efeitos escolares e analisar suas propriedades científicas; Identificar os fatores da sala de aula, da escola e do contexto que fazem com que uma escola seja eficaz.

8 Fatores associados à qualidade no ensino superior Para o ensino superior, não são encontrados estudos de eficácia, no mesmo sentido da educação básica exceto Soares et al (2001); Existem estudos sobre fatores individuais e institucionais associados a: Maiores notas em testes de fim de curso como o ENADE (Diaz, 2007; Andriola, 2009; Moreira, 2010); Qualidade do diploma (Naylor e Smith, 2004); Evasão/Permanência na área e no ensino superior (Jansen, 2004; Rask, 2010; Ehrenberg, 2010); Analisa-se quais fatores estão associados a determinados resultados, mas não é possível falar em efeitos.

9 Análise Empírica Aplicação de modelos hierárquicos lineares (HLM), já que os dados possuem uma estrutura hierárquica: Nível 1 aluno; Nível 2 curso (ex.: Engenharia Elétrica na UFRJ); Modelo vazio : para decompor a variância total em variância entre cursos e dentro dos cursos; Modelo cheio : para verificar quais fatores estariam associados ao desempenho dos alunos; Variáveis dependentes: notas de formação geral e componente específico padronizadas por grupo de engenharias; Variáveis independentes: fatores que pudessem ser construídos a partir de perguntas consideradas objetivas do questionário do ENADE; Análise separada para cada um dos 8 grupos de engenharias.

10 ENGENHARIA GRUPO I ENGENHARIA GRUPO II ENGENHARIA GRUPO III Grupos de Engenharias Participantes do ENADE 2011 (1) ÁREAS CURSOS ALUNOS ENGENHARIA GEOLÓGICA 1 12 ENGENHARIA DE AGRIMENSURA 3 29 ENGENHARIA CARTOGRÁFICA 5 29 ENGENHARIA CIVIL ENGENHARIA DE RECURSOS HÍDRICOS 1 6 ENGENHARIA SANITÁRIA 4 26 ENGENHARIA GRUPO I - TOTAL ENGENHARIA ELÉTRICA ENGENHARIA INDUSTRIAL ELÉTRICA ENGENHARIA ELETROTÉCNICA ENGENHARIA DE COMPUTAÇÃO ENGENHARIA DE COMUNICAÇÕES 0 0 ENGENHARIA DE REDES DE COMUNICAÇÃO 1 34 ENGENHARIA ELETRÔNICA ENGENHARIA MECATRÔNICA ENGENHARIA DE CONTROLE E AUTOMAÇÃO ENGENHARIA DE TELECOMUNICAÇÕES ENGENHARIA GRUPO II - TOTAL ENGENHARIA INDUSTRIAL MECÂNICA ENGENHARIA MECÂNICA ENGENHARIA AEROESPACIAL 1 15 ENGENHARIA AERONÁUTICA 4 59 ENGENHARIA AUTOMOTIVA 1 22 ENGENHARIA NAVAL 2 85 ENGENHARIA GRUPO III - TOTAL IES PÚBLICAS ATÉ 24 ANOS SEXO FEMININO 43% 43% 25% 37% 37% 10% 46% 41% 8%

11 Grupos de Engenharias Participantes do ENADE 2011 (2) ENGENHARIA GRUPO IV ENGENHARIA GRUPO V ENGENHARIA GRUPO VI ÁREAS CURSOS ALUNOS ENGENHARIA BIOQUÍMICA 1 0 ENGENHARIA DE BIOTECNOLOGIA 5 48 ENGENHARIA INDUSTRIAL QUÍMICA 1 17 ENGENHARIA QUÍMICA ENGENHARIA DE ALIMENTOS ENGENHARIA INDUSTRIAL TÊXTIL 0 0 ENGENHARIA TÊXTIL 3 14 ENGENHARIA GRUPO IV - TOTAL ENGENHARIA DE MATERIAIS ENGENHARIA FÍSICA 1 0 ENGENHARIA METALÚRGICA ENGENHARIA DE MATERIAIS (MADEIRA) 2 14 ENGENHARIA DE MATERIAIS (PLÁSTICO) 2 33 ENGENHARIA GRUPO V - TOTAL ENGENHARIA DE PRODUÇÃO ENGENHARIA DE PRODUÇÃO MECÂNICA ENGENHARIA DE PRODUÇÃO ELÉTRICA 4 71 ENGENHARIA DE PRODUÇÃO QUÍMICA 3 44 ENGENHARIA DE PRODUÇÃO TÊXTIL 0 0 ENGENHARIA DE PRODUÇÃO DE MATERIAIS 2 17 ENGENHARIA DE PRODUÇÃO CIVIL ENGENHARIA GRUPO VI - TOTAL IES PÚBLICAS ATÉ 24 ANOS SEXO FEMININO 66% 59% 56% 67% 46% 30% 23% 37% 26%

12 Grupos de Engenharias Participantes do ENADE 2011 (3) ENGENHARIA GRUPO VII ENGENHARIA GRUPO VIII ÁREAS CURSOS ALUNOS ENGENHARIA 5 92 ENGENHARIA AMBIENTAL ENGENHARIA INDUSTRIAL 3 0 ENGENHARIA DE MINAS 4 85 ENGENHARIA DE PETRÓLEO ENGENHARIA GRUPO VII - TOTAL ENGENHARIA AGRÍCOLA ENGENHARIA FLORESTAL ENGENHARIA DE PESCA 13 0 ENGENHARIA GRUPO VIII - TOTAL TOTAL IES PÚBLICAS ATÉ 24 ANOS SEXO FEMININO 26% 48% 39% 84% 59% 43%

13 Resultados Modelos Vazios Coeficiente de Correlação Intraclasse = Componente da Variância no Nível 2 (curso) / Variância Total Relativo à: Grupo I Grupo II Grupo III Grupo IV Grupo V Grupo VI Grupo VII Grupo VIII Nota na Formação Geral 10% 6% 6% 10% 4% 6% 10% 8% Nota no Componente Específico 21% 25% 20% 14% 31% 22% 23% 21% Representa o percentual da variância entre cursos, sendo o restante entre alunos dentro dos cursos; Pode ser interpretado também como a correlação entre as notas de 2 alunos escolhidos aleatoriamente de um curso escolhido aleatoriamente;

14 Resultados Modelo Cheio Grupo I Grupo II Grupo III Grupo IV Grupo V Grupo VI Grupo VII Grupo VIII Variáveis do Nível do Curso Percentual de alunos com pelo menos 1 dos pais com nível superior Média da renda familiar per capita dos alunos 0,39243** 0,41227*** 0,42155* 0,2321 0, ,41945*** 0,59721*** 0, , , , , , , , , , ,00016*** 0,00016** 0,00015* 0,00041** 0,00019*** 0,00023*** 0,0004** 0, , , , , , , ,00016 IES pública Percentual de alunos que indicaram que todos ou a maioria dos professores têm disponibilidade para atender fora da aula Percentual de alunos que indicaram que todos ou a maioria dos planos de ensino apresentados são completos 0,34147*** 0,49223*** 0,24958** 0,3113*** 0, ,41715*** 0,39885*** 0,46264*** 0, ,0692 0, , ,3503 0, , , ,67137*** 0, ,63418*** 0, , ,3941*** 0,43947** 0,69953* 0, , , , , , , , , , , , , ,30357** 0, ,3361 0, , , , , , , ,36481

15 Resultados Modelo Cheio Variáveis do Nível do Aluno Pelo menos 1 dos pais com nível superior Renda familiar per capita Ensino médio todo ou a maior parte em escola pública Até 24 anos de idade Sexo Feminino Negros, Pardos e Indígenas Grupo I Grupo II Grupo III Grupo IV Grupo V Grupo VI Grupo VII Grupo VIII -0,04267* -0, , , , ,08598*** 0,05701* 0,10573** 0, , , , ,0615 0, , , , , , , ,00003* 0,00003*** 0,00003*** 0, , , , , , , , , ,06694*** 0,0775*** 0,13728*** 0,10034*** 0,24768*** 0, ,05641* 0,18311*** 0, , , ,0352 0, , , , ,25403*** 0,30453*** 0,28437*** 0,37262*** 0,5723*** 0,21147*** 0,1637*** 0,20265*** 0, , , , , , , , ,24846*** -0,31583*** -0,28771*** -0,26486*** -0,29425*** -0,11196*** -0, ,16454*** 0,0241 0, , , , , , , ,06712*** -0,05892*** -0,09768*** -0, ,14978** -0,05015** -0,07189** -0, , , , , , , ,0334 0,05454

16 Resultados - Modelos Vazio e Cheio Coeficiente de Correlação Intraclasse = Componente da Variância no Nível 2 (curso) / Variância Total Nota no Componente Específico Grupo I Grupo II Grupo III Grupo IV Grupo V Grupo VI Grupo VII Grupo VIII Modelo Vazio 21% 25% 20% 14% 31% 22% 23% 21% Modelo Cheio 13% 15% 12% 10% 18% 8% 13% 12%

17 Considerações Finais Percentual da variância entre cursos no componente específico é elevada na maioria dos grupos de engenharia; Escolaridade dos pais e renda familiar per capita: diferentes resultados no nível do curso e no nível do aluno; Altos coeficientes relativos à disponibilidade dos professores para atendimento fora da aula indicam um tema para pesquisas qualitativas mais aprofundadas; No nível do aluno, as questões de gênero e de cor e sua relação com desempenho nos cursos de engenharia no país, mereceriam estudos mais detalhados.