ANÁLISE DOS INDICADORES DE AVALIAÇÃO DOS CURSOS DE GRADUAÇÃO EM ENGENHARIA DE MATERIAIS NO BRASIL

Transcrição

1 ANÁLISE DOS INDICADORES DE AVALIAÇÃO DOS CURSOS DE GRADUAÇÃO EM ENGENHARIA DE MATERIAIS NO BRASIL R.R. da Silva (1); B.S. de Oliveira (1,2); D.H. Milanez(1); D.R. Leiva (1,2) (1) Núcleo de Informação Tecnológica em Materiais NIT Materiais (2) Programa de Pós-Graduação em Ciência e Engenharia de Materiais PPG-CEM Universidade Federal de São Carlos Rodovia Washington Luis, Km 235, São Carlos - SP brauliosalumao@gmail.com RESUMO A oferta de cursos de Engenharia de Materiais no Brasil cresceu consideravelmente na última década. O desempenho dos cursos é frequentemente avaliado pelo MEC, sendo atribuídas notas comparativas para critérios como o ENADE e Conceito Preliminar de Curso (CPC). O objetivo deste trabalho foi realizar um mapeamento dos indicadores referente ao desempenho dos cursos de graduação através da análise dos dados de relatórios oficiais disponibilizados pelo INEP e pelas Universidades. Os cursos mais bem conceituados apresentaram notas altas e distantes da média geral de todos os avaliados na prova do ENADE. O Indicador da Diferença entre os Desempenhos Observado e Esperado (IDD), que considera os resultados do ENEM de cada aluno, afetaram significativamente a nota final dos cursos mais concorridos, o que provoca um questionamento deste método de avaliação. Conclui-se que um bom conceito é atingido quando existe equilíbrio entre os componentes avaliados, visto a correlação entre os mesmos. Palavras-chave: ENADE; Conceito Preliminar de Curso (CPC); Indicadores; Engenharia de Materiais. 9899

2 INTRODUÇÃO Dados sobre o desempenho dos cursos de graduação devem permitir aos seus coordenadores, bem como a todos os tomadores de decisão das instituições que os abrigam, a tomar decisões que visam sua melhoria contínua. Entretanto, a atual disposição desses dados, apesar de facilmente encontrados, é de difícil interpretação, principalmente em caráter comparativo entre cursos e instituições. Dessa maneira, tratar um grande volume de informação torna-se um desafio aos gestores e pode tardar o planejamento e implementação de ações focadas na melhoria dos cursos. O Ministério da Educação (MEC) apresenta um Sistema Nacional de Avaliação da Educação Superior (SINAES) (1). O mesmo é constituído por uma avaliação conjunta dos cursos, das instituições e do desempenho dos estudantes. Este conjunto fornece informações que permitem conhecer a qualidade dos cursos e Instituições de Educação Superior (IES) de todo o Brasil. Entretanto, devido a recentes mudanças nos sistemas de ingresso às instituições públicas, bem como na avaliação de formandos, este sistema ainda se encontra, ao menos para os cursos de graduação em Engenharia de Materiais, com ausência de informações de todos os cursos presentes no Brasil. O Exame Nacional de Desempenho de Estudantes (ENADE) avalia o rendimento dos concluintes dos cursos de graduação, em relação aos conteúdos programáticos, habilidades e competências adquiridas em sua formação. Além disso, o Conceito ENADE é um indicador de qualidade do curso, que avalia o desempenho dos estudantes a partir dos resultados obtidos no exame (2). O Conceito Preliminar de Curso (CPC) possui, em sua base de cálculo, parte do conceito ENADE, titulação do corpo docente, infraestrutura disponível, recursos didático-pedagógicos, e o indicador da diferença entre os desempenhos observado e esperado (IDD), a partir das notas dos ingressantes do curso pelo ENEM e dos formandos pelo ENADE (3). Apesar de um recente crescimento no número de oferta de cursos no Brasil, a carreira de Engenharia de Materiais deixou de contar com uma prova específica de conhecimentos no ENADE a partir da avaliação do ano de Dessa maneira, a avaliação de conhecimentos específicos faz parte de um conjunto de questões que envolvem conteúdos clássicos e de núcleo profissionalizante comum aos currículos 9900

3 de engenharia como mecânica dos sólidos, dos fluidos, sistemas de programação, teoria de circuitos, etc. (2) Mesmo assim, por constituir o sistema oficial de avaliação de cursos do Ministério da Educação, oferece dados interessantes e de grande importância aos interessados na melhoria dos cursos de graduação. Neste contexto, indicadores quantitativos podem ser construídos para facilitar a interpretação desses dados e subsidiar a tomada de decisão por parte dos coordenadores de curso e demais responsáveis dentro da instituição. Os indicadores são medidas indiretas que permitem avaliar algo intangível (4). A partir deles, podem ser realizadas análises de tendências, identificação de padrões ou comportamentos inesperados, dentre outras. Também podem ser realizadas análises comparativas, de modo a buscar otimização de desempenho a partir de um concorrente de desempenho superior. O objetivo principal deste trabalho é elaborar e avaliar indicadores sobre os cursos de graduação em Engenharia de Materiais no Brasil, a partir de dados contidos nos resultados de avaliação do ENADE e CPC. Em posse desses indicadores, pretende-se compreender as principais variáveis constituintes destes conceitos, de forma isolada. Também busca-se incluir outras variáveis de interesse e, dessa maneira, alcançar um melhor entendimento sobre os mecanismos de avaliação oficiais, e de seus resultados, referentes aos cursos de graduação em Ciência e Engenharia de Materiais no Brasil. MATERIAIS E MÉTODOS O levantamento dos dados partiu de informações coletadas nas bases de dados do Ministério da Educação através da plataforma E-MEC (5), e do site do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) (1). Outras informações, para efeitos comparativos, foram acessadas a partir de relatórios oficiais obtidos nos endereços eletrônicos das instituições de ensino, de blogs especializados e de estudos anteriores relacionados ao tema. Todos os dados foram coletados entre os meses de março e abril de Como existem resultados de desempenho de diferentes anos de aplicação, para diferentes instituições, foi considerado sempre o dado mais atual para a construção dos indicadores. Todos os dados foram importados e tratados com o auxílio do software Microsoft Excel, para a construção de indicadores nos formatos de gráficos e 9901

4 tabelas. Para efeito comparativo, foram tomadas as notas do ENADE e do CPC na forma discriminada, ou seja, o desempenho real, e não a faixa de valores (da escala de 1 a 5) que são comumente atribuídas. Os dados referentes ao número de candidato por vaga e nota de corte foram considerados em relação à última aplicação do Sistema de Seleção Unificada (SISU) (6), e a nota de corte considerada como a da primeira chamada no critério de ampla concorrência (AC). Os valores referentes a Organização Didático-Pedagógica, IDD e número de participantes foram obtidos dos próprios relatórios detalhados de desempenho. Cabe colocar que, só estão disponíveis neste trabalho, indicadores referentes às instituições de ensino em que foi possível realizar tal coleta. As primeiras análises foram referentes à relação dos conceitos entre si, ou seja, entre CPC e ENADE. Como o conceito ENADE é um dos componentes da avaliação dos CPCs, optou-se por realizar as demais análises sempre em comparação ao Conceito Preliminar de Curso, sendo o mesmo a variável dependente em relação aos quesitos colocados, para melhor efeito comparativo. Escalas de cores foram atribuídas para as diferentes notas finais atribuídas para a avaliação final (Escala de 1 a 5). RESULTADOS E DISCUSSÃO O número de cursos de graduação em Engenharia de Materiais no Brasil passou de 10 ao final da década de 1990 para 55 no panorama atual. Essa rápida expansão a partir do ano de 2000 ocorreu tanto entre universidades públicas e particulares, e também representou uma descentralização dos cursos na região centro-sul do país. Somente no período entre 2006 e 2015, surgiram 62% dos cursos atuais (34 cursos), sendo 13 cursos a partir de 2013, ou seja, que ainda não tiveram a graduação de sua primeira turma. Dos 35 cursos que foram avaliados pelo ENADE em 2014, apenas 2 deles obtiveram o conceito máximo (nota 5). A maior concentração de notas foi apresentada ao conceito 3, com 48% dos cursos nessa faixa. Em relação ao CPC, apenas 4 dos 31 figuraram com o maior conceito atribuído (nota 4), enquanto 82% dos cursos avaliados se encontram na faixa de avaliação 3. Apenas os cursos da Universidade Federal de Pernambuco (UFPE) e Universidade Federal de Itajubá Campus Itajubá (UNIFEI) apresentaram conceitos máximos em ambas avaliações. 9902

5 Quando comparados os conceitos atribuídos entre CPC e ENADE, nota-se a relação de interdependência entre os conceitos. O conceito ENADE representa 20% da composição da nota do CPC. A Figura 1 apresenta um mapeamento das instituições de acordo com as notas atribuídas. Figura 1: Comparativo entre o Conceito Preliminar de Curso e o conceito ENADE em seus dados mais atuais. Nesta figura, é possível observar 3 regiões distintas. Os cursos com ambos conceitos CPC e ENADE acima da média inclui tanto os que possuíram avaliação máxima quanto os que apenas o conceito ENADE não foi suficiente para um CPC maior. Já a presença dos 2 cursos com avaliação mais baixa no CPC mostra a importância de uma boa participação dos alunos no ENADE para a avaliação geral do curso. Ao se avaliar a influência do CPC em relação ao número de candidatos por vaga e pela nota de corte para ingresso no curso pelo ENEM, não foi possível observar nenhum tipo de tendência. Em princípio, a dificuldade de ingresso não é um fator considerado nas avaliações de qualidade do curso de graduação. Por outro lado, a nota de cada ingressante do ENEM alimenta o indicador de desempenho 9903

6 entre observado e esperado (IDD). A Figura 2 apresenta a relação entre os conceitos CPC e IDD em sua avaliação mais atual. Figura 2: Comparativo entre o Conceito Preliminar de Curso e a nota atribuída ao Indicador de Desempenho entre Observado e Esperado, durante a avaliação do ENADE. Como o IDD representa um peso de 35% sobre a nota do CPC, é notável a relação direta de sua influência em uma melhor ou pior avaliação do curso. Entretanto, notas altas de ingresso no ENEM criam expectativas altas em relação às notas do ENADE. Dessa maneira, uma Universidade que possui grande concorrência em seu processo de seleção deveria corresponder a um desempenho também superior, em mesma escala, no conceito de seus alunos formandos no ENADE. Por outro lado, um curso de baixa concorrência e nota mínima para ingresso pode ser beneficiado neste processo, mesmo sem a obtenção de uma nota de destaque na avaliação por seus alunos formandos. Um outro fator dependente dos alunos é a nota referente a Organização Didático Pedagógica, que é baseada na resposta de um questionário junto à avaliação do ENADE, pelos concluintes. Nesse quesito, os alunos avaliam desde o projeto pedagógico do curso, sua execução pelos professores e funcionários, além da infraestrutura da Universidade. A Figura 3 apresenta a relação entre o conceito 9904

7 CPC e a nota referente a organização didático-pedagógica em seus dados mais atuais. Figura 3: Comparativo entre o Conceito Preliminar de Curso e a nota atribuída ao conceito Organização Didático-Pedagógica durante a realização do ENADE. Nota-se uma grande dispersão entre as notas atribuídas pelos alunos, de diferentes Universidades, apesar da mesma não apresentar uma relação direta com a nota final atribuída ao CPC, embora esse quesito represente 7,5%. No entanto, este quesito pode ser trabalhado pela coordenação de curso junto aos discentes, visto que a avaliação dos alunos pode apresentar subsídios para a melhoria do curso e serem detectados para tomada de ação mesmo antes das avaliações trienais do ENADE. Outro ponto é incentivar a melhoria da prática pedagógica por parte dos docentes, visto que essa melhoria refletirá positivamente na futura avaliação realizada pelos discentes. Um outro fator avaliado, porém, também sem aparente influência direta nos resultados avaliados, se refere à nota final do CPC em relação ao número de participantes da última avaliação do ENADE, com notas de ingresso a partir do ENEM. Este valor variou de 0 a 100%, portanto alguma conclusão sobre esse quesito somente será possível na próxima avaliação. 9905

8 Além disso, a avaliação de 2014 foi a primeira realizada sem a presença de um componente de avaliação de conhecimento específico, referente a Engenharia de Materiais, o que prejudica uma avaliação mais completa em relação à formação de caráter mais técnico dos alunos. Com o aumento da oferta de cursos no país, o retorno desse componente específico trata-se de um instrumento favorável não apenas para estudos comparativos como este em questão, mas também para uma maior segurança, por parte das coordenações de curso, sobre a real dimensão da qualidade dos conhecimentos adquiridos durante a graduação. CONCLUSÕES A recente expansão do número de cursos de graduação em Engenharia de Materiais no Brasil evidencia um momento de amadurecimento e reconhecimento da carreira pelo mercado de trabalho, em todas as regiões do país. A taxa de crescimento é semelhante entre as Universidades públicas e privadas, embora o número de cursos nas primeiras continue a ser predominante. Dentre os fatores que influenciam a avaliação do Conceito Preliminar do Curso (CPC), alguns se encontram em poder de ação dos coordenadores de curso, enquanto outros são difíceis de serem administrados. A concorrência para ingresso, bem como a nota mínima no ENEM para entrada não se mostram como indicadores de qualidade geral de um curso, embora possuam influência no Indicador da Diferença entre os Desempenhos Observado e Esperado (IDD). Entretanto, neste processo, cursos com maior concorrência tendem a ter maior dificuldades em atingir uma boa nota no CPC devido a uma expectativa superior de desempenho no ENADE. A seriedade com que os alunos levam a avaliação realizada pelo ENADE influi diretamente nos indicadores de qualidade. Não apenas são levados em conta as notas no exame, mas também a avaliação didático-pedagógica do curso. Dessa maneira, os resultados podem ser antecipados e trabalhados pelos coordenadores de curso através de avaliações internas do conhecimento e do acompanhamento da motivação dos discente, com possibilidade de sugestões de melhorias por parte dos alunos ao longo da graduação. O retorno da prova de conhecimentos específicos em Engenharia de Materiais ao ENADE possibilitaria um maior poder comparativo da completa formação dos 9906

9 alunos, bem como uma avaliação mais completa dos conhecimentos adquiridos. Ainda não é possível concluir se a retirada dessa prova específica auxiliou ou prejudicou a avaliação geral dos cursos em relação a outras carreiras de engenharia, bem como também será necessário acompanhar os dados da próxima avaliação trienal do ENADE para que se possa realizar com mais detalhes os mesmos dados, porém com um maior percentual de concluintes que realizaram ENADE e o ENEM para ingresso nas Universidades. AGRADECIMENTOS Os autores agradecem a coordenação de curso de Engenharia de Materiais da UFSCar, ao Programa de Pós-Graduação em Ciência e Engenharia de Materiais da UFSCar, ao Núcleo de Informação Tecnológica em Materiais NIT/Materiais e a CAPES. REFERÊNCIAS 1. INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Disponível em: < Acesso em: 20 maio INEP - Exame Nacional de Desempenho dos Estudantes - ENADE. Disponível em: < Acesso em: 20 maio MEC - Ministério da Educação. Resultado do indicador de diferença entre os desempenhos observado e esperado. Disponível em: < - IDD.pdf>. Acesso em: 12 maio MARTINO, J. P. Technological Forecasting for Decision Making/Book and Disk. New York: Mcgraw-Hill, MEC - Ministério da Educação. Instituições de Educação Superior e Cursos Cadastrados. Disponível em: < Acesso em: 13 maio MEC - Ministério da Educação. Sistema de Seleção Unificada - SISU. Disponível em: < Acesso em: 13 maio

10 ANALYSIS OF THE EVALUATION INDICATORS FOR MATERIALS ENGINEERING COURSES IN BRAZIL ABSTRACT The number of Materials Engineering courses in Brazil has grown considerably in the last decade. The courses performance are often evaluated by the Education Ministry, by assigning comparative grades to criterias such as ENADE and Course Preliminary Concept (CPC). The objective of this study was to map the indicators related to the undergraduate courses performance through the official reports provided by INEP and the Universities data analysis. The most well-regarded courses presented high and distant notes from the overall average of all that assessed the ENADE test. The Performance and Observed Difference Expected Indicator (IDD), which considers the ENEM results of each student, significantly affected the final score of the most attended courses, which leaves into a questioning of this assessment method. We conclude that a good concept is achieved when there is balance between the components evaluated, as well its correlations. Key-words: ENADE; Course Preliminary Concept (CPC); Indicators; Materials Engineering. 9908