O desempenho dos alunos dos cursos de Música no Enade 2014 Neylson Crepalde, PhD Candidate. neylson.crepalde@izabelahendrix.edu.br http://neylsoncrepalde.github.io Grupo Interdisciplinar de Pesquisa em Análise de Redes Sociais Departamento de Sociologia UFMG Curso de Música CEUNIH CARA COPPEAD RJ 14 de Abril de 2016
Conteúdo 1 Introdução 2 Metodologia 3 Resultados 4 Considerações Finais Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 2 / 19
Introdução Da perspectiva de um gestor educacional de ensino superior, o sucesso de seu trabalho reside na formação de profissionais altamente capacitados e que detenham o conhecimento necessário às atividades que eles deverão realizar em seus respectivos setores. Além de um rigoroso sistema de avaliação interno previsto em seu Projeto Poĺıtico-Pedagógico, o gestor tem à sua disposição dados que permitam comparar seus resultados com outras escolas em todo o país. Trata-se do Exame Nacional de Desempenho dos Estudantes (Enade). Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 3 / 19
A tomada de decisão na gestão acadêmica Segundo Angeloni (2003), o estilo de gestão tayloriano com foco nos bens tangíveis está dando lugar a modelos mais modernos com foco em bens intangíveis. De fato, as decisões ganham em velocidade e qualidade quando apoiadas em dados, informação e conhecimento. Apenas os dados per se não tem efeito sobre o processo decisório. Data = Information = Knowledge Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 4 / 19
Metodologia - Escolhendo o modelo Para fazer a escolha do modelo adequado, usei duas técnicas: a Forward Stepwise Selection e o LASSO. A Forward Stepwise Selection consiste de um método de seleção do melhor modelo construindo modelos aninhados gradativamente desde o modelo nulo até aquele com p covariáveis (JAMES et al., 2015). O LASSO, por sua vez é uma técnica conhecida como shrinkage onde o objetivo é controlar ou diminuir os coeficientes do modelo de modo que eles tendam a zero (HASTIE; TIBSHIRANI; FRIEDMAN, 2009). O LASSO pode ser definido por: n y i β 0 p β j x ij 2 p + λ β j = RSS + λ i=1 j=1 j=1 j=1 p β j (1) Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 5 / 19
FSS e LASSO Forward Stepwise Selection Test Root MSE 13.25 13.35 13.45 13.55 5 10 15 20 Index 261 243 189 19 262 261 261 257 242 233 202 158 95 38 9 1 53 Coefficients 20 10 0 10 20 103 226 69 146 125 245 250 82 260 95 128 140 11 25 26 99 144 23 51 89 36 37 50 88 129 142 978 84 101 108 151 227 259 105 112 132 133 15 38 60 77 134 135 139 141 145 244 258 266 147 148 230 232 239 165 64 67 33 52 74 106 761 16 54 71 78 102 107 111 120 131 137 169 113 119 121 122 124 126 127 130 138 143 150 152 155 156 163 171 182 136 39 49 68 79 90 92 98 10956 114 117 115 154 157 158 159 160 161 162 164 166 167 168 172 173 175 188 170 174 176 178 180 181 183 184 185 186 189 190 192 198 209 217 196 201 191 193 194 197 199 205 214 218 221 222 223 238 228 231 241 242 247 248 249 264 265 177 195 200 202 203 179 187 204 207 213 216 220 225 229 240 255 224 210 234 243 246 252 256 263 267 251 254 261 277 29 32 45 59 969 116 212 215 219 235 236 262 10 28 30 31 72 75 91 100 233 253 211 257 41 40 43 70 94 42 443 123 153 206 208 56 118 58 73 83 237 149 LASSO Mean Squared Error 160 200 240 280 LASSO Cross Validation 6 4 2 0 6 4 2 0 Log Lambda log(lambda) Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 6 / 19
Os modelos multinível Os modelos hierárquicos ou modelos multinível (HLM) surgiram nos estudos em Ciências da Educação considerando que as variáveis abordadas não deveriam ser vistas no mesmo plano, mas aninham-se de forma hierárquica em níveis diferentes de análise. Alunos, por exemplo, agrupam-se dentro de classes, classes agrupam-se dentro de escolas, escolas agrupam-se em diferentes locais e assim por diante (MAIA et al., 2003). A grande vantagem dos modelos multinível está na possibilidade de contemplar as correlações e a variação dos coeficientes estimados entre os grupos aninhados, o que escapa aos modelos lineares. Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 7 / 19
No modelo hierárquico são estimadas duas equações, uma para cada nível de análise (RAUDENBUSH; BRIK, 2002). A estimação do modelo no primeiro nível pode ser definida por NotaGeral ij = β 0j + β j X + e ij (2) A estimação do segundo nível pode ser definida por β 0j = γ 00 + U 0j (3) Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 8 / 19
Interessa-nos testar o efeito de cinco variáveis do segundo nível sobre o desempenho geral porque elas assumem a possibilidade de ação diferente das variáveis do primeiro nível, individuais. Escolhemos como variáveis de teste a percepção do estudante sobre o estímulo ao trabalho em equipe em sua IES, sua percepção sobre a relação professoraluno, o estímulo dado pela IES à extensão universitária, à iniciação científica e os ambientes e equipamentos do curso em geral. Testarei também a interação entre extensão e iniciação científica pois é bastante comum que essas áreas funcionem em estreita relação nas IES. Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 9 / 19
Tabela : Variável dependente e variáveis de teste Variável Tipo Descrição Variável Dependente Nota Geral Numérica Nota bruta da prova - Média ponderada da formação geral (25%) e componente específico (75%) (0 a 100) Variáveis de Teste Trabalho em equipe Categórica Ordinal 1 (discordo totalmente) 6 (concordo totalmente) Relação professor-aluno Categórica Ordinal 1 (discordo totalmente) 6 (concordo totalmente) Extensão Universitária Categórica Ordinal 1 (discordo totalmente) 6 (concordo totalmente) Iniciação Científica Categórica Ordinal 1 (discordo totalmente) 6 (concordo totalmente) Ambiente e equipamentos Categórica Ordinal 1 (discordo totalmente) 6 (concordo totalmente) Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 10 / 19
Figura : Distribuição da variável dependente Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 11 / 19
Resultados Tabela : Modelos - Nota Geral do ENADE 2014 Dependent variable: Nota Geral OLS geral OLS música HLM música (1) (2) (3) Intercepto 34.358 (0.394) 29.551 (4.942) 31.136 (3.506) Trab. Equipe 0.217 (0.039) 0.245 (0.328) 0.198 (0.317) Relação prof-aluno 0.108 (0.039) 0.555 (0.318) 0.409 (0.306) Extensão 0.547 (0.063) 0.835 (0.546) 0.958 (0.526) Iniciação Científica 0.390 (0.070) 0.156 (0.650) 0.186 (0.623) Interação Ext. In. Cient. 0.128 (0.014) 0.136 (0.125) 0.141 (0.120) Ambientes/equip. 0.182 (0.028) 0.858 (0.227) 0.835 (0.210) Observations 196,971 2,025 2,025 R 2 0.118 0.264 Adjusted R 2 0.117 0.199 Akaike Inf. Crit. 16,011.220 Bayesian Inf. Crit. 16,471.510 Note: p<0.1; p<0.05; p<0.01 Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 12 / 19
Testando o HLM Tabela : Random Effects (HLM Música) Group Variance Std. Dev. χ 2 DF p.value 1 IES (Intercept) 7.95 2.82 30.45 1 0.00 2 Residual 141.98 11.92 Tabela : Likelihood Ratio Test #DF LogLik Diff χ 2 p.value 1 165-7841.66 2 82-7923.61-83 163.91 0.00 Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 13 / 19
Amplitude do intercepto aleatório Effect Ranges co_ies 5 Effect Range 0 (Intercept) 5 Group Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 14 / 19
Considerações Finais O HLM indica que investimentos na extensão universitária no contexto de um curso de música são os mais promissores se nosso objetivo é potencializar o desempenho dos alunos no Enade. Música se aprende no palco. (Oilliam Lana) A relação professor-aluno e a iniciação científica parecem ser também campos frutíferos para investimentos. Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 15 / 19
Considerações Finais A infraestrutura das IES tem um efeito grande e significativo para o contexto dos cursos de música. Sem dúvida, são necessários grandes investimentos para que, com equipamentos adequados, os alunos possam desenvolver suas habilidades. Contudo, o fato de que o modelo aponta uma correlação negativa entre a infraestrutura e a nota geral é algo que demanda uma investigação mais profunda, a qual pretendo abordar em trabalhos futuros. Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 16 / 19
Considerações Finais Além das variáveis de teste, o modelo também é útil ao gestor indicando algumas áreas com grande efeito sobre a nota geral. Essas variáveis, mesmo não sendo de responsabilidade direta do gestor educacional podem sofrer algumas mudanças sugeridas por ele. As bolsas de PROUNI, bolsas de monitoria, o ensino de uma ĺıngua estrangeira de modo parcialmente presencial e parcialmente semipresencial, a disponibilidade do professor para atender aos alunos fora do seu horário de aula e o acompanhamento do estágio durante todo o processo tem efeitos expressivos sobre o desempenho e são práticas e que devem ser encorajadas e buscadas pelos gestores educacionais de cursos de música no Brasil. Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 17 / 19
Referências ANGELONI, Maria Terezinha. Elementos intervenientes na tomada de decisão. Ci. Inf., Brasília, v. 32, n. 1, p. 17-22, abr. 2003. Disponível em http://www.scielo.br/scielo.php?script=sci_arttext&pid=s0100-19652003000100002&lng=pt&nrm=iso. Acesso em 09 fev. 2016. HASTIE, Trevor; TIBSHIRANI, Robert; FRIEDMAN, Jerome. The Elements of Statistical Learning: data mining, inference and prediction. 2 ed. New York: Springer, 2009. Disponível em http://statweb.stanford.edu/~tibs/elemstatlearn/. Acesso em 03 mar 2016. INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Sítio eletrônico do Enade. Disponível em http://portal.inep.gov.br/enade. Acesso em 06 fev. 2016. JAMES, Gareth et al. An Introduction to Statistical Learning with Applications in R. Ebook. New York: Springer, 2015. Disponível em http://www-bcf.usc.edu/~gareth/isl/. Acesso em 02 mar 2016. MAIA, José A.R. et al. Modelação hierárquica ou multinível. Uma metodologia estatística e um instrumento útil de pensamento na investigação em Ciências do Desporto. Revista Portuguesa de Ciências do Desporto, 3(1), p. 92-107, 2003. R CORE TEAM. R: A language and environment for statistical computing. R Foundation for Statistical Computing. Vienna, Austria. Disponível em https://www.r-project.org/. Acesso em 06 fev. 2016. RAUDENBUSH, Stephen W.; BRYK, Anthony S. Hierarchical linear models: Applications and data analysis methods. Thousand Oaks, California: Sage, 2002. Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 18 / 19
Obrigado. Neylson Crepalde (UFMG / CEUNIH) Música Enade 2014 Abril, 2016 19 / 19