Fatores Socioeconômicos Determinantes no Desempenho dos Participantes do ENEM 200 Vitor Luiz Cooke Vieira Cesop/Unicamp O ENEM - Exame Nacional do Ensino Médio - introduziu um novo conceito de avaliação educacional no Brasil, pelo menos no que diz respeito às avaliações em grande escala. Ao contrário de avaliações como, por exemplo, o SAEB - Sistema Nacional de Avaliação do Ensino Básico - ou até mesmo a grande maioria dos vestibulares realizados em todo o país, onde o interesse maior é avaliar o conhecimento do candidato em cada uma das disciplinas, o ENEM propõe uma avaliação interdisciplinar, onde os vários conhecimentos associados aos conteúdos do ensino fundamental e médio são avaliados de uma só vez por um único teste. Cada item do exame é elaborado no sentido de avaliar até 5 competências, mesclando os conhecimentos de diferentes disciplinas. O ENEM tem como principal objetivo fornecer aos participantes, alunos egressos ou concluintes do ensino médio, subsídios para uma auto-avaliação, podendo assim aferir o desenvolvimento de suas competências fundamentais ao exercício pleno da cidadania (INEP, 200). A partir de 200 os alunos concluintes do ensino médio na rede pública de ensino receberam a isenção da taxa de inscrição no exame, possibilitando que o número de inscritos aumentasse de 57.22 em 998 para.829.70 em 2002. Outro fato importante que também contribuiu para este aumento foi a adoção do exame como critério de seleção no vestibular por um número grande de instituições do ensino superior. A importância adquirida pelo ENEM gerou a motivação para a elaboração deste artigo que pretende trazer o exame para o debate educacional avaliando quais são os fatores socioeconômicos que determinam o desempenho dos seus participantes em 200. Embora o estudo sobre o impacto ou a intensidade da relação entre fatores socioeconômicos, condições estruturais da escola e desempenho ou rendimento escolar não constitua uma novidade no âmbito dos estudos educacionais, a proposta aqui é entender um pouco melhor essa relação nesse novo modelo de avaliação proposto pelo ENEM. Para isso, utilizamos como fonte de informação as variáveis existentes no Questionário Socioeconômico transformadas em índices através de Análise Fatorial e relacionadas com as notas gerais na Prova Objetiva e na Redação com um modelo de Regressão Linear Múltipla.
Apresentação do Exame O ENEM é aplicado desde 998 em todo o território nacional. O Exame constitui-se de uma prova única composta de duas partes : Prova Objetiva e Redação. A Prova Objetiva é composta de itens de múltipla escolha, construídos pelos especialistas do INEP e pré-testados. 2 Nesta parte da prova, as competências são aferidas a partir de 2 habilidades 3. Cada habilidade é aferida 3 vezes, resultando em uma prova de 63 itens de múltipla escolha.. A correção desta parte da prova é feita de forma automática a partir da leitura dos cartões-resposta. A nota de cada competência é dada pelo percentual de acerto das questões equivalentes às habilidades a ela relacionadas e a nota geral é o percentual total de acertos na prova. A Redação propõe a elaboração de um texto dissertativo-argumentativo a partir de uma situação-problema apresentada através de pequenos textos e charges. Essa prova não possui a estrutura de habilidades que compõe a Prova Objetiva. Neste caso, as competências são traduzidas para a situação de escrita, através da construção de uma grade de correção. Esta é elaborada após a realização das provas, tomando-se uma amostra das redações a serem corrigidas. A nota geral da redação é o resultado da média das notas das cinco competências. Banco de Dados Para este estudo utilizamos um banco de dados 4 com.067.88 casos e 86 variáveis, onde o número de casos é igual ao número de inscritos respondentes do Questionário Socioeconômico que estavam presentes no dia do exame. Já o número de variáveis foi determinado por uma seleção prévia das 24 variáveis existentes no Questionário Ver ENEM, Relatório Pedagógico 200, INEP:200. 2 Até 2000, o pré-teste do ENEM foi realizado com amostras significativas de alunos concluintes do Ensino Médio, com a necessária manutenção de sigilo, e seus resultados submetidos à análise estatística. Mas, em 200 com o crescimento da divulgação e adesão ao exame, bem como a utilização de seus resultados pela sociedade, o sigilo das questões poderia ser prejudicado com a realização daquele formato de pré-teste. A partir de então, este passou a ser realizado com professores do terceiro ano do Ensino Médio (ENEM, Relatório Pedagógico 200, INEP, 200, p.57). 3 Que são especificações das competências estruturais em contextos específicos, decorrem das competências adquiridas e referem-se ao plano imediato do 'saber fazer' (ENEM, Relatório Final, INEP, 200). 4 Banco de Dados do ENEM_200 Cesop/Unicamp. Convênio Inep/Unicamp, 32/200. 2
Socioeconômico. Para organizar melhor as variáveis, montamos um quadro (Quadro ) onde dividimos as 86 variáveis de interesse em 7 grupos. Quadro Composição dos conjuntos de variáveis Conjuntos Questões Avaliação Nota prova objetiva () Avaliação 2 Nota redação () Sexo () Dados gerais Idade () Cor () Escolaridade do pai () Escolaridade da mãe () Renda familiar () Status socioeconômico Posição ocupacional pai () Posição ocupacional mãe () Posse de bens (0) Tempo no ensino fundamental () Tempo no ensino médio () Vida escolar Tipo de escola no fundamental () Tipo de escola no médio () Nota aspectos infra (6) Nota relação professores (7) Avaliação da escola Nota clima cultural (4) Atividades extra na escola (8) Participação Participação em grupos (7) social/envolvimento Interesses (0) Fonte: Questionário Socioeconômico e Cultural ENEM 200 Na primeira coluna do quadro acima, temos os 7 conjuntos de variáveis, sendo os dois primeiros conjuntos (Avaliação e Avaliação 2) nossas variáveis de interesse, que serão posteriormente utilizadas como variáveis dependentes no modelo final de regressão. Na segunda coluna temos as questões que formam os conjuntos e ao lado de cada questão vemos o número de variáveis que a compõe. 3
Ìndices A idéia central aqui é transformar os conjuntos status socioeconômico, vida escolar, avaliação da escola e participação social/envolvimento em índices que, juntamente com as três variáveis do conjunto de dados gerais (sexo, idade e cor), formarão as variáveis explicativas utilizadas no modelo final de regressão. A técnica escolhida para a redução das variáveis foi a Análise Fatorial por Componentes Principais (Johnson e Wichern, 982), utilizada, em geral, para resumir um grande número de informações relativas a um grupo de unidades de análise. Nesta técnica, as variáveis são agrupadas segundo a correlação apresentada entre elas, sendo que cada grupo agrega aquelas mais fortemente relacionadas entre si e com baixa correlação com as variáveis dos outros grupos. É comum a interpretação destes grupos de variáveis como sendo uma representação de constructos não-observáveis, identificados através das relações verificadas a partir de informações originais. Cada variável é descrita como uma combinação linear dos fatores principais ou vetores. Assim, quanto menor for a correlação entre as variáveis observadas, menor será a capacidade da técnica em resumir as informações num número pequeno de fatores. Considerando que nosso objetivo era chegar a um número mínimo de fatores que fossem a síntese das informações e das variáveis selecionadas como relevantes, buscamos, por meio de uma série de aplicações de análise fatorial, aquelas que gerassem os fatores com a mais alta representação da variabilidade das informações originais de cada conjunto. Inicialmente, o procedimento adotado consistiu na análise fatorial do conjunto completo das variáveis de cada um dos três grupos escolhidos (Status socioeconômico, Avaliação da escola, Participação social/envolvimento) do Quadro. Nas análises subseqüentes foram retiradas as variáveis que obtiveram uma carga inferior a 0,60 em todos os fatores principais. Esse procedimento foi repetido até a última análise fatorial onde o valor mínimo da carga foi elevado para 0,70. Assim, restaram apenas variáveis com carga superior a 0,70 em pelo menos um dos fatores principais, e com cargas baixas em todos os outros fatores, em função da rotação utilizada (Varimax). Portanto, a seleção final das variáveis foi decorrência de um processo iterativo e comparativo entre os resultados obtidos de inúmeras análises fatoriais. Buscou-se o resultado que, por um lado, apresentasse uma boa representatividade da heterogeneidade entre as variáveis nos fatores principais, e, por outro lado, fosse coerente com questões conceituais. 4
Partindo-se do pressuposto de que o grande conjunto de variáveis escolhidas deveria espelhar as dimensões específicas e que, portanto, muitas delas apresentariam alta correlação, a análise fatorial mostrou ser um procedimento adequado para reduzir as informações e indicar a composição dos índices. De fato, foi possível chegar a um número reduzido de variáveis e contemplar todas as dimensões, com razoável representação da heterogeneidade observada entre as variáveis. No conjunto Vida escolar, fizemos uma recodificação somando as variáveis Tempo no Ensino Fundamental e Tempo no Ensino Médio e obtendo uma única variável denominada Tempo de ensino; operação semelhante foi feita com as variáveis Tipo de escola no Ensino Fundamental e Tipo de escola no Ensino Médio transformadas na variável Tipo de escola. Para ilustrar melhor o procedimento da análise fatorial, apresentamos em detalhe a interpretação dos três conjuntos utilizados (Avaliação da escola, Status socioeconômico, Participação social/envolvimento). Esses conjuntos tinham inicialmente 77 variáveis que, com o critério adotado, foram reduzidas para 3 e transformadas posteriormente em 9 índices. Vejamos: Conjunto Avaliação da Escola Tabela Matriz de fatores rotada das variáveis de Avaliação da escola, ENEM 200 Fatores Conhecimento Dedicação Laboratórios Informática Amizade Firmeza Distância Respeito Prof/Aluno Desinteresse Preocupação Autoridade Boa relação Respeito Escola/Aluno Problema Aluno/Aluno Problema Prof/Aluno Problema Pessoal/Familiar 2 3 4,72 9,520E-02,77E-02,302,728,62,294E-02,304,50,53 4,30E-02,855,56,75 3,05E-02,847,749,32-7,67E-02-4,362E-02,745,53 5,97E-02 9,745E-02 4,25E-02,592E-02,798 2,04E-02,767,20-3,955E-02-3,257E-02-6,552E-02 2,840E-02,860,244E-03,757,24 -,49E-02, -5,424E-02,700E-02,82 4,798E-02,770,277-6,06E-02 5,98E-02,705,360-3,389E-02 7,246E-02,307,829 5,027E-02,30,390,795,506E-02 9,884E-02,269,745 2,700E-02,24 5
Tabela 2 Fatores 2 3 4 Variância Explicada Soma de Quadrados das Cargas Rotacionadas % da % Total Variância Acumulada 4,792 26,623 26,623 2,288 2,72 39,334 2,058,434 50,769,772 9,845 60,64 Na quarta análise fatorial sobre esse conjunto, obtivemos, a partir de 6 variáveis, uma solução com 4 dimensões conforme os critérios utilizados. É o que a matriz de fatores rotada mostra na Tabela. Esses quatro fatores explicam 60,6% da variância das 6 variáveis (Tabela 2). Os coeficientes destacados mostram a que fator corresponde cada uma das variáveis e são, portanto, os elementos utilizados para a interpretação dos fatores. Avaliação de qualidades dos professores. O Fator é um fator de avaliação das qualidades dos professores da escola, e contém 8 variáveis: conhecimento, dedicação, amizade, firmeza, respeito aos alunos, preocupação, boa relação entre alunos e professores, e respeito da escola pelos alunos. Avaliação de qualidades da escola. O Fator 2 é um fator relativo a qualidades da escola, com três variáveis: considera as medidas tomadas pela escola em relação a problemas entre alunos e problemas entre alunos e professores e também se a escola leva em conta problemas pessoais e familiares dos alunos. Observe-se que há uma relação positiva, embora fraca, entre esses dois fatores. Problemas relativos aos professores. O Fator 3 é novamente um fator relativo à qualidade dos professores e sua diferença consiste em que as variáveis que pertencem a esse fator se originam de perguntas que, no enunciado, apresentam qualidades negativas: distância, desinteresse e autoritarismo. Isso indica que a formulação da questão não é indiferente. Se o fosse, seria esperado que essas variáveis tivessem projeções negativas no Fator, e não que coubessem num fator independente daquele. 6
Infraestrutura material. Embora existissem outras questões relativas à infraestrutura da escola, o Fator 4 só representa duas delas: as condições dos laboratórios e acesso a recursos de informática. Conjunto Status Socioeconômico Tabela 3 Matriz de fatores rotada das variáveis Socioeconômicas Fator Escola Pai Escola Mãe Posse de bens Renda familiar,838,84,837,846 Fator Tabela 4 Variância Explicada Soma de Quadrados das Cargas Rotacionadas % da % Total Variância Acumulada 2,782 69,545 69,545 Status Socioeconômico. Índice unidimensional composto de quatro variáveis: escolaridade do pai, escolaridade da mãe, posse de bens no domicílio e renda familiar. A solução com apenas fator explica mais de 69% da variância do conjunto de variáveis (Tabela 4). Nesse conjunto as 0 variáveis relativas à posse de bens foram recodificadas e transformadas em uma única variável. 7
Conjunto Participação Social/Envolvimento Tabela 5 Matriz de fatores rotada das variáveis de Interesse/Participação Fatores Clube Pol. Nac. Pol. Int. Pol. Local Economia Esporte Meio Amb. Pobreza Artes Drogas Ídolos 2 3 4 4,394E-02-2,80E-02-9,370E-02,8,857,09 -,62E-03,90E-02,786-4,932E-02,80 5,0E-03,752,257-7,497E-02 3,339E-02,708,333-8,659E-02 8,20E-02 3,709E-02 6,676E-02,29,733,226,705 7,038E-02 8,08E-02,22,776-4,528E-03-4,900E-02,57,45,757 -,64E-02-6,296E-03,735,33 9,00E-03 -,25 2,3E-02,753,7 Tabela 6 Fatores 2 3 4 Variância Explicada Soma de Quadrados das Cargas Rotacionadas Total % da Variância % Acumulada 2,427 22,063 22,063,829 6,626 38,689,265,503 50,93,227,54 6,346 Participação e Interesses. Uma última Análise Fatorial sobre o conjunto de questões relativas à participação social dos estudantes e a seus interesses gerais produziu quatro dimensões a partir de variáveis. Essas quatro dimensões explicam mais de 6% da variância total do conjunto de variáveis (Tabela 6). 8
Interesse político (Fator ) agrupa quatro variáveis: interesse pela política nacional, pela política internacional, pela política local e por economia. As variáveis interesse por questões ambientais e por questões relativas à pobreza e às drogas formam um segundo fator, a que chamamos de interesse social. Interesse por artes e por informações relativas a personagens da cena cultural formam o terceiro fator, Interesse por artes. Finalmente, Interesse por esportes reúne a participação de clube ou associação esportiva e o interesse por informações sobre esporte. Foram obtidos, portanto, 4 fatores explicativos: as três variáveis sóciodemográficas (sexo, idade e cor), dois índices relativos à vida escolar (tipo de escola e tempo no ensino fundamental e médio) e nove índices gerados por Análise Fatorial: o índice de status socioeconômico, os quatro índices de avaliação da escola (avaliação dos professores, avaliação da escola, críticas aos professores e avaliação da infraestrutura material) e os quatro índices de interesse e participação (interesse político, interesse social, interesse por artes e por esportes). Modelo A partir da exploração dos índices a nível bivariado e da consequente seleção das variáveis, foi desenvolvida uma análise multivariada, de forma a considerar os efeitos conjuntos da multiplicidade de variáveis sobre a variável dependente, o desempenho dos alunos no ENEM 200, tanto na prova objetiva como na redação. O modelo estatístico escolhido foi a regressão linear múltipla (Draper e Smith: 998), utilizando a rotina por etapas (stepwise) do SPSS (Statistical Package for Social Science), que pode ser expresso como: Y = β + β X + β X +... + β X + u i 0 i 2 2i k ki i, i =,...,n onde: Y é a variável dependente, X,...,X k são k variáveis independentes (explicativas), β 0,..., β k são os parâmetros a serem estimados, u é um distúrbio aleatório, e i indexa as n observações. 9
Neste caso, a variável dependente é o desempenho dos alunos na prova objetiva e na redação do ENEM 200 e as independentes são: sexo, idade, cor, índice Socioeconômico, índice Avaliação Laboratórios/Informática, índice Participação Política, índice Interesse Social, índice Interesse Entretenimento, índice Tipo de escola, índice Tempo de Escola. Os índices Avaliação de qualidades dos professores, Avaliação de qualidades da escola e Problemas relativos aos professores não foram incorporados no modelo por não possuírem uma relação linear com as variáveis dependentes. A regressão das notas dos alunos nas duas provas do ENEM 200 sobre as 0 variáveis independentes gerou dois modelos semelhantes, com capacidades explicativas muito diferentes. O modelo da Prova Objetiva explica muito mais que o da Redação, como já era esperado. A explicação total da variância alcança 36,2% na Prova Objetiva e 7,6% na Redação (Tabelas 8 e 0). Tabela 7 Tabela dos coeficientes da regressão na prova objetiva Modelo (Constante) Índice Socioeconômico Interesse por Política Tipo de Escola Tempo de Escola Coeficientes Não Padronizados B Erro Pad. 55,690,63 Coeficientes Padronizados Beta 4,892,02,36 3,455,05,223 2,80,03,26 -,736,03 -,32 Tabela 8 Tabela com os valores de R 2 para a regressão na prova objetiva Modelo 2 3 4 R^2 Erro Padrão R R^2 Ajustado da Estimativa,56,266,266 3,20,565,320,320 2,76,588,345,345 2,475,60 d,362,362 2,39 d. Preditore: (Constante), Índice Socioeconômico, Interesse Político, Tipo de Escola, Tempo de Escola 0
Tabela 9 Tabela dos coeficientes da regressão na redação Modelo (Constante) Índice Socioeconômico Interesse por Política Tempo de Escola Tipo de Escola Coeficientes Não Padronizados B Erro Pad. 73,777,69 Coeficientes Padronizados Beta 2,786,220,98 2,42,60,52 -,887,40 -,58,234,40,34 Tabela 0 Tabela com os valores de R 2 para a regressão na redação Modelo 2 3 4 R^2 Erro Padrão R R^2 Ajustado da Estimativa,343,7,7 3,87,378,43,43 2,997,407,66,66 2,82,49 d,76,76 2,745 d. Preditore: (Constante), Índice Socioeconômico, Interesse Político, Tempo de Escola, Tipo de Escola Conclusões Apesar da diferença na capacidade explicativa, as variáveis que entram nos dois modelos são exatamente as mesmas, quase na mesma seqüência. O índice socioeconômico é a principal variável explicativa nos dois modelos. Isoladamente, esta variável explica 26,6% da variância na Prova Objetiva e,7% na Redação. A análise dos coeficientes b mostra que, a cada aumento de uma unidade no índice, a nota do aluno aumenta em média 4,9 pontos na Prova Objetiva e 2,8 pontos na Redação. É claro que, com a entrada desta variável na regressão, outras variáveis
correlacionadas a ela, como tipo de escola, tempo na escola e cor têm seus coeficientes reduzidos. Controlados os efeitos das demais variáveis, o interesse político, de forma surpreendente, é a segunda variável mais importante. Ele acrescenta 5,4% à variância explicada pelo índice socioeconômico na Prova Objetiva e 2,6% na Redação. Seu coeficiente significa que, a cada mudança de faixa de interesse o estudante ganha 3,5 pontos na Prova Objetiva e 2, na Redação. Controlados os efeitos das demais variáveis, o tipo de escola é a terceira variável explicativa na Prova Objetiva e a quarta na Redação. Ela certamente está despida dos efeitos da posição social. Acrescenta à explicação da variância 2,5% na Prova Objetiva e % na Redação. Descontados os efeitos das outras, o aumento do tempo na escola particular aumenta a nota do aluno em 2, pontos na Prova Objetiva e em,2 ponto na Redação. O efeito líquido do tempo na escola fundamental e média é a quarta variável na explicação dos resultados da Prova Objetiva e a terceira nos da Redação. Ela acrescenta,7% à explicação da variância na primeira e 2,3% na segunda. Seu coeficiente significa que, quanto mais próximos os alunos estão do tempo regular dos cursos fundamental e médio, mais sua nota aumenta, nos dois casos. A parcimônia (obtenção de um modelo com o máximo de variância explicada com um mínimo de variáveis) indica ficar com esses dois modelos com quatro variáveis. As demais variáveis acrescentam em conjunto, menos de,6% à explicação da variância no caso da Prova Objetiva e % no caso da Redação. A presença do interesse por assuntos políticos como 2ª variável explicativa do modelo, sugere um perfil de participante do qual informação e engajamento são aspectos presentes, pontos que convergem claramente com a dimensão avaliativa singular do ENEM. Os demais resultados encontrados no modelo construído, sobretudo a inadmissão das variáveis de avaliação da escola e do professor, leva-nos a uma importante consideração sobre os domínios de investigação envolvidos na busca dos determinantes do desempenho: o Questionário Socioeconômico se constitui para o aluno ou participante do ENEM em um espaço de expressão da suas percepções sobre o funcionamento da escola e convivência com professores, suas condições objetivas de ensino e dos aspectos do projeto escolar. Ao não apontarem relação linear entre desempenho e as avaliações do professor e da escola, os dados sugerem que o projeto escolar, que envolve as orientações de relacionamento, as formas de envolvimento do aluno com a escola, a convivência entre os 2
vários sujeitos escolares e o espaço de desenvolvimento do aluno, tem pequeno papel de determinação no desempenho. Por outro lado, cabe da mesma forma uma ponderação com relação à natureza dos dados analisados: o Questionário Socioeconômico e Cultural deve ser considerado como um instrumento que coleta e registra percepções e opiniões sobre a dinâmica da escola, produzindo dados objetivos, embora não precisos. Bibliografia DRAPER, N.R. e SMITH, H, 998. Applied Regression Analisys, New York: John Wiley & sons. INEP, Relatório Pedagógico ENEM 200. Brasília. JOHNSON, R and WICHERN,D, 982 Applied Multivariate Statistical Analysis. Englewood Cliffs, NJ: Prentice-Hall. 3