Quantas competências o ENEM realmente avalia? 1

Transcrição

1 Quantas competências o ENEM realmente avalia? 1 Rodrigo Travitzki Resumo OBJETO DE PESQUISA: Este estudo faz parte de uma análise mais ampla entre teoria e prática no Exame Nacional do Ensino Médio. Investigamos aqui se as diferentes competências produzem de fato diferentes notas. REFERENCIAL TEÓRICO: partimos de uma concepção pluralista de educação que remete, por exemplo, a Habermas. METODOLOGIA: calculamos as correlações entre as 10 notas das provas do ENEM RESULTADOS: a correlação foi alta na prova (r = 0,97; p<0,001) e na redação (r = 0,93; p<0,001). Entre os dois instrumentos a correlação foi mais baixa (r = 0,78; p<0,001). Os dados sugerem que a antiga matriz de competências do ENEM não produzia diferentes indicadores. Na prática, haveria apenas duas notas distintas, uma da prova outra da redação. Palavras chave: ENEM, competências, correlação Universidade de São Paulo Faculdade de Educação Eixo Temático 3 1 Trabalho apresentado no 10º Encontro de Pesquisa em Educação da Região Sudeste, Rio de Janeiro, 2011.

2 Introdução Nos anos 80, Margaret Thatcher orientou as políticas educacionais para o mercado com base em quatro pilares: i) liberdade de escolha da escola por parte dos pais; ii) promoção da diversidade da oferta escolar; iii) autonomia das escolas; iv) cortes nas despesas com a educação (NETO-MENDES et al., 2003). Contudo, ao liberar um lado é preciso controlar o outro para garantir a qualidade do serviço prestado. Assim, a reforma educacional inglesa de 1988 passa a instituir as avaliações em larga escala como centro das políticas de accountability, que parecem melhorar os indicadores de qualidade principalmente quando aliadas a sistemas de incentivo e punição (FERNANDES; GREMAUD, 2009). Tal estratégia se disseminou pelo mundo. Contudo, um modelo de indicadores e incentivos/punições mal desenhado pode produzir mais distorções do que benefícios. Há o risco de se condicionar os currículos e, desse modo, intensificar desigualdades escolares e sociais. (SOUSA, 2003). Pesquisas sobre a educação na Inglaterra apontam resultados desastrosos no contexto escolar, com o empobrecimento da prática pedagógica, predominando atividades preparatórias para os exames externos (MOREIRA, 1999, p. 131). Há evidências de que as políticas de prestação de contas baseadas em avaliações padronizadas inibem a criatividade dentro do sistema educacional (GROVE, 1996; FERREIRA, 2004). Estamos diante da tensão conceitual entre unidade e diversidade, entre a necessidade de um padrão de qualidade e a natureza múltipla e heterogênea daquilo que está sendo padronizado. Por um lado, as políticas de prestação de contas pressupõem a existência de testes padronizados (HARTMAN, 1999). Por outro lado, avaliar uma coisa múltipla com um único critério pode se mostrar um grave equívoco metodológico, gerador de distorções, exclusões e mesmo ineficácia. Que alternativas dispomos em tal cenário? A solução mais evidente seria diversificar as avaliações: produzindo múltiplos exames ou elaborando exames internamente múltiplos, ou seja, um só instrumento que avalie simultaneamente diferentes aspectos. O ENEM é, em teoria, uma iniciativa nesse sentido. Embora a grande mídia e o próprio MEC se empenhem em divulgar o ranking do ENEM, baseado em uma única nota, podemos também observar no site INEP uma proposta alternativa que nos parece bastante interessante tendo em vista as considerações acima. Curiosamente, o texto começa dizendo que não existe uma nota global do ENEM: o Inep não calcula uma média global de desempenho, apenas apresenta as médias separadamente (INEP, 2010). A ideia é divulgar as cinco notas, uma para cada área de conhecimento (Ciências da Natureza, Ciências Humanas, Linguagens e Matemática) e uma de redação segundo a nova matriz de competências. Isso permite, por exemplo, que cada faculdade possa elaborar um critério próprio atribuindo diferentes pesos para cada nota. Uma faculdade de engenharia pode valorizar mais a matemática, por exemplo, enquanto um curso de geografia poderia dar valor maior para Ciências Humanas e Ciências da Natureza. O

3 site do INEP diz: para distribuição das vagas no Sistema de Seleção Unificada, do Ministério da Educação, as instituições vão utilizar o conjunto de notas do Enem seguindo critérios específicos de agregação e peso (INEP, 2010). Consideramos tal iniciativa interessante no sentido de permitir avaliar algo heterogêneo utilizando diversos critérios (conciliando unidade e multiplicidade). Contudo, não parece que vem sendo bem sucedida neste aspecto. Numa pesquisa rápida pela internet não encontramos faculdades atribuindo diferentes pesos para cada uma das 5 notas do ENEM. Também não encontramos rankings alternativos, utilizando outros pesos no cálculo da média global do ENEM. Na grande mídia, a nota do ENEM é sempre considerada algo único, quase não se menciona a multiplicidade da nota depois que esta foi calculada as diferentes áreas do conhecimento parecem ser assunto apenas para os estudantes que farão a prova. Contudo, é preciso aprofundar a pesquisa a fim de confirmar (ou não) esta hipótese. Há, porém, outro nível de crítica à relação entre teoria e prática no que se refere à multiplicidade interna do ENEM. No primeiro nível, o MEC tomou a iniciativa mas a sociedade (ainda?) não a incorporou. Mas num nível mais profundo, anterior a esse, podemos questionar se os exames feitos até hoje foram de fato avaliações dotadas de multiplicidade interna. Nesse sentido, nossa pergunta central passa a ser: em que medida as diferentes notas do ENEM medem de fato diferentes competências? Referencial Teórico Partimos da ideia de que a sociedade democrática pressupõe uma educação plural, flexível, o que incluiria certa multiplicidade nos indicadores de qualidade. Nossa principal referência é o trabalho de Habermas na formulação de um cenário mais amplo da contemporaneidade, que permite tanto a crítica quanto a ação. Seguindo a linha de Nietzsche, Horkheimer, Adorno, Foucault e outros, Habermas luta contra a racionalização desenfreada do mundo vivido e, por sua vez, propõe a comunicabilidade como condição fundamental da ação (HABERMAS, 1981). E uma das condições da comunicabilidade é a coerência entre o que se diz e o que se faz. Objetivos Pretendemos verificar em que medida o ENEM realiza o objetivo de ser um único instrumento para avaliar múltiplos aspectos da inteligência. Se cada nota do ENEM de fato avalia uma competência distinta (e pressupondo que tais competências são distribuídas de forma heterogênea na população), é esperado que as notas dos alunos em uma competência sejam significativamente diferentes das notas em outra. É isto que testamos aqui de forma preliminar.

4 Metodologia Inicialmente fizemos uma pesquisa bibliográfica de estudos semelhantes e sobre a questão da unidade e multiplicidade nas diferentes concepções de inteligência. Depois calculamos as correlações entre as notas das 5 competências na prova objetiva e na redação do ENEM de 2008, utilizando os dados disponíveis no portal do INEP (INEP, 2011). Foram analisadas as 10 notas de todas as provas com o coeficiente de correlação de Pearson, bicaudal. Separamos as correlações em três grupos: (1) entre notas da prova; (2) entre notas da redação; (3) entre notas da prova e da redação. É importante ressaltar que em 2009 a matriz de competências do ENEM sofreu grandes mudanças, mas até o momento o INEP só disponibilizou os dados até Desenvolvimento O debate sobre unidade e multiplicidade da inteligência é relativamente antigo na psicologia, polarizado na primeira metade do século XX entre Spearman, que defendia a universalidade do fator g, e Thurstone, que não acreditava numa única inteligência genérica e, como alternativa, criou a Teoria das Aptidões Primárias. Estes dois polos foram integrados em modelos posteriores, que acabaram sendo unificados numa teoria por McGrew e Flanagan, a Teoria de Cattell-Horn-Carroll das Habilidades Cognitivas (PRIMI, 2003). Esta teoria integra o fator g e uma grande diversidade de competências em 3 estratos. A identificação das competências foi feita por Carroll a partir de uma metanálise de estudos anteriores. Estamos aqui no terreno da psicometria dos testes padronizados, uma área que apresenta grande consistência interna (GOMES; BORGES, 2007), embora seja criticada por reduzir a inteligência à capacidade de se responder a exames ou à velocidade de reação (GARDNER, 1994). De maneira mais poética que acadêmica, diríamos que a psicometria talvez seja um prédio sólido porém baixo. Em que medida as competências do ENEM correspondem aos modelos mais recentes da psicometria? Primi e colegas encontraram certa coerência teórica entre a matriz de habilidades do ENEM e a Teoria de Cattell-Horn-Carroll, ressaltando porém que seria necessária verificação empírica desta coerência (PRIMI et al., 2001). Alguns anos depois um estudo de doutorado segue nesse sentido, encontrando evidências de que a prova de 2001 do ENEM não avaliou as cinco competência e vinte e uma habilidades a que se propunha, e sim um grupo seleto de três competências: a Verbal, a Quantitativa e a Geral Escolar (GOMES, 2005). Nossos resultados preliminares corroboram tal conclusão, mais especificamente a hipótese de que o ENEM avalia, na prática, menos dimensões do que se propõe na teoria. Isto porque encontramos alta correlação média (r = 0,97; p<0,001) entre as cinco notas da Prova objetiva. Entre as 5 notas da

5 redação o cenário muda sutilmente (r = 0,93; p<0,001). Mas quando relacionamos as notas da prova com as notas da redação, a diferença aumenta (r = 0,78; p<0,001). Estes resultados sugerem que a prova de 2008 do ENEM não avaliou cinco competências através de dois instrumentos diferentes, pois as notas das diferentes competências são muito parecidas dentro de cada instrumento (a prova e a redação). Tendo em vista que as notas entre os dois instrumentos apresentaram uma correlação mais baixa, embora também bastante significativa, podemos considerar que o ENEM produziu, na prática, dois indicadores diferentes, ao invés dos dez a que se propunha. Na Figura 1 plotamos os três grupos de correlação com objetivo de verificar se esta diferença entre as médias dos três grupos é de fato significativa, o que foi confirmado. Além disto, observa-se uma grande proximidade entre os grupos 1 e 2, enquanto o grupo 3 se distingue claramente dos outros dois. Assim, a Figura 1 corrobora as conclusões anteriores. FIGURA 1: Boxplot dos 3 grupos de correlação entre as 10 notas do ENEM Outro dado relevante aparece quando separamos o grupo 3 em dois subconjuntos, um para as correlações entre competências diferentes e outro para as iguais. Caso o princípio das competências tenha sido eficaz na produção de diferentes indicadores, podemos esperar uma semelhança maior quando comparamos a competência 5 da prova e da redação, do que quando comparamos a competência 5 da prova com a 4 da redação, por exemplo. Contudo, os dois grupos são estatisticamente iguais (com médias de 0,7826 e 0,7823 e desvio padrão de 0,0073), o que pode ser constatado na Figura 2.

6 FIGURA 2: Boxplot do 3º grupo, dividido entre competências iguais e diferentes Esta evidência confirma a conclusão anterior, de que a estrutura conceitual de cinco competências não surtiu efeitos práticos significativos nos indicadores produzidos pelo ENEM de Conclusões As evidências preliminares sugerem que a matriz de competências do ENEM em vigor até 2008 não produziu a multiplicidade interna esperada, ao menos neste mesmo ano. O que não é desejável, pois o ENEM começou justamente como forma de auto avaliação para que o jovem descobrisse sua vocação comparando as diferentes notas não apenas sua posição em um ranking unidimensional. As universidades também poderiam utilizar esta multiplicidade interna para personalizar o uso do ENEM para cada tipo de curso. Neste sentido, talvez a mudança na matriz de competências feita em 2009 tenha sido positiva. Contudo, a ausência de microdados depois de 2008 carece de explicação e se constitui num fator limitante para a continuação desta pesquisa. Referências INEP. Para entender a nota do ENEM. Disponível em: < Acesso em: 24/2/2011. INEP. Inep - microdados para download. Disponível em: < Acesso em: 1/2/2011. FERNANDES, R.; GREMAUD, A. Qualidade da educação: avaliação, indicadores e metas. In: F. Veloso; S. Pessôa; F. Giambiagi; R. Henriques (Eds.); Educação Básica no Brasil: construindo

7 o país do futuro v.1. p , Rio de Janeiro: Elsevier. FERREIRA, E. M. S. A autonomia da escola pública: a lenda da estátua com pés de barro. Educação, Sociedade & Culturas,, n. 22, p , GARDNER, H. Estruturas da Mente: A teoria das inteligências múltiplas. Porto Alegre: Artes Médicas, GOMES, C. M. A. Uma análise dos fatores cognitivos mensurados pelo Exame Nacional do Ensino Médio (ENEM)Dados, UFMG. GOMES, C. M. A.; BORGES, O. N. Validação do modelo de inteligência de Carroll em uma amostra brasileira. Aval. psicol, v. 6, n. 2, p , GROVE, E. Creativity and accountability in competency-based language programmes: Issues of curriculum and assessment. Melbourne Papers in Language Testing, v. 5, n. 1, p. 1 18, HABERMAS, J. Teoria de la acción comunicativa. Volume I-Racionalidad de la acción y racionalización social. Madrid: Taurus Humanidades, HARTMAN, J. E. Accountability, Testing, and Politics. Profession, p , JSTOR. MOREIRA, A. F. Basta Implementar Inovações nos Sistemas Educativos? Educação e Pesquisa, v. 25, n. 1, p , NETO-MENDES, A.; COSTA, J. A.; VENTURA, A. Ranking de escolas em Portugal: um estudo exploratório. REICE Revista Iberoamericana de Calidad, Eficácia y Cambio en Educación, v. 1, n. 1, p. 1-13, PRIMI, R. Inteligência: Avanços nos Modelos Teóricos e nos Instrumentos de Medida., p , PRIMI, R.; SANTOS, A. A A. D.; VENDRAMINI, C. M.; et al. Competências e habilidades cognitivas: diferentes definições dos mesmos construtos. Psicologia: Teoria e Pesquisa, v. 17, n. 2, p , SOUSA, S. M. Z. L. Possíveis impactos das políticas de avaliação no currículo escolar. Cadernos de Pesquisa,, n. 119, p , scielo.