SOBRE A INADEQUAÇÃO DA METODOLOGIA DE CÁLCULO DAS NOTAS DO SISU

Transcrição

1 SOBRE A INADEQUAÇÃO DA METODOLOGIA DE CÁLCULO DAS NOTAS DO SISU Leonardo Cordeiro 1 1ª versão Janeiro 2012 RESUMO A utilização crescente do novo ENEM como instrumento de acesso ao ensino superior no Brasil tem sido motivo de dúvidas, questionamentos e até protestos pela parte da população diretamente afetada por esse processo. A adoção da Teoria de Resposta ao Item (TRI) no cálculo das notas finais dos candidatos do ENEM tem sido apontada como o fator principal dessas reações, que se originam, principalmente, na falta de conhecimento sobre essa metodologia, que não foi devidamente explicada para a sociedade pelos agentes governamentais responsáveis pela sua implementação. Apesar de essas manifestações serem completa e corretamente justificadas, a TRI, em si, não representa um grave problema, tampouco um inimigo a ser combatido. Pelo contrário, a introdução no contexto brasileiro de um método mais moderno de avaliação e medição educacional marca um avanço metodológico que é bem-vindo e necessário. No entanto, a forma com que as notas calculadas pela TRI têm sido utilizadas na seleção ao ensino superior é equivocada, contrariando os mesmos princípios que fazem da TRI uma escolha superior. Isso ocorre porque a nota da TRI é inconsequentemente combinada à nota da redação, que é obtida em escala diferente da primeira. Dessa forma, o método utilizado pelo SiSU ocasiona distorções determinantes no processo de seleção. Por meio de uma análise detalhada dos dados oficiais disponíveis do ENEM e de exercícios complexos de simulação, conclui-se que esses erros são extremamente significativos, a ponto de fazer com que até 60% dos candidatos que seriam aprovados pela metodologia antiga, que combina o percentual de acertos com a nota da redação, não mais o fossem, de acordo com a metodologia atual, que é fundamental e conceitualmente inapropriada, pois combina notas obtidas em escalas completamente descalibradas. 1 lcordeiro@hotmail.com. Comentários, sugestões e críticas são bem-vindos.

2 1 Introdução Em 1998, o Ministério de Educação e Cultura (MEC) iniciou um programa de avaliação do Ensino Médio em nível nacional, por meio da aplicação do Exame Nacional do Ensino Médio (ENEM). O ENEM é estruturado em duas partes: uma objetiva, composta por questões de múltipla-escolha, que versam sobre o conteúdo típico do Ensino Médio, e uma subjetiva, composta por uma redação em Língua Portuguesa. Embora o objetivo inicial do exame não contemplasse a seleção de alunos para o ensino superior, as notas obtidas no exame começaram a, paulatinamente, ser utilizadas para esse fim por algumas Instituições de Ensino Superior (IES) particulares. Nesse ínterim, o cálculo das notas dos candidatos sofreu importante alteração metodológica, capitaneada pelo Instituto Nacional de Estudos e Pesquisas Educacionais (INEP), autarquia federal responsável pelo exame. Em 2009, e em todas as edições subsequentes, a Teoria de Resposta ao Item (TRI) começou a ser utilizada no cálculo das notas da parte objetiva do exame, substituindo o intuitivo percentual de acertos, instrumento central da Teoria Clássica dos Testes (TCT). A nota da redação permaneceu sendo obtida da mesma forma como no período pré-tri, e continuou a ser combinada com as notas geradas pela TRI para a obtenção da nota final do candidato. Atualmente, o ENEM é largamente empregado como instrumento de seleção para diversas IES públicas e privadas. Adicionalmente, em diversas IES públicas, o ENEM é a única forma de acesso ao ensino superior. O Sistema de Seleção Unificado (SiSu) é o processo de seleção às vagas oferecidas pelas IES públicas e é administrado pelo MEC. Observa-se, por conseguinte, a enorme importância que o ENEM passou a ter no destino de milhões de jovens e candidatos a uma vaga no ensino superior e, consequentemente, na competitividade nacional futura. Nessa perspectiva, torna-se fundamental que se faça uma análise crítica da adequação da metodologia de cálculo das notas que irão decidir quem será agraciado, ou não, com uma oportunidade de ingressar em uma IES. O objetivo principal desse trabalho é o de preencher essa lacuna. De especial interesse é a forma com a qual o INEP/SiSU combina a nota produzida pela TRI uma nota relativa, resultado de procedimentos matemáticos complexos com a nota da redação uma nota absoluta e que não recebe qualquer tratamento estatístico. No procedimento tradicional, que é internamente coerente, uma vez que ambas as notas são absolutas, o percentual de acertos é combinado à nota da redação. Este trabalho está organizado da seguinte forma: após essa breve introdução, são apresentados aspectos importantes da TRI e da sua utilização pelo MEC/INEP no ENEM. A seguir, o procedimento de obtenção da amostra é descrito, assim como a metodologia de análise. A quarta seção discorre sobre os resultados obtidos e reflete sobre suas possíveis implicações para a seleção de candidatos ao ensino superior. Finalmente, a quinta seção conclui o trabalho.

3 2 TRI, INEP e SiSU Nessa seção serão apresentadas breves descrições da TRI e da forma como ela é utilizada pelo MEC/INEP no cálculo das notas que serão efetivamente utilizadas no SiSU. A TRI é uma metodologia psicométrica de medida educacional, que surgiu na década de 1950 nos Estados Unidos, representando um avanço em relação à TCT 2. (EMBRETSON e REISE, 2000) Como todo instrumento de medida, a TRI permite, especificamente, que diferentes provas sejam comparadas entre si, por meio de uma única escala ou medida, o que não é possível pela TCT. Uma boa analogia é a de uma régua ou trena: dado qualquer objeto, é possível relacionar suas dimensões por meio de um instrumento nivelador e equacional, que produza medidas comparáveis entre si. Por outro lado, se em vez de uma regra padrão de 30 cm, o instrumento de medição utilizado fosse o palmo da pessoa que realiza a medição, a medida final não poderia ser comparada com outras medidas realizadas por outras pessoas. Tal exemplo ilustra uma das problemáticas da TCT: a medida depende do instrumento utilizado, nessa caso, uma prova. Naturalmente, uma régua pautada pelo Sistema Internacional fornecerá leituras nominais diferentes das de uma régua marcada de acordo com o Sistema Imperial. No entanto, uma simples conversão permite que comparações sejam novamente realizadas, por exemplo, sabe-se que uma polegada equivale a, aproximadamente, 2.54 cm. O mesmo ocorre com a TRI: mesmo em provas diferentes e aplicadas a grupos de candidatos distintos, é possível fazer essa conversão por meio de simples transformações numéricas, se certas condições forem satisfeitas. Mesmo em casos em que isso não acontece, ou seja, situações em que conversões rápidas não são suficientes para que as notas sejam comparadas, a aplicação de provas adicionais as chamadas provas de ligação possibilita que essa relação seja estabelecida. É dessa forma, por exemplo, que se podem comparar os resultados do ENEM ao longo dos anos. Coerentemente, o INEP assim justifica a utilização da TRI no cálculo das notas das provas objetivas do ENEM a partir de 2009 (KARINO e ANDRADE, 2011) 3 : A decisão de implementar no Exame Nacional do Ensino Médio (ENEM) a Teoria de Resposta ao Item (TRI) teve duas finalidades principais: (1) permitir a comparabilidade dos resultados entre os anos e (2) permitir a aplicação do Exame várias vezes ao ano. Sem dúvida, a TRI permite que tais objetivos sejam alcançados, o que não seria possível caso o percentual de acertos continuasse a ser empregado. No entanto, a mudança para a TRI, em si, não implica uma alteração radical na ordem relativa dos candidatos, considerando-se o percentual de acertos como medida referencial. A Figura 1 é o resultado da superposição do gráfico de dispersão entre as variáveis % de acertos e nota TRI 4 com a reta obtida pela regressão linear da segunda variável pela primeira. Percebe-se visual e nitidamente que as variáveis são fortemente relacionadas, o que é também comprovado pelos valores elevados do R 2 e da correlação linear entre elas. Isso indica que um alto percentual de acertos implica uma alta nota TRI, relativamente aos demais candidatos. Um gráfico cartesiano fala mais que mil palavras e essa simples figura é suficiente para dirimir a maioria das dúvidas dos candidatos em relação à nota TRI. 5 Por exemplo, um candidato que tenha acertado 80% do caderno amarelo do ENEM de 2008, teria recebido uma nota TRI que variaria entre 680 e 730, aproximadamente, dependendo de quais questões ele acertou e errou. O fato de a nota TRI ser numericamente menor utilizando-se a média entre 680 e 730 como nota TRI representativa não altera significativamente a posição relativa do candidato em relação aos demais, lembrando que todas as notas dos mais de 700,000 candidatos estão marcadas na figura. Tomando-se um aluno com um % de acertos menor, 30%, 2 A nota de uma prova segundo a TCT é a medida que comumente é utilizada: o percentual de acertos. 3 Uma argumentação mais social pela utilização da TRI é encontrada em Fletcher (1994). 4 Maiores detalhes sobre o método de obtenção das notas TRI encontram-se na seção de metodologia. Por hora é suficiente constatar que a metodologia empregada é a mesma do INEP. 5 Como o relatado em entre outras fontes. Acesso em 01/01/2012.

4 por exemplo, percebe-se que o intervalo de variação possível da nota TRI é maior de cerca de 290 a 500 apesar de ainda preservar o seu valor relativo, ou seja, em média, esse estudante receberá uma nota TRI menor da daquele que acertou 40% da prova. Por outro lado, o candidato de alto desempenho, que tenha atingido um percentual de 90%, pode ficar tranquilo, pois a sua nota TRI que pode variar de 720 a 820 continuará sendo uma das mais altas da amostra. Ou seja, ater-se ao valor nominal da nota TRI é contraproducente, uma vez que é uma nota relativa e, como tal, o importante é a classificação em relação aos demais. Figura 1 Gráfico de dispersão entre o percentual de acertos e a nota TRI, sobreposta à reta obtida pela regressão linear da nota TRI (variável dependente) pelo percentual de acertos (variável independente). O coeficiente de determinação (R 2 ) e a correlação linear entre as variáveis (ρ) também se encontram na figura. Nota-se, adicionalmente, que a dispersão ao redor da linha vermelha é maior na região de percentuais de acerto menores, onde a relação linear entre as variáveis é mais fraca. Entretanto, de forma geral, a aproximação linear aparenta ser satisfatória. Outra característica marcante da TRI é a de que os parâmetros referentes às questões de uma determinada prova chamadas de itens são universais e não dependem dos candidatos. Em outras palavras: Uma propriedade importante da TRI é a de invariância dos parâmetros, isto é, os parâmetros dos itens obtidos de grupos diferentes de alunos testados e os parâmetros de proficiência baseados em grupos diferentes de itens são invariantes, exceto pela escolha de origem e escala. (KLEIN, FONTANIVE, 1995) Assim, uma vez conhecidas as características dos itens geralmente estabelecidas pelos infames pré-testes 6 estes se tornam o centro da análise, em vez da prova como um todo, antigo foco da TCT. As vantagens dessa abordagem são assim resumidas na literatura: Ao escolher o item... como unidade de análise e peça de reposição intercambiável na elaboração das provas e na elaboração de seus resultados, a teoria de resposta ao item incentivou inúmeras inovações na prática da aplicação das provas, especialmente no desenvolvimento no banco de itens e testes adaptivos. (FLETCHER, 1994) Evidencia-se, portanto que a principal vantagem da TRI é a possibilidade de comparação entre resultados obtidos em provas distintas, aplicadas em grupos distintos de alunos, fato que é possibilitado pela escala comum entre os itens e pela invariância populacional dos parâmetros dos mesmos. 6 Ver, por exemplo,

5 Uma revisão detalhada sobre a TRI foge ao escopo deste trabalho e detalhes técnicos sobre essa metodologia podem ser obtidos em referências clássicas sobre o assunto 7 : como os livros escritos por Embretson e Reise (2000) e Hambleton, Swaminathan e Rogers (1991). Como representante nacional, o trabalho de Andrade et. al. (2000) é um bom exemplo de uma apresentação mais técnica ao tema. As notas obtidas pela metodologia TRI são utilizadas pelo MEC/INEP no SiSU, compondo a média final que definirá a classificação final em cada curso. Dependendo do curso e da IES, o cálculo da média final varia. Em cursos onde não há predominância da nota de uma disciplina sobre a de outra, a média final é computada pela média aritmética simples. NAT + HUM + LIN + MAT + REDAÇÃO Média Aritmética = 5 Alguns cursos, no entanto, elegem pesos diferentes para cada disciplina, como é o caso da Universidade Federal do Rio de Janeiro (UFRJ). Para o curso de medicina, a média final é calculada da seguinte forma: NAT 2 + HUM 1+ LIN 2 + MAT 1+ REDAÇÃO 3 Média Medicina = 9 Similarmente, a média para os diversos cursos de engenharia é assim calculada: NAT 4 + HUM 1+ LIN 1+ MAT 4 + REDAÇÃO 3 Média Engenharia = 13 Os pesos atribuídos à nota da redação variam da seguinte maneira: 20.0%, 23.1% e 33.3%, na média aritmética, de engenharia e de medicina, respectivamente. Apesar da atenção demonstrada em se utilizar uma metodologia moderna de medição educacional no cálculo da nota objetiva do ENEM, o INEP calcula a média final do candidato considerando a nota da redação sem qualquer ajuste que a colocasse na mesma escala da prova objetiva. Empregando os exemplos típicos encontrados na literatura de TRI, o INEP, dessa forma, soma centímetros com polegadas, graus Celsius com graus Kelvin e laranjas com bananas. A próxima seção descreve detalhadamente a metodologia do estudo: o procedimento de amostragem e análise dos dados, a sistemática de comparação entre as diferentes formas de agregação da nota da redação à nota objetiva e o modelo de simulação empregado. 7 Não foram abordados neste trabalho discussões sobre a relação entre variáveis observáveis e traços latentes, assim como sobre métodos de estimação dos parâmetros dos itens e do traço latente, nem sobre a validade das premissas matemáticas e estatísticas da TRI e os testes de ajuste do modelo aos dados observados.

6 3 Metodologia Em linhas gerais, desenvolveu-se uma metodologia para avaliar se as notas geradas pela TRI na parte objetiva, que são calculadas em uma mesma escala de habilidade, podem ser combinadas com as notas da redação, de caráter estritamente absoluto, sem causar mudanças drásticas no resultado final da seleção. Essa avaliação é feita comparando-se a classificação dos alunos em dois cenários de cálculo das médias finais 8 : na utilização das notas absolutas percentual de acerto e nota da redação e na utilização da metodologia adotada pelo INEP nota TRI e nota da redação. O primeiro método é chamado de método clássico, e o segundo método INEP. Se o método INEP for adequado, isto é, se for válida a combinação da nota TRI com a nota da redação, espera-se que a classificação final, nesse caso, não difira muito da classificação obtida na metodologia clássica, a que utiliza os valores absolutos, tanto para a parte objetiva, quanto para a redação. Esse nível de adequação será construído observando-se o percentual de alunos aprovados na metodologia clássica que também seriam aprovados pela metodologia INEP. Quanto maior for esse percentual, mais as classificações se parecem e menos problemática é a aplicação da metodologia INEP. Por outro lado, quanto menor for esse percentual, ou, quanto maior for a diferença percentual dos alunos aprovados na metodologia INEP, em relação à metodologia clássica, mais questionável é a aplicação da nova metodologia. Para ilustrar esse procedimento, a Tabela 1 apresenta o resultado hipotético e didático dessa metodologia. A tabela representa o resultado da seleção para um determinado curso, em uma determinada IES, que oferece 10 vagas, com uma relação candidato-vaga igual a dois. Tabela 1 Exemplificação da metodologia de comparação para um curso hipotético, com 20 candidatos e 10 vagas. A área cinza representa a zona de aprovação. A classificação clássica simboliza a classificação obtida de acordo com o método clássico, i.e., o que utiliza o percentual de acertos e a redação. As classificações INEP I e II representam dois possíveis exemplos de classificação segundo o método INEP, i.e., o que utiliza a nota TRI e a redação. Candidato Classificação clássica Classificação INEP I Classificação INEP II A E C D B J T I L F M P Q G N S R K O H Erro 10% 40% De acordo com o método clássico, os 10 alunos aprovados seriam os candidatos {A, E, C, D, B, J, T, I, L, F}. Como nessa classificação não há inconsistências em combinar-se as notas objetivas com as da redação, essa é considerada a classificação padrão. Uma suposta classificação pelo método INEP INEP I produz resultados diferentes, mas que alteram pouco o resultado final, pois, 9 alunos, dentre os 10 originais, continuariam a ser aprovados. Nesse caso, poder-se-ia dizer que a aplicação do método INEP é adequado 9. Todavia, se a classificação obtida tivesse sido a INEP II, a utilização desse método teria introduzido uma distorção de 40% em relação ao ranking original, uma vez que apenas 6 dos 10 originais teriam sido aprovados. Claramente, nesse caso, o método INEP seria inadequado e não deveria ser utilizado no SiSU. 8 Outras comparações foram feitas e serão incluídas ao trabalho em versões posteriores. 9 Assumindo-se, nesse caso, que um nível de erro igual a 10% é aceitável. Em cursos que oferecem um número maior de vagas, por exemplo, 200 vagas, essa taxa de erro indicaria que 20 alunos perderiam a vaga que lhes seriam de direito. Cabe à sociedade decidir se esse nível de erro é aceitável.

7 Como os dados de cursos e IES específicas não são divulgados, este estudo utiliza uma metodologia de Simulação de Monte Carlo, que cria uma grande quantidade de cenários semelhantes ao da Tabela 1, permitindo que se construa uma distribuição para o erro de classificação entre as duas metodologias, possibilitando uma análise estatística do mesmo. Os dados utilizados para a análise foram os relativos ao ENEM Uma análise mais recente não pôde ser feita pois o MEC/INEP não divulgaram os microdados das últimas três edições do ENEM, apesar de reclamações de diversos setores da sociedade. 11 Em 2008, segundo os microdados fornecidos pelo INEP, candidatos se inscreveram no ENEM. Destes, compareceram aos dois dias de prova. Subtraindo-se desse número as provas com respostas em branco e outros erros na base de dados 12, chegou-se ao total de observações. Para evitar problemas estatísticos decorrentes de possíveis diferenças entre os quatro cadernos do exame 13, considerou-se apenas os candidatos que responderam ao caderno amarelo, resultando em uma amostra com observações. Essa amostra foi utilizada na estimação dos parâmetros dos itens e no cálculo da habilidade, de acordo com a mesma metodologia TRI utilizada pelo INEP. O modelo utilizado é o logístico de três parâmetros, estimados por máxima verossimilhança marginal, assumindo-se a distribuição normal padrão para o traço latente. Por sua vez, a medida de habilidade é estimada pelo método Bayesiano EAP expected a priori e transformada para uma medida com média igual a 500 e desvio-padrão igual a 100. Os parâmetros dos itens encontram-se no Anexo I. O próximo passo na metodologia de comparação é a obtenção das classificações em um curso hipotético. O cálculo das médias finais a serem utilizadas na seleção é feito de três formas: média aritmética simples, média medicina e média engenharia. A diferença fundamental entre elas são os pesos atribuídos a cada parte da nota: prova objetiva e redação. Caso os dados do novo ENEM estivessem disponíveis, a média aritmética seria calculada dessa forma 14 : NAT + HUM + LIN + MAT + REDAÇÃO Média Aritmética = 5 No entanto, como o ENEM 2008 é composto por uma única prova, contendo questões de todas as disciplinas, em vez de quatro provas, uma para cada grande área do conhecimento, a forma de cálculo se altera para: OBJETIVA 4 + REDAÇÃO Média Aritmética = 5 Essa aproximação é razoável, uma vez que existe uma compensação em termos de desempenho em uma cada uma das grandes áreas. 15 Além disso, argumentos de regressão à média também são suficientes para afirmar que, em média, a agregação das quatro notas individuais em uma nota global como é o caso do antigo ENEM não acarretaria em uma diferença numérica qualitativamente relevante. Analogamente, as médias medicina e engenharia seriam assim calculadas, caso os dados do novo ENEM estivessem disponíveis: NAT 2 + HUM 1+ LIN 2 + MAT 1+ REDAÇÃO 3 Média Medicina = 9 10 O INEP disponibiliza os microdados de diversos exames, incluindo o ENEM, em Acessado em 02/01/ Jornal Valor Econômico, Caderno A Brasil, p. A5, 30/06/ Alguns registros no banco de dados estavam incompletos e não puderam ser incluídos. 13 Apesar dos quatro cadernos conterem exatamente as mesmas questões, apresentadas em ordem diferentes, é possível que haja diferenças entre eles. (Klein e Fontanive, 1995) 14 NAT = Ciências da Natureza, HUM = Ciências Humanas, LIN = Linguagens e MAT = Matemática. 15 Essa compensação nas habilidades é base para modelos mais sofisticados de TRI: os modelos multidimensionais. (RECKASE, 2009)

8 NAT 4 + HUM 1+ LIN 1+ MAT 4 + REDAÇÃO 3 Média Engenharia = 13 Esses pesos são idênticos aos pesos atribuídos às respectivas disciplinas no processo de seleção da Universidade Federal do Rio de Janeiro, e refletem escolhas alternativas para o peso de cada nota no cálculo da média final. Adaptando os cálculos acima para a prova do ENEM 2008, obtém-se: OBJETIVA 6 + REDAÇÃO 3 Média Medicina = 9 OBJETIVA 10 + REDAÇÃO 3 Média Engenharia = 13 O último passo da metodologia é a obtenção de conjuntos hipotéticos de candidatos por meio de uma rotina de Simulação de Monte Carlo. 16 Essencialmente, o procedimento de simulação gera diversas tabelas semelhantes à Tabela 1, possibilitando que o número de erros de aprovação seja aferido para cada uma delas. Repetindo-se o processo milhares de vezes, simula-se o que poderia ter acontecido realmente, caso fosse possível repetir o experimento ENEM. 17 Considerando a relação candidato-vaga desse curso hipotético igual a 50 em alguns cursos essa relação é até maior, como em medicina e considerando uma oferta de 100 vagas, chegouse ao tamanho da amostra de simulação: observações. Esse processo é repetido vezes, gerando uma distribuição para o erros de aprovação, definidos como a diferença entre a oferta de vagas e os alunos aprovados na metodologia clássica que continuariam sendo aprovados pela metodologia INEP, conforme o exemplo relativo à Tabela 2. Esse cálculo foi feito para os três tipos de média definidos anteriormente. Como os alunos que geralmente pleiteiam os cursos mais concorridos estão entre os mais bem preparados, toda a análise foi repetida restringindo-se o universo de amostragem aos candidatos que obtiveram nota TRI superior a um desvio-padrão em relação à média. Isto equivale a utilizar como base de simulação apenas aqueles com score TRI acima de 1.0, sob a premissa de que o traço latente é distribuído conforme a distribuição normal padrão. A rigor, a distribuição a posteriori do traço latente não é, necessariamente, igual à distribuição a priori. No entanto, sem perda de generalização, assume-se que os resultados qualitativos não se alterem tanto, uma vez que as distribuições tendem a ser semelhantes, como pode ser observado no histograma do traço latente no Anexo II. Além disso, como a Curva de Informação do Teste alcança o seu máximo na habilidade igual a 1.88, de acordo com a curva do Anexo IV, o corte proposto aumenta a precisão da análise, pois limita a amostra à região da curva com maior poder estatístico. Concluindo, poder-se-ia argumentar que a validade dos resultados obtidos neste trabalho é questionável devido à limitada verossimilhança entre os dados das duas edições 2008 e Contudo, o que se está analisando nesse estudo é a validade da metodologia empregada pelo INEP/SiSU de uma forma geral, aplicada aos dados disponíveis. Antecipa-se que, diante do considerável tamanho da amostra e da esperada ergodicidade da população de vestibulandos e das suas habilidades, os resultados da aplicação dessa metodologia sejam satisfatoriamente estáveis em amostras distintas. Além disso, a própria presidente do INEP afirmou que a utilização dos microdados de edições mais antigas é perfeitamente aceitável pois podem não ser os mais atuais, mas não são tão diferentes de um ano para o outro 18, confirmando as suspeitas iniciais. 16 O método de simulação de Monte Carlo foi desenvolvido durante o Projeto Manhattan, durante a II Guerra Mundial. A referência ao famoso balneário europeu é evidente, devido à natureza, supostamente aleatória, dos jogos de azar. 17 Um tratamento filosófico mais informal, embora igualmente relevante, pode ser encontrado em (TALEB, 2001). 18 Retirado de Acessado em 02/01/2011.

9 4 Análise dos Resultados A Tabela 2 apresenta um sumário das estatísticas descritivas da amostra utilizada na simulação. Percebe-se que a distribuição da nota TRI é inteiramente concentrada no intervalo [258.18, ], enquanto que a da nota da prova objetiva abrange um intervalo mais amplo: [15.90, ]. Tabela 2 Estatísticas descritivas da amostra do ENEM 2008 (caderno amarelo) após exclusão dos candidatos que obtiveram nota zero, ou na parte objetiva, ou na redação. A variável Média aritmética corresponde ao cálculo (4 x Prova Objetiva + Redação)/5; a variável Média medicina corresponde ao cálculo (6 x Prova Objetiva + 3 x Redação)/9 e a variável Média engenharia corresponde ao cálculo (10 x Prova Objetiva + 3 x Redação)/13, onde Prova Objetiva corresponde ao percentual de acertos multiplicado por 10. Essas três variáveis foram criadas para simular a metodologia de cálculo das médias finais utilizadas pelo SiSU, assumindo que a nota da Prova Objetiva sintetiza a média aritmética da notas nas quatro provas do ENEM Os pesos de medicina e engenharia são os mesmos empregados pela UFRJ em A nota TRI corresponde à nota calculada pela TRI, de acordo com a metodologia empregada pelo INEP, e as médias aritmética TRI, medicina TRI e engenharia TRI foram calculadas conforme as fórmulas anteriores, substituindo-se a Prova Objetiva pela nota TRI, conforme a metodologia adotada pela MEC no SiSU. Q1 equivale ao primeiro quartil da distribuição e Q3 ao terceiro quartil. Variáveis N Média Desv. Pad. Max Min Q1 Mediana Q3 Prova objetiva Redação Média aritmética Média medicina Média engenharia Nota TRI Média aritmética TRI Média medicina TRI Média engenharia TRI Nota-se, também, que tanto a média, quanto a mediana, da distribuição das notas de redação são significativamente superiores às do percentual de acertos e da nota TRI. Como os candidatos que obtiveram nota zero na redação foram excluídos da amostra zero na redação é fator eliminatório no SiSU fica evidente que a distribuição das notas de redação é truncada em 250, seu valor mínimo, ou seja, não há notas de redação no intervalo (0, 250), o que causa uma descontinuidade relevante na distribuição. Tal fato pode explicar o porquê da distribuição ser mais concentrada para a direita, de acordo com a Figura 2. Figura 2 Histogramas das distribuições dos percentuais de acerto ( Prova Objetiva ), das notas da redação e das notas calculadas pela metodologia TRI. 19 Essas estatísticas se referem à distribuição a posteriori das habilidades, explicando a diferença em relação aos valores utilizados na padronização das notas para uma distribuição com média igual a 500 e desvio-padrão igual a 100.

10 A distribuição da nota TRI também é truncada no seu limite inferior, como a da redação. Contudo, diferentemente de ambas as outras, é ainda truncada em seu limite superior. Este efeito introduz uma distorção adicional em qualquer comparação entre as diferentes notas. Como se pode atestar com base na Figura 1, apesar da frequência das notas acima de 700 na redação ser muito maior do que no percentual de acertos e do que na nota TRI, a frequência de percentuais de acerto na causa da direita é muito maior do que a da nota TRI, que cai a zero a partir da nota , quando atinge o seu valor máximo. Essa suspeita é corroborada pelos resultados da simulação. A Tabela 3 apresenta os resultados do exercício de simulação descrito na seção de metodologia. A utilização da metodologia de cálculo preconizada pelo INEP faz com que cerca de 41% dos alunos que seriam aprovados originalmente, pela metodologia clássica, percam a sua vaga. Esse percentual se reduz para 32% e 39% para as médias calculadas conforme os pesos da UFRJ para os cursos de medicina e engenharia, respectivamente. Esses valores médios são estatisticamente significativos. 20 Tabela 3 Percentuais de erros de aprovação causados pelo emprego da metodologia INEP no cálculo das notas finais no SiSU, em toda a amostra ENEM A variável aritmética é definida pelo cálculo (4 x Prova Objetiva + Redação)/5; a variável medicina corresponde ao cálculo (6 x Prova Objetiva + 3 x Redação)/9 e a variável engenharia corresponde ao cálculo (10 x Prova Objetiva + 3 x Redação)/13, onde Prova Objetiva assume os valores tanto do percentual de acertos, quanto da nota TRI. Os erros de aprovação, definidos como a diferença entre a oferta de vagas, que corresponde ao número original de alunos aprovados pela metodologia clássica, e os alunos aprovados na metodologia clássica que continuariam sendo aprovados pela metodologia INEP. Esse erro indica o percentual de candidatos que perderiam a sua vaga em virtude da utilização do método proposto pelo INEP. Aritmética Medicina Engenharia Média 41,0 32,0 39,0 Desvio-padrão 3,9 3,7 3,9 Estatística-t 1043,8 872,0 1000,6 Mínimo 27,0 20,0 26,0 Máximo 59,0 46,0 56,0 Convém ressaltar que os valores máximos de erro podem chegar a mais de 50%, ou seja, mais da metade dos alunos, originalmente aprovados pela metodologia de cálculo utilizada por vestibulares há mais de 40 anos em todo o país, perderia a vaga, segundo a metodologia proposta pelo INEP. Quando a amostra é restrita aos alunos com habilidades iguais ou superiores a 1 desvio-padrão, a distorção é ainda mais gritante, segundo revela a Tabela 4. Nesse caso, o erro médio é de, aproximadamente, 48%, 33% e 45%, nos cursos que utilizam a média aritmética, e nos de medicina e engenharia, respectivamente. Os valores máximos do erro também atingem patamares elevados: 63%, 49% e 60%, para a média aritmética, curso de medicina e engenharia, respectivamente. A constatação de que, no pior cenário, até metade dos candidatos ao curso de medicina pode deixar de ser aprovada, quando seria originalmente, é extremamente preocupante, uma vez que há candidatos que tentam conseguir uma vaga por 2, 3 e até 4 anos. Mesmo no melhor cenário, quando o erro é mínimo, cerca de 1 em cada 5 aprovados em medicina perderia a vaga e 1 em cada 4 perderia a vaga em engenharia. 20 As estatísticas-t são calculadas da forma convencional, assumindo a hipótese nula de que a média populacional seja igual a zero: x t =, onde x é a média amostral, s é o desvio-padrão amostral e n é o tamanho da amostra de s n simulação. Nota-se que as estatísticas-t foram calculadas sobre os valores absolutos das diferenças da quantidade de candidatos aprovados nas duas classificações.

11 Tabela 4 Percentuais de erros de aprovação causados pelo emprego da metodologia INEP no cálculo das notas finais no SiSU, com a amostra restrita aos candidatos com habilidade igual ou superior a 1 desvio-padrão em relação à média. A variável aritmética é definida pelo cálculo (4 x Prova Objetiva + Redação)/5; a variável medicina corresponde ao cálculo (6 x Prova Objetiva + 3 x Redação)/9 e a variável engenharia corresponde ao cálculo (10 x Prova Objetiva + 3 x Redação)/13, onde Prova Objetiva assume os valores tanto do percentual de acertos, quanto da nota TRI. Os erros de aprovação, definidos como a diferença entre a oferta de vagas, que corresponde ao número original de alunos aprovados pela metodologia clássica, e os alunos aprovados na metodologia clássica que continuariam sendo aprovados pela metodologia INEP. Esse erro indica o percentual de candidatos que perderiam a sua vaga em virtude da utilização do método proposto pelo INEP. Aritmética Medicina Engenharia Média 48,4 33,4 45,4 Desvio-padrão 4,3 4,1 4,4 Estatística-t 1135,2 817,5 1034,2 Mínimo 32,0 18,0 25,0 Máximo 63,0 49,0 60,0 As Figuras 3 e 4 apresentam as distribuições dos erros de aprovação da metodologia INEP nos dois cenários das Tabelas 3 e 4, respectivamente. Ambas as figuras permitem concluir-se que o fenômeno da distorção nos resultados é robusto e o erro médio converge para uma distribuição aproximadamente normal. Figura 3 Histogramas das distribuições dos percentuais de erro, com base na média aritmética, média medicina e média engenharia anteriormente definidas. Todos os candidatos foram considerados na amostra utilizada na simulação. Comparando-se as duas figuras, observa-se que as três distribuições são deslocadas para a direita, o que caracteriza um aumento da distorção com a restrição da amostra de simulação aos candidatos com melhores resultados, i.e., com notas TRI iguais ou superiores a 1 desvio-padrão. Figura 4 Histogramas das distribuições dos percentuais de acerto, com base na média aritmética, média medicina e média engenharia anteriormente definidas. Apenas os candidatos com habilidade medida pela TRI superior a 1 desvio-padrão foram considerados na amostra utilizada na simulação.

12 5 Conclusão A adoção em massa do ENEM como principal, e ás vezes única, forma de acesso aos cursos de graduação de IES públicas faz necessária uma análise crítica de toda a metodologia empregada no processo. A mera sugestão de que o ENEM possa se tornar obrigatório 21 para todos os concluintes do ensino médio, amplifica essa necessidade. Este trabalho ateu-se a verificar empiricamente a validade, ou invalidade, da combinação da nota estimada pela TRI com a nota da redação. Teórica e conceitualmente, se um dos motivos principais, e documentados, para a adoção da TRI no ENEM, em 2009, foi exatamente o mérito que esse modelo apresenta de colocar diferentes avaliações em uma métrica única, é questionável a mistura dessas duas notas de forma livre e sem qualquer calibração. Utilizou-se um procedimento de simulação de Monte Carlo para averiguar-se se essa combinação questionável produz uma alteração significativa na classificação dos candidatos, o que, em tese, poderia alterar todo o processo de seleção consideravelmente. Os resultados demonstram, inequívoca e contundentemente, que a inclusão da nota da redação distorce de forma expressiva a classificação final em um processo de seleção hipotético, com parâmetros pautados, porém, em premissas realísticas. O impacto é estatisticamente significativo e pode comprometer de 20% a mais de 60% das vagas ofertadas. As evidências sugerem que uma das causas dessa distorção, além da falha metodológica em misturar-se medidas em escalas distintas, possa ser a forma como as redações são corrigidas, o que causa uma descontinuidade inesperada na distribuição de notas, além de média e mediana muito superiores às demais notas. Espera-se que este trabalho tenha contribuído para o todo o debate em torno do ENEM, que se torna cada vez mais relevante e urgente, em virtude da importância que o exame vem ganhando no cenário atual da educação brasileira Acesso em 01/01/2012.

13 6 Referências ANDRADE, D. F., TAVARES, H. R., VALLE, R. C.; Teoria da Resposta ao Item: Conceitos e Aplicações, 14º SINAPE, Caxambu, Associação Brasileira de Estatística, BAKER, F. B; The Basics of Item Response Theory, University of Wisconsin, EMBRETSON, S. E., REISE, S. P; Item Response Theory for Psychologists, New Jersey : LEA, FLETCHER, P. R., A Teoria da Resposta ao Item: Medidas Invariantes do Desempenho Escolar, Ensaio: Avaliação e Políticas Públicas em Educação, v.1, n.2, HAMBLETON, R. K., SWAMINATHAN, H., ROGERS, H. J.; Fundamentals of Item Response Theory, Sage : Newbury Park, KARINO, C. A., ANDRADE, D. F.; Entenda a Teoria de Respostas ao Item (TRI), utilizada no Enem, Nota Técnica, INEP, KLEIN, R., FONTANIVE, N. S., Avaliação em Larga Escala: Uma Proposta Inovadora, Em Aberto, Brasília, v.15, n.66, MOREIRA JUNIOR, F.; Aplicações da Teoria da Resposta ao Item (TRI) no Brasil, Rev. Bras. Biom., v.28, n. 4, RECKASE, M. D.; Multidimensional Item Response Theory, New York, NY : Springer TALEB, N.; Fooled by Randomness, The Hidden Role of Chance in the Markets and in Life, New York : W. W. Springer, 2001.

14 7 Anexos Anexo I Parâmetros TRI e outras estatísticas relativas aos 63 itens do ENEM % Acertos corresponde ao percentual da amostra de candidatos que acertou a questão; dificuldade, discriminação e acerto casual correspondem aos parâmetros homônimos da TRI; corr. Biserial corresponde ao coeficiente de correlação biserial da Teoria Clássica. Item % Acertos Dificuldade Discriminação Acerto casual Corr. Biserial 1 49,7 0,039 0,294 0,004 0, ,6 2,118 0,986 0,166 0, ,8 1,350 1,233 0,196 0, ,9-0,419 0,750 0,372 0, ,9 3,324 0,563 0,076 0, ,4 0,532 0,661 0,244 0, ,1 1,253 0,688 0,083 0, ,9 1,353 0,807 0,174 0, ,1-0,459 0,447 0,009 0, ,6-0,202 1,145 0,216 0, ,3 1,804 0,768 0,423 0, ,8 1,994 0,266 0,015 0, ,9 2,151 0,603 0,213 0, ,2 0,429 0,852 0,149 0, ,0 0,636 1,175 0,122 0, ,5 1,122 1,469 0,396 0, ,9-0,183 0,570 0,155 0, ,1 1,457 1,213 0,285 0, ,8 0,233 0,950 0,196 0, ,9-0,634 0,524 0,002 0, ,5 2,064 2,256 0,253 0, ,7 1,645 0,762 0,233 0, ,0 0,371 0,887 0,144 0, ,8 1,796 1,581 0,343 0, ,0 1,254 0,919 0,188 0, ,1 1,102 1,348 0,197 0, ,8 0,433 0,845 0,077 0, ,2 0,391 0,401 0,003 0, ,8 1,727 1,144 0,164 0, ,3 1,026 0,960 0,200 0, ,9 1,951 1,292 0,239 0, ,9 0,577 1,026 0,208 0, ,7 1,301 0,825 0,179 0, ,7 1,016 0,645 0,265 0, ,2 0,693 1,005 0,158 0, ,0 0,891 0,759 0,277 0, ,4-0,428 0,186 0,003 0, ,8 2,590 0,968 0,070 0, ,0 1,123 0,719 0,194 0, ,0-2,036 0,588 0,008 0, ,8 0,733 0,841 0,072 0, ,8 0,322 0,007 0,237-0, ,3 1,844 0,588 0,143 0, ,3-0,156 0,907 0,242 0, ,6 1,071 0,837 0,185 0, ,7 2,508 1,201 0,069 0, ,9-0,494 0,988 0,118 0, ,8 0,562 0,661 0,274 0, ,0-1,445 0,854 0,375 0, ,3 1,396 1,721 0,290 0, ,4 2,397 1,493 0,102 0, ,9 0,979 0,931 0,194 0, ,7 1,398 0,937 0,139 0, ,8-0,534 0,438 0,026 0, ,1 1,012 1,013 0,095 0, ,3 1,931 1,203 0,152 0, ,4 0,819 1,213 0,187 0, ,6 2,176 1,120 0,127 0, ,5 0,476 1,304 0,216 0, ,3 2,081 1,357 0,309 0, ,5 1,451 0,951 0,159 0, ,7 1,314 0,656 0,421 0, ,4 2,141 1,975 0,150 0,181

15 Anexo II Histograma do traço latente da amostra, ENEM A curva em vermelho indica a distribuição normal padrão e as barras em azul a distribuição a posteriori das habilidades. Distribuição das Habilidades - ENEM Observações Habilidade Anexo III Regressão linear da habilidade estimada pela TRI com o percentual de acertos da Teoria Clássica, na escala da distribuição normal padrão. Gráfico produzido automaticamente pelo software de cálculo da TRI, que equivale à Figura 1, que foi obtida diretamente dos dados. Habilidade Regressão da Habilidade com o Percentual de Acertos Coef. Linear = Coef. Linear = Correlação = Percentual de Acertos Valores Ajustados 95% I.C. (abaixo) 95% I.C. (acima) Anexo IV Curva de Informação do Teste, ENEM Curva de Informação do Teste Informação Standard Error Escala de Habilidade 0