CALIBRAÇÃO DE ITENS DO VESTIBULAR NA ESCALA DO ENEM

Transcrição

1 CALIBRAÇÃO DE ITENS DO VESTIBULAR NA ESCALA DO ENEM Nayara Negrão Pereira - VUNESP 1 Natália Noronha Barros - VUNESP 2 Dalton Francisco de Andrade - UFSC 3 Christiane Bellorio Gennari Stevao - VUNESP 4 Tânia Cristina Macedo Azevedo - UNESP 5 Guaracy Tadeu Rocha - UNESP 6 Ligia Maria Trevisan - UNESP 7 RESUMO Em 2009 o ENEM, com a adesão de diversas universidades federais e estaduais, se tornou o mais importante exame do país para ingresso em instituições de ensino superior. Este trabalho tem por finalidade, calibrar itens do vestibular da Universidade Estadual Paulista (UNESP) na mesma métrica do ENEM, de modo a ter resultados de simulados, aplicados a alunos que se preparam para o exame, utilizando a metodologia adotada no ENEM e na mesma métrica da prova. Para isso, foram analisados apenas os itens que se adequaram à Matriz de Habilidades do Exame Nacional. Foram utilizados os microdados do ENEM 2009 e do vestibular UNESP 2010 para a disciplina de Matemática e suas tecnologias. A metodologia estatística adotada foi a Teoria da Resposta ao Item (TRI), que a partir de 2009 passou a ser utilizada no ENEM. Para validar os resultados obtidos, utilizou-se de duas metodologias: Correlação de Pearson e Análise de Regressão. O resultado, embora preliminar, permite perceber que é possível obter estimativas dos parâmetros dos itens na mesma métrica do ENEM, de modo a possibilitar a aplicação de simulados com resultados que utilizam a mesma metodologia adotada no exame, de modo a auxiliar professores em possíveis intervenções pedagógicas e proporcionar ao aluno ter uma ideia de seu desempenho real na prova do ENEM, o que permite um estudo mais apropriado, profícuo e direcionado ao exame. Palavras-chave: Teoria de Resposta ao Item, ENEM, Vestibular, Equalização. INTRODUÇÃO Criado em 1998 o ENEM possuía o objetivo de avaliar o desempenho do estudante no Ensino Médio. A popularização definitiva do ENEM veio em 2004, quando o Ministério da Educação instituiu o Programa Universidade para Todos (ProUni) e vinculou a concessão de bolsas de estudo em IES privadas à nota obtida no exame. Nos anos seguintes, houveram aumentos significativos do número de participantes e em 2008 o ENEM alcançou a marca histórica de inscritos e presentes no exame (Klein & Fontaine, 2009). Em 2009 o ENEM, com a adesão de diversas universidades federais e estaduais, se tornou o mais importante exame do país para ingresso em instituições de ensino superior. 1 Nayara Negrão Pereira, Me. em Estatística, npereira@vunesp.com.br, Fundação VUNESP 2 Natália Noronha Barros, Me. em Estatística, nbarros@vunesp.com.br, Fundação VUNESP 3 Dalton Francisco de Andrade, Dr. em Estatística, dandrade@inf.ufsc.br 4 Christiane Bellorio G. Stevao, Me. em Educação, cstevao@vunesp.com.br, Fundação VUNESP 5 Tânia C. Macedo Azevedo, Dra. em Física, tmacedo@feg.unesp.br, Fundação VUNESP. 6 Guaracy Tadeu Rocha, Dr. em Ciências Biológicas, grocha@vunesp.com.br, Fundação VUNESP 7 Ligia Maria Trevisan, Dra. em Química, ltrevisan@vunesp.com.br, Fundação VUNESP

2 Neste mesmo ano, o exame deixou de ter suas notas calculadas pela Teoria Clássica dos Testes TCT e passou a utilizar a TRI, o que permitiu a criação de uma escala de proficiência. A metodologia (TRI) sugere formas de representar a relação entre a probabilidade de um indivíduo dar uma certa resposta a um item e seus traços latentes, proficiência ou competências e habilidades na área de conhecimento avaliada (Andrade, Tavares & Valle, 2000). A Universidade Estadual Paulista Júlio de Mesquita Filho (UNESP), passou a ter seu próprio sistema para vestibular, a partir de 1991, com a Fundação VUNESP sendo a responsável. Em 2010, o vestibular passou por uma concepção inovadora, foi abandonada a divisão das provas por área de conhecimento e adotada a concepção dos Parâmetros Curriculares Nacionais para o Ensino Médio e a Proposta Curricular do Estado de São Paulo, documentos de altíssima competência, que estabelecem uma primorosa configuração do ensino em nosso país (Vunesp, 2010). A prova da UNESP em 2010 foi realizada em duas fases. A primeira composta por itens de natureza objetiva (Conhecimentos Gerais) e a segunda por itens de natureza discursiva (Conhecimentos Específicos). A prova de Conhecimentos Gerais foi composta de 90 questões objetivas, sendo 30 de cada uma das seguintes áreas especificadas nos PCNs do ensino médio: Linguagens, Códigos e suas Tecnologias; Ciências Humanas e suas Tecnologias e Ciências da Natureza, Matemática e suas Tecnologias. A prova de conhecimentos específicos foi composta por 36 questões discursivas, sendo 12 de cada uma das áreas especificadas nos PCNs do ensino médio. O Exame Nacional do Ensino Médio, igualmente ao Vestibular da UNESP, avalia os participantes em quatro áreas de conhecimento: Linguagens, Códigos e suas tecnologias; Matemática e suas tecnologias; Ciências da Natureza e suas tecnologias; Ciências Humanas e suas tecnologias, cada uma com 45 questões. Os cursinhos pré-vestibular da UNESP fazem parte da política de extensão universitária da UNESP que visa o acesso ao curso superior (Nascimento, 2013). Os mesmos são oferecidos gratuitamente e preparam os estudantes egressos da rede pública para os exames vestibulares de universidades públicas e particulares. Atualmente, a UNESP possui 34 cursinhos em suas diversas unidades, localizadas por todo o território do Estado de São Paulo.

3 Mas qual a importância de se calibrar itens na mesma escala do ENEM? Com a atenção voltada para o Exame Nacional do Ensino Médio, instituições educacionais (escolas, cursinhos, etc.) tem trabalhado cada vez mais para preparar seus alunos a ingressar em um curso superior, elaborando simulados, atividades e intervenções pedagógicas que, gradualmente, vão adaptando suas provas ao que é exigido pelo Enem. Além de preparar os alunos para o exame, por meio desses mecanismos, as instituições conseguem obter um retorno de onde se concentram as dificuldades dos alunos e quais disciplinas e habilidades ainda não foram consolidados. Este trabalho tem por finalidade calibrar itens na métrica do ENEM, possibilitando a aplicação de simulados com resultados obtidos pela mesma metodologia adotada no exame. Desta forma, serve como ferramenta adicional no auxílio aos professores em possíveis intervenções pedagógicas, que tem por finalidade preparar os discentes para o exame, simulando o seu desempenho real e trabalhando pontualmente suas deficiências. METODOLOGIA Para o desenvolvimento do presente trabalho, foram utilizados os microdados do ENEM 2009, do Vestibular 2010 da UNESP e os fundamentos da Teoria da Resposta ao Item, para a obtenção das estimativas dos parâmetros dos itens e das proficiências dos participantes. Foi utilizado o modelo de 3 parâmetros, proposto por Bock & Zimowski (1997), já bastante conhecido. E o método utilizado para a obtenção das proficiências é denominado Expected a Posteriori (EAP), o mesmo utilizado para gerar as proficiências dos participantes do ENEM (Karino e Barbosa, 2011). A primeira etapa realizada foi a obtenção das estimativas dos parâmetros dos itens da prova de Matemática e suas tecnologias do ENEM 2009, ou seja, a reprodução dos parâmetros partindo do pressuposto que o grupo referência utilizado para a calibração dos itens do ENEM 2009, corresponde aos alunos concluintes do Ensino Médio Regular. O método da máxima verossimilhança marginal foi utilizado para a obtenção dos parâmetros dos itens. Após a obtenção das estimativas dos parâmetros dos itens, foram reproduzidas as proficiências dos indivíduos do ENEM na edição de 2009 para a prova de Matemática e suas tecnologias, o que foi imprescindível para a realização das comparações dos resultados auferidos, com aqueles disponibilizados nos microdados do Inep. Para validar os resultados obtidos, utilizou-se de duas metodologias: Correlação de Pearson e Análise de Regressão.

4 Do total de alunos que prestaram o vestibular da UNESP, foram identificados quais haviam participado do ENEM 2009, para que, a partir dessa identificação e com a nota desse conjunto de indivíduos nas quatro áreas de conhecimento avaliadas no ENEM 2009, fosse possível criar uma variável chamada ID (Identificação), composta por 16 caracteres, que seria a nota de cada aluno nas áreas avaliadas, considerando uma casa decimal, modo disponibilizado nos microdados do INEP. O mesmo foi realizado nas notas dos indivíduos que participaram do ENEM 2009, tanto para os alunos que fizeram o ENEM e o vestibular UNESP, como para os alunos que realizaram apenas o ENEM A ideia de se criar essa variável ID, foi para realizar o cruzamento do vetor de resposta dos indivíduos no vestibular da UNESP, com o vetor de resposta destes mesmos indivíduos no ENEM 2009, tornando-se assim um único vetor. Com isso, foi possível considerar que aluno havia respondido uma única prova, composta por itens do ENEM e por itens do Vestibular, que se adequaram à matriz de habilidades do ENEM. Para os participantes do ENEM, que não prestaram o Vestibular da UNESP, os itens do Vestibular foram tratados como não apresentados. Com essa estruturação de dados foi realizada a segunda etapa, o processo de equalização via população para a obtenção dos parâmetros dos itens do Vestibular na escala do ENEM. Os valores dos parâmetros dos itens de vestibular sofreram uma transformação para que fossem calibrados na escala do ENEM, sendo definida com média 500 e desvio-padrão 100. Para tanto, foi utilizado o método conhecido como Média-Desvio (Mean-Sigma), que utiliza: S = M M, G1 = e G1 G2 SG2 onde, SG1 e SG2 são os desvios-padrão e MG1 e MG2 as médias das proficiências estimadas. RESULTADOS E DISCUSSÃO A Figura 1 mostra a relação entre as proficiências do ENEM 2009 para a disciplina de Matemática Escala (500,100) e as proficiências obtidas após a reprodução dos parâmetros dos itens Escala (0,1). Pode-se perceber a relação linear entre as duas estimativas que põe em evidência, que os resultados obtidos por meio da reprodução dos parâmetros dos itens e da estimação das proficiências são próximos dos obtidos no ENEM 2009.

5 Figura 1: Diagrama de dispersão: Proficiência (500,100), ENEM 2009 x Proficiência (0,1), reproduzida. Para a validação da reprodução dos parâmetros dos itens, foi utilizada a Correlação de Pearson entre as duas estimativas das proficiências, onde se obteve R=0, (valores de R próximos de 1, indicam alta correlação), portanto, se infere que os parâmetros obtidos foram muito próximos dos utilizados no ENEM A Figura 2 mostra a Curva Característica do Item (CCI) para cada item do vestibular, equalizados com os itens do ENEM Os mesmos apresentaram bons parâmetros nesse processo de equalização. Figura 2: Curvas de Informação dos Itens de Matemática do Vestibular UNESP CONCLUSÃO O resultado do presente trabalho, conquanto preliminar, permite perceber que é possível obter estimativas dos parâmetros dos itens na métrica do ENEM, de forma a possibilitar a aplicação de simulados com resultados que utilizam a mesma metodologia

6 adotada no exame e que possuem o escopo de auxiliar, professores e instituições de ensino, em possíveis intervenções pedagógicas. Outrossim, proporciona aos alunos terem ideia de seus desempenhos reais na prova do ENEM. A conjugação dessas utilidades, promovem um estudo mais apropriado, profícuo e direcionado ao exame. Como continuidade deste trabalho, será empregado o mesmo processo para análise dos itens em todas as disciplinas que compõem as provas do ENEM e os vestibulares aplicados pela Fundação Vunesp, desde que se adequem à Matriz de Habilidades do Exame Nacional, bem como, a utilização desses itens na preparação dos alunos nos cursinhos de pré-vestibular da UNESP. REFERÊNCIAS KLEIN, R.; FONTANIVE, N. Uma nova maneira de avaliar as competências escritoras na redação do ENEM. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 17, n. 65, p , out./dez ANDRADE, D.F., TAVARES, H.R., VALLE, R.C. Teoria da Resposta ao Item: Conceitos e Aplicações. 14 o Simpósio Nacional de Probabilidade e Estatística; Caxambu-MG. São Paulo: Associação Brasileira de Estatística VUNESP, Fundação. Relatório Vestibular Unesp 2010 v.1 (1981). São Paulo: Fundação Vunesp, 1981 p. 5. NASCIMENTO, D. do. Política de acesso ao ensino superior: uma análise dos cursinhos prévestibulares da Unesp Marília, 2013 p. 16. BOCK, R. D. and ZIMOWSKI, M. F. Multiple Group IRT. In Handbook of Modern Item Response Theory. W.J. van der Linder e R.K. Hambleton Eds. New York: Spring-Verlag KARINO, C.A., BARBOSA, M.T.S. Nota técnica: Procedimento de cálculo das Notas ENEM. URL: tecnica_procedimento_de_calculo_das_notas_enem_2.pdf