Um modelo de TRI para dados do vestibular da Universidade Federal de Uberlândia

Transcrição

1 Um modelo de TRI para dados do vestibular 20.2 da Universidade Federal de Uberlândia Luana Amâncio Terra 2 José Waldemar da Silva 2 Lúcio Borges de Araújo 2 Maria Imaculada de Sousa Silva 2 Introdução O objetivo nos exames de seleção ou em avaliações é identificar os candidatos mais habilitados ao que se propõem. No entanto, a habilidade de um indivíduo ou vestibulando é um traço latente e por isso não pode ser quantificada de forma direta. O SAEB (Sistema Nacional de Avaliação da Educação Básica) e o Enem (Exame Nacional do Ensino Médio) são exemplos de aplicação da TRI no Brasil. Enquanto a quantificação do escore do sujeito, na forma clássica de avaliação depende inteiramente do teste aplicado, na TRI pode-se comparar a habilidade de sujeitos submetidos a diferentes testes, com a condição apenas de que estes estejam medindo a mesma habilidade ou traço latente (Pasquali, 2007). Os trabalhos pioneiros nesta área, foram os de Lord (952) e de Rasch (960), os quais estabeleceram modelos paramétricos para o cálculo da probabilidade de acerto do item, por meio da habilidade do candidato e de características do item. Inicialmente o modelo utilizado nesta área foi a distribuição normal acumulada, mas Birnbaum (968) propôs modelar a probabilidade acumulada, em função da habilidade, por meio da função logística pois esta possui os parâmetros relacionados à característica do item e a habilidade de forma explícita. Adotado um modelo, é necessário inferir sobre seus parâmetros. A inferência bayesiana é atrativa pois permite determinar ou resumir os resultados de interesse a partir de uma distribuição de probabilidade nos parâmetros do modelo e em quantidades não observáveis, e isso resolve o problema da precisão das estimativas nos casos de amostras pequenas. A ideia de que após observar Y = y a quantidade de informação sobre parâmetros aumenta é bastante intuitiva e o teorema de Bayes é a regra de atualização utilizada para quantificar este aumento de informação. p(θ y) = p(θ,y) p(y) = p(y θ)p(θ) p(y) p(y θ)p(θ), () Graduanda em Estatística. Agradecimento ao CNPq pelo apoio financeiro. fritiza@hotmail.com 2 FAMAT - UFU. zewaldemar@famat.ufu.br

2 Na seleção de modelos o termo p(y) em () tem papel crucial (Ehlers, 2003). Inferências, a partir da distribuição a posteriori conjunta consiste em encontrar a distribuição marginal para cada parâmetro, θ i, ou seja, para cada elemento do vetor θ. A forma de encontrar tal distribuição é integrando a distribuição posteriori conjunta em relação aos outros parâmetros do modelo. Em geral a forma analítica da integral é complexa e multidimensional ou até mesmo impossível de ser calculada, mas este problema é contornado satisfatoriamente com o uso de aproximações. Dentre os métodos de simulação que fazem o uso de cadeias de Markov, para tais aproximações, destaca-se o Amostrador de Gibbs (Gelfand et al., 990) A possibilidade de determinar uma distribuição de probabilidade a posteriori conjunta para as quantidades não observáveis nos modelos de TRI motiva a modelagem dos dados por meio da inferência bayesiana. O presente trabalho tem como objetivo ajustar o modelo logístico de três parâmetros (Birnbaum, 968) a dados oriundos do vestibular 20.2 para alguns cursos (Tabela ) da Universidade Federal de Uberlândia (UFU) via inferência bayesiana, com o auxilio dos softwares R (R Development Core Team, 20) e do WinBUGS (Lunn et al., 2000). 2 Material e métodos Os dados utilizados para ilustração da metodologia referem-se à primeira fase do Vestibular 20.2 da UFU, para 5 cursos conforme Tabela. Tabela : Cursos considerados neste trabalho e suas respectivas codificações. Curso - Cidade Código Curso - Cidade Código Administração Integral - Uberlândia Ciências Biológicas Noturno - Uberlândia 9 Administração Noturno - Uberlândia 2 Ciências Contábeis Integral - Uberlândia 0 Agronomia Integral - Monte Carmelo 3 Ciências Contábeis Noturno - Uberlândia Agronomia Integral - Uberlândia 4 Ciências Econômicas Integral - Uberlândia 2 Biotecnologia Integral - Patos de Minas 5 Educação Física Integral - Uberlândia 3 Biotecnologia Integral - Uberlândia 6 Enfermagem Integral - Uberlândia 4 Ciência da Computação Integral - Uberlândia 7 Engenharia Aeronáutica Integral - Uberlândia 5 Ciências Biológicas Integral - Uberlândia 8 A primeira fase do referido vestibular foi composta por 0 questões ou itens, aplicados em dois dias. As questões de 2 a 30 do segundo dia de provas, referentes à língua estrangeira, com opção de inglês, espanhol ou francês foram excluídas do banco de dados com o intuito de simplificar a análise. Desta forma, os dados analisados corresponderam à 00 itens. Nos problemas em que o interesse é estudar a habilidade do indivíduo, o grau de dificuldade do item, o poder de discriminação e o acerto casual, o modelo adequado é o logístico de três parâmetros (Birnbaum, 968), cuja forma matemática é: P(Y i j = θ i ) = c j + ( c j ) + e a j(θ i b j ), (2) 2

3 em que Y i j = significa que o indivíduo i respondeu corretamente o item j; θ i é a habilidade do indivíduo i; b j, o grau de dificuldade do item j, a j, o poder de discriminação do item j, c j o acerto casual e P(Y i j = θ i ) é a probabilidade de um indivíduo i com habilidade θ i responder corretamente o item j. O modelo em (2) é adequado para respostas dicotomizadas, isto é, toda questão ou item terá resposta certa ou errada que é uma característica das questões consideradas. Assumindo o valor para a resposta correta e 0 para a errada, então tem-se a distribuição de Bernoulli, f Yi j (y i j, p) = p y i j ( p) y i j, (3) para a variável cuja realização é 0 ou e representa as possíveis respostas do indivíduo i para o item j e p é a probabilidade do item j ter sido respondido corretamente. O modelo em (2) representa o parâmetro p da distribuição Bernoulli em (3). Combinando (2) e (3) tem-se a função de verossimilhança: f Y (y a j,b j,c j,θ i ) = } yi j I,J { c j + ( c j ) i, j + e a j(θ i b j ) { [ ]} yi j c j + ( c j ) + e a. (4) j(θ i b j ) As prioris adotadas para cada um dos parâmetros foi como segue: a j LN(,) = f (a j ) = a j 2π e 2 [lna j ] 2, (5) b j U[ 3,3] = f ( b j ) = 6, (6) c j Beta(,4) = f (c j ) = B(,4) ( c j) 2, (7) (2007). θ i N(0,) = f (θ i ) = 2π e 2 θ2 i. (8) A justificativa para o uso de cada uma das prioris acima pode ser encontrada em Bragion A análise foi realizada declarando (2), (3), (5), (6), (7) e (8) como modelo no WinBUGS (Lunn et al., 2000). Este software foi utilizado neste trabalho, com o auxílio do R (R Deve- 3

4 lopment Core Team, 20) por meio do pacote R2WinBUGS. O uso do WinBUGS a partir do R proporciona maior flexibilidade no manuseio dos resultados para obtenção de resumos e de outros estudos de interesse. Para a realização das inferências foi considerada uma amostra final de tamanho 4000, obtida a partir de uma cadeia com iterações, em que as primeiras foram descartadas para a eliminação do efeito do valor inicial arbitrário e armazenado um valor a cada 0 para que estes fossem não correlacionados. Análises prévias para diagnóstico de convergência, no mesmo software WinBUGS, indicaram valores extremamente menores que estes. 3 Resultado e discussões As correlações entre as habilidades e os escores dos candidatos, em todos os cursos estudados, foram consideráveis e positivas (Tabela 2), indicando que, em geral, quanto maior o escore bruto do candidato maior também é sua habilidade. No entanto, a partir destes mesmos valores de correlações pode-se concluir que o candidato com maior escore bruto não é necessariamente o mais habilidoso, da mesma forma que o candidato com menor escore bruto não é necessariamente o menos habilidoso. Em outras palavras, há uma relação linear forte e positiva entre as duas variáveis, porém não perfeita. Tabela 2: Correlações entre as habilidades e os escores brutos dos candidatos em quinze cursos estudados. Curso r 0,79 0,84 0,70 0,87 0,93 0,87 0,84 0,88 0,82 0,83 0,82 0,83 0,92 0,89 0,90 Quanto às características dos itens, determinadas pelo parâmetro relativo à dificuldade (b), poder de discriminação (a) e acerto casual (c) não houve, em geral, um padrão para todos os cursos. Porém, verificou-se que as questões 2 e 9, ambas de biologia e 38 e 39, ambas de português apresentaram, em geral, os menores valores para o parâmetro de dificuldade não sendo no entanto, as questões com maiores poderes de discriminação ou menores índices de acerto casual. Dentre as questões com menor dificuldade destaca-se a questão 39 para os candidatos do curso de Engenharia Aeronáutica Integral (b=-,98). A questão 8 de filosofia apresentou o maior poder de discriminação no curso de Administração Noturno - Uberlândia (a=9,22); também foi a questão com maior poder de discriminação para os cursos de Agronomia Integral - Monte Carmelo (a=6,73) e Agronomia Integral - Uberlândia (a=6,03), mas não foi a mais discriminativa para os demais cursos. A análise completa dos dados do vestibular UFU 20.2 será apresentada em trabalhos futuros. 4

5 4 Conclusões A análise de TRI via inferência bayesiana é facilmente realizada com o auxílio dos softwares R e WinBUGS. Questões com alto grau de dificuldade não implicam em bom poder de discriminação. Embora exista uma forte correlação, indivíduos com os maiores escores brutos não são necessariamente os mais habilidosos. Referências [] BIRNBAUM, A., Some latent trait models and their use in inferring an examinee s ability. In F. M. Lord and M. R. Novick (Eds.), Statistical Theories of Mental Test Scores, Reading, MA: Addison-Wesley [2] BRAGION, M. L. L. Um modelo de Teoria de Reposta ao Item para os dados do Vestibular da UFLA p. Dissertação (Mestrado em Estatística e Experimentação Agropecuária). Universidade Federal de Lavras, Lavras, [3] EHLERS, R. S. Introdução à inferência bayesiana. 2 ed. Curitiba, p. [4] GELFAND, A. E.; SMITH, A. F. M. Sampling based approaches for calculating marginal densities. Journal of the American Statistical Association, London, v.85, n.40, p , June 990. [5] LORD, F. M. A theory of test scores. Psychometric Monograph n.7, Psychometric Society, 952. [6] LUNN, D.J., THOMAS, A., BEST, N., AND SPIEGELHALTER, D. WinBUGS: a Bayesian modelling framework: concepts, structure, and extensibility. Statistics and Computing, 0: , [7] PASQUALI, L. Teoria de Resposta ao Item. Laboratório de pesquisa em avaliação e medida LABPAM/UNB, Brasília-DF, 2007, 236 p. [8] R Development Core Team (20). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. Disponível em: Acesso em: 02 jun. 20. [9] RASCH, G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen : Danish Institute for Educational Research