Ajuste de um modelo de TRI aos dados do vestibular do curso de Administração Noturno da Universidade Federal de Uberlândia

Transcrição

1 Ajuste de um modelo de TRI aos dados do vestibular 20.2 do curso de Administração Noturno da Universidade Federal de Uberlândia José Waldemar da Silva 2 Mirian Fernandes Carvalho Araújo 2 Lucio Borges de Araujo 2 Rogério de Melo Costa Pinto 2 Leandro Alves Pereira 2 Introdução Na Teoria de Resposta ao Item (TRI), objetiva-se estimar a habilidade de um candidato a partir dos parâmetros característicos de um item ou dos itens. Sendo assim um candidato cujo escore bruto é alto não tem, necessariamente habilidade alta ou ainda, a classificação dos respondentes do teste pode ser diferente conforme feita a partir dos escores brutos ou das habilidades. Em geral, o objetivo nos exames de seleção ou em avaliações é identificar os respondentes habilidosos e a habilidade é um traço latente e por isso não pode ser quantificada de forma direta. A habilidade de um indivíduo é independente do teste a ele aplicado (Pasquali, 2007) e desta forma pode-se comparar a habilidade de sujeitos submetidos a diferentes testes, com a condição apenas de que estes estejam medindo a mesma habilidade ou traço latente. Para o ajuste de modelos de TRI pressupõe-se que existe apenas um traço latente responsável pela probabilidade de determinada resposta. Porém, o desempenho dos respondentes é multideterminado, isto é, o indivíduo usa de um conjunto de habilidades para responder um teste. Desta forma, o pressuposto de unidimensionalidade se torna uma questão de grau e admite-se que há um traço latente dominante responsável pela realização de um teste. Outra suposição que dever ser atendida é a independência local mas, a unidimensionalidade garante a independência local e desta forma apenas uma suposição deve ser feita (Andrade et al., 2000). Há um número muito grande de índices que avaliam a unidimensionalidade. O índice de unidimensionalidade baseado na análise fatorial tem sido amplamente usado. A ideia deste índice é que se o teste é unidimensional então apenas um fator é suficiente para explicar toda a variação dos dados. zewaldemar@famat.ufu.br 2 FAMAT - UFU

2 Por meio da análise fatorial é possível determinar a existência de certas estruturas subjacentes nos dados de tal forma a reagrupá-los em um número menor de dimensões (Corrar et al., 2007) e mais especificamente no caso da análise de TRI unidimensional esta estrutura deve ser única. Para atender tal suposição, itens com carga fatorial baixa seriam eliminados da análise pois, estes não estariam correlacionados com o fator que representa a habilidade dos candidatos ou dos respondentes do teste. A inferência a partir de um modelo de TRI pode ser por meio de métodos bayesianos e estes, são interessantes pois permite determinar ou resumir os resultados de interesse a partir de uma distribuição de probabilidade nos parâmetros do modelo e em quantidades não observáveis, e isso resolve o problema da precisão das estimativas nos casos de amostras pequenas. Na inferência bayesiana a ideia é que após observar Y = y, ou seja após o experimento, a quantidade de informação sobre parâmetros aumenta. Esta ideia pode ser matematizada por meio do teorema de Bayes (Ehlers, 2003). p(θ y) = p(θ,y) p(y) = p(y θ)p(θ) p(y) p(y θ)p(θ), () Inferências, a partir da distribuição a posteriori conjunta (p(θ y)) consiste em encontrar a distribuição marginal para cada parâmetro, θ i, ou seja, para cada elemento do vetor θ. A forma de encontrar tal distribuição é integrando a distribuição posteriori conjunta em relação aos outros parâmetros do modelo. Em geral a forma analítica da integral é complexa e multidimensional ou até mesmo impossível de ser calculada, mas este problema é contornado satisfatoriamente com o uso de aproximações. Dentre os métodos de simulação que fazem o uso de cadeias de Markov, para tais aproximações, destaca-se o Amostrador de Gibbs (Gelfand et al., 990) A possibilidade de determinar uma distribuição de probabilidade a posteriori conjunta para as quantidades não observáveis nos modelos de TRI motiva a modelagem dos dados por meio da inferência bayesiana. O presente trabalho tem como objetivos ajustar o modelo logístico de três parâmetros (Birnbaum, 968) a dados do vestibular 20.2 para o curso de Administração Noturno (campus Santa Mônica) da Universidade Federal de Uberlândia (UFU) via inferência bayesiana, com o auxilio dos softwares R (R Development Core Team, 202) e verificar o impacto da falta de unidimensionalidade por meio da correlação das habilidades dos candidatos e das estimativas dos parâmetros dos itens nas análises sem e com unidimensionalidade. 2 Material e métodos Os dados utilizados para ilustração da metodologia referem-se à primeira fase do Vestibular 20.2 da UFU, para o curso de Administração Noturno - Campus Santa Mônica. A primeira fase do referido vestibular foi composta por 0 questões ou itens, aplicados em 2

3 dois dias. As questões de 2 a 30 do segundo dia de provas, referentes à língua estrangeira, com opção de inglês, espanhol ou francês foram excluídas do banco de dados com o intuito de simplificar a análise. As questões 7 e 9 respectivamente a 7 a de física e a de matemática foram anuladas e desta forma, os dados analisados sem a verificação da unidimensionalidade corresponderam à 98 itens. Este caso ou análise será denominado aqui de não unidimensional. Em uma segunda etapa, foram excluídos itens com carga fatorial abaixo de 0,20 (Conde e Laros, 2007) pois estes, não estariam associados ao mesmo traço latente dos demais. Valores mais altos de corte são indicados na literatura mas, decidiu-se por este valor pois, caso contrário a quantidade de itens excluídos seria muito grande. Eliminado tais itens o banco de dados reduziu-se a 55 questões. Denomina-se esta análise de unidimensional. Nos problemas em que o interesse é estudar a habilidade do indivíduo, o grau de dificuldade do item, o poder de discriminação e o acerto casual, o modelo adequado é o logístico de três parâmetros (Birnbaum, 968), cuja forma matemática é: P(Y i j = θ i ) = c j + ( c j ) + e a j(θ i b j ), (2) em que Y i j = significa que o indivíduo i respondeu corretamente o item j; θ i é a habilidade do indivíduo i; b j, o grau de dificuldade do item j, a j, o poder de discriminação do item j, c j o acerto casual e P(Y i j = θ i ) é a probabilidade de um indivíduo i com habilidade θ i responder corretamente o item j. O modelo em (2) é adequado para respostas dicotomizadas o que é uma característica das questões consideradas. Assumindo o valor para a resposta correta e 0 para a errada, então tem-se a distribuição de Bernoulli, f Yi j (y i j, p) = p y i j ( p) y i j, (3) para a variável cuja realização é 0 ou e representa as possíveis respostas do indivíduo i para o item j e p é a probabilidade do item j ter sido respondido corretamente. O modelo em (2) representa o parâmetro p da distribuição Bernoulli em (3). Combinando (2) e (3) tem-se a função de verossimilhança: I,J { } yi j f Y (y a j,b j,c j,θ i ) = c j + ( c j ) i, j + e a j(θ i b j ) { [ ]} yi j c j + ( c j ) + e a. (4) j(θ i b j ) As prioris adotadas para cada um dos parâmetros foi como segue: a j LN(,), (5) b j U[ 3,3], (6) c j Beta(,4), (7) θ i N(0,). (8) A justificativa para o uso de cada uma das prioris mencionadas pode ser encontrada em Bragion (2007). 3

4 Para implementar o algoritmo Metropolis-Hastings de forma mais simples, as distribuições a priori foram escolhidas como distribuições geradoras de candidatos para cada parâmetro e desta forma, a probabilidade de aceitação de um valor amostrado é conforme expressão 9 (Paulino et al., 2003). { α(β,β ) = min, f Y (β } ). (9) f Y (β) É possível observar em (9) que a probabilidade de aceitação resume-se a razão de verossimilhanças. Para a realização das inferências foi considerada uma amostra final de tamanho 5000, obtida a partir de uma cadeia com iterações, em que as primeiras foram descartadas para a eliminação do efeito do valor inicial arbitrário e armazenado um valor a cada 20 para que estes fossem não correlacionados. Análises prévias para diagnóstico de convergência, indicaram valores extremamente menores que estes. A convergência foi verificada para todos os parâmetros. 3 Resultado e discussões A correlação entre as habilidades no caso não unidimensional (θ) e unidimensional (θ ) foi muito forte (r= 0,987) indicando que não haveria muita discrepância na classificação dos respondentes em um caso e no outro. Este resultado também pode ser observado por meio do gráfico de dispersão (Figura ) para as duas habilidades. A correlação entre a habilidade e os escores brutos dos candidatos foi muito forte, tanto no caso unidimensional (r= 0,9828) quanto no caso não unidimensional (r = 0,9706). Observa-se a partir destes valores que a classificação dos candidatos por meio de suas habilidades e por meio dos escores brutos não é necessariamente a mesma mas, em geral, nas duas situações observa-se uma relação forte e diretamente proporcional entre o escore bruto e a habilidade do candidato. Na tabela estão as estimativas de maior e menor valor de discriminação (a), de grau de dificuldade (b) e de acerto casual (c), bem como, as questões às quais estas estimativas referemse. Tabela : Maiores e menores valores de estimativas para os parâmetros a, b e c na análise não unidimensional e unidimensional. Parâmetro Não Unidimensional Unidimensional Maior Menor Maior Menor a 5,56 (Q73) 0,48 (Q) 5,86 (Q0) 0,44 (Q44) b 2,69 (Q73) -,97 (Q9) 2,53 (Q95) -,96 (Q9) c 0,39 (Q) 0,07 (Q42) 0,30 (Q60) 0,06 (Q43) Observa-se que a menor estimativa de grau de dificuldade foi obtida na questão 9 (Q9) a qual foi considerada nas duas análises, não unidimensional e unidimensional. 4

5 A grande quantidade de questões ou itens excluídos da análise sugere uma investigação mais aprofundada sobre a existência de um único traço latente responsável pelo desempenho dos estudantes no vestibular. 4 Conclusões Embora exista uma forte correlação, indivíduos com os maiores escores brutos não são necessariamente os mais habilidosos independente do atendimento da pressuposição de unidimensionalidade. As questões com maior ou maior estimativa dos parâmetros não foram as mesmas na análise com e sem unidimensionalidade. Referências [] BRAGION, M. L. L. Um modelo de Teoria de Reposta ao Item para os dados do Vestibular da UFLA p. Dissertação (Mestrado em Estatística e Experimentação Agropecuária). Universidade Federal de Lavras, Lavras, [2] BIRNBAUM, A., Some latent trait models and their use in inferring an examinee s ability. In F. M. Lord and M. R. Novick (Eds.), Statistical Theories of Mental Test Scores, Reading, MA: Addison-Wesley [3] CONDE, F. N.; LAROS, J. A. Unidimensionalidade e a propriedade de invariância das estimativas da habilidade pela TRI. Avaliação Psicológica, v. 6 n. 2, p , [4] CORRAR, L. J.; PAULO, E.; DIAS FILHO, J. M. Análise multivariada: para os cursos de administração, ciências contábeis e economia. São Paulo: Atlas, [5] EHLERS, R. S. Introdução à inferência bayesiana. 2 ed. Curitiba, p. [6] GELFAND, A. E.; SMITH, A. F. M. Sampling based approaches for calculating marginal densities. Journal of the American Statistical Association, London, v. 85, n. 40, p , June 990. [7] PAULINO, C. D.; TURKMAN, M. A. A.; MURTEIRA, B. Estatística bayesiana. Lisboa: Fundação Calouste Gulbenkian, [8] PASQUALI, L. Teoria de Resposta ao Item. Laboratório de pesquisa em avaliação e medida LABPAM/UNB, Brasília-DF, 2007, 236 p. [9] R Development Core Team (202). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. Disponível em: Acesso em: 02 nov