MAE Teoria da Resposta ao Item

Transcrição

1 MAE Teora da Resposta ao Item Fernando Henrque Ferraz Perera da Rosa Robson Lunard 1 de feverero de 2005 Lsta 2 1. Na Tabela 1 estão apresentados os parâmetros de 6 tens, na escala (0,1). a b c Tabela 1: Tabela de Parâmetros para os 6 tens. (a) Para cada tem, calcule a probabldade de acerto nas profcêncas: θ 3, 2, 1.0, 1, 2, 3. Na Tabela 2 temos para cada tem e para cada profcênca Tabela 2: Tabela de Probabldades para cada Item (b) Construa a curva característca de cada tem (CCI). Temos na Fgura 1 as curvas característcas dos 6 tens. 1

2 logto.rt(x, parms[1, ]) Item 1 Item 2 Item 3 Item 4 Item 5 Item x Fgura 1: CCI dos 6 tens (c) Qual o tem mas fácl? Para uma população com profcênca centrada em um valor de até 2, o tem mas fácl é o tem 3. Pode-se observar sso notando que o seu parâmetro de acerto casual (c) é o maor dentre todos os tens (25%), o que nesse caso sgnfca, que para profcêncas tendendendo a menos nfnto, ele é o tem com maor probabldade de acerto. Para profcêncas centradas em valores maores que 2, o tem que mostra maor probabldade de acerto é o tem 4, o que pode se observar pelo seu parâmetro b (parâmetro de dfculdade), que é o menor dentre todos os tens. (d) Qual o tem que menos dscrmna? Pelo gráfco e pelo parâmetro a (de dscrmnação), vemos que o tem 6 é o que menos dscrmna. (e) Qual o tem no qual um aluno com profcênca gual a 0 tem a maor probabldade de acerto? Pelo gráfco e pela Tabela 2 vemos que o tem 4 é o tem peddo (tem 72% de probabldade de acerto para alguém com profcênca 0). (f) Qual tem é mas fácl para a profcênca gual a -1? E para a profcênca gual a 0? Ambos são o tem 4, que tem respectvamente probabldade de acerto maor do que os outros nos dos casos (respectvamente, 48% e 72%). (g) Exstem dos tens que são gualmente dfíces na profcênca -1? E na profcênca 1? Na profcênca -1, não, mas na profcênca 1, os tens 1 e 2 têm mesma probabldade de acerto (50%). 2. Mostre que os parâmetros de um mesmo tem, meddos em duas escalas A e B, seguem as seguntes relações: b A αb B β e a A (1/α)a B, onde α e β são coefcentes a serem determnados. Mostre também que a 2

3 profcênca θ de um ndvíduo medda nessas duas escalas também segue a relação θ A αθ B β. Pela defnção do modelo logístco de três parâmetros (ML3), temos na escala A, a probabldade de acerto de um tem arbtaro por um ndvíduo com parâmetros latente θ A em um tem com parâmetro a A, b A, c é dada por: 1 P (U 1 θ A ) c + (1 c) 1 + exp a A (θ A b A ) (1) Analogamente, a probablda de acerto desse ndvíduo para o mesmo tem, mas com parâmetros em outra escala B, é dada por: 1 P (U 1 θ B ) c + (1 c) 1 + exp a B (θ B b B ) (2) Notemos agora que ndependemente da escala em que se mede os parâmetros, a probabldade de acerto do ndvíduo deve ser a mesma. Isso mplca que as expressões 1 e 2 devem ser guas: P (U 1 θ A ) P (U 1 θ B ) Substtundo as expressões pelas quantdades em 1 e 2, chegamos em: a A (θ A b A ) a B (θ B b B ) (3) Isolando a A, obtemos a segunda gualdade pedda: a A (θ A b A ) a B (θ B b B ) θ B b B a A a B θ A b A a A 1 α a B ( α θ A b A θ B b B Utlzando agora essa expressão obtda na expressão 3, obtemos a prmera gualdade pedda: ). a B α (θ A b A ) a B (θ B b B ) a Bb A a B (θ B b B ) a Bθ A α α a B b A αa B (θ B b B ) + a B θ A b A α(θ B b B ) + θ A 3

4 αθ B + αb B + θ A αb B αθ B + θ A αb B β (β αθ B θ A ). Fnalmente, utlzando novamente a expressão 3 e a prmera e a segunda gualdades, temos: a B α (θ A (αb B β)) a B (θ B b B ) θ A α b B + β α θ B b B O que prova a últma dentdade pedda. θ A α θ B β α θ A αθ B β. 3. Desenvolva o processo de estmação por máxma verossmlhança através do método de Newton-Raphson em um modelo de 3 parâmetros com as profcêncas conhecdas, em um teste composto de I tens responddos por n alunos. Seja ζ (ζ 1,..., ζ I ) o conjunto de parâmetros dos tens, que temos nteresse em estmar. Pela ndependênca entre as respostas de dferentes ndvíduos e ndependênca local, podemos escrever a verossmlhança como: L(ζ) n P (U j. u j. θ j, ζ) j1 n I P (U j u j θ j, ζ ). j1 1 Temos que U j é uma varável dcotômca. Defnndo P j e Q j como suas probabldades de sucesso e fracasso respectvamente (obtdas a partr do modelo de 3 parâmetros), podemos rescrever, a partr da defnção da densdade de uma varável Bernoul: P (U j u j θ j, ζ ) P uj j Q 1 uj j. Substtundo essa expressão na verossmlhança: L(ζ) n I j1 1 P uj j Q 1 uj j. 4

5 Donde segue que a log-verossmlhança fca dada por: log L(ζ) j1 1 I u j log P j + (1 u j ) log Q j }. O estmador de máxma verossmlhança de ζ é aquele que maxmza essa função. Equvalentemente, devemos ter satsfeta a condção: Notemos agora que: δζ 0, 1,..., I. δζ δ log P j u j + (1 u j ) δ log P } j δζ δζ ( ) 1 δpj u j (1 u j ) 1 P j δζ Q j δζ 1 u j (1 u j ) 1 } ( ) δpj P j Q j δζ } ( ) uj P j δpj. P j Q j δζ j1 j1 j1 j1 ( δpj )} Consderamos então a segunte ponderação: com W j P j Q j P j Q j, P j 1 + e Da(θj b) } 1 e Q j 1 P j. Assm, podemos rescrever a dervada da log-verossmlhança como: δζ Observemos anda que: (u j P j ) W j Pj Q j j1 } (δpj δζ ). 5

6 δp j δa D(1 c )(θ j b )Pj Q j, δp j δb Da (1 c )PjQ j, δp j δc Q j. Resolvendo a equação de estmação para o parâmetro a temos: δa ( ) } δpj Wj (u j P j ) δa Pj Q j (u j P j )D(1 c )(θ j b )PjQ j j1 j1 D(1 c ) Para o parâmetro b, temos: δb j1 (u j P j )(θ j b )W j j1 ( ) } δpj Wj (u j P j ) δb Pj Q j (u j P j )( 1)Da (1 c )Pj Q j j1 Da (1 c ) (u j P j )W j j1 Fnalmente para o parâmetro c, temos: W j P j Q j W j P j Q j } } δc (u j P j ) δc (u j P j )Q j j1 j1 } (u j P j ) W j Pj j1 ( ) δpj Wj W j P j Q j P j Q j } } 6

7 Assm, temos que as funções de score para estmação dos parâmetros a, b e c são dadas por: S(a ) D(1 c ) (u j P j )(θ j b )W j, j1 S(b ) Da (1 c ) S(c ) (u j P j )W j, j1 (u j P j ) W j. j1 Para desenvolvmento da equação de estmação precsamos da matrz Hessana, com as dervadas de segunda ordem, e de valores ncas para os parâmetros ˆζ. Dados os valores ncas ˆζ (a, b, c ), uma estmatva atualzada será ˆζ ˆζ + ˆζ, onde ˆζ é um erro de apro- (1) xmação. Observando que a expansão em Taylor da log-verossmlhança l(ζ) em relação a essas quantdades não depende de ζ l, para l, temos que: usando a notação: P j δl(ζ ) δa δl(ζ ) δb δl(ζ ) δc 0, L 1 L 2 L 3, δl( ˆζ ) δa L 11 δ2 l( δa 2 ˆζ ) L 12 δ2 l( ˆζ ) δl( ˆζ ) L 21 δ2 l( ˆζ ) L 22 δ2 l( ˆζ ) δb δb a L 13 δ2 l( ˆζ ) δa b δa c L 23 δ2 l( ˆζ ) δb c δl( ˆζ ) L 31 δ2 l( ˆζ ) L 32 δ2 l( ˆζ ) L 33 δ2 l( ˆζ ) δc δc a δc b δb 2 δc 2 e desprezando os restos das aproxmações de Taylor, teremos, em notação matrcal: L 1 L 2 L 3 L 11 L 12 L 13 L 21 L 22 L 23 L 31 L 32 L 33 â ˆb ĉ Resolvendo em ˆζ e usando a relação de recorrênca:. 7

8 â (1) ˆb(1) ĉ (1) â ˆb ĉ L 11 L 12 L 13 L 21 L 22 L 23 L 31 L 32 L 33 1 L 1 L 2 L 3. ˆζ (1) Obtdo, consdera-se esse como um ponto ncal para obtenção de e assm por dante. Para obter cada expressão L k e L kl, notemos que: ˆζ (2) δζ δζ onde: [ ( )] ( ) ( ) ( δ uj P j δpj uj P j δ 2 ) } P j + δζ P j Q j δζ P j Q j δζ δζ [δvj ] ( ) ( δpj δ 2 ) } P j + v j δζ δζ δζ δζ, j1 j1 e v j u j P j P j Q j δv j δζ δ δζ ( ) uj P j 1 (P j Q j ) 2 P j Q j P j Q j ( δpj δζ ) (u j P j ) 1 (P j Q j ) 2 P jq j + (u j P j )(1 2P j )} ( ) 1 (P j Q j ) 2 (u j P j ) 2 δpj δζ ( ) vj 2 δpj. δζ ˆζ (t) ( )} δpj Q j ( δpj δζ ) Dada a estmatva de ζ em t passos, a estmatva t + 1 será dada pelo algortmo de Newton-Raphson por: δζ ˆζ (t+1) ˆζ (t) H( (t) ˆζ ) 1 (t) h( ˆζ ), onde, h é a função escore, que já cálculamos acma para obtenção das equações de estmação, sendo dada por: 8

9 h j D(1 c )(θ j b ) Da (1 c ) ( P j ) 1, e a matrz Hessana H: H(ζ ) δζ δζ ( Pj Q j ) ( 1 δ 2 ) P j δζ δζ D 2 (1 c )(θ j b ) 2 (1 2P j ).. D(1 c )1 + Da (θ j b )(1 2P j )} D2 a 2 (1 c )(1 2P j ). D(θ j b ) Da 0. As questões abaxo deverão ser responddas a partr dos dados do arquvo LE I.dat, obtdos a partr da aplcação, em um grupo de 346 alunos, de um teste composto de 22 tens de múltpla escolha, com 5 alternatvas de resposta cada. As 8 prmeras colunas contém a dentfcação do aluno e as 22 colunas restantes as suas respostas. O gabarto do teste está no arquvo Gabarto.doc. 4. Realze uma análse, utlzando o programa BILOG, de cada um dos tens e do teste como um todo, segundo a TRI com o modelo de 3 parâmetros. Com o programa abaxo no BILOG, fazemos a análse desejada. 1 Ex. 4 - Lsta 2 - MAE Teora da Resposta ao Item 2 Prova com 22 quest~oes de 5 alternatvas respondentes 3 4 >COMMENTS 5 6 Prova composta de 22 quest~oes com 5 alternatvas 7 8 >GLOBAL NPArm3, LOGstc, 9 DFName LEI.dat, 10 KFName LEI.dat, 11 SAVe; 12 >SAVe PARm LEI.par, 13 GRAph LEI.plt, 14 SCOre LEI.sco ; 15 >LENGTH NITems 22; 16 >INPUT NTOtal22, SAMple346, NALt5, NIDch8; 17 (8A1,22A1) 18 >TEST TNAme ExempTRI, 19 ITEms(1(1)22), 20 INAmes( 01, 02, 03, 04, 05, 06, 9

10 21 07, 08, 09, 10, 11, 12, 22 13, 14, 15, 16, 17, 18, 23 19, 20, 21, 22 ); 24 >CALIB NOSprors, NOGpror, NQPT 10, IDIst0, 25 CYCles50, NEWton20, RIDge0; 26 >SCORE METHOD1, INFo 2, NOPRINT; Observando a saída da Fase 1 (Análse Clássca), vemos que a maora dos tens não mostra nenhuma dscrepânca evdente, a menos do tem 12, que obteve a segunte saída: NUMBER NUMBER ITEM*TEST CORRELATION ITEM NAME TRIED RIGHT PERCENT LOGIT PEARSON BISERIAL , que está de acordo com a análse clássca feta na Lsta 1. Na Fase 2, notamos que houve convergênca nos passos teratvos com o crtéro utlzado (0.01) apenas no últmo passo (vgésmo). Observando as estmatvas dos parâmetros, por tem, notamos que de modo geral os tens apresentaram bom desepenho, com o parâmetro de dfculdade b cobrndo bem a escala de -1 a 1, e estmatvas dos erros padrões razoavelmente baxas. Os valores das estmatva dos parâmetros de dscrmnação a também se apresentaram em geral razoáves, maores que 1. Novamente alguns tens chamaram a atenção nessa etapa da análse. O tem 12 (que hava apresentado correlação bseral negatva e índce de dscrmnação 0 na análse clássca) não teve estmatva para o parâmetro b, e a estmatva do índce de dscrmnação a fo de 0. A estatístca ququadrado de ajuste também fo bem alta (23 com 4 graus de lberdade), resultado em um p-valor de menos de 1 por 10 ml. Outros tens que chamaram a atenção foram o 6 e o 17. O 6 teve um índce de dscrmnação a razoavelmente que 1 (0.745) e um erro padrão bem alto para a estmatva de b (2.450). O tem 17 teve um índce de dscrmnação muto baxo, próxmo de 0 (0.286) e uma estmatva do erro padrã para o índce de dfculdade b de (mas de 11 desvos padrões na escala (0,1) consderada). Fora esses 3 tens o desempenho do teste aparentou ser razoável. Devdo aos problemas obtdos com os tens na segunda fase, não consderaramos a saída da tercera fase para análse nesse caso, já que as estmatvas das profcêncas não serão tão boas. Devdo ao problema na estmatva dos parâmetros do tem 12, o BILOG não gera os gráfcos e para a saída da Fase 3 no tem 11 - o que mostra a nfluênca que tens que não aderem ao modelo podem ter no ajuste global. 10

11 5. Refaça a análse, após a elmnação de tens que você julgou não terem funconando bem. Compare os resultados obtdos com aqueles do exercíco anteror. Com o programa abaxo no BILOG, rodamos a análse trando os tens 6, 12 e Ex. 4 - Lsta 2 - MAE Teora da Resposta ao Item 2 Prova com 22 quest~oes de 5 alternatvas respondentes 3 4 >COMMENTS 5 6 Prova composta de 22 quest~oes com 5 alternatvas 7 8 >GLOBAL NPArm3, LOGstc, 9 DFName LEI.dat, 10 KFName LEI.dat, 11 SAVe; 12 >SAVe PARm LEI.par, 13 GRAph LEI.plt, 14 SCOre LEI.sco ; 15 >LENGTH NITems 19; 16 >INPUT NTOtal22, SAMple346, NALt5, NIDch8; 17 (8A1,22A1) 18 >TEST TNAme ExempTRI, 19 ITEms(1,2,3,4,5,7,8,9,10,11,13,15,16,18,19,20,21,22), 20 INAmes( 01, 02, 03, 04, 05, 21 07, 08, 09, 10, 11, 22 13, 14, 15, 16, 18, 23 19, 20, 21, 22 ); 24 >CALIB NOSprors, NOGpror, NQPT 10, IDIst0, 25 CYCles50, NEWton20, RIDge0; 26 >SCORE METHOD1, INFo 2, NOPRINT; Novamente não houve convergênca pelo crtéro desejado até o cclo mposto, o que ndca que as estmatvas dos parâmetros não são necessaramente ótmas. Em geral novamente o resultado do teste fo razoável, com o parâmetro de dfculdade b cobrndo a escala (0,1) e o parâmetro de dscrmnação a maor que 1 para todos os tens. Olhamos então para a estmatva das profcêncas, na Fase 3. Temos na Fgura 2 o Hstograma das profcêncas estmadas, com a lnha azul representando a estmatva da densdade pelo método do kernel. A méda fo de e o desvo padrão 1.596, próxmos do esperado pela dstrbução Normal padrão assumda para a população de traços latentes. 11

12 Hstogram of escores Densty escores Fgura 2: Hstograma das profcêncas estmadas Sobre A versão eletrônca desse arquvo pode ser obtda em net Copyrght (c) Fernando Henrque Ferraz Perera da Rosa. É dada permss~ao para copar, dstrbur e/ou modfcar este documento sob os termos da Lcença de Documentaç~ao Lvre GNU (GFDL), vers~ao 1.2, publcada pela Free Software Foundaton; Uma cópa da lcença em está nclusa na seç~ao nttulada "Sobre / Lcença de Uso". 12