Teoria da Resposta ao Item: Conceitos e Aplicações

Transcrição

1 Teora da Resposta ao Item: Concetos e Aplcações Dalton Francsco de Andrade 1 Helton Rbero Tavares 2 Raquel da Cunha Valle 3 1 Professor Ttular do Departamento de Estatístca e Matemátca Aplcada da Unversdade Federal do Ceará (UFC). e-mal: dandrade@ufc.br 2 Professor do Departamento de Estatístca da Unversdade Federal do Pará (UFPA). e-mal: helton@ufpa.br 3 Estatístco da Fundação Carlos Chagas (FCC). e-mal: rvalle@fcc.gov.br

2 Para Janete, Crstna e Fernando. Regna e Henrque

3 Apresentação A avalação educaconal passou a ser, embora tardamente, um dos pontos prvlegados das polítcas educaconas. Já são números os projetos de avalação conduzdos por órgãos responsáves pelos destnos da Educação em nosso país. Reclamava-se, porém, por uma metodologa mas sofstcada e precsa, que permtsse não só a avalação pontual mas, sobretudo, a construção de escalas de habldades que pudessem levar a um acompanhamento do progresso do conhecmento adqurdo pelos alunos ao longo do tempo. A Teora Clássca, baseada em resultados obtdos em provas através de escores brutos ou padronzados, largamente utlzada até então, padece de váras lmtações, como, por exemplo, ser dependente do conjunto de tens que compõem o nstrumento de medda, lmtando assm, a sua aplcabldade. A Teora da Resposta ao Item (TRI), que vem sendo progressvamente ntroduzda em nosso meo, é um nstrumento poderoso nos processos quanttatvos de avalação educaconal, pelo fato de permtr, nclusve, a construção de escalas de habldade calbradas. No entanto, a aplcabldade da TRI tem encontrado algumas dfculdades, tanto do ponto de vsta teórco, devdo a problemas de dfícl solução no campo da estmação, como do ponto de vsta computaconal. O lvro de Dalton F. Andrade, Helton R. Tavares e Raquel C. Valle, vem ao encontro de uma real necessdade dos pesqusadores clarfcando alguns pontos essencas da teora, trazendo um exemplo prátco de aplcação em larga escala, como é o caso do Sstema de Avalação do Rendmento Escolar do Estado de S.Paulo (SARESP). Escrto de forma extremamente ddátca, não requerendo do letor conhecmentos muto aprofundados do ponto de vsta matemátco-estatístco, com exceção de algumas partes dos capítulos de estmação, aborda os prncpas

4 v Apresentação modelos matemátcos utlzados, os problemas de estmação e equalzação, e aponta os recursos computaconas adequados. Certamente, o texto se tornará um referencal obrgatóro para todos aqueles nteressados em contrbur para o progresso dos aspectos quanttatvos e metodológcos da Educação Braslera. Rubens Murllo Marques Prof. Ttular Estatístca-Matemátca da UNICAMP Dretor Presdente da Fundação Carlos Chagas

5 Prefáco A déa de escrever um texto ntrodutóro sobre a Teora da Resposta ao Item TRI, até agora tão pouco conhecda pelos especalstas em avalação e pelos estatístcos no Brasl, surgu da necessdade de se dvulgar o potencal dessa teora tanto no seu aspecto estatístco-matemátco quanto na sua aplcação e nterpretação na avalação da aprendzagem e em outras áreas. Nosso envolvmento com a TRI começou em 1996, com a análse dos dados gerados pela pesqusa AVEJU, da Secretara de Estado da Educação de São Paulo, e contnuou no Sstema de Avalação do Rendmento Escolar do Estado de São Paulo SARESP e no Sstema de Avalação da Educação Básca SAEB do INEP/MEC. Esses dos sstemas de avalação possuem a sua base metodológca fundamentada na TRI e são, atualmente, os grandes exemplos no Brasl da sua potencaldade. Nossa maor preocupação fo a de escrever um texto que pudesse ser utlzado não só pelos estatístcos, mas também pelos especalstas em avalação. O sucesso da TRI passa necessaramente pelo trabalho conjunto de especalstas dessas duas áreas. Devdo a enorme abrangênca da TRI. Nesse sentdo, procuramos detalhar alguns pontos que achamos mportantes. Muto do materal e déas apresentadas nesse lvro foram desenvolvdos durante o planejamento e a análse do SARESP e nos trenamentos que mnstramos para técncos da Secretara de Estado da Educação de São Paulo, da Fundação para o Desenvolvmento da Educação - FDE e da Fundação Carlos Chagas, aos quas queremos agradecer a pacênca e dedcação. Gostaramos também de expressar os nossos maores agradecmentos a Yara Lúca Espósto, Ruben Klen e Heraldo Vanna pelos longos papos e dscussões sobre os aspectos teórcos e aplcados da TRI e a Profa. Rose Neubauer, Secretára de

6 v Prefáco Estado da Educação de São Paulo, pela utlzação de parte dos resultados do SARESP. Devdo a enorme abrangênca da TRI, procuramos detalhar os pontos que achamos mas nteressantes para um texto ntrodutóro e fornecer o maor número possível de referêncas bblográfcas que cobrssem os outros pontos. Este trabalho fo parcalmente fnancado pelo CNPq, pela CAPES, pelo Projeto Temátco da FAPESP no. 96/ e pelo PRONEX no Feverero 2000 Dalton Francsco de Andrade Helton Rbero Tavares Raquel da Cunha Valle

7 Conteúdo Apresentação Prefáco v Lsta de Fguras 1 1 Introdução 3 2 Modelos Matemátcos Introdução Modelos envolvendo um únco grupo Modelos para tens dcotômcos ou dcotomzados Modelos para tens não dcotômcos Modelos envolvendo duas ou mas populações Estmação: uma únca população Introdução Estmação dos parâmetros dos tens Aplcação do algortmo Newton-Raphson Aplcação do método Scorng de Fsher Erro-padrão Escore nulo ou perfeto Estmatvas ncas Estmação das habldades Aplcação do algortmo Newton-Raphson Aplcação do método Scorng de Fsher Erro-padrão

8 v Conteúdo Escore nulo ou perfeto Estmatvas ncas Estmação conjunta: parâmetros dos tens e habldades Máxma verossmlhança margnal Abordagem de Bock & Leberman Métodos teratvos Métodos de quadratura Abordagem de Bock & Atkn Aplcação do algortmo EM Estmação bayesana Estmação dos parâmetros dos tens Estmação das habldades Resumo Equalzação Introdução Dferentes tpos de equalzação Um únco grupo fazendo uma únca prova Um únco grupo fazendo duas provas totalmente dstntas Um únco grupo fazendo duas provas parcalmente dstntas Dos grupos fazendo uma únca prova Dos grupos fazendo duas provas totalmente dstntas Dos grupos fazendo duas provas parcalmente dstntas Dferentes problemas de estmação Quando todos os tens são novos Quando todos os tens já estão calbrados Quando alguns tens são novos e outros já estão calbrados Equalzação a posteror Estmação: duas ou mas populações Introdução Notações e defnções Estmação dos parâmetros dos tens Estmação dos parâmetros populaconas Estmação conjunta: aplcação do algortmo EM

9 x 5.5 Estmação bayesana dos parâmetros dos tens Estmação das habldades Estmação por MV Estmação por MAP Estmação por EAP A Escala de Habldade e uma Aplcação Prátca Introdução Construção e nterpretação de escalas de habldade Uma aplcação prátca As característcas da aplcação O tpo de resultados alcançados Um exemplo: a Língua Portuguesa na 3. a e 4. a séres Interpretação dos resultados Recursos computaconas Introdução Recursos computaconas Os programas BILOG for Wndows v e BILOG-MG v Métodos para a calbração dos tens Métodos mplementados para a estmação das habldades A equalzação nos programas BILOG e BILOG-MG O BILOG e o BILOG-MG frente a populações e/ou provas dstntas O BILOG e o BILOG-MG frente ao conjunto de tens a ser calbrado O uso do BILOG-MG quando desejamos fxar parte dos tens e calbrar o restante, e há mas de uma população envolvda Consderações geras 135 A 139 A A

10 x Conteúdo A Referêncas Bblográfcas 147

11 Lsta de Fguras 2.1 Exemplo de uma Curva Característca do Item CCI Curvas característcas e de nformação de város tens Representação gráfca dos modelos de escala gradual e de resposta gradual Representação gráfca de 6 stuações quanto ao número de grupos e de tpos de provas Gráfco de dspersão das estmatvas do parâmetro de dfculdade - b dos tens comuns da prova de Língua Portuguesa da 8. a sére entre o RN e o SAEB Gráfco de dspersão das estmatvas do parâmetro de dscrmnação - a dos tens comuns da prova de Língua Portuguesa da 8. a sére entre o RN e o SAEB Exemplo de 2 tens âncora Esquema da composção da prova de lgação Representação gráfca da dstrbução a posteror das habldades em Língua Portuguesa dos alunos da 3. a sére Representação gráfca da dstrbução a posteror das habldades em Língua Portuguesa dos alunos da 4. a sére Esquematzação dos tens comuns entre as provas

12

13 Capítulo 1 Introdução Resultados obtdos em provas, expressos apenas por seus escores brutos ou padronzados, têm sdo tradconalmente utlzados nos processos de avalação e seleção de ndvíduos. No entanto, os resultados encontrados dependem do partcular conjunto de tens (questões) que compõem o nstrumento de medda, ou seja, as análses e nterpretações estão sempre assocadas à prova como um todo, o que é a característca prncpal da Teora Clássca das Meddas. Assm, torna-se nvável a comparação entre ndvíduos que não foram submetdos às mesmas provas, ou pelo menos, ao que se denomna de formas paralelas de testes. Maores detalhes sobre essa metodologa, nclundo sua fundamentação matemátca, podem ser encontrados em Gullksen (1950), Lord & Novck (1968) e Vanna (1987), entre outros. Atualmente, em váras áreas do conhecmento, partcularmente em avalação educaconal, vem crescendo o nteresse na aplcação de técncas dervadas da Teora de Resposta ao Item TRI, que propõe modelos para os traços latentes, ou seja, característcas do ndvíduo que não podem ser observadas dretamente. Esse tpo de varável deve ser nferda a partr da observação de varáves secundáras que estejam relaconadas a ela. O que esta metodologa sugere são formas de representar a relação entre a probabldade de um ndvíduo dar uma certa resposta a um tem e seus traços latentes, profcêncas ou habldades na área de conhecmento avalada. Uma das grandes vantagens da TRI sobre a Teora Clássca é que ela permte a comparação entre populações, desde que submetdas a provas que tenham alguns tens comuns, ou anda, a comparação entre ndvíduos da mesma população que tenham sdo submetdos a provas totalmente dferentes. Isto porque uma das prncpas característcas da TRI é que ela tem como elementos centras os tens, e não a prova como um todo. Assm, váras questões de nteresse prátco na área da Educação podem

14 4 Introdução ser responddas. É possível por exemplo, avalar o desenvolvmento de uma determnada sére de um ano para outro ou comparar o desempenho entre escolas públcas e prvadas. Os prmeros modelos de resposta ao tem surgram na década de 50, e eram modelos em que se consderava que uma únca habldade, de um únco grupo, estava sendo medda por um teste onde os tens eram corrgdos de manera dcotômca. Estes modelos foram prmeramente desenvolvdos na forma de uma função ogva normal e, depos, foram descrtos para uma forma matemátca mas convenente, e que vem sendo usada até então: a logístca. Lord (1952) fo o prmero a desenvolver o modelo undmensonal de 2 parâmetros, baseado na dstrbução normal acumulada (ogva normal). Após algumas aplcações desse modelo, o própro Lord sentu a necessdade da ncorporação de um parâmetro que tratasse do problema do acerto casual. Assm, surgu o modelo de 3 parâmetros. Anos mas tarde, Brnbaum (1968) substtuu, em ambos os modelos, a função ogva normal pela função logístca, matematcamente mas convenente, pos é uma função explícta dos parâmetros do tem e de habldade e não envolve ntegração. Independentemente do trabalho de Lord, Rasch (1960) propôs o modelo undmensonal de 1 parâmetro, expresso também como modelo de ogva normal e, também mas tarde descrto por um modelo logístco por Wrght (1968). Samegma (1969) propôs o modelo de resposta gradual com o objetvo de obter mas nformação das respostas dos ndvíduos do que smplesmente se eles deram respostas corretas ou ncorretas aos tens. Bock (1972), Andrch (1978), Masters (1982) e Murak (1992) também propuseram modelos para mas de duas categoras de resposta, assumndo dferentes estruturas entre essas categoras. Recentemente, Bock & Zmowsk (1997) ntroduzram os modelos logístcos de 1, 2 e 3 parâmetros para duas ou mas populações de respondentes. A ntrodução desses modelos trouxe novas possbldades para as comparações de rendmentos de duas ou mas populações submetdas a dferentes testes com tens comuns, conforme dscutdo em Hedges & Vevea (1997) e Andrade (1999), por exemplo. Um ponto crítco na TRI é a estmação dos parâmetros envolvdos nos modelos, em partcular quando necessta-se estmar tanto os parâmetros dos tens quanto as habldades. Incalmente, a estmação era feta através do

15 5 método da máxma verossmlhança conjunta que envolve um número muto grande de parâmetros a serem estmados smultaneamente e, consequentemente, grandes problemas computaconas. Em 1970, Bock & Leberman ntroduzram o método da máxma verossmlhança margnal para a estmação dos parâmetros em duas etapas. Na prmera etapa estmam-se os parâmetros dos tens, assumndo-se uma certa dstrbução para as habldades. Na segunda etapa, assumndo os parâmetros dos tens conhecdos, estmam-se as habldades. Apesar do avanço que esse método trouxe para o problema, ele requera que todos os parâmetros dos tens fossem estmados smultaneamente. Em 1981, Bock & Atkn propuseram uma modfcação no método acma, utlzando o algortmo EM de Dempster, Lard & Rubn (1977), de modo a permtr que os tens pudessem ter seus parâmetros estmados em separado, facltando em muto o aspecto computaconal do processo de estmação. Mas recentemente, métodos bayesanos foram propostos para, entre outras cosas, resolver o problema de estmação dos parâmetros dos tens responddos corretamente ou ncorretamente por todos os respondentes, e também o problema da estmação das habldades dos respondentes que acertaram ou erraram todos os tens da prova. Nas últmas décadas, a TRI vem tornando-se a técnca predomnante no campo de testes em város países. Aqu no Brasl, a TRI fo usada pela prmera vez em 1995 na análse dos dados do Sstema Naconal de Ensno Básco - SAEB. A ntrodução da TRI permtu que os desempenhos de alunos de 4a. e 8a. séres do Ensno Fundamental e de 3a. sére do Ensno Fundamental pudessem ser comparados e colocados em uma escala únca de conhecmento. A partr dos resultados obtdos no SAEB, outras avalações em larga escala, como por exemplo o Sstema de Avalação de Rendmento Escolar do Estado de São Paulo - SARESP, também foram planejadas e mplemementadas de modo a serem analsadas através da TRI. Uma lsta das prncpas aplcações da TRI no Brasl em avalações educaconas pode ser encontrada em Andrade & Klen (1999). O objetvo desse lvro é ntroduzr os prncpas concetos, modelos e resultados que podem ser obtdos a partr da aplcação da TRI. No Capítulo 2 são apresentados os modelos, com suas nterpretações e suposções báscas. No Capítulo 3 dscute-se o processo de estmação dos parâmetros dos tens e das habldades dos respondentes pertencentes a uma únca população. O

16 6 Introdução conceto de equalzação e suas dferentes formas de obtenção são dscutdos no Capítulo 4. Os métodos de estmação são retomados no Capítulo 5 com o modelo para duas ou mas populações. No Capítulo 6 dscute-se a cração de escalas de habldade e suas nterpretações e uma aplcação a dados reas. No Capítulo 7 apresentam-se os prncpas recursos computaconas e no Capítulo 8 apresentam-se comentáros sobre a utlzação da TRI, nclusve em outras áreas, e possíves tópcos para pesqusa. Por últmo, apresentam-se demonstrações de alguns dos resultados do Capítulo 3 no Apêndce e uma bblografa com outras referêncas além daquelas ctadas no texto, com o objetvo de fornecer ao letor o maor número de nformações sobre a TRI. Os autores recomendam fortemente a letura de Lord (1980) e Hambleton, Swamnathan & Rogers (1991) para maores detalhes dos fundamentos e aplcações dessa teora.

17 Capítulo 2 Modelos Matemátcos 2.1 Introdução A TRI é um conjunto de modelos matemátcos que procuram representar a probabldade de um ndvíduo dar uma certa resposta a um tem como função dos parâmetros do tem e da habldade (ou habldades) do respondente. Essa relação é sempre expressa de tal forma que quanto maor a habldade, maor a probabldade de acerto no tem. Os város modelos propostos na lteratura dependem fundamentalmente de três fatores: () da natureza do tem dcotômcos ou não dcotômcos; () do número de populações envolvdas apenas uma ou mas de uma; () e da quantdade de traços latentes que está sendo medda apenas um ou mas de um. Nesse lvro estaremos somente consderando modelos que avalam apenas um traço latente ou habldade, os chamados modelos undmensonas. Modelos que consderam que mas de uma habldade está sendo medda, os chamados modelos multdmensonas, podem ser encontrados em Lnden & Hambleton (1997), por exemplo. Na Seção 2.2 apresentaremos os modelos undmensonas mas utlzados para um únco grupo. Os modelos para dos ou mas grupos serão dscutdos na Seção 2.3.

18 8 Modelos Matemátcos 2.2 Modelos envolvendo um únco grupo Em prmero lugar, é mportante defnr os concetos de grupo e população, que serão largamente utlzados neste e nos demas capítulos. Quando usarmos o termo grupo, estaremos nos referndo a uma amostra de ndvíduos de uma população. Neste trabalho, o conceto de grupo está dretamente lgado ao processo de amostragem e estaremos sempre consderando o processo de amostragem aleatóra smples. Portanto, quando falarmos em um únco grupo de respondentes, nos refermos a uma amostra de ndvíduos retrada de uma mesma população. Consequentemente, dos grupos ou mas de respondentes são dos conjuntos dstntos de ndvíduos, que foram amostrados de duas ou mas populações. Na área de Avalação Educaconal é comum que uma população seja defnda por determnadas característcas que podem varar, dependendo dos objetvos do estudo, e portanto, podem ou não ser relevantes para a dferencação de populações. Por exemplo, pode-se consderar que a 5. a sére do Ensno Fundamental de São Paulo é a população alvo. Daí, toma-se uma únca amostra dos alunos dessa população, composta de alunos do período durno e do noturno. Nesse caso, temos então um únco grupo de respondentes. Já em outro estudo, poderíamos consderar a 5. a sére durna e a 5. a sére noturna do Ensno Fundamental de São Paulo como duas populações de nteresse. Então, seram tomadas duas amostras: uma dos alunos do período durno e outra dos alunos do noturno. Nessa stuação, teríamos dos grupos de alunos. Portanto, é pelo própro processo de amostragem do estudo que dentfca-se quantas (e quas) populações estão envolvdas. Exemplos do que usualmente são consderadas como populações dstntas são: séres dstntas (3. a sére e 4. a sére); períodos dstntos (durno e noturno); uma mesma sére, mas em anos dstntos (3. a sére de 1996 e 3. a sére de 1997), etc. A segur, apresentaremos os modelos mas utlzados quando um teste é aplcado a um únco grupo de respondentes Modelos para tens dcotômcos ou dcotomzados Os modelos apresentados nesta subseção, podem ser utlzados tanto para a análse de tens de múltpla escolha dcotomzados (corrgdos como certo

19 2.2 Modelos envolvendo um únco grupo 9 ou errado) quanto para a análse de tens abertos (de resposta lvre), quando avalados de forma dcotomzada. Na prátca, os modelos logístcos para tens dcotômcos são os modelos de resposta ao tem mas utlzados, sendo que há bascamente três tpos, que se dferencam pelo número de parâmetros que utlzam para descrever o tem. Eles são conhecdos como os modelos logístcos de 1, 2 e 3 parâmetros, que consderam, respectvamente: () somente a dfculdade do tem; () a dfculdade e a dscrmnação; () a dfculdade, a dscrmnação e a probabldade de resposta correta dada por ndvíduos de baxa habldade. Neste lvro, daremos maor ênfase à explcação do modelo logístco de 3 parâmetros, uma vez que é o mas completo e portanto os outros dos podem ser faclmente obtdos a partr dele. O modelo logístco de 3 parâmetros (ML3) Defnção Dos modelos propostos pela TRI, o modelo logístco undmensonal de 3 parâmetros (ML3) é atualmente o mas utlzado e é dado por: 1 P (U j 1 θ j ) c + (1 c ) 1 + e Da (θ j b ), (2.1) com 1, 2,, I, e j 1, 2,, n, onde: U j θ j é uma varável dcotômca que assume os valores 1, quando o ndvíduo j responde corretamente o tem, ou 0 quando o ndvíduo j não responde corretamente ao tem. representa a habldade (traço latente) do j-ésmo ndvíduo.

20 10 Modelos Matemátcos P (U j 1 θ j ) é a probabldade de um ndvíduo j com habldade θ j responder corretamente o tem e é chamada de Função de Resposta do Item FRI. b a c D é o parâmetro de dfculdade (ou de posção) do tem, meddo na mesma escala da habldade. é o parâmetro de dscrmnação (ou de nclnação) do tem, com valor proporconal à nclnação da Curva Característca do Item CCI no ponto b. é o parâmetro do tem que representa a probabldade de ndvíduos com baxa habldade responderem corretamente o tem (mutas vezes referdo como a probabldade de acerto casual). é um fator de escala, constante e gual a 1. Utlza-se o valor 1,7 quando deseja-se que a função logístca forneça resultados semelhantes ao da função ogva normal. Interpretação e representação gráfca Note que P (U j 1 θ j ) pode ser vsta como a proporção de respostas corretas ao tem dentre todos os ndvíduos da população com habldade θ j. A relação exstente entre P (U j 1 θ j ) e os parâmetros do modelo é mostrada na Fgura 2.1, que é chamada de Curva Característca do Item CCI. O modelo proposto basea-se no fato de que ndvíduos com maor habldade possuem maor probabldade de acertar o tem e que esta relação não é lnear. De fato, pode-se perceber a partr do gráfco acma que a CCI tem forma de S com nclnação e deslocamento na escala de habldade defndos pelos parâmetros do tem. A escala da habldade é uma escala arbtrára onde o mportante são as relações de ordem exstentes entre seus pontos e não necessaramente sua magntude. O parâmetro b é meddo na mesma undade da habldade e o parâmetro c não depende da escala, pos trata-se de uma probabldade, e como tal, assume sempre valores entre 0 e 1. Na realdade, o parâmetro b representa a habldade necessára para uma

21 2.2 Modelos envolvendo um únco grupo 11 Fgura 2.1 Exemplo de uma Curva Característca do Item CCI prob. de resposta correta Curva característca do tem - CCI a c 0.2 b habldade probabldade de acerto gual a (1 + c)/2. Assm, quanto maor o valor de b, mas dfícl é o tem, e vce-versa. O parâmetro c representa a probabldade de um aluno com baxa habldade responder corretamente o tem e é mutas vezes referdo como a probabldade de acerto ao acaso. Então, quando não é permtdo chutar, c é gual a 0 e b representa o ponto na escala da habldade onde a probabldade de acertar o tem é 0,5. O parâmetro a é proporconal à dervada da tangente da curva no ponto de nflexão. Assm, tens com a negatvo não são esperados sob esse modelo, uma vez que ndcaram que a probabldade de responder corretamente o tem dmnu com o aumento da habldade. Baxos valores de a ndcam que o tem tem pouco poder de dscrmnação (alunos com habldades bastante dferentes têm aproxmadamente a mesma probabldade de responder corretamente ao tem) e valores muto altos ndcam tens com curvas característcas muto íngremes, que dscrmnam os alunos bascamente em dos grupos: os que possuem habldades abaxo do valor do parâmetro b e os que possuem habldades acma do valor do parâmetro b.

22 12 Modelos Matemátcos Função de Informação do Item Uma medda bastante utlzada em conjunto com a CCI é a função de nformação do tem. Ela permte analsar quanto um tem (ou teste) contém de nformação para a medda de habldade. A função de nformação de um tem é dada por: [ d dθ P (θ)] 2 onde, I (θ) P (θ)q (θ), I (θ) é a nformação fornecda pelo tem no nível de habldade θ; P (θ) P (X j 1 θ) e Q (θ) 1 P (θ). No caso do modelo logístco de 3 parâmetros, a equação pode ser escrta como: I (θ) D 2 a 2 Q (θ) [ P (θ) c ] 2. P (θ) 1 c Esta equação mostra a mportânca que têm os três parâmetros sobre o montante de nformação do tem. Isto é, a nformação é maor: () quando b se aproxma de θ; () quanto maor for o a ; () e quanto mas c se aproxmar de 0. Função de Informação do Teste A nformação fornecda pelo teste é smplesmente a soma das nformações fornecdas por cada tem que compõe o mesmo:

23 2.2 Modelos envolvendo um únco grupo 13 I(θ) I I (θ). 1 Outra manera de representar esta função de nformação do teste é através do erro-padrão de medda, chamado na TRI de erro-padrão de estmação, que é dado por EP (θ) 1 I(θ). É mportante notar que essas meddas de nformação dependem do valor de θ. Assm, a ampltude do ntervalo de confança para θ dependerá também do seu valor. Alguns exemplos de curvas característcas e de curvas de nformação (traçado pontlhado) de tens com dferentes combnações de valores dos parâmetros a e b são apresentados na Fgura 2.2. Comparando-se os tens 2 e 4 (e também os tens 1 e 3) pode-se perceber que os tens com maor valor do parâmetro a têm a curva característca com nclnação mas acentuada. A consequênca dsto é que a dferença entre as probabldades de resposta correta de dos ndvíduos com habldades 2,00 e 1,00, por exemplo, é maor no tem 4 (0,370,88-0,51) do que no tem 2 (0,250,80-0,55). Em outras palavras, o tem 4 é mas aproprado para dscrmnar estes dos ndvíduos do que o tem 2. Por este motvo é que o parâmetro a é denomnado de parâmetro de dscrmnação (ou de nclnação) do tem. Por outro lado, comparando-se os tens 1 e 2 (e também os tens 3 e 4), podese perceber que os tens com maor valor do parâmetro b exgem uma habldade maor para uma mesma probabldade de resposta correta. Por exemplo, a habldade requerda para uma probabldade de resposta correta de 0,60 é gual a -0,20 no tem 1 e gual a 1,20 no tem 2. Isto é, o tem 2 é mas dfícl do que o tem 1. Assm, o parâmetro b é denomnado de parâmetro de dfculdade (ou de posção) do tem. Note que a cada tem está assocado um ntervalo na escala de habldade no qual o tem tem maor poder de dscrmnação. Este ntervalo é defndo em torno do valor do parâmetro b e está mostrado nos gráfcos pelas curvas de nformação (traçados pontlhados). Deste modo, a dscrmnação entre bons

24 14 Modelos Matemátcos Fgura 2.2 Curvas característcas e de nformação de város tens Item 1: a 1 0,80 b 1-0,20 c 1 0,20 Item 2: a 2 0,80 b 2 1,20 c 2 0,20 1,00 1,00 0,80 0,80 0,60 0,60 0,40 0,40 0,20 0,20 0,00-3,00-2,00-1,00 0,00 1,00 2,00 3,00 habldade 0,00-3,00-2,00-1,00 0,00 1,00 2,00 3,00 habldade Item 3: a 3 1,30 b 3-0,20 c 3 0,20 Item 4: a 4 1,30 b 4 1,20 c 4 0,20 1,00 1,00 0,80 0,80 0,60 0,60 0,40 0,40 0,20 0,00-3,00-2,00-1,00 0,00 1,00 2,00 3,00 habldade 0,20 0,00-3,00-2,00-1,00 0,00 1,00 2,00 3,00 habldade alunos é feta a partr de tens consderados dfíces e não de tens consderados fáces. Apesar de receberem a mesma denomnação da Teora Clássca de Medda, o parâmetro de dfculdade do tem não é meddo por uma proporção (valor entre 0 e 1) e o parâmetro de dscrmnação não é uma correlação (valor entre -1 e 1). Na TRI, estes dos parâmetros podem, teorcamente, assumr qualquer valor real entre e +. Porém, como já fo dto, não se espera um valor negatvo para o parâmetro a. Na prátca, as habldades e os parâmetros dos tens são estmados a partr

25 2.2 Modelos envolvendo um únco grupo 15 das respostas de um grupo de ndvíduos submetdos a esses tens, mas uma vez estabelecda a escala de medda da habldade, os valores dos parâmetros dos tens não mudam, sto é, seus valores são nvarantes a dferentes grupos de respondentes, desde que os ndvíduos destes grupos tenham suas habldades meddas na mesma escala. A Escala de Habldade Dferentemente da medda escore em um teste com I questões do tpo certo/errado, que assume valores nteros entre 0 e I, na TRI a habldade pode teorcamente assumr qualquer valor real entre e +. Assm, precsa-se estabelecer uma orgem e uma undade de medda para a defnção da escala. Esses valores são escolhdos de modo a representar, respectvamente, o valor médo e o desvo-padrão das habldades dos ndvíduos da população em estudo. Para os gráfcos mostrados anterormente, utlzou-se a escala com méda gual a 0 e desvo-padrão gual a 1, que será representada por escala (0,1). Essa escala é bastante utlzada pela TRI, e nesse caso, os valores do parâmetro b varam (tpcamente) entre -2 e +2. Com relação ao parâmetro a, espera-se valores entre 0 e +2, sendo que os valores mas aproprados de a seram aqueles maores do que 1. Apesar da frequente utlzação da escala (0,1), em termos prátcos, não faz a menor dferença estabelecer-se estes valores ou outros quasquer. O mportante são as relações de ordem exstentes entre seus pontos. Por exemplo, na escala (0,1) um ndvíduo com habldade 1,20 está 1,20 desvos-padrão acma da habldade méda. Este mesmo ndvíduo tera a habldade 248, e consequentemente estara também 1,20 desvos-padrão acma da habldade méda, se a escala utlzada para esta população fosse a escala(200;40). Isto pode ser vsto a partr da transformação de escala: a(θ b) (a/40)[(40 θ + 200) (40 b + 200)] a (θ b ), onde a(θ b) é a parte do modelo probablístco proposto envolvda na transformação. Assm, tem-se que: 1. θ 40 θ + 200,

26 16 Modelos Matemátcos 2. b 40 b + 200, 3. a a/40, 4. P (U 1 θ) P (U 1 θ ). Por exemplo, os valores dos parâmetros a e b do tem 1 mostrado anterormente, na escala (0,1) são, respectvamente, 0,80 e -0,20 e seus correspondentes na escala(200;40) são, respectvamente, 0,02 0,80 / 40 e (-0,20) Além dsso, um ndvíduo com habldade θ 1, 00 medda na escala (0,1) tem sua habldade representada por θ 40 1, na escala(200;40) e 1 P (U 1 1 θ 1) 0, 20 + (1 0, 20) 1 + e 1,7 0,80 (1 ( 0,20)) 1 0, 20 + (1 0, 20) 1 + e 1,7 0,02 ( ) P (U 1 1 θ 240) 0, 87, ou seja, a probabldade de um ndvíduo responder corretamente a um certo tem é sempre a mesma, ndependentemente da escala utlzada para medr a sua habldade, ou anda, a habldade de um ndvíduo é nvarante à escala de medda. Assm, não faz qualquer sentdo querermos analsar tens a partr dos valores de seus parâmetros a e b sem conhecer a escala na qual eles foram determnados. Suposções do Modelo: Undmensonaldade e Independênca Local O modelo proposto pressupõe a undmensonaldade do teste, sto é, a homogenedade do conjunto de tens que supostamente devem estar medndo um únco traço latente. Em outras palavras, deve haver apenas uma habldade responsável pela realzação de todos os tens da prova. Parece claro que qualquer desempenho humano é sempre multdetermnado ou multmotvado, dado que mas de um traço latente entra na execução de qualquer tarefa. Contudo, para satsfazer o postulado da undmensonaldade, é sufcente admtr que haja uma habldade domnante (um fator domnante) responsável pelo conjunto de tens. Este fator é o que se supõe estar sendo meddo pelo teste.

27 2.2 Modelos envolvendo um únco grupo 17 Tpcamente, a dmensonaldade do teste é verfcada através da análse fatoral, feta a partr da matrz de correlações tetracórcas. Mslevy (1986b) dscute as defcêncas da aplcação deste procedmento e sugere um outro procedmento baseado no método de máxma verossmlhança. Uma outra suposção do modelo é a chamada ndependênca local ou ndependênca condconal, a qual assume que para uma dada habldade as respostas aos dferentes tens da prova são ndependentes. Esta suposção é fundamental para o processo de estmação dos parâmetros do modelo. Na realdade, como a undmensonaldade mplca ndependênca local (veja Hambleton & Swamnathan (1991)), tem-se somente uma e não duas suposções a serem verfcadas. Assm, tens devem ser elaborados de modo a satsfazer a suposção de undmensonaldade. As vantagens da utlzação da TRI dependem fundamentalmente da adequação (ajuste) dos modelos e seus pressupostos. Por exemplo, somente a partr de modelos com bom ajuste é que pode-se garantr a obtenção de tens e habldades nvarantes. Uma excelente dscussão das consequêncas da utlzação de modelos nadequados aos dados e de métodos para verfcação do ajuste e dos pressupostos do modelo utlzado, está apresentada no Capítulo 4 de Hambleton, Swamnathan & Rogers. Outros modelos para tens dcotômcos Dos outros modelos podem ser faclmente obtdos a partr do modelo logístco de 3 parâmetros. Por exemplo, quando não exste possbldade de acerto ao acaso, pode-se consderar c 0 no modelo anteror e tem-se o chamado modelo logístco undmensonal de 2 parâmetros (ML2), dado por: P (U j 1 θ j ) e Da (θ j b ), (2.2) com 1, 2,, I, e j 1, 2,, n. Se além de não exstr resposta ao acaso anda tvermos todos os tens com o mesmo poder de dscrmnação, tem-se o chamado modelo logístco undmensonal de 1 parâmetro (ML1), também conhecdo como modelo de Rasch. Este modelo é dado por:

28 18 Modelos Matemátcos P (U j 1 θ j ) com 1, 2,, I, e j 1, 2,, n e D(θ j b ), (2.3) Modelos para tens não dcotômcos Aqu são ncluídos os modelos tanto para a análse de tens abertos (de resposta lvre) quanto para a análse de tens de múltpla escolha que são avalados de forma graduada, ou seja, tens que são elaborados ou corrgdos de modo a ter-se uma ou mas categoras ntermedáras ordenadas entre as categoras certo e errado. Nesse tpo de tem não se consdera somente se o ndvíduo respondeu à alternatva correta ou não, mas também leva-se em conta qual fo a resposta dada por ele. Modelo de Resposta Nomnal (Nomnal Categores Model) Bock (1972) desenvolveu um modelo baseado no modelo logístco de dos parâmetros que pode ser aplcado a todas as categoras de resposta escolhdas em um teste com tens de múltpla escolha. O propósto deste modelo de resposta nomnal fo maxmzar a precsão da habldade estmada usando toda a nformação contda nas respostas dos ndvíduos, e não apenas se o tem fo responddo corretamente ou não. Bock assumu que a probabldade com que um ndvíduo j seleconara uma partcular opção k (de m opções avaláves) do tem sera representada por: P,k (θ j ) e a+,k (θ j b +,k ) m h1 ea+,h (θ j b +,h ), (2.4) com 1, 2,, I, j 1, 2,, n, e k 1, 2,, m. Em cada θ j, a soma das probabldades sobre as m opções, m k1 P,k(θ j ), é 1. As quantdades (b +,k ; a+,k ) são parâmetros do tem relaconados a k-ésma opção. O modelo assume que não há nenhuma ordenação a pror das opções de resposta.

29 2.2 Modelos envolvendo um únco grupo 19 Modelo de Resposta Gradual (Graded Response Model) O modelo de resposta gradual de Samejma (1969) assume que as categoras de resposta de um tem podem ser ordenadas entre s. Este modelo, como o modelo de Bock, tenta obter mas nformação das respostas dos ndvíduos do que smplesmente se eles deram respostas corretas ou ncorretas. Suponha que os escores das categoras de um tem são arranjados em ordem do menor para o maor e denotados por k 0, 1,, m onde (m + 1) é o número de categoras do -ésmo tem. A probabldade de um ndvíduo j escolher uma partcular categora ou outra mas alta do tem pode ser dada por uma extensão do modelo logístco de 2 parâmetros: P +,k (θ j) e Da (θ j b,k ), (2.5) com 1, 2,, I, j 1, 2,, n, e k 0, 1,, m, onde: b,k é o parâmetro de dfculdade da k-ésma categora do tem. Os demas parâmetros no modelo são análogos aos já defndos anterormente. No caso dos modelos para tens dcotômcos, o parâmetro de nclnação do tem pode ser chamado de dscrmnação do tem. Entretanto, no caso de modelos para tens não dcotômcos, a dscrmnação de uma categora específca de resposta depende tanto do parâmetro de nclnação, comum a todas as categoras do tem, quanto da dstânca das categoras de dfculdade adjacentes. Cabe ressaltar que, da defnção, devemos ter: b,1 b,2... b,m, ou seja, devemos ter necessaramente uma ordenação entre o nível de dfculdade das categoras de um dado tem, de acordo com a classfcação de seus escores. A probabldade de um ndvíduo j receber um escore k no tem é dada então pela expressão: P,k (θ j ) P +,k (θ j) P +,k+1 (θ j).

30 20 Modelos Matemátcos Samejma também defne P +,0 (θ j) e P +,m +1 (θ j) de modo que: e Portanto, P +,0 (θ j) 1 P +,m +1 (θ j) 0. e Então, temos que: P,0 (θ j ) P +,0 (θ j) P +,1 (θ j) 1 P +,1 (θ j) P,m (θ j ) P +,m (θ j) P +,m +1 (θ j) P +,m (θ j). P,k (θ j ) e Da (θ j b,k ) e Da (θ j b,k+1 ). (2.6) Note que em um tem com (m + 1) categoras, m valores de dfculdade necesstam ser estmados, além do parâmetro de nclnação do tem. Assm, para cada tem, o número de parâmetros a ser estmado será dado pelo seu número de categoras de resposta. Se, por exemplo, tvermos um [ teste com I I tens, cada um com (m +1) categoras de resposta, teremos então 1 m + ] I parâmetros de tem a serem estmados. Modelo de Escala Gradual (Ratng Scale Model) Um caso partcular do modelo de resposta gradual de Samejma é o modelo de escala gradual. Analogamente ao modelo de resposta gradual, este modelo também é adequado para tens com categoras de resposta ordenadas. No entanto, aqu é feta uma suposção a mas: a de que os escores das categoras são gualmente espaçados.

31 2.2 Modelos envolvendo um únco grupo 21 Este modelo, proposto por Andrch (1978), é dado por: P,k (θ j ) e Da (θ j b +d k ) e Da (θ j b +d k+1 ), (2.7) com 1, 2,, I, j 1, 2,, n, e k 0, 1,, m, onde: b é agora o parâmetro de locação do tem e d k é o parâmetro de categora. Como P +,k (θ j) P +,k+1 (θ j) 0, então, d k d k+1 0. Ou seja, devemos ter: d 1 d 2 d m. Note que a maor dstnção entre o modelo de resposta gradual e o modelo de escala gradual está na hpótese de nesse últmo os escores das categoras de resposta devem ser equdstantes. Assm, no modelo de escala gradual o parâmetro b,k é decomposto em um parâmetro b de locação do tem e num parâmetro de categora d k, sto é: b,k b d k. Cabe ressaltar que os parâmetros de categora d k não dependem do tem, sto é, são comuns a todos os tens do teste. Logo, se os tens que compõem a prova tverem suas própras categoras de resposta, que podem dferr no número, então este modelo não é adequado. Em um teste composto por tens com (m + 1) categoras de resposta cada um, m parâmetros de categora necesstam ser estmados, além dos parâmetros de nclnação e de locação de cada tem. Logo, se o teste tver I tens, teremos [2I + m] parâmetros de tem a serem estmados. Na Fgura 2.3 temos a representação gráfca do modelo de escala gradual e do modelo de resposta gradual para alguns tens com 4 categoras de resposta. Em todos os tens, o parâmetro a fo mantdo gual a 1,0. Dessa manera, podemos verfcar a mportânca dos parâmetros de categora b,k. Os tens 1 e 4, por terem os parâmetros de categora gualmente espaçados, podem ser representantes do modelo de escala gradual. Já o modelo de resposta gradual podera ser representado por qualquer um dos tens acma. Observando o tem 1, podemos notar que ndvíduos com habldade até - 2,0 têm maor probabldade de responder apenas a categora 0. Já ndvíduos

32 22 Modelos Matemátcos Fgura 2.3 Representação gráfca dos modelos de escala gradual e de resposta gradual Item 1: a11,0 b1,1-2,0, b1,20,0, b1,32,0 Item 2: a21,0, b2,1-2,0, b2,20,5, b2,32,0 prob. de resposta correta 1,0 0,8 0,6 0,4 0,2 P0 P1 P2 P3 prob. de resposta correta 1,0 0,8 0,6 0,4 0,2 P0 P1 P2 P3 0,0-6,0-4,0-2,0 0,0 2,0 4,0 6,0 habldade 0,0-6,0-4,0-2,0 0,0 2,0 4,0 6,0 habldade Item 3: a31,0, b3,1-2,0, b3,20,0, b3,30,5 Item 4: a41,0, b4,1-2,0, b4,2-1,0, b4,30,0 prob. de resposta correta 1,0 0,8 0,6 0,4 0,2 P0 P1 P2 P3 prob. de resposta correta 1,0 0,8 0,6 0,4 0,2 P0 P1 P2 P3 0,0-6,0-4,0-2,0 0,0 2,0 4,0 6,0 habldade 0,0-6,0-4,0-2,0 0,0 2,0 4,0 6,0 habldade com habldades entre -2,0 e 0,0, têm mas chance de alcançarem a categora 1. Para habldades entre 0,0 e 2,0, a maor probabldade é que os ndvíduos respondam até a categora 2. Fnalmente, ndvíduos com habldade acma de 2,0, devem alcançar a últma categora de resposta (que deverá representar o acerto total). Note que do tem 1 para o 2, a dstânca entre b,2 e b,3 tornou-se menor. A consequênca dsto é que aumenta a faxa de habldade em que os ndvíduos deverão responder somente até a categora 1: de -2,0 a 0,0 no tem 1 para -2,0 a 0,5 no tem 2. Em outras palavras, a categora 2 fcou mas dfícl de ser alcançada, uma vez que no tem 1 ndvíduos com habldades entre 0,0 e 2,0 têm maor probabldade de consegur responder à essa categora do que ndvíduos com habldades entre 0,5 e 2,0 no tem 2. No tem 3, pratcamente não há chance dos ndvíduos responderem até a categora 2: ndvíduos com habldade entre -2,0 e 0,0 têm mas chance de

33 2.2 Modelos envolvendo um únco grupo 23 consegur responder somente à categora 1, enquanto que os ndvíduos com habldade maor do que esse valor já têm maor probabldade de atngr a últma categora do tem. Fnalmente, o tem 4 é um exemplo de tem onde a maora dos ndvíduos ou responde somente à prmera categora, ou consegue chegar até a últma. Apenas ndvíduos com habldades entre -2,0 e 0,0 apresentam uma chance maor de responderem somente às categoras 1 e 2. Modelo de Crédto Parcal (Partal Credt Model) O modelo de crédto parcal fo desenvolvdo por Masters (1982) e é também um modelo para análse de respostas obtdas de duas ou mas categoras ordenadas. Nesse sentdo, esse modelo é utlzado com os mesmos propóstos que outros já ctados, nclusve o modelo de resposta gradual. O modelo de crédto parcal dfere do gradual, entretanto, por pertencer à famíla de modelos de Rasch. Na verdade, o modelo de crédto parcal é uma extensão do modelo de Rasch para tens dcotômcos. Logo, todos os parâmetros no modelo são de locação, sendo que o poder de dscrmnação é assumdo ser comum para todos os tens. Supondo que o tem tem (m + 1) categoras de resposta ordenáves (k 0, 1,..., m ), temos que o modelo de crédto parcal é dado por: k ] exp[ u0 (θ j b,u ) P,k (θ j ) [ m u0 exp u ], (2.8) v0 (θ j b,v ) com 1, 2,, I, j 1, 2,, n, k 0, 1,, m e b,0 0, onde: P,k (θ j ) é a probabldade de um ndvíduo com habldade θ j escolher a categora k, dentre as (m + 1) categoras do tem. b,k é o parâmetro de tem que regula a probabldade de escolher a categora k em vez da categora adjacente (k 1) no tem. Cada parâmetro b,k corresponde ao valor de habldade em que o ndvíduo tem a mesma probabldade de responder à categora k e à categora (k 1), sto é, onde P,k (θ j ) P,k 1 (θ j ).

34 24 Modelos Matemátcos Assm, para tens com (m + 1) categoras de resposta, será necessáro estmar m parâmetros de tem. Note que para tens com apenas 2 categoras de resposta, este modelo fca análogo ao modelo de Rasch para tens dcotômcos. Modelo de Crédto Parcal Generalzado (Generalzed Partal Credt Model) O modelo de crédto parcal generalzado MCPG fo formulado por Murak (1992), que se baseou no modelo de crédtos parcas de Masters, relaxando a hpótese de poder de dscrmnação unforme para todos os tens. O modelo de crédto parcal generalzado é dado por: P,k (θ j ) k ] exp[ u0 Da (θ j b,u ) [ m u0 exp u ], (2.9) v0 Da (θ j b,v ) com 1, 2,, I, j 1, 2,, n, e k 0, 1,, m. Se o número de categoras de respostas é (m + 1), somente m parâmetros de categora do tem podem ser dentfcados. Qualquer um dos (m + 1) parâmetros de dfculdade das categoras pode ser arbtraramente defndo com qualquer valor. A razão é que o termo ncluso no parâmetro é cancelado no numerador e no denomnador do modelo. Em geral, defnmos b,0 0. Os parâmetros de categora do tem, b,k, são os pontos na escala de j em as curvas de P,k 1 (θ j ) e P,k (θ j ) se nterceptam. Essas duas funções se nterceptam somente uma vez, e a ntersecção pode ocorrer em qualquer ponto da escala θ j. Então, sob a hpótese de que a > 0, se θ j b,k então P,k (θ j ) P,k 1 (θ j ), se θ j > b,k então P,k (θ j ) > P,k 1 (θ j ), se θ j < b,k então P,k (θ j ) < P,k 1 (θ j ). Da mesma manera como no modelo de escala gradual, no MCPG o parâmetro b,k pode ser decomposto como:

35 2.3 Modelos envolvendo duas ou mas populações 25 b,k b d k. Mas, é mportante ressaltar que, dferentemente do modelo de escala gradual, aqu os valores de d k não são necessaramente ordenados sequencalmente dentro de um tem. O parâmetro d k é nterpretado como a dfculdade relatva da categora k em comparação com as outras categoras do tem ou o desvo da dfculdade de cada categora em relação à locação do tem, b. Assm, em testes compostos por tens com (m + 1) categoras de resposta, m parâmetros de categora necesstam ser estmados, além dos parâmetros de nclnação [ e de locação de cada tem. Logo, se tvermos um teste com I tens, I teremos 1 m + 2I] parâmetros de tem a serem estmados. 2.3 Modelos envolvendo duas ou mas populações Alguns modelos já foram desenvolvdos para serem aplcados quando um teste envolve mas de uma população, sendo bascamente, extensões dos modelos até aqu apresentados. No entanto, um dos poucos modelos que já se encontram mplementados computaconalmente e que portanto, já estão sendo utlzados na prátca, quando um teste é aplcado a dos ou mas grupos de respondentes, é uma generalzação dos modelos logístcos undmensonas de 1, 2 e 3 parâmetros, que fo recentemente proposta por Bock & Zmowsk (1997). O modelo é dado por: 1 P (U jk 1 θ jk ) c + (1 c ) 1 + e Da (θ jk b ), (2.10) com 1, 2,, I, j 1, 2,, n k, e k 1, 2,, K, onde: U jk é uma varável dcotômca que assume os valores 1, quando o ndvíduo j da população k responde corretamente ao tem, ou 0 quando o ndvíduo não responde corretamente ao tem. θ jk representa a habldade do j-ésmo ndvíduo da população k. P (U jk 1 θ jk ) é a probabldade de um ndvíduo j da população k, com habldade θ jk, responder corretamente ao tem.

36 26 Modelos Matemátcos Os demas parâmetros já foram descrtos anterormente. Em geral, ndvíduos pertencentes a dferentes populações não são submetdos todos aos mesmos tens. Mas, para que seja possível a comparação entre populações, é necessáro que haja pelo menos alguns tens comuns entre elas. Assm, I representa o número total de tens dstntos apresentados. A recente mplementação computaconal desse modelo para mas de um grupo de respondentes fo um dos maores avanços da TRI nos últmos anos. Através dele a comparação de ndvíduos de grupos dstntos, submetdos a provas dferentes mas com tens comuns, passou a ser feta de uma manera bem mas efcente do que era feto até então, uma vez que dmnu possíves erros de modelagem que a metodologa anteror podera vr a ter. Algumas das questões mas mportantes envolvendo a comparação de duas ou mas populações, nclundo os métodos de estmação, serão dscutdas no Capítulo 5. No próxmo capítulo apresentaremos os prncpas métodos de estmação dos parâmetros dos modelos para uma únca população.

37 Capítulo 3 Estmação: uma únca população 3.1 Introdução Uma das etapas mas mportantes da TRI é a estmação dos parâmetros dos tens e das habldades dos respondentes. Como fo vsto no capítulo anteror, a probabldade de uma resposta correta a um determnado tem depende somente da habldade do ndvíduo e dos parâmetros que caracterzam o tem. Mas, em geral, ambos são desconhecdos. Apenas as respostas dos ndvíduos aos tens do teste são conhecdas. Assm, nos modelos de resposta ao tem temos um problema de estmação que envolve dos tpos de parâmetros, os parâmetro dos tens e as habldades dos ndvíduos. Então, do ponto de vsta teórco, podemos dvdr o problema em três stuações, quando já conhecemos os parâmetros dos tens, temos apenas que estmar as habldades; se já conhecemos as habldades dos respondentes, estaremos nteressados apenas na estmação dos parâmetros dos tens e, por fm, a stuação mas comum, em que desejamos estmar os parâmetros dos tens e as habldades dos ndvíduos smultaneamente. Na TRI, o processo de estmação dos parâmetros dos tens é conhecdo como calbração. Em qualquer uma das stuações ctadas acma, geralmente a estmação é feta pelo Método da Máxma Verossmlhança através da aplcação de algum processo teratvo, como o algortmo Newton-Raphson (ver Issac & Keller (1966), por exemplo) ou Scorng de Fsher (ver Rao (1973), por exemplo). Alguns procedmentos bayesanos também são aplcados com bastante freqüênca (ver Mslevy (1986a), por exemplo). Na stuação em que desejamos estmar tanto os parâmetros dos tens, quanto as habldades, há duas abordagens usuas: estmação conjunta, parâmetros dos tens e habldades, ou em duas etapas, prmero a estmação dos parâmetros dos tens e, posterormente, das habldades. No caso da estmação conjunta,

38 28 Estmação: uma únca população o número de parâmetros a serem estmados smultaneamente pode ser extremamente grande (3I + n, para o ML3), levando a uma enorme exgênca computaconal que envolve a nversão de matrzes dessa ordem. Para contornar esse problema, Brnbaum (1968) propôs um processo va e volta ( backand-forth ), que é ncado com estmatvas grosseras das habldades (escores padronzados, por exemplo) e envolve a estmação dos parâmetros dos tens consderando as habldades conhecdas; após a obtenção das estmatvas dos parâmetros dos tens, as estmações das habldades são fetas consderando conhecdos os parâmetros dos tens. Esses passos são repetdos até que algum crtéro de parada do processo seja alcançado. A grande vantagem desse método é que ele permte, a partr da Independênca Local dscutda no Capítulo 2, que os tens sejam estmados ndvdualmente, o que exge o tratamento de matrzes 3 3 para o ML3. De forma smlar, a partr da ndependênca entre as respostas orundas de ndvíduos dferentes, as habldades também são estmadas ndvdualmente, e com sso a exgênca computaconal dmnu drastcamente. Entretanto, esse procedmento tem um problema séro: sabe-se que, para os parâmetros dos tens conhecdos, os Estmadores de Máxma Verossmlhança (EMV) das habldades convergem (ver Sen & Snger (1993), por exemplo) para os seus verdaderos valores quando o número de tens cresce; com as habldades conhecdas, os EMV dos parâmetros dos tens, ζ, convergem para os seus verdaderos valores quando o número de ndvíduos cresce. Na estmação conjunta, as habldades são denomnadas de parâmetros ncdentas, pos o número destes parâmetros (θ j ) cresce com o número de ndvíduos; os parâmetros dos tens são denomnados de parâmetros estruturas, e o número desses parâmetros não se altera quando a amostra cresce. Essas denomnações são devdas a Neyman & Scott (1948), que notaram, em um contexto dferente ao da TRI, que na presença de parâmetros ncdentas o EMV dos parâmetros dos tens pode ser assntotcamente vesado. Esse problema de falta de consstênca dos parâmetros dos tens (ou habldades) na presença de um número muto grande de ndvíduos (ou tens) fo notado por Andersen (1973) e demonstrado para o modelo de Rasch (ML1). Porém, quando o número de tens e o número de ndvíduos crescem, os EMV dos parâmetros dos tens e das habldades podem ser não-vcados, como sugerdo por Lord (1968) e demonstrado apenas para o modelo de Rasch por Haberman (1975). Resultados numércos obtdos por Lord (1975) e Swamnathan &