TEORIA DE RESPOSTA AO ITEM (TRI): CONCEITOS ELEMENTARES DOS MODELOS PARA ITENS DICOTÔMICOS

Transcrição

1 Boletm de Pscologa, 2011, Vol. LXI, Nº 134: TEORIA DE RESPOSTA AO ITEM (TRI: CONCEITOS ELEMENTARES DOS MODELOS PARA ITENS DICOTÔMICOS GLEIBER COUTO Laboratóro de Avalação, Meddas e Instrumentação em Pscologa LAMI Unversdade Federal de Goás Campus de Catalão - GO- BRASIL RICARDO PRIMI Unversdade São Francsco - SP - BRASIL RESUMO Neste artgo são apresentados os concetos elementares referentes à medda pscológca sob o ponto de vsta da Pscometra Moderna, também chamada de Teora de Resposta ao Item. São abordados os prncpas modelos de estmação e descrtos os parâmetros de dscrmnação, dfculdade e probabldade de resposta correta ao acaso, assm como são analsadas váras mplcações relatvas à utlzação dos dversos métodos de estudo. São dscutdas também as característcas dos procedmentos de análse usados para estmação das curvas característcas dos tens, curvas característcas dos testes, curvas característcas do sueto, função de nformação do tem e do teste, erro padrão de medda, defnndo os parâmetros da medda. Palavras-chave: Pscometra, teora de resposta ao tem, testes pscológcos, avalação pscológca. ABSTRACT ITEM RESPONSE THEORY (ITR: ELEMENTARY CONCEPTS FOR DICOTOMIC ITEMS MODELS In ths artcle are presented the elementary concepts relatve to psychologcal measure under the pont of vew of Modern Psychometry, also named Item Response Theory. The man estmatve models are presented and also are descrbed the dscrmnaton parameters, dffculty and probablty of random correct answer, as well as several relatve mplcatons are analyzed to the use of the several study methods. They are also dscussed the characterstcs of the analyss procedures used for estmate of the characterstc curves of tems, characterstc curves of tests, characterstc curves of subect, functon of nformaton of tem and of test, standard error of measurement, defnng the parameters of the measure. Key words: Psychometry, tem response theory, psychologcal tests, psychologcal assessment. Endereço para correspondênca: Curso de Enfermagem. Av. Dr. Lamartne Pnto de Avelar, 1120, S. Unverstáro. Catalão - GO. CEP: E-mal: glebercouto@yahoo.com.br; E-mal: rcardo.prm@saofrancsco.edu.br

2 GLEIBER COUTO e RICARDO PRIMI INTRODUÇÃO Atualmente o uso de nstrumentos pscológcos, em todas as esferas de atuação profssonal do pscólogo, vem sendo amplado e se tornando corrente. Tal amplação pode ser notada, de modo especal, no processo de avalação pscológca, no qual, o uso de tas procedmentos, se não é obrgatóro, é bastante freqüente. Desta forma, espera-se cada vez mas que os nstrumentos apresentem altos padrões de qualdade (Anastas e Urbna, A qualdade dos nstrumentos pscológcos é obeto de estudo da pscometra, estando fortemente assocada aos testes e escalas pscométrcas. Conseqüentemente é sua atrbução uma constante revsão dos procedmentos usados na estmação das propredades pscométrcas dos testes pscológcos em geral. Não obstante, os procedmentos baseados no modelo clássco da pscometra apresentam lmtações que se refletem na qualdade dos testes, de manera que foram propostas soluções para tas fragldades. O aprmoramento de tas procedmentos culmnou no modelo conhecdo atualmente como Teora de Resposta ao Item ou smplesmente TRI (Pasqual, Muñz (1990, Embretson e Rese (2000 apresentam a TRI como o enfoque da teora dos testes pscológcos que tem como proposta resolver problemas apresentados pelo modelo clássco, a saber, (A a dependênca que a medda apresenta em relação ao tpo de teste usado, (B a amostra da população usada para a estmação dos parâmetros e (C a consderação do escore total como referênca de medda. Apesar dsso, a TRI não veo para substtur o modelo clássco, consttundo-se como um coaduvante como veremos a segur. O modelo não é novo, mostrando suas orgens no trabalho de Rchardson (1936, Lawley (1943, Tucker (1946, Lord (1952,1953, tendo uma rápda expansão nos anos 60 com o trabalho de Rasch e o desenvolvmento dos computadores pessoas. Sua prncpal contrbução do ponto de vsta teórco é a nvarânca dos parâmetros de medda, além de apresentar novações técncas como as funções de nformação dos tens e do teste; meddas mas refnadas dos erros padrão de medda (EPM, que permtem observar suas varações ao longo da escala; a possbldade de atrbução de sgnfcado pscológco para nterpretação de escalas baseadas nas respostas aos tens. Os prncpas pressupostos teórcos do modelo podem ser descrtos por meo da Curva Característca dos Itens (CCI (Fgura 1. Nos modelos da TRI é assumda uma relação entre o valor do traço latente (fenômeno pscológco meddo por um teste, representado pela letra theta (θ e a probabldade de resposta correta de um sueto nos tens que compõem esse teste. Essa relação é expressa por uma função conhecda como P (θ, que sgnfca a probabldade de acerto de um tem, dado um valor de (θ. A função P (θ é representada no exo das ordenadas e compõe a representação gráfca da Curva Característca dos Itens (CCI, e no exo das abscssas, é representado o valor de (θ (Munz, 1990; Baker, A CCI nforma as dferentes probabldades de acerto que dversos suetos com valores dferentes de varáves latentes (θ apresentam. O valor de (θ vara de - a + e, por sua vez, o valor de P (θ vara de 0 a 1. A CCI pode nformar anda os parâmetros pscométrcos dos tens, conforme o modelo utlzado, a saber, a capacdade de dscrmnação do tem, sua dfculdade e a probabldade de acerto ao acaso (Pasqual, 1996,

3 Teora de Resposta ao Item (TRI: Concetos Elementares dos Modelos para Itens Dcotômcos 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00-4,00-3,20-2,40-1,60-0,80 0,00 0,80 1,60 2,40 3,20 4,00 theta Fgura 1. Curva Característca do Item Os modelos da TRI varam conforme os parâmetros dos tens consderados para avalação. O prmero deles é conhecdo como a e é denomnado índce de dscrmnação do tem, seu valor é dado pela nclnação da CCI em relação ao exo das abscssas, o valor do ângulo formado por essa nclnação é proporconal ao valor de a que será tanto maor quanto maor for o ângulo. O índce de dscrmnação na TRI mantém sgnfcado correspondente ao da Teora Clássca, ou sea, a capacdade de dscrmnar pequenas dferenças no traço latente (Garca, Maranon, Falcon e Costas, O próxmo parâmetro é conhecdo como b e é denomnado índce de dfculdade do tem, seu valor é dado pelo ponto, na reta, perpendcular ao exo das abscssas, e representa o valor de (θ quando a probabldade de o sueto acertar ao tem é de 50%, quando ( c = 0. A característca mas mportante desse parâmetro é que ele se encontra na mesma escala que a varável latente (θ, sso permte que a dfculdade dos tens possa ser nterpretada em termos de varações padronzadas na habldade dos suetos (Garca et al., O parâmetro conhecdo como c é denomnado probabldade de acerto ao acaso, seu valor é dado por P ( θ 0 quando θ = -, ou sea, quando a habldade do sueto tende à menor representação possível de (θ e anda assm a probabldade de acerto se mantém dferente de zero. Isso sgnfca que o sueto tem uma habldade menor que a exgda para a execução adequada do tem e mesmo assm sua probabldade de acerto é dferente de zero. A curva característca do tem (CCI fo defnda concetualmente como uma propredade típca da TRI e sua elaboração depende da especfcação dos parâmetros dos tens a serem avalados e a opção por uma função matemátca para expressar as curvas dos tens. Em outras palavras, a forma como as curvas se apresentam nos gráfcos lustram os parâmetros dos tens nelas representados. Então, se forem observadas as curvas que se dspõem da esquerda para a dreta num contnuum, no exo das abscssas, maor o valor de b conforme se deslocam para a dreta; por exemplo, na Fgura 2 o tem 3 é o mas dfícl, enquanto o tem 4 é o mas fácl. Quanto mas nclnadas as curvas estverem 3

4 -4-3,2-2,4-1,6-0,8 0,8 1,6 2,4 3,2 4 0 GLEIBER COUTO e RICARDO PRIMI em relação ao exo das abscssas de modo a formarem um ângulo reto maor o valor de a; por exemplo, na Fgura 2 o tem 2 é o mas dscrmnatvo, ao passo que o tem 1 é o menos dscrmnatvo. Já o valor de c é representado na orgem da curva em relação ao exo das ordenadas, sua magntude é equvalente ao valor do deslocamento desse ponto em relação ao valor zero, por exemplo, na Fgura 2 o tem 4 apresenta uma probabldade de acerto ao acaso de 0,2 (Hambleton, c theta Item 1 Item 2 Item 3 Item 4 Fgura 2. CCI apresentando os parâmetros dos tens Alguns aspectos precsam ser observados quanto à possbldade de aplcação dos modelos da TRI aos dados, a saber, a satsfação de dos crtéros conhecdos como crtéro de undmensonaldade e de ndependênca local. Ao assumr que exste uma relação entre as respostas dos suetos e a dmensão latente a ser avalada (θ, uma exgênca para utlzação do modelo é que a probabldade de acerto dependa uncamente, ou pelo menos prncpalmente, do valor de (θ. Para satsfazer essa condção deve-se verfcar se os tens usados para avalar (θ medem apenas a dmensão descrta por (θ. Teorcamente a undmensonaldade perfeta pode ser encontrada em crcunstâncas nas quas a resposta correta aos tens reundos para avalar uma determnada característca pscológca é determnada apenas por essa característca. Se a resposta correta aos tens depende ou sofre nfluênca de outras dmensões pscológcas, então não exste undmensonaldade. Como numa cênca do comportamento essas dmensões são nferdas a partr do comportamento observável do sueto e é sabdo que os comportamentos humanos são mult-causados, o estabelecmento dessa condção estara de antemão comprometdo. Então, para satsfazer o crtéro da undmensonaldade a regra adotada em pscometra é a exstênca de uma dmensão predomnante dentre as váras que nfluencam o comportamento (Pasqual, 1996, Dentre os métodos para se verfcar a undmensonaldade a análse fatoral é o mas dfunddo e possblta verfcar qual o número mínmo de fatores que pode explcar a quantdade da varânca observada. Como não exste undmensonaldade perfeta, ela é tratada nos modelos da TRI como uma questão de graus, sendo seu índce expresso pelo quocente entre a varânca explcada pelo 4

5 Teora de Resposta ao Item (TRI: Concetos Elementares dos Modelos para Itens Dcotômcos prmero fator e a explcada pelo segundo fator, ou sea, quanto maor o valor desse quocente ndca o quanto a varânca explcada pelo prmero fator é superor à explcada pelo segundo fator, sugerndo maor undmensonaldade (Muñz, 1990; Embretsom e Rese, Segundo Lord (1980, outro crtéro prátco para se verfcar a undmensonaldade é, na matrz de correlações tetracórcas, se extrar as raízes latentes entre os tens com as comunaldades na lnha dagonal. Se a prmera raz é notadamente superor à segunda, e esta não apresenta dferença sgnfcatva entre as outras, então os tens podem ser consderados aproxmadamente undmensonas. O crtéro de ndependênca local mencona que a resposta do sueto a um tem não pode ter nfluênca em sua resposta a outros tens, ou sea, exste ndependênca nas respostas entre os tens. Esse crtéro está dretamente lgado à undmensonaldade. Se todos os tens medem uma mesma dmensão e a posção do sueto nessa dmensão não muda (vara enquanto ele responde ao teste, então as respostas aos tens são estatstcamente ndependentes, sto é, a probabldade de acertar um tem não depende do acerto aos tens prévos. E, portanto os acertos ou erros dos suetos em cada tem são ndependentes entre s, só dependem do theta que é constante durante a aplcação. OS MODELOS DA TEORIA DE RESPOSTA AO ITEM Exstem város modelos de TRI dependendo do tpo de função matemátca adotada e dos parâmetros dos tens que se quera nvestgar. Dos tpos de função podem ser encontrados na lteratura: as funções logístcas e as de curva normal acumulada. Juntas elas produzem pelo menos ses modelos, sendo possível avalar até três parâmetros para cada função. Serão abordados neste trabalho apenas os modelos de função logístca, pos permtem melhor tratamento matemátco e também são mas freqüentes na lteratura especalzada (Muñz, O prmero modelo é o logístco de um parâmetro que é conhecdo como modelo de Rasch, uma referênca ao nome de seu dealzador. Trata-se do modelo mas dfunddo devdo a sua parcmôna de medda e da smplcdade de sua lógca. Esse modelo é representado pela função logístca de um parâmetro, a qual consdera que as respostas de um sueto a um conunto de tens dependem apenas de sua habldade e da dfculdade dos respectvos tens (Baker, 2001; Lnacre e Wrght, Sua expressão matemátca é: D( θ -b e P ( θ = D( θ -b, onde, 1+ e P (θ, probabldade de se acertar ao tem dado um determnado valor de (θ, θ, valor do traço latente ou varável que se estver medndo, b, índce de dfculdade do tem, e, base dos logartmos neperanos que vale (2,72, D, constante de aproxmação aos valores da curva normal acumulada (1,7. O modelo é bastante smples e conforme a organzação de suas varáves nterpreta-se que, conhecendo a dfculdade do tem e a habldade do sueto, é possível predzer qual é a probabldade desse sueto acertar o tem. O valor de b é dado pelo valor de θ no qual a probabldade de acertar o tem é de 50%. 5

6 GLEIBER COUTO e RICARDO PRIMI O modelo logístco de dos parâmetros mantém todas as característcas do modelo de Rasch. Acrescenta, por sua vez, a estmação do parâmetro dscrmnação do tem. Pode-se assumr que o conceto de dscrmnação do tem é o mesmo usado na Teora Clássca. Sua expressão matemátca é, P (θ Da ( θ -b e = Da ( θ -b, onde, 1 + e As varáves são as mesmas descrtas na equação anteror com a dferença que se acrescenta o valor de a que representa o poder dscrmnatvo do tem. Uma relação mportante entre os parâmetros θ e a é que a dscrmnação vara em função da habldade do sueto. Os tens são mas dscrmnatvos na stuação em que a dfculdade dos tens concde com a habldade dos suetos, nestes casos, o valor de b concde com o ponto de nflexão da curva, ou sea, o ponto em que a curva muda de dreção, tornando-se mas nclnada em relação ao exo das ordenadas (Muñz, O modelo logístco de três parâmetros mantém todas as característcas dos modelos de um e dos parâmetros, porém acrescenta a possbldade de se avalar a probabldade de o sueto acertar o tem ao acaso, ou sea, sem que tenha habldade sufcente. Sua expressão matemátca é: P ( θ = c + ( 1- e c 1+ e Da ( θ - b Da ( θ - b, onde, As varáves dessa equação são as mesmas da equação anteror com o acréscmo da varável c que representa a probabldade de acerto ao acaso. O valor de c concde com o valor de P (θ para um valor de θ = -. Uma consderação mportante, quando se trata dos modelos de um θ = = ou dos parâmetros é que para b,p( θ 0, 50 no modelo de três parâmetros temos para 1+ c θ = b, P( θ =. 2 Segundo Muñz (1990 alguns autores propõem um modelo logístco de quatro parâmetros, que vsa controlar crcunstâncas aleatóras relaconadas com falhas do construtor no momento da elaboração dos tens, sso faz com que um sueto com grande competênca falhe na resolução do tem. Sua expressão matemátca é: P ( θ = c e + ( Y _ c 1+ e Da ( θ -b Da ( θ - b, onde, Todas as varáves são as mesmas, sendo Y uma tentatva de representar as crcunstâncas de falha na construção dos tens e adqure valores pouco menores que um. Até o momento exstem poucas pesqusas sobre esse modelo e aparentemente não exste nenhuma vantagem dele em relação ao modelo de três parâmetros. 6

7 Teora de Resposta ao Item (TRI: Concetos Elementares dos Modelos para Itens Dcotômcos ESTIMAÇÃO DOS PARÂMETROS Tendo em vsta os prncpas modelos da TRI, qual crtéro de escolha o pesqusador deve adotar para analsar os seus dados? Um crtéro mportante a ser consderado refere-se à adequação dos dados ou como é comumente chamado de auste do modelo aos dados. O auste do modelo aos dados escolhdo deve ser comprovado pelos parâmetros estmados e comumente segue alguns passos bem defndos (Baker, 2001; Wrght e Stone, O prmero passo é comum ao processo de construção de nstrumentos de medda em Pscologa de um modo geral. Trata-se da defnção rgorosa da dmensão que se pretende avalar, seguda da elaboração de tens que representem adequadamente essa dmensão. Exstem regras a segur na construção dos tens, porém Muñz (1990 adverte que o trabalho de construção dos tens é semelhante ao processo de se escrever uma novela, se segur rgorosamente as regras levasse a boas novelas, então todos seram excelentes novelstas. O segundo passo é a aplcação dos tens a uma amostra representatva da população para a qual se constró o nstrumento, com a fnaldade de estmar os parâmetros da pscometra clássca e verfcar a undmensonaldade dos tens. Acredta-se que nessa fase á se torne possível vslumbrar qual dos modelos melhor se austam aos dados, por exemplo, se a dscrmnação dos tens não é constante, supõe-se que os dados se austam melhor ao modelo de dos parâmetros. Se houver probabldade de acerto ao acaso, os dados se austam melhor ao modelo de três parâmetros. À parte das suposções possíves nessa fase, os árbtros do processo devem ser os valores dos índces de auste que representam a adequação do modelo para analsar os dados. Mas, esse processo não tem regras rígdas, por exemplo, em tens de múltpla escolha geralmente se observam acertos ao acaso, sugerndo-se o uso do modelo de três parâmetros. Entretanto ao se analsar os dados, usando o modelo de um parâmetro, que supõe c=0, o resíduo gerado pode ser tão nexpressvo que o uso desse modelo poderá ser aproprado nesse caso. A partr das respostas dos suetos aos tens se nca a estmação dos parâmetros. Um dos métodos usados é chamado Máxma Verossmlhança no qual os valores são aqueles que maxmzam a probabldade de ocorrênca dos dados. Os valores estmados são aqueles que se fazem mas plausíves para os dados obtdos. O problema da estmação dos parâmetros dos tens na TRI é que, tanto o valor de θ dos suetos quanto os valores dos parâmetros dos tens são desconhecdos, conhece-se apenas as respostas dadas aos tens. Como os parâmetros são desconhecdos, é necessáro realzar um processo nteratvo, como, por exemplo, assumr valores ncas hpotétcos para os parâmetros dos tens (geralmente dervados de índces da pscometra clássca, estmar as habldades dos suetos, consderar esses novos valores provsóros para re-estmar os parâmetros dos tens de manera um pouco mas acurada e assm sucessva e nteratvamente até que não se consga melhorar mas os austes das curvas teórcas aos dados empírcos. Os procedmentos de estmação para esse método podem assumr duas formas dstntas. A prmera consste em fxar valores para os parâmetros dos tens e se realzar sucessvas estmações para dferentes valores possíves de θ, até que o valor que melhor explque a ocorrênca do padrão empírco de respostas sea encontrado, são testadas todas as possbldades. Esta forma é conhecda por estmação condconal como uma referênca à condção do conhecmento prévo dos parâmetros 7

8 GLEIBER COUTO e RICARDO PRIMI dos tens. A segunda forma consste em se calcular ao mesmo tempo tanto os parâmetros dos tens quanto o θ de cada sueto e é conhecda como estmação conunta. Prmeramente, se estma os valores de θ para cada sueto, supondo os parâmetros dos tens tal como na estmação condconal, ndcando um valor ncal, após os valores de θ conhecdos se retorna calculando os parâmetros dos tens para aqueles valores. A dferença entre os procedmentos é que, no prmero caso, se estmam as habldades de todos os suetos para depos se corrgr o valor dos parâmetros e no segundo caso, as estmações da habldade e dos parâmetros dos tens são fetas concomtantemente (Muñz, Para lustrar os passos usados pelo método de Máxma Verossmlhança, suponhamos que X suetos tenham responddo a Y tens que compõem um teste qualquer. São desconhecdos tanto os parâmetros dos tens como as habldades dos respectvos suetos, então o prmero passo consste em separar os suetos em grupos ao longo de uma escala de habldade hpotétca, cada grupo tem Z suetos de habldades guas. A probabldade de os suetos de cada grupo responderem adequadamente a um tem específco será dada pelo quocente entre o número de suetos que realmente acertaram ao tem e o número total de suetos daquele grupo. Dessa forma as probabldades de acerto em cada nível de habldade ao longo da escala podem ser calculadas, sto é, tem-se uma curva empírca para cada tem. A partr dsso tenta-se manpular os parâmetros do tem, produzndo uma curva teórca que mas se aproxme da empírca. O processo de estmação dos parâmetros se encerra quando os valores estmados convergrem, ou sea, quando a partr de n nterações não se consegue produzr mas melhoras na reprodução dos dados empírcos por meo das varações nos valores dos parâmetros dos tens (Wrght e Stone, 2004; Baker, 2001; Muñz, Após a estmação dos parâmetros do modelo os valores encontrados devem ser confrontados com os resultados empírcos, ou sea, as respostas dos suetos, e verfcar se exstem dferenças estatstcamente sgnfcatvas. Exstem város procedmentos estatístcos usados para a comprovação do auste do modelo aos dados, mas nenhum é totalmente satsfatóro, o que acaba por se tornar o ponto fraco da TRI no seu momento atual de desenvolvmento (Muñz, 1990; Baker, 2001; Wrght e Stone, A demonstração do auste do modelo aos dados pode ser feta por város camnhos o prmero 2 a ser abordado é conhecdo como Qu-quadrado ( χ cua fórmula para avalar tem por tem ndvdualmente é a segunte: 2 χ = k n [ P( θ - Pe ( θ ] [ P( θ ][ 1 P( θ ] = 1 -, onde k, número de categoras em que se dvde θ n, número de suetos dentro de cada categora. P( θ, valor da CCI dado pela fórmula do modelo com os parâmetros estmados para a categora. P e ( θ, proporção de suetos que emprcamente superam o tem para uma categora determnada. 2 χ, se dstrbu com k-1 graus de lberdade. 8

9 Teora de Resposta ao Item (TRI: Concetos Elementares dos Modelos para Itens Dcotômcos 2 A fórmula do χ para o cálculo de város tens é exatamente gual à prmera, bastando executar um somatóro de cada resultado para os tens ndvduas que compõem o teste. Um questonamento freqüente versa sobre a quantdade de categoras que θ pode assumr. Não exste uma resposta defntva, apenas que o mas comum entre os pesqusadores é se adotar 10 ou 15. A próxma forma de se demonstrar o auste é conhecda como análse dos resíduos. Estes entenddos como a dferença entre o padrão de respostas esperado e o padrão encontrado para um sueto com determnada habldade, respondendo a um conunto de tens com parâmetros á estmados. Assemelha-se muto com o procedmento anteror e é dado pela segunte fórmula, RE P( θ - Pe ( θ =, onde, P( θ Q( θ n n, número de suetos dentro da categora. P( θ, valor da CCI para o nível θ. P e ( θ Q( θ 1- P( θ, proporção empírca de suetos dentro de uma categora dada que superam o tem. =, suetos dentro de uma categora que erram o tem. À medda que os valores dos resíduos se dstancam de zero, por será o auste do modelo. É comum o estabelecmento de parâmetros arbtráros, por exemplo, acetar varações entre 2 e 2 como parâmetros acetáves de desauste. O procedmento mas freqüente de análse de auste é o 2 χ, que apresenta problemas, quando se trata dos modelos de dos e três parâmetros usado com amostras reduzdas. Esse procedmento deve ser acrescdo de outros, por exemplo, análse dos resíduos para estmatvas de auste complementares (Soares e Perera, A INVARIÂNCIA DOS PARÂMETROS Uma das vantagens dos modelos da TRI em relação aos modelos da Pscometra Clássca sera a ndependênca dos resultados em relação à amostra que se usou para estmação dos parâmetros e a ndependênca da medda em relação ao nstrumento utlzado para procedê-la. Se todos os problemas com a estmação são superados, então o modelo deve ser capaz de alcançar a nvarânca dos parâmetros. Quando se utlzam amostras adequadas da população, adequadas no sentdo de ser grande o sufcente para representarem as varações possíves de θ, então se pode dzer que fo encontrada a stuação deal para estmação dos parâmetros. Mas, mesmo quando as amostras são reduzdas e compostas por partes dstntas da população para a qual se pretende construr o teste, stuação freqüentemente vvencada pelos construtores de testes, as estmatvas demonstram que os parâmetros se mantêm nvarantes. Por exemplo, se os parâmetros são estmados com uma amostra da população consderada superor na magntude do respectvo traço os valores estmados corresponderão à cauda superor da CCI, sendo que o modelo ao estmar os parâmetros deduz o restante nferor da curva para aquela amostra. O mesmo se aplca no caso de a amostra ser consttuída pela porção 9

10 GLEIBER COUTO e RICARDO PRIMI nferor da população, só que neste caso o modelo deduz a porção superor da curva (Baker, Evdentemente que, nessas stuações, o erro da estmatva será maor, mas em mutos casos, mesmo sendo maor, não chega a ser grande o sufcente ao ponto de nvaldar as estmatvas. Dessa forma pode-se dzer que os parâmetros são ndependentes da amostra utlzada para estmação dos parâmetros. Uma forma de se demonstrar essa nvarânca é estabelecer uma correlação, por exemplo, a correlação de Pearson entre os valores dos parâmetros obtdos em uma amostra e outra, quanto melhor for essa correlação, ou sea, quanto mas o gráfco de dspersão produzdo pelos dados se aproxmar de uma reta, mas nvarantes são os parâmetros. Anda, para demonstrar a ndependênca da medda em relação ao nstrumento recorre-se também a uma correlação, só que dessa vez entre os valores de θ meddos por dos conuntos de tens dferentes. Devemos consderar que os valores de θ não serão os mesmos em uma stuação e outra se as notas não estverem equalzadas, pos não exste uma únca métrca para θ, mas basta que se estabeleça uma relação lnear dretamente proporconal entre as estmações (Baker, 2001; Wrght e Stone, A Fgura 3 representa as relações explcadas sobre a ndependênca dos parâmetros com relação à população usada para estmá-los. As curvas normas A e B abaxo do exo das abscssas representam duas populações com dferentes médas de habldades que responderam ao tem a representado pela curva característca do tem. Pode-se notar na faxa sombreada que os ndvíduos com habldade em torno da dfculdade do tem representam respectvamente o extrato de maor habldade da população A e menor habldade da população B. A dfculdade do tem, tal como estmada pela TRI, permanece a mesma, ndependente da habldade da amostra utlzada na sua estmação. Fgura 3. Independênca dos Parâmetros dos tens da amostra da população 10

11 Escore Verdadero Teora de Resposta ao Item (TRI: Concetos Elementares dos Modelos para Itens Dcotômcos CURVA CARACTERÍSTICA DO TESTE DO SUJEITO E ERRO DE MEDIDA Os modelos da TRI permtem também a construção de um gráfco no qual se apresenta a probabldade de desempenho de um sueto no teste dado um valor de θ, esse gráfco recebe o nome de Curva Característca do Teste (CCT. Em comparação com as CCI, que são partes centras na TRI, as CCT s apresentam uma mportânca menor e sua prncpal característca é a de funconar como lgação ou ponto de comparação entre aspectos da teora clássca e a de resposta ao tem. Para sua construção basta que se somem os valores das curvas característcas dos tens que compõem o teste em questão, a cada nível de θ se somam os valores P(θ de cada tem para esse nível (Fgura 4. Sua expressão matemátca é: CCT = n P = 1 (θ, onde, n é o número de tens que compõem o teste. Habldade Fgura 4. Curva Característca do Teste O modelo não apresenta como preocupação prncpal a estmação do escore total do sueto num determnado teste ou o valor verdadero, como é freqüentemente chamado na Teora Clássca. Entretanto, ao se observar a Fgura 4, nota-se que no exo das ordenadas se encontra o equvalente ao valor verdadero do sueto no teste, tal como ele pode ser estmado pela TRI. Esse valor é dado pela soma das probabldades P(θ para cada nível θ presente nas CCI s (Muñz, A utldade das pontuações verdaderas ou V estmadas por meo da TRI para a nterpretação dos resultados é que elas vêm expressas na mesma escala que as pontuações empírcas, ao passo que os valores de θ são expressos em uma outra escala. O que as CCT s apresentam como pontuações verdaderas são os valores de θ convertdos para uma escala comum. Na verdade as CCT s demonstram uma relação funconal entre o escore verdadero e a escala de habldade (Baker,

12 GLEIBER COUTO e RICARDO PRIMI O cálculo e o uso mas freqüente de θ, em contraposção ao uso do valor do escore verdadero, é ustamente a ndependênca que se pode obter do valor de θ em relação ao teste utlzado, ao passo que o escore verdadero não permte essa ndependênca (Muñz, Da mesma forma que nas CCI s e nas CCT s, podemos a partr dos mesmos dados traçar uma Curva Característca do Sueto (CCS, que tem como sua prncpal aplcação a possbldade de comparação entre os valores empírcos do sueto com sua curva teórca esperada. Ao serem conhecdos os valores de habldade dos suetos, θ s, e os parâmetros dos tens que compõem um teste, pode-se estabelecer uma expectatva de desempenho para os suetos naquele teste e representá-la grafcamente. As CCS s podem ser obtdas representando no exo das abscssas os valores da dfculdade dos tens dvddos em categoras e no exo das ordenadas, a proporção de acerto do sueto em tens daquela dfculdade. Então, no mesmo gráfco podemos desenhar a curva com os valores da expectatva de desempenho para o sueto nformando o que ele domna, por exemplo, observando os tens em que ele tem expectatva de mas de 70% de acerto. Outra aplcação para as CCS s sera a possbldade de comparação de expectatvas de desempenho relatvas entre város suetos. Por exemplo, a Fgura 5 compara duas pessoas em suas capacdades de acertar tens com determnados índces de dfculdade, nota-se que a pessoa A apresenta probabldade de acerto de 50% nos tens com dfculdade em torno de -1,2, que corresponde a sua faxa de theta, ao passo que a pessoa B apresenta probabldade de acerto de 50% a tens com dfculdade em torno de 1,8, que corresponde a sua faxa de theta. Logo se espera que a pessoa B tenha probabldade de 100% de acerto em tens que a pessoa A apresenta apenas probabldade de 50% de acerto. 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Dfculdade-3,2-2,2-1,2-0,2 0,8 1,8 2,8 3,8 Pessoa A Pessoa B Fgura 5. Curvas característcas de duas pessoas, demonstrando a expectatva de acertos em tens de dferentes níves de dfculdade FUNÇÕES DE INFORMAÇÃO Uma das possbldades do modelo da TRI dz respeto ao cálculo do erro de medda, que na teora clássca é dado pela fórmula: E = T -V e o erro padrão de medda é dado pelo desvo pa- 12

13 Teora de Resposta ao Item (TRI: Concetos Elementares dos Modelos para Itens Dcotômcos drão das dferenças em relação ao valor verdadero, sto é, pelo desvo padrão de E. No modelo de resposta ao tem pode se dzer que o erro também é encontrado utlzando-se recursos analítcos para estmar a varabldade das estmatvas do theta. A característca mas mportante sobre a dferença de nformação do erro padrão de medda na Teora Clássca e na TRI é que na segunda, o seu valor não é o mesmo para todos os suetos, mas está condconado ao valor de θ. Isso mplca em que a precsão do teste não é a mesma ao longo da escala, pos depende do nível dos suetos na varável medda, ou sea, do valor de θ (Baker, O Erro Padrão de Medda (EPM é mas freqüentemente estudado nas funções de nformação, que são apenas outra forma de se expressá-lo. Portanto a função de nformação de um teste é um ndcador da precsão desse teste, pos na proporção em que exste mas nformação sobre o traço meddo menor o EPM. A função de nformação dz o quão bem cada nível de habldade pode ser estmado, usando-se um conunto de tens específco (Baker, A expressão gráfca exbe no exo das abscssas os valores de θ dvddos no conunto de categoras em que fo avalado e no exo das ordenadas os valores de I (θ (Fgura 6. De posse dessa nformação pode-se seleconar os testes de melhor capacdade de nformação para avalar suetos com relatvos valores de θ ou anda, pensando na construção se dspomos de um conunto de tens calbrados pode-se construr um teste que apresente uma determnada I (θ conforme os obetvos de testagem. Para os testes de medda em geral a confguração do gráfco da função de nformação apresentara uma reta, o que sgnfca uma medda com gual precsão ao longo da escala de habldade (Baker, É possível se produzr um gráfco de função de nformação para os tens ndvdualmente ou para o teste como um todo, o que é mas freqüente é o cálculo da função para o teste. Apesar de a teora de resposta ao tem ser uma teora temzada, ou sea, prorza a estmação de parâmetros para os tens, o cálculo de uma função de nformação para tens ndvduas raramente é executado (Baker, A função de nformação dos tens é um poderoso nstrumento para análse de tens, possbltando o conhecmento não só de quanto de nformação um tem acumula num determnado valor de θ, mas também em que valor de θ o tem possu maor quantdade de nformação. Segundo Muñz (1990, a função de nformação dos tens tem sdo o método de análse de tens mas utlzado pelos construtores de teste atualmente. Ao analsarmos as funções de nformação dos testes e em seguda dos tens podemos deduzr quando elas expressam sua capacdade máxma de nformação respectvamente, em relação aos modelos logístcos de um, dos e três parâmetros. Nos modelos de um e dos parâmetros os tens atngem sua capacdade máxma de nformação quando θ for gual à dfculdade dos tens ( e θ = b os valores da função de nformação são smétrcos para cada valor de θ acma ou abaxo do valor de θ = b. No modelo de três parâmetros a quantdade de nformação será sempre menor que nos dos outros modelos devdo à nfluênca do parâmetro probabldade de acerto ao acaso c. CONSIDERAÇÕES FINAIS Durante as seções anterores foram expostas as prncpas característcas dos modelos para tens dcotômcos da Teora de Resposta ao Item freqüentemente aplcados a testes de habldades. 13

14 GLEIBER COUTO e RICARDO PRIMI Especalmente aquelas que vsam responder às defcêncas da Teora Clássca no que respeta ao fato de que as estmatvas sobre os suetos dependem do teste usado, os parâmetros dos testes dependem da amostra usada na construção e a consderação do escore total como referênca de medda. Desta forma foram explanadas as característcas dos prncpas modelos, como são estmados os parâmetros dos tens em cada um deles, os prncpas concetos concernentes aos respectvos modelos e também os avanços proporconados pela adoção desses procedmentos. Para um conhecmento mas detalhado dos concetos, e também outras característcas não ctadas aqu, recomenda-se a letura de Wrght e Stone (2004, Lnacre e Wrght (2002, Baker (2001 ou Muñz (1990. A construção de nstrumentos de medda é uma tarefa laborosa, porém possível e necessára para que o profssonal possa ter em mãos nstrumentos de qualdade que srvam como ferramentas complementares ao seu trabalho de avalação. Desta forma acredta-se que sea deseável aos construtores e usuáros de teste um conhecmento, mesmo que elementar das característcas dos modelos da TRI que permta, se não utlzar o modelo em pesqusas de desenvolvmento de nstrumentos, ao menos compreender os concetos, quando são explanados em trabalhos alheos. O obetvo do presente trabalho fo o de apresentar esses concetos de forma smples e detalhada o sufcente para uma compreensão e uso prátcos, pos o conhecmento dos prncpas procedmentos de construção, nclusve aqueles orundos da Pscometra Moderna, auda os profssonas a aprmorar a capacdade de realzar ulgamentos sobre a qualdade dos nstrumentos com base em prncípos calcados no método centífco. Portanto, auda a dentfcar aqueles que, apesar de prometerem grandes revelações sobre os padrões fxos de comportamento ou dos aspectos subetvos dos ndvíduos, não conseguem comprovar sua utldade. REFERÊNCIAS Anastas, A. & Urbna, S. (2000. Testagem pscológca. Porto Alegre: Artmed. Baker, F.B. (2001. The bascs of tem response theory. Washngton, DC: ERIC Clearnghouse on Assessment and Evaluaton. Embretson, S.E. & Rese, S.P. (2000. Item response theory for psychologsts. Mahwah, New Jersey, London: Lawrence Erlbaum Assocates. García, M.I.B; Maranon, P.P; Falcon, J.C.J & Costas, C.S.L. (2001. Relacones empírcas entre los estatístcos de la teora clásca de los testes y los de la teora de respuesta a los tems. Pscothema, 13 (2, Hambleton, R.K. (1990. Item response theory: Introducton and bblography. Pscothema, 2 (1, Lawley, D.N. (1943. On problems connected wth tem selecton and test constructon. Proceedng of the Royal Socety of Edmburg, 61, Lnacre, J.M. & Wrght, B.D. (2002. Understandng Rasch measurement: Constructon of measures from many-facet data. Journal of Appled Measurement, 3 (4, Lord, F.M. (1952. A theory of test scores. Psychometrc Monograph, 7,

15 Teora de Resposta ao Item (TRI: Concetos Elementares dos Modelos para Itens Dcotômcos Lord, F.M. (1953. An applcaton of confdence ntervals of máxmum lkelhood to the estmaton of an examnee s ablty. Psychometrka, 18, Lord, F.M. (1980. Applcatons of tem response theory to practcal testng problems. Hllsdale, New Jersey: LEA. Muñz, J. (1990. Teoría de respuesta a los ítens: Un nuevo enfoque en la evolucón pscológca y educatva. Madr: Edcones Prámde, S. A. Pasqual, L. (1996. Teora e métodos de medda em cênca do comportamento. Brasíla: INEP. Pasqual, L. (1997. Pscometra: Teora e aplcações. A teora clássca dos testes pscológcos. Brasíla: Edtora UnB. Pasqual, L. (2000. Pscometra: Teora dos testes pscológcos. Brasíla: LabPAM. Rchardson, M.W. (1936. The relatonshp between dffculty and the dfferental valdty of a test. Psychometrka, 1, Soares, T.M; & Perera D.R.M. (2002. Estudo de crtéros de adequação para modelos da teora da resposta ao tem (TRI aplcado ao caso do ensno fundamental da mcro-regão de Juz de Fora em Educação em Foco, 6 (2, Tucker, L.R. (1946. Maxmum valdty of a test wth equvalent tems. Psychometrka, 11, Wrght, B.D. & Stone, M. H. (2004. Makng measures. Chcago: Phaneron Press. Recebdo em 09/06/09 Revsto em 25/02/11 Aceto em 28/02/11 15