Contribuições da Teoria da Resposta ao Item nas Avaliações Educacionais

Transcrição

1 Artgo Orgnal DOI:0.590/79460X30 Cênca e Natura, Santa Mara, v. 36 Ed. Especal, 04, p Revsta do Centro de Cêncas Naturas e Exatas - UFSM ISSN mpressa: ISSN on-lne: X Contrbuções da Teora da Resposta ao Item nas Avalações Educaconas Contrbutons of Item Response Theory n Educatonal Assessments Fernando de Jesus Morera Junor* Departamento de Estatístca, Unversdade Federal de Santa Mara, Brasl. Resumo A concepção, o desenvolvmento e a aplcação de métodos avalatvos para representar os resultados da aprendzagem têm sdo, há muto tempo, uma preocupação entre os pedagogos, pscólogos e educadores em geral. Tradconalmente, as avalações educaconas são baseadas nos escores provenentes da chamada Teora Clássca dos Testes (TCT) ou Teora Clássca da Medda (TCM). Nesse contexto, surge a Teora da Resposta ao Item (TRI), uma poderosa ferramenta estatístca que consegue suprr as necessdades decorrentes das lmtações da TCT. O obetvo desse artgo é apresentar as prncpas contrbuções da TRI em relação à TCT, no contexto das avalações educaconas, e apresentar uma lustração dessas contrbuções da TRI, por meo de smulações. Palavras-chave: Teora da Resposta ao Item, Teora Clássca dos Testes, Avalação Educaconal, Modelo Logístco de Três Parâmetros, Escala de Profcênca. Abstract The desgn, development and mplementaton of evaluaton methods to represent the learnng outcomes have been long been a concern among pedagogues, psychologsts and educators. Tradtonally, educatonal assessments are based on scores from the so-called Classcal Test Theory (CTT) and Classcal Theory of Measure (CTM). In ths context arses the Item Response Theory (IRT), a powerful statstcal tool that can meet the needs arsng from the lmtatons of TCT. The purpose of ths paper s to present the man contrbutons of IRT n relaton to CTT, n the context of educatonal evaluatons, and present an llustraton of these contrbutons IRT, through smulatons. Keywords: Item Response Theory, Classcal Test Theory, Educatonal Assessment, Three-Parameter Logstc Model, Scale Profcency. *fmunor777@yahoo.com.br Recebdo: /03/04 Revsado: 06/06/04

2 59 Morera Junor: Contrbuções da Teora da Resposta ao Item nas Avalações Educaconas Introdução P or muto tempo, pedagogos, pscólogos e edu cadores em geral, se preocupam em conceber, desenvolver e aplcar métodos avalatvos que representem de forma mas fel possível os resultados da aprendzagem (ANDRADE; LAROS; GOUVEIA, 00). Incalmente, as avalações eram baseadas em escores provenentes da chamada Teora Clássca dos Testes (TCT) ou Teora Clássca da Medda (TCM). Esses escores, anda muto utlzados em avalações educaconas, geralmente são baseados nas somas ou nas médas de pontuações. No entanto, váras lmtações eram observadas com o uso da TCT, entre elas, não é possível comparar grupos de alunos que respondem provas dferentes, e não é possível acompanhar o ganho, em termos de conhecmento do aluno, ao longo do tempo. Na década de 50, com os trabalhos de Lord (95), surge outra metodologa para a avalação de traços latentes, denomnada Teora da Resposta ao Item (TRI), a qual sugere formas de representar a relação entre a probabldade de um ndvíduo dar uma certa resposta a um tem (questão), os traços latentes do ndvíduo e as característcas dos tens, por meo de modelos matemátcos (ANDRADE; TAVARES; VALLE, 000). A TRI é uma poderosa ferramenta estatístca que surgu para suprr as necessdades decorrentes das lmtações da TCT, prncpalmente em relação à mpossbldade de comparar grupos de alunos que respondem provas dferentes, e à mpossbldade de acompanhar o ganho, em termos de conhecmento do aluno, ao longo do tempo. Dessa forma, a TRI começa, aos poucos, a fazer parte das avalações educaconas no Brasl. Prmeramente, a partr de 995, segundo Andrade, Tavares e Valle (000), através da pesqusa AVEJU, da Secretara de Estado da Educação de São Paulo. E, posterormente, no Sstema de Avalação do Rendmento Escolar do Estado de São Paulo (SARESP) e no Sstema de Avalação da Educação Básca (SAEB) do o Insttuto Naconal de Estudos e Pesqusas Educaconas Aníso Texera (INEP) do Mnstéro da Educação (MEC), para montagem de nstrumentos, tratamento de dados e construção de escalas a partr de resultados apresentados por alunos em provas de rendmento (SOUZA, 005). Hava a necessdade de uma metodologa mas sofstcada e precsa que permtsse a construção de escalas de habldade a fm de acompanhar o progresso do conhecmento adqurdo ao longo do tempo (ANDRADE, D. F. e TAVARES e VALLE, 000). Nessas aplcações, a TRI tem mostrado a sua potencaldade no que dz respeto à avalação educaconal, através da construção de uma escala comparável, permtndo o acompanhamento do progresso do conhecmento adqurdo pelo aluno ao longo do tempo, como tem sdo feto nos países pertencentes ao Prmero Mundo (MOREIRA JUNIOR, 00). No contexto nternaconal, a TRI vem sendo empregada amplamente por város países: Estados Undos, França, Chna, Holanda, Corea do Sul e prncpalmente nos países partcpantes do Programa Internaconal de Avalação de Estudantes (PISA). O PISA utlza o modelo de Rasch (RASCH, 960) da TRI e coloca os resultados em uma mesma escala de profcêncas para cada área, ao longo dos anos (ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT, 003, 0; KLEIN, 0). Outro exemplo de avalação utlzando a TRI é o exame de profcênca em língua nglesa (TOEFL). Este exame surgu em 964 e é largamente utlzado em todo o mundo. Desde o níco de sua orgem, este exame á avalou mas de 5 mlhões de alunos e tem sdo admnstrado por mas de centros em 65 países (MINISTÉRIO DA EDUCAÇÃO, 0). A partr de então, cada vez mas nsttutos de educação têm aderdo a TRI para as suas avalações educaconas. Por exemplo, no Sstema Mnero de Avalação da Educação Públca SIMAVE (SOARES; GENOVEZ; GALVÃO, 005) da Secretara de Estado de Educação de Mnas Geras, no Proeto GERES Estudo Longtudnal sobre Qualdade e Equdade no Ensno Fundamental Braslero (PERRY, 009) e, mas recentemente, no Exame Naconal do Ensno Médo ENEM (FERREIRA, 009) também do INEP/MEC, o qual é atualmente o grande exemplo da aplcação da TRI nas avalações educaconas de larga escala do Brasl. Recentemente, no fnal de 00, houve um caso no ENEM onde alguns alunos foram preudcados por problemas de erro na mpressão no cartão de respostas. Caso o ENEM anda utlzasse a abordagem da TCT, o exame devera ser anulado e todos os alunos teram que fazer novamente a prova, pos as questões seram dferentes. Com a utlzação da TRI, que permte crar provas dferentes com o mesmo nível de dfculdade (prncípo da sonoma), apenas esses alunos que foram preudcados se submeteram a realzação de outra prova novamente, sem preuízo de nota para aqueles que não tveram problemas na sua prova. A possbldade de poder aplcar o exame mas de um uma vez no mesmo ano é um dos prncpas motvos da mplementação da TRI no ENEM (MINISTÉRIO DA EDUCAÇÃO, 0). Isso evtou o transtorno da anulação do exame e um preuízo anda maor para os cofres públcos. Em relação à avalação tradconal da TCT, a TRI apresenta algumas vantagens (EMBRETSON; REISE, 000), dentre as quas, destacam-se: () a TRI fornece nformações mas precsas do desempenho dos respondentes, pos o traço latente do ndvíduo não depende da dfculdade das questões do teste, enquanto que na TCT o escore do ndvíduo depende essencalmente dos tens que compõe o teste (ANDRADE; TAVARES; VAL- LE, 000; VENDRAMINI; SILVA; CANALE, 004); () a TRI permte obter melhores índces de precsão do tem (função de nformação do tem - FII) e do teste (função de nformação do teste - FIT) do que os índces utlzados pela TCT (ANDRADE; TAVARES; VALLE, 000; BAKER, 00); (3) a TRI permte utlzar modelos que consderam a possbldade do acerto casual, popularmente

3 Cênca e Natura, v. 36 Ed. Especal, 03, p conhecdo como chute, algo que a TCT não consegua contemplar (ANDRADE; TAVARES; VALLE, 000); (4) a TRI permte, sob certas condções, a comparação através do escore entre os ndvíduos que responderam questonáros com tens dferentes para medr o mesmo traço latente, uma vez que os tens e os ndvíduos são colocados numa mesma escala, que é o grande avanço da TRI em relação à TCT (ANDRADE; TAVARES; VALLE, 000; EMBRETSON; REISE, 000); (5) na TRI, uma vez estmada a profcênca do ndvíduo, é possível verfcar qual a probabldade de dar certa resposta a um determnado tem que ele não respondeu, probabldade que a TCT não consegue calcular (VENDRAMINI; SILVA; CANALE, 004); (6) na TRI, cada respondente tem seu própro erro padrão, relaconado à sua habldade, onde a estmação desse erro é mas precsa, enquanto que na TCT todos os respondentes têm o mesmo erro padrão estmado (EMBRETSON; REISE, 000). No contexto da avalação educaconal, a TRI pode ser utlzada de duas formas: () analsar uma únca prova e um únco grupo de respondentes; () analsar duas ou mas provas e dos ou mas grupos de respondentes. A aplcação da TRI para analsar uma únca prova e um únco grupo de respondentes é a mas trval, e consste em: () estmar (ou calbrar) os parâmetros dos tens; () avalar estatstcamente os tens, elmnando os nadequados, se houverem; (3) re-estmar os parâmetros dos tens até que não haa mas tens nadequados; (4) construr a escala de habldade; (5) estmar a profcênca (a nota) dos ndvíduos. O segundo caso, ou sea, analsar duas ou mas provas e dos ou mas grupos de respondentes, é mas complcado e exge um planeamento prévo. Nesse caso, a stuação mas smples sera dos grupos dferentes resolvendo provas dferentes. Se essas provas forem totalmente dferentes, não há como colocar as questões de ambas as provas numa mesma escala (que é o que permte a comparabldade), e, assm, não é possível utlzar a TRI, o que confgura uma das poucas desvantagens da TRI (ANDRADE; TAVARES; VALLE, 000). Para que as questões das duas provas seam colocadas numa mesma escala, é necessáro que haa tens em comum entre as provas. Havendo tens em comum entre as provas, elas podem ser colocadas numa mesma escala por meo de um método de equalzação () a pror, quando o processo de equalzação entre as duas provas é feto smultaneamente (BOCK; ZIMOWSKI, 997); ou () a posteror, quando as provas são calbradas separadamente e, após, são colocadas na mesma escala por meo de algum método de equalzação. No caso da equalzação a pror, as provas são tratadas como se fossem uma únca prova (nem todos os softwares permtem sso) e a aplcação da TRI consste em nos mesmos passos vstos no prmero caso. No caso da equalzação a posteror, a aplcação da TRI consste em: () estmar (ou calbrar) os parâmetros dos tens nas duas provas separadamente; () avalar estatstcamente os tens de cada prova, elmnando os nadequados, se houverem; (3) re-estmar os parâmetros dos tens, nas duas provas separadamente, até que não haa mas tens nadequados; (4) estmar a profcênca (a nota) dos ndvíduos de cada grupo em escalas separadas; (5) equalzar as provas por meo de um método de equalzação; (6) construr a escala de habldade; (7) obter a profcênca (a nota) dos ndvíduos de um dos grupos na escala do grupo de referênca, por meo de uma transformação lnear. Depos que os tens são devdamente calbrados, eles podem ser aplcados a outros ndvíduos para estmar a profcênca dos ndvíduos, não sendo mas necessáro estmar novamente os parâmetros dos tens. No caso do ENEM, a TRI fo proetada durante alguns anos antes da sua aplcação defntva no exame. Ao longo desses anos, váras provas, com tens em comum, foram aplcadas em dversas localdades do Brasl. Fo construído um grande conunto de tens que fo calbrado numa únca escala. Nessa escala foram defndos níves denomnados níves âncora, que são pontos seleconados pelos analstas na escala da habldade para serem nterpretados pedagogcamente. Valle (00) ressalta que esses níves âncoras não podem ser muto próxmos nem muto dstantes, podendo-se tomar como base a méda e o desvo padrão. O Exame Naconal de Desempenho de Estudantes (ENADE) também têm sdo obeto de estudo da TRI (FRANCISCO, 005; OLIVEIRA, 006; NOGUEIRA, 008; PRIMI et al., 009; PRIMI et al., 00; CORREA et al., 0), embora uma mplantação da TRI no ENADE sea mas complcada do que no ENEM, á que há dezenas de cursos dferentes, o que mplcara na cração de dezenas de bancos de tens. A TRI entrou no Brasl com o obetvo de aprmorar as avalações educaconas e a maora das aplcações da TRI no país têm sdo na área da avalação educaconal (MOREIRA JUNIOR, 00). Uma lstagem de trabalhos desenvolvdos nessa área até o ano de 009 pode ser encontrada em Morera Junor (00). O obetvo desse artgo é apresentar as prncpas contrbuções da Teora da Resposta ao Item em relação à Teora Clássca dos Testes, no contexto das avalações educaconas, e apresentar uma lustração dessas contrbuções da TRI, por meo de smulações. Modelos de Resposta ao Item para Avalação Educaconal Exstem város modelos matemátcos utlzados na TRI, dferentes quanto à sua função e à quantdade de parâmetros, e cada um deles é específco para uma (ou mas) stuação. Esses modelos podem ser classfcados quanto à sua dmensão (undmensonas ou multdmensonas), quanto ao tpo de traço latente (cumulatvo ou não cumulatvo), quanto ao tpo de tem (dcotômco ou poltômco) e quanto ao número de populações envolvdas (MOREIRA JUNIOR, 0). No contexto da avalação educaconal, dos modelos

4 6 Morera Junor: Contrbuções da Teora da Resposta ao Item nas Avalações Educaconas são adequados: () o Modelo Logístco de Três Parâmetros ML3 (LORD, 980; BIRNBAUM, 968) e () o Modelo de Resposta Nomnal MRN (BOCK, 97). Esses dos modelos são do tpo undmensonal (um únco traço latente está relaconado com a capacdade do ndvíduo) e cumulatvo (há uma relação de domnânca entre tens e ndvíduos, de tal forma que se um ndvíduo domna certo tem, consequentemente ele domna também todos os tens que estão posconados abaxo desse tem na escala). O ML3 é dcotômco, consdera apenas se o ndvíduo acertou ou não a questão, mas também é o únco modelo que consdera a possbldade do acerto casual. O MRN é poltômco e leva em conta, não somente se o ndvíduo acertou ou não a questão, mas qual fo a alternatva que ele respondeu. Dessa forma, se dos ndvíduos acertam e erram as mesmas questões, porém não assnalando as mesmas alternatvas quando erram, eles têm a mesma nota pelo ML3, porém dferentes notas pelo MRN. As avalações em larga escala, que utlzam a TRI no Brasl, adotam o ML3. São raros os estudos que utlzam o MRN para a avalação educaconal. Dessa forma, o foco nesse artgo será dado ao ML3. Outros modelos mas smples, tas como, o modelos logístcos de parâmetro ML (WRI- GHT, 968), também conhecdo como Modelo de Rasch (RASCH, 960) e o modelo logístco de parâmetros ML (LORD, 980; BIRNBAUM, 968) também podem ser utlzados nas avalações educaconas, como fazem alguns autores, por exemplo, Olvera (006) e Prm, Hutz e Slva (0). No entanto, são mas restrtos, pos não levam em conta a possbldade do acerto casual e o ML anda consdera que todos os tens possuem a mesma dscrmnação. O ML3, que consdera a dfculdade, a dscrmnação e a probabldade de acerto casual do tem, é o mas ndcado e aplcado nas avalações educaconas de profcênca. O ML3 é adequado para o auste de tens poltômcos (tens com duas ou mas categoras) com uma únca opção de resposta correta, o que permte que o tem sea dcotomzado em duas categoras: certa e errada. Além dsso, esse modelo permte modelar a probabldade do acerto casual, ou sea, a probabldade de um aluno com baxa profcênca acertar um determnado tem. Segundo Andrade, Tavares e Valle (000), o ML3 é dado por: PU c c Da b e para,,..., I, e,,..., n ( U onde: U é uma varável dcotômca (assume o valor quando o ndvíduo responde corretamente o tem, ou assume o valor 0, caso contráro); q é o valor do traço latente (parâmetro da habldade) do ndvíduo ; P, também chamada de Função de Resposta do Item (FRI), é a probabldade do ndvíduo responder corretamente o tem, dado que ele tem habldade q, ou sea, é a proporção de respostas corretas do tem dos ndvíduos da população com habldade q ; a é o parâmetro de dscrmnação (ou de nclnação) do tem ; b é o parâmetro de dfculdade (ou de posção) do tem, meddo na mesma escala da habldade; c é o parâmetro de acerto casual, que representa a probabldade de ndvíduos com baxa habldade responderem corretamente o tem ; D é um fator de escala constante, gual a se os parâmetros dos tens são estmados na métrca da Logístca, ou gual a,7, se os parâmetros dos tens são estmados na métrca da ogva Normal, que é a dstrbução Normal acumulada, por aproxmação (nesse estudo, os parâmetros serão analsados pela métrca da Logístca, consderando, portanto, D = ); e é a conhecda constante matemátca gual a,788...; I é o número total de tens; e n é a quantdade total de ndvíduos na amostra. O ML3 é um modelo acumulatvo, ou sea, a medda que o valor do traço latente aumenta, a probabldade do ndvíduo acertar o tem também aumenta e vce-versa. A Fgura apresenta um exemplo de uma Curva Característca do Item (CCI) de um ML3 e a sua relação exstente com os parâmetros dos tens a (nclnação da curva), b (posção do tem na escala) e c (probabldade de acerto casual de ndvíduos com baxa habldade). A CCI é o gráfco da função do modelo matemátco, onde o exo Y é a probabldade de resposta correta de um ndvíduo segundo o valor da sua habldade (exo X). Prob. de Resposta Correta 0,8 0,6 0,4 0, 0 c Habldade Fgura : Relação entre os parâmetros dos tens e a CCI O traço latente (habldade ou profcênca) do ndvíduo ( q ) é meddo em uma escala arbtrára que vara teorcamente entre e +. Porém, o mportante nessa escala não é a sua magntude, mas as relações de ordem exstentes (ANDRADE; TAVARES; VALLE, 000). O traço latente, no modelo acumulatvo, é especfcado como um tpo de característca que apresenta uma pro- b a

5 Cênca e Natura, v. 36 Ed. Especal, 03, p babldade maor para ndvíduos com q maor, e uma probabldade menor para ndvíduos com q menor. Ou sea, quanto maor for q, maor será a probabldade do ndvíduo acertar o tem. Segundo Baker (00), o traço latente q do ndvíduo é nvarante em relação aos tens utlzados para estmá-la, desde que os tens seam adequados, sto é, esteam calbrados (ou sea, possuam uma boa estmatva dos parâmetros), em uma métrca comum e medndo o mesmo traço latente (undmensonaldade). Isso ustfca o fato do resultado do q ser o mesmo, ndependente dos tens que formam o questonáro, o que não ocorre na TCT. Portanto, não mporta se o teste é composto por tens dfíces ou fáces, a estmatva da habldade é a mesma. Isso é condzente com a realdade, á que a habldade de um ndvíduo, num determnado tempo t, é a mesma ndependente do grau de dfculdade do teste. Essa é a chamada propredade de nvarânca do parâmetro de habldade da TRI. O parâmetro a mede a dscrmnação do tem. Valores baxos de a ndcam que o tem tem pouco poder de dscrmnação, ou sea, a probabldade de um ndvíduo responder corretamente o tem ou concordar com ele é aproxmadamente a mesma para ndvíduos com baxa ou alta profcênca. Por outro lado, valores altos de a ndcam que o tem tem grande poder de dscrmnação, dvdndo os ndvíduos pratcamente em dos grupos: os que possuem habldades abaxo do valor de b (com baxa probabldade de acertar o tem), e os que possuem habldades acma do valor de b (com alta probabldade de acertar o tem). Não exste um valor exato de a para decdr se um tem dscrmna bem ou não. Em geral, na métrca logístca, um tem com a maor que 0,7 pode ser consderado acetável, mas um valor maor ou gual a,0 ndca que o tem dscrmna bem. Valores extremamente altos de a também não são adequados, pos provavelmente dvdra os ndvíduos em dos grupos dstntos (os que têm q maor que b e os que têm q menor que b ), mas não fara dstnção entre os ndvíduos dentro dos grupos. O parâmetro mas mportante do ML3 é o b, parâmetro de dfculdade ou profcênca do tem, que é meddo na mesma undade da escala da habldade do ndvíduo ( q ). Ele representa o grau de dfculdade do tem, ou sea, quanto maor seu valor, mas dfícl o tem é (somente ndvíduos com habldade alta terão uma boa probabldade de acertá-lo), e vce-versa. Esse valor de b é que va defnr a posção do tem na escala, por sso ele também é chamado de parâmetro de localzação. Teorcamente, b pode assumr qualquer valor entre e +, entretanto, para valores muto altos ou baxos, o tem pode não ser adequado, sendo usual os valores entre -3 e 3, na escala (0, ), sto é, com méda gual a zero e desvo padrão gual a um. O parâmetro c é a probabldade de um ndvíduo com baxa profcênca ou com pouco (ou nenhum) conhecmento, em relação ao assunto que está sendo avalado, responder corretamente ao tem. O parâmetro c é consderado quando exste a possbldade de acerto casual, que é o caso do ML3, e o seu valor depende da quantdade de alternatvas que o tem apresenta. Tanto para estmação dos parâmetros dos tens quanto para a estmação do traço latente, há város métodos estatístcos sofstcados que podem ser utlzados, tas como o método de Máxma Verossmlhança Margnal (MVM), o método bayesano da Moda a Posteror (MAP), o método bayesano da Méda a Posteror (EAP) e o método da Máxma Verossmlhança Conunta (MVC) (ANDRADE; TAVARES; VALLE, 000). Esses métodos não possuem solução explícta, o que torna necessára a utlzação de algum método numérco teratvo, como o Algortmo Newton-Raphson (ISSAC; KELLER, 966), o Método Scorng de Fsher (RAO, 973) e o Algortmo EM (DEMPSTER; LAIRD; RUBIN, 977). Essas soluções envolvem cálculos bastante complexos e, conseqüentemente, necesstam de programas computaconas específcos. Os prncpas softwares utlzados para análse de TRI são o BILOG-MG, o MULTILOG e o PARSCALE (TOIT, 003), o Xcalbre (WEISS; GUYER, 00) e o R (R DEVELOPMENT CORE TEAM, 0). O R possu város pacotes para análse de TRI, dentre os quas, se destacam o ltm (RIZOPOULOS, 03), o rtoys (PARTCHEV, 03) e o mrt (CHALMERS, 0). A calbração dos tens, devdo à facldade computaconal, geralmente é feta na escala (0,), ou sea, numa escala com méda gual a zero e desvo padrão gual a. Todo tem fornece uma nformação à avalação na TRI, através da Função de Informação do Item (FII), que permte analsar a quantdade de nformação que um tem fornece para a medda do traço latente analsado e reflete a qualdade do tem. Segundo Andrade, Tavares e Valle (000), a FII de um ML3 é dada por: I Q ( q ) P ( q ) c ( q ) = D a P ( q ) c onde: I (q ) é a nformação fornecda pelo tem no nível de habldade q, P ( ) P X, e Q ( ) P ( ) Utlzando D = (métrca logístca) e desenvolvendo as expressões da equação (), chega-se a segunte expressão, conforme Francsco (005): I ( ) c a b a b c e e a Quanto maor for a nformação de um tem, melhor será a sua qualdade. Quanto maor for o valor de a e menor for o valor de c, maor será a nformação ()

6 63 Morera Junor: Contrbuções da Teora da Resposta ao Item nas Avalações Educaconas do tem (curva será mas alta e estreta) e mas acentuada será a CCI. A soma de todas as FII da avalação gera a Função de Informação do Teste (FIT), ou sea: I I I( ) ( ) A FIT mede a qualdade do banco de tens do teste. Um teste adequado deve apresentar nformação consderável em toda a extensão deseável de q. A partr da FIT obtém-se o erro-padrão da medda da habldade (EPM), que é o erro padrão do estmador de q, ou sea: EP( ) I( ) Observa-se uma relação nversa entre a FIT e o erro padrão de estmação: quanto maor for a FIT, menor será o erro padrão de estmação e maor será a precsão da estmação da habldade. Quanto maor o erro padrão de estmatva, menor a precsão com que é estmado o traço latente θ. A possbldade de equalzação, ou sea, colocar dferentes populações numa mesma escala, é um dos grandes avanços da TRI em relação à TCT, pos possblta comparar os dferentes grupos e acompanhar a evolução do traço latente ao longo do tempo. Vamos consderar a stuação mas smples, ou sea, dos grupos dferentes resolvendo provas parcalmente dferentes, ou sea, com alguns tens em comum. Exstem város métodos de equalzação a posteror que podem ser utlzados para estabelecer uma relação entre os tens em comum de tal forma que permta colocar os parâmetros de um dos conuntos de tens na escala do outro. Alguns métodos podem ser consultados em Kolen e Brennan (995). Um método de equalzação que possu um bom desempenho é o método Méda-Desvo (MS), que consste em obter a nclnação A por: () SG A = S G onde: S G é o desvo padrão dos parâmetros de dfculdade dos tens comuns do grupo de referênca (G), e S G é o desvo padrão dos parâmetros de dfculdade dos tens comuns do outro grupo (G); e o ntercepto B por: B = M A M (3) G. G onde: M G é a méda dos parâmetros de dfculdade dos tens comuns do grupo de referênca, e M G é a méda dos parâmetros de dfculdade dos tens comuns do outro grupo. As quantdades A e B são utlzadas para colocar os parâmetros dos tens do G na escala do G a partr das relações: (4) ag a' G = A onde: a ' G é o parâmetro de dscrmnação do Grupo colocado na escala do grupo de referênca e (5) b = ( Ab. ) B ' G G + De modo semelhante, o traço latente do G pode ser colocado na escala do G por meo da transformação lnear: (6) q = (. ) B ' G Aq G + Outra grande vantagem da TRI em relação à TCT, é a construção e a nterpretação da escala do traço latente. Conforme, Fontanve, Ellot e Klen (007), as escalas de habldade ordenam o desempenho dos ndvíduos do menor para o maor de forma contínua e são cumulatvas, sto é, os ndvíduos que stuam-se em um determnado nível da escala são capazes de demonstrar as habldades descrtas nesse nível e nos níves anterores dessa escala. A construção da escala de habldade é efetuada após a calbração (e equalzação, se necessáro) dos tens, com o obetvo de encontrar uma nterpretação qualtatva dos valores obtdos pela aplcação do modelo da TRI, possbltando assm, a nterpretação pedagógca dos valores das habldades. Nesse sentdo, surge a déa dos níves âncoras e a técnca conhecda como ancoragem (BEATON; ALLEN, 99). Andrade, Tavares e Valle (000) defnem níves âncora como pontos seleconados pelo analsta na escala da habldade para serem nterpretados pedagogcamente. Os níves âncoras são caracterzados pelos tens âncoras, que são tens típcos desse nível, ou sea, bastante responddo postvamente por ndvíduos com aquele nível de habldade e pouco responddo postvamente por ndvíduos com um nível de habldade medatamente nferor (ANDRADE; TAVARES; VALLE, 000). As condções para a defnção de tens âncoras para os Modelos Logístcos (dcotômcos) da TRI foram propostas por Kolen e Brennan (995), os quas defnem tem âncora da segunte forma: consdere dos níves âncora consecutvos Y e Z sendo que Y < Z. Um determnado tem é âncora para o nível Z se e somente se as 3 condções abaxo forem satsfetas smultaneamente: U Z 0, 65 P, U Y 0, 50 P e P U Z PU Y 0, 30.

7 Cênca e Natura, v. 36 Ed. Especal, 03, p Na prátca, às vezes um tem não se caracterza âncora por volar levemente uma das três condções necessáras. Nessas stuações, pode-se consderar esse tem como sendo âncora, se ele for mportante ou se exstrem poucos tens no nstrumento de pesqusa. Outra alternatva é dvdr os tens em grupos, segundo a quantdade de condções satsfetas. Valle (00) salenta que alguns níves âncoras extremos podem ser mal caracterzados por serem defndos por tens muto fáces ou muto dfíces, os quas geralmente são poucos. 3 Materas e Método Serão consderados dos grupos representando a prmera e a segunda sére do Ensno Médo. Cada uma dessas séres será composta por 00 alunos smulados que responderão à uma prova de 0 tens smulados (uma prova para a prmera sére e uma prova para a segunda sére, totalzando 40 tens). Para fns de lustração da equalzação, dentre os 0 tens da segunda sére, os cnco prmeros tens são os mesmos cnco prmeros tens da prmera sére. Nessa smulação, consderou-se que o nível de dfculdade médo da prova da segunda sére era um desvo padrão acma o nível de dfculdade médo da prova da prmera sére. Dessa forma, os cnco tens em comum (tens de natureza da prmera sére) tveram seu parâmetro de dfculdade reduzdo em um desvo padrão na prova da segunda sére. Prmeramente, foram smulados os tens de cada prova, ou sea, 0 tens do prmero ano e 5 tens do segundo ano. Os tens foram smulados da segunte forma: o parâmetro de dscrmnação a partr de uma dstrbução unforme entre e, o parâmetro de dfculdade partr de uma dstrbução normal padrão, e o parâmetro de acerto casual a partr de uma dstrbução unforme entre 0,5 e 0,5. Os tens de cada prova foram smulados separadamente em escala própra e o traço latente dos ndvíduos dos dos grupos fo, prmeramente, smulado, a partr de uma dstrbução normal padrão, e, posterormente, estmado na sua própra escala. Nessa smulação, adotou-se o método EAP para a estmação do traço latente. Na sequênca, fo feta uma equalzação a posteror utlzando o método MS e os parâmetros dos tens da prova da segunda sére foram colocados na escala da prmera sére (grupo de referênca) por meo de uma transformação lnear através das equações (4) e (5). Em seguda, o traço latente dos ndvíduos da segunda sére também fo colocado na escala da prmera sére, por meo de uma transformação lnear através da equação (6). As smulações, as estmatvas do traço latente e a equalzação foram realzadas com o pacote rtoys (PAR- TCHEV, 03) do Software R (R DEVELOPMENT CORE TEAM, 0). 4 Resultados e dscussão A Tabela apresenta, para cada tem da prova da prmera sére, a proporção de erros e a proporção de acertos, que é chamada de Índce de Dfculdade (ID) da TCT. Tabela Proporções de Erros e Acertos da Prova da Prmera Sére Item Proporção de Proporção de Acertos Erros Item0 0,66 0,34 Item0 0,53 0,47 Item03 0,3 0,69 Item04 0,6 0,39 Item05 0,47 0,53 Item06 0, 0,78 Item07 0,78 0, Item08 0, 0,88 Item09 0,47 0,53 Item0 0,07 0,93 Item 0,43 0,57 Item 0,37 0,63 Item3 0,33 0,67 Item4 0,53 0,47 Item5 0,9 0,7 Item6 0,37 0,63 Item7 0,5 0,48 Item8 0,44 0,56 Item9 0,34 0,66 Item0 0,46 0,54 A Tabela apresenta, para cada tem da prova da segunda sére, a proporção de erros e a proporção de acertos. Nota-se que os tens em comum entre as provas, que são os cnco prmeros tens de cada prova, apresentam maor proporção de acertos na prova da segunda sére. Isso é coerente, uma vez que se espera que o nível de profcênca médo daqueles que estão na segunda sére sea maor do que o nível de profcênca médo daqueles que estão na prmera sére. A grande lmtação da TCT é colocar os alunos dessas duas provas numa mesma escala, a fm de verfcar o ganho, em termos de conhecmento do aluno, ao longo do tempo, e, conseqüentemente, crar uma escala pedagógca nterpretável. Com a exstênca de tens comuns entre as provas, é possível crar essa escala únca, por meo de um processo de equalzação da TRI. Nesse estudo será utlzado um método de equalzação a posteror. Dessa forma, os tens de cada prova serão smulados ndependentemente (com exceção dos tens em comum) e, posterormente, colocados na mesma escala. A Tabela 3 apresenta os parâmetros de cada tem da prova da prmera sére do ML3 da TRI. O nível médo de dfculdade dessa prova fo de 0,6 (méda do parâmetro b).

8 65 Morera Junor: Contrbuções da Teora da Resposta ao Item nas Avalações Educaconas Tabela Proporções de Erros e Acertos da Prova da Segunda Sére Item Proporção de Erros Proporção de Acertos Item 0,57 0,43 Item 0,40 0,60 Item3 0,3 0,87 Item4 0,4 0,58 Item5 0,30 0,70 Item6 0, 0,79 Item7 0,69 0,3 Item8 0,4 0,58 Item9 0,40 0,60 Item30 0,5 0,48 Item3 0,44 0,56 Item3 0,5 0,49 Item33 0,4 0,86 Item34 0,30 0,70 Item35 0,3 0,68 Item36 0,3 0,87 Item37 0,58 0,4 Item38 0,3 0,87 Item39 0,55 0,45 Item40 0,38 0,6 Tabela 3 Parâmetros dos Itens da Prova da Prmera Sére Item a b c Item0,,06 0,8 Item0,0 0,9 0, Item03,7-0,38 0, Item04,03,4 0,8 Item05,48 0,0 0,6 Item06,9-0,96 0,3 Item07,60,8 0,7 Item08,79 -,5 0,7 Item09,4 0,7 0,9 Item0,7 -,3 0,4 Item,6 0,74 0,3 Item,34 0,05 0,5 Item3,08-0,50 0, Item4,5 0,8 0,5 Item5,4-0,54 0,4 Item6,33 0,00 0,0 Item7,6 0,8 0, Item8,43 0,5 0,8 Item9,68-0,40 0,4 Item0,9 0,7 0,6 A Fgura apresenta as CCI s dos tens da prova da prmera sére do ML3 da TRI. Todos os tens apresentam comportamento satsfatóro. Os parâmetros desses tens não serão modfcados no processo de equalzação, pos a prmera sére será consderada o grupo de referênca. Probablty of a correct response Item response functon Ablty Fgura : CCI s dos tens da prova da prmera sére A Fgura 3 apresenta as FII s dos tens da prova da prmera sére, enquanto que a Fgura 4 apresenta a FIT. Observa-se que a nformação do teste encontra-se concentrada em torno da dfculdade méda. A FIT permte também dentfcar as regões do traço latente onde há pouca nformação contemplada pelo teste, mostrando outra vantagem da TRI em relação à TCT. Item nformaton Item nformaton functon Ablty Fgura 3: FII s dos tens da prova da prmera sére

9 Cênca e Natura, v. 36 Ed. Especal, 03, p Test nformaton functon A Tabela 4 apresenta a estmatva do traço latente de ses alunos da prmera sére. Informaton Ablty Fgura 4: FIT da prova da prmera sére A Fgura 5 apresenta o hstograma do traço latente estmado, por meo do método EAP, dos 00 alunos da prmera sére. A méda do traço latente fo de 0,0 e o desvo padrão fo de 0,79. Embora o traço latente tenha sdo smulado com base em uma dstrbução Normal Padrão, o valor mas baxo do desvo padrão é devdo ao método EAP, que tende a subestmar os traços latentes altos e superestmar os traços latentes baxos, reduzndo, assm, a varabldade dos dados. Esses valores não serão modfcados no processo de equalzação. Tabela 4 - Estmatva do traço latente de ses alunos da prmera sére Aluno Traço latente Estmado Aluno 0-0,588 Aluno 0 0,3970 Aluno 03 0,004 Aluno 04-0,7 Aluno 05 0,0374 Aluno 06-0,9847 Após a calbração dos tens e a estmação do traço latente de ses alunos da prmera sére, fo feto o mesmo processo com os dados da prova da segunda sére. A Tabela 5 apresenta os parâmetros de cada tem da prova da segunda sére do ML3 da TRI. O nível médo de dfculdade dessa prova fo de -0,5 (méda do parâmetro b). A prncípo, um lego em TRI podera sugerr que a prova do segundo ano é mas fácl que a do prmero ano, pos o nível médo de dfculdade da prova do segundo ano é menor do que a do prmero ano. No entanto, essas provas foram calbradas em escalas dferentes, que não podem ser comparadas dretamente, sem um método de equalzação. Nota-se também que os parâmetros dos cnco prmeros tens (tens em comum) possuem o valor do parâmetro de dfculdade um desvo padrão menor do que na prova da prmera sére (Tabela 3), como fo propostalmente smulado. Frequênca Traço Latente Fgura 5: Hstograma do traço latente estmado dos alunos da prmera sére Tabela 5 Parâmetros dos Itens da Prova da Segunda Sére Item a b c Item,,06 0,8 Item,0-0,09 0, Item3,7 -,38 0, Item4,03 0,4 0,8 Item5,48-0,80 0,6 Item6,68 -,07 0,4 Item7,84,30 0,9 Item8,50-0,06 0,6 Item9,5 0,04 0,4 Item30,39 0,8 0, Item3,55 0,33 0,7 Item3,60 0,5 0, Item33,76 -,43 0,6 Item34,45-0,34 0,7 Item35,05-0,3 0,4 Item36,7 -,69 0, Item37,09,07 0,8 Item38,39 -,45 0,9 Item39,53 0,7 0,8 Item40,08-0,0 0,

10 67 Morera Junor: Contrbuções da Teora da Resposta ao Item nas Avalações Educaconas A Fgura 6 apresenta as CCI s dos tens da prova da segunda sére do ML3 da TRI. Todos os tens apresentam comportamento satsfatóro. No entanto, os parâmetros desses tens serão modfcados no processo de equalzação, pos a prmera sére será consderada o grupo de referênca. Probablty of a correct response Item response functon Ablty Fgura 6: CCI s dos tens da prova da segunda sére A Fgura 7 apresenta as FII s dos tens da prova da segunda sére, enquanto que a Fgura 8 apresenta a FIT. Observa-se que a nformação do teste encontra-se concentrada em torno da dfculdade méda. Item nformaton Item nformaton functon Ablty Fgura 7: FII s dos tens da prova da segunda sére Informaton Test nformaton functon Ablty Fgura 8: FIT da prova da segunda sére A Fgura 9 apresenta o hstograma do traço latente estmado, por meo do método EAP, dos 00 alunos da segunda sére. A méda do traço latente fo de -0,0 e o desvo padrão fo de 0,89. Como fo menconado anterormente, o método EAP tende a reduzr a varabldade dos dados. No entanto, esses valores serão modfcados no processo de equalzação. Frequênca Traço Latente Fgura 9: Hstograma do traço latente estmado dos alunos da segunda sére A Tabela 6 apresenta a estmatva do traço latente de ses alunos da segunda sére. Após a calbração dos tens de ambas as séres em escalas separadas, pode-se proceder ao método de equalzação a posteror. Nesse estudo, fo utlzado o método méda-desvo (Mean-Sgma) de equalzação a posteror.

11 Cênca e Natura, v. 36 Ed. Especal, 03, p Tabela 6 - Estmatva do traço latente de ses alunos da segunda sére Aluno Traço latente Estmado Aluno 0 0,6846 Aluno 0-0,663 Aluno 03-0,08 Aluno 04 0,305 Aluno 05 0,0 Aluno 06-0,8788 A Tabela 7 apresenta os parâmetros de cada tem da prova da segunda sére na escala da prmera sére. Observa-se que os tens em comum têm as mesmas estmatvas do parâmetro de dfculdade nas duas provas (vde Tabela 3). No entanto, esses valores foram exatamente guas devdo à smulação, pos na prátca, os valores estmados são aproxmados e varam conforme o método de equalzação utlzado. O nível médo de dfculdade dessa prova fo de 0,85 (méda do parâmetro b). Ao contráro do que um lego em TRI podera sugerr antes da equalzação, pode-se perceber que a prova do segundo ano é 0,69 desvo padrão mas dfícl que a prova do prmero ano. Tabela 7 Parâmetros dos Itens da Prova da Segunda Sére na escala da Prmera Sére Item a b c Item,,06 0,8 Item,0 0,9 0, Item3,7-0,38 0, Item4,03,4 0,8 Item5,48 0,0 0,6 Item6,68-0,07 0,4 Item7,84,30 0,9 Item8,50 0,94 0,6 Item9,5,04 0,4 Item30,39,8 0, Item3,55,33 0,7 Item3,60,5 0, Item33,76-0,43 0,6 Item34,45 0,66 0,7 Item35,05 0,77 0,4 Item36,7-0,69 0, Item37,09,07 0,8 Item38,39-0,45 0,9 Item39,53,7 0,8 Item40,08 0,99 0, A Fgura 0 apresenta as CCI s dos tens da prova da segunda sére na escala da prmera sére. Todos os tens apresentam comportamento satsfatóro. Nota-se que, em comparação com a Fgura 6, todos os tens estão deslocados para a dreta. Isso se deve ao fato de terem sdo colocados na escala da prmera sére, ou sea, nessa escala, eles são mas dfíces, naturalmente. Probablty of a correct response Item response functon Ablty Fgura 0: CCI s dos tens da prova da segunda sére na escala da prmera sére A Fgura apresenta as FII s dos tens da prova da segunda sére na escala da prmera sére, enquanto que a Fgura apresenta a FIT. As curvas de ambas as fguras estão deslocadas para a dreta, assm como as CCI s, e pelo mesmo motvo. Item nformaton Item nformaton functon Ablty Fgura : FII s dos tens da prova da segunda sére na escala da prmera sére

12 69 Morera Junor: Contrbuções da Teora da Resposta ao Item nas Avalações Educaconas Informaton Fgura : FIT da prova da segunda sére na escala da prmera sére A Fgura 3 apresenta o hstograma do traço latente estmado, por meo do método EAP, dos 00 alunos da segunda sére na escala da prmera sére. A méda do traço latente fo de 0,98 e o desvo padrão fo de 0,89. Pode-se conclur que os alunos da segunda sére têm um ganho, em termos de profcênca, em méda, de desvo padrão, em relação à prmera sére. Dessa forma, é possível comparar a evolução, em termos de ganho de profcênca, ao longo das séres. Frequênca Test nformaton functon Ablty Traço Latente Fgura 3: Hstograma do traço latente estmado dos alunos da segunda sére A Tabela 8 apresenta a estmatva do traço latente de ses alunos da segunda sére na escala da prmera sére. Observa-se que, agora, as notas dos alunos estão maores do que as apresentadas na tabela 6, devdo ao fato de estarem na escala da prmera sére. Nota-se, por exemplo, que o aluno 0, que tem nota -0,7 na escala da segunda sére (Tabela 6) pareca ter uma nota nferor ao aluno 0 da prmera sére, com nota 0,40 (Tabela 4), no entanto, a nota do aluno 0 colocada na escala da prmera sére é de 0,73, revelando que ele têm maor nota e, consequentemente, maor profcênca que o aluno 0. Tabela 8 - Estmatva do traço latente de ses alunos da segunda sére na escala da prmera sére Aluno Traço latente Estmado Aluno 0,6846 Aluno 0 0,7337 Aluno 03 0,899 Aluno 04,305 Aluno 05,0 Aluno 06 0, Os tens de ambas as séres estão agora posconados na mesma escala, nesse caso, na escala da prmera sére. A Fgura 4 apresenta a dstrbução do traço latente de todos os alunos da prmera e da segunda sére na escala da prmera sére, enquanto que a Fgura 5 apresenta a posção dos tens das duas provas na escala da prmera sére (círculos sóldos ndcam que o tem é exclusvo da prova daquela sére e círculos com preenchmento em branco ndcam os tens em comum entre as provas). Frequênca Traço Latente Fgura 4: Dstrbução do traço latente de todos os alunos na escala da prmera sére

13 Cênca e Natura, v. 36 Ed. Especal, 03, p Sére Posção do tem Fgura 5: Posção dos tens na escala da prmera sére Dessa forma, é possível crar níves âncoras e nterpretar os níves, que é outra grande vantagem da TRI sobre a TCT. A execução dessa tarefa precsa ser feta por um profssonal que conheça o traço latente analsado e os tem do construto (descrção, conteúdo), além das condções necessáras para a dentfcação dos tens âncoras. Como nesse estudo de smulação não há descrção dos tens (os tens foram smulados), não será possível nterpretar pedagogcamente os níves âncoras, apenas serão dentfcados os níves âncoras e os tens âncoras. Observando as condções de Kolen e Brennan (995), foram dentfcados os níves âncoras e tens âncoras e quase âncoras, apresentados na Tabela 9. Em negrto, estão destacados os tens em comum das duas séres. Observa-se que os tens da prmera sére tendem a se posconar em níves mas nferores enquanto que os tens de segunda sére tendem a se posconar em níves superores. Tabela 9 Níves e tens âncoras Nível Âncora Itens âncoras Itens Quase âncoras - 8, ,, 9, 6, 33 6, 38 8, 34, 4, 5, 4, 7, 9, 30 7, 39, 3, 3, A nterpretação é a segunte: ndvíduos que estão posconados no nível - domnam ou conhecem o conteúdo dos tens 6, 8 e 0; ndvíduos que estão posconados no nível 0 domnam ou conhecem o conteúdo dos tens dos níves anterores e dos tens 3,, 6, 9, 6, 33 e 38; ndvíduos que estão posconados no nível domnam ou conhecem o conteúdo dos níves anterores e dos tens, 4, 5, 4, 7, 8, 9, 30 e 34; ndvíduos que estão posconados no nível domnam ou conhecem o conteúdo dos níves anterores e dos tens, 7, 3, 3, 37 e 39; e ndvíduos que estão posconados no nível 3 domnam ou conhecem o conteúdo dos níves anterores e do tem 7. A nterpretação e a cração desses níves na escala confguram outra grande contrbução da TRI para as avalações educaconas. 5 Conclusões A TRI trouxe à avalação educaconal novas possbldades, em relação à tradconal TCT. A prncpal vantagem fo a possbldade de comparar ndvíduos que responderam questonáros com tens dferentes e colocá-los em uma escala únca onde são posconados os tens e o ndvíduos, permtndo a nterpretação pedagógca da mesma e possbltando o acompanhamento do aluno ao longos dos anos, em termos de aqusção de conhecmento. Outras vantagens da utlzação da TRI em relação à TCT estão relaconadas com a precsão das estmatvas, nformação do teste, a possbldade de consderar o acerto casual, calcular as probabldades de resposta dos ndvíduos, etc. Este artgo procurou apresentar os prncpas concetos da TRI e as suas contrbuções para as avalações educaconas. Para lustrar esse obetvo, fo feta uma análse, por meo de smulações, que mostrou como funcona o processo de equalzação, necessáro para colocar ndvíduos que responderam provas parcalmente dferentes numa únca escala comparável e nterpretável. Também foram dentfcados níves âncoras, os tens âncoras e os tens quase âncoras resultantes da smulação realzada, a fm de lustrar a nterpretação da escala. Referêncas ANDRADE, J. M.; LAROS, J. A.; GOUVEIA, V. V. O uso da teora de resposta ao tem em avalações educaconas: dretrzes para pesqusadores. Aval. pscol., Porto Alegre, v. 9, n. 3, dez. 00. ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teora da resposta ao tem: concetos e aplcações. São Paulo: ABE - Assocação Braslera de Estatístca, 000. BAKER, F. B. The Bascs of Item Response Theory. ed. USA: ERIC Clearnghouse on Assessment and Evaluaton, 00. BEATON, A. E.; ALLEN, N. L. Interpretng Scales through Scale Anchorng. Journal of Educatonal Statstcs, n. 7, p. 9-04, 99. BIRNBAUM, A. Some Latent Trat Models and Ther Use n Inferng an Examnee s Ablty. In: LORD, F. M.; NOVICK, M. R. Statstcal Theores of Mental Test Scores. Readng, MA: Addson-Wesley, 968. BOCK, R. D. Estmatng tem parameters and latent ablty when responses are scored n two or more nomnal categores. Psychometrka, v. 37, p. 9-5, 97.

14 7 Morera Junor: Contrbuções da Teora da Resposta ao Item nas Avalações Educaconas BOCK, R. D.; ZIMOWSKI, M. F. Multple Group IRT. In Handbook of Modern Item Response Theory. W.J. van der Lnder e R.K. Hambleton Eds. New York: Sprng-Verlag, 997. CORREA, A. C.; MOREIRA JUNIOR, F. J.; ANDRADE, D. F.; BORTOLOTTI, S. L. V. Modelagem de um Instrumento de Medda de Avalação do ENADE fundamentado na Teora de Resposta ao Item (TRI): desenho para o MEES. In: XII Coloquo Internaconal de Gestón Unverstara, 0, Veracruz, Méxco. Anas del XII Coloquo Internaconal de Gestón Unverstara, 0. CHALMERS, R. P. Package mrt: A Multdmensonal Item Response Theory Package for the R Envronment, Journal of Statstcal Software, v.48, n.6, p.-9, 0. DEMPSTER, A. P.; LAIRD, N. M.; RUBIN, D. B. Maxmum lkelhood from ncomplete data va the EM algorthm (wth dscusson). Journal of the Royal Statstcal Socety, Seres B, 39, -38, 977. EMBRETSON, S. E.; REISE, S.P. Item Response Theory for Psychologsts. New Jersey, USA: Lawrence Erlbaum Assocates, 000. FONTANIVE, N. S.; ELLIOT, L. G.; KLEIN, R. Os desafos da apresentação dos resultados da avalação de sstemas escolares a dferentes públcos. REICE - Revsta Electrónca Iberoamercana sobre Caldad, Efcaca y Cambo en Educacón, v. 5, n. e, 007. FRANCISCO, R. Aplcação da Teora da Resposta ao Item (TRI) no Exame Naconal de Cursos (ENC) da Uncentro f. Dssertação (Mestrado em Cêncas) Programa de Pós-Graduação em Métodos Numércos em Engenhara, Unversdade Federal do Paraná, Curtba, 005. FERREIRA, F. F. G. Escala de Profcênca para o ENEM utlzando a Teora da Resposta ao tem Dssertação (Mestrado em Matemátca e Estatístca) Programa de Pós-Graduação em Matemátca e Estatístca, Insttuto de Cêncas Exatas e Naturas, Unversdade Federal do Pará, Belém, 009. KOLEN, M. J.; BRENNAN, R. L. Test Equatng - Methods and Pratces. New York: Sprnger, 995. MINISTÉRIO DA EDUCAÇÃO, INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA, DIRETORIA DE AVALIAÇÃO DA EDUCAÇÃO BÁSICA. Nota Técnca, 0. Dsponível em gov.br/educacao_basca/enem/nota_tecnca/0/ nota_tecnca_tr_enem_800.pdf. Acesso em 4/0/4. ISSAC, E; KELLER, H. B. Analyss of Numercal Methods. New York: Wley & Sons, 966. LORD, F. M. A theory of test scores (No. 7). Psychometrc Monograph, 95. LORD, F. M. Applcatons of Item Response Theory to Practcal Testng Problems. Hllsdale, USA: Lawrence Erlbaum Assocates, Inc, 980. MOREIRA JUNIOR, F. J. Aplcações da Teora da Resposta ao Item (TRI) no Brasl. Revsta Braslera de Bometra, São Paulo, v.8, n.4, p , out.- dez. 00. MOREIRA JUNIOR, F. J. Sstemátca para a Implantação de Testes Adaptatvos Informatzados baseados na Teora da Resposta ao Item f. Tese (Doutorado em Engenhara de Produção) Programa de Pós-Graduação em Engenhara de Produção, Centro Tecnológco, Unversdade Federal de Santa Catarna, Floranópols, 0. OLIVEIRA, K. S. Avalação do exame naconal de desempenho do estudante pela teora de resposta ao tem f. Dssertação (Mestrado em Pscologa) - Programa de Pós- Graduação Strcto Sensu em Pscologa, Unversdade São Francsco, Itatba, 006. ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. Psa 003 Data Analyss Manual. Pars, 005. Dsponível em: < oecd.org/dataoecd/53// pdf>. Acesso em: 30/08/0.. Psa 009 assessment framework: key competences n readng, mathematcs and scence. Pars, 009. Dsponível em: < ent/44/0,3746,en_649_358456_ ,00. html#toc>. Acesso em: 30/08/0. PARTCHEV, I. Package rtoys: Smple nterface to the estmaton and plottng of IRT models, 03. CRAN.R proect, Dsponível em < Acesso em 6/04/03. PERRY, F. A. Escalas de Profcênca: Dferentes Abordagens de Interpretação na Avalação Educaconal em Larga Escala f.

15 Cênca e Natura, v. 36 Ed. Especal, 03, p Dssertação (Mestrado em Educação) - Programa de Pós-Graduação em Educação, Faculdade de Educação, Unversdade Federal de Juz de Fora, Juz de Fora, 009. PRIMI, R; CARVALHO, L. F.; MIGUEL, F. K.; SILVA, M. C. R. Análse do funconamento dferencal dos tens do Exame Naconal do Estudante (ENADE) de pscologa de 006. Psco-USF, v. 5, n. 3, p , set./dez. 00. PRIMI, R; HUTZ, C. S.; SILVA, M. C. R. A prova do ENADE de Pscologa 006: Concepção, Construção e análse pscométrca da prova. Avalação Pscológca, 0(3), p. 7-94, 0. PRIMI, R., NUNES, C. H. S. S., SILVA, M. C. R., CARVALHO, L. F., MIGUEL, F. K. ;VENDRAMINI, C. M. M. Aplcação da Teora de Resposta ao Item na Interpretação das Notas do ENADE de Pscologa. Revsta de Educação AEC, 38, 5-4, 009. Estudos em Avalação Educaconal, n. 3, p. 7-9, 00. VENDRAMINI, C. M. M.; SILVA, M. C.; CANALE, M. Análse de Itens de uma Prova de Racocíno Estatístco. Pscologa em Estudo, Marngá, v. 9, n. 3, p , set./dez, 004. WEISS, D. J.; GUYER, R. Manual for CATSm: Comprehensve smulaton of computerzed adaptve testng. St. Paul MN: Assessment Systems Corporaton, 00. WRIGHT, B. D. Sample-free test calbraton and person measurement. Proceedngs of the 967 Invtatonal Conference on Testng Problems. Prnceton, N. J.: ETS - Educatonal Testng Servce, 968. R DEVELOPMENT CORE TEAM. R: A Language and Envronment for Statstcal Computng. R Foundaton for Statstcal Computng, Venna, Austra, 0. RAO, C. R. Lnear Statstcal Inference and Its Applcatons. New York: Wley & Sons, 973. RASCH, G. Probablstc Models for Some Intellgence and Attanment Tests. Copenhagen: Dansh Insttute for Educatonal Research, 960. RIZOPOULOS, D. Package ltm: Latent Trat Models under IRT. CRAN R proect, 03. Dsponível em < pdf>. Acesso em 6/04/03. SOARES, T. M.; GENOVEZ, S. F. M.; GALVÃO, A. F. Análse do Comportamento Dferencal dos Itens de Geografa: Estudo da 4ª sére avalada no PROEB/SIMAVE. Estudos em Avalação Educaconal, v. 6, n. 3, p. 8-0, 005. SOUZA, S. Z. 40 Anos de Contrbução à Avalação Educaconal. Estudos em Avalação Educaconal, v. 6, n. 3, an./un TOIT, M. IRT from SSI: BILOG-MG, MULTILOG, PARSCALE, TESTFACT. Scentfc Software Internatonal, 003. VALLE, R. C. A Construção e a Interpretação de Escalas de Conhecmento Consderações Geras e uma Vsão do que vem sendo feto no SARESP.