FERRAMENTA AVALIATIVA DINÂMICA A PARTIR DA TEORIA DE RESPOSTA AO ITEM Fabríca D. Satos, Lucla G. Rbero, Leoardo G. de R. Guedes, Weber Marts Uversdade Católca de Goás, Departameto de Computação Uversdade Federal de Goás, Escola de Egehara Elétrca e de Computação fdamado@preeus.eee.ufg.br, lucla@f.ufg.br, adm@ct.com.br, weber@eee.ufg.br Abstract. Ths work presets a computatoal toll for studet score evaluato based o the Item Respose Theory ad Adaptg Tests. The am s to test the studet wth questos of ts dvdual ablty level. Expermets had bee lead to evaluate the two system versos. The search speed for studet ablty level defes these two versos. Promsg results had bee reached from to the adequacy of both versos from correlatos results over,9. Resumo. Neste artgo, apreseta-se uma ferrameta computacoal para realzação de avalação de aluos, utlzado como fudametação a Teora de Resposta ao Item e os Testes Adaptatvos Iformatzados. O objetvo fal é apresetar ao aluo questões de seu ível dvdual de habldade. Expermetos foram coduzdos para avalar o sstema proposto em duas versões. A velocdade de busca do ível de habldade do aluo defe as duas versões. Resultados promssores foram obtdos, mostrado a adequação de cada uma das versões a partr de cálculo de correlação superores a,9. 1. Itrodução A avalação é uma questão muto mportate o eso. Cada vez mas, os professores estão buscado ovas prátcas avalatvas, passado a cotestar a avalação como sgfcado socal e polítco [Hoffma, J.,1]. Evtar que a avalação assuma uma fução comparatva e classfcatóra é busca costate. Para cursos a dstâca, essa preocupação é mportate. O desevolvmeto de softwares aplcados a avalação de aluos, que foreçam formações de acompahameto do aluo para o professor, objetva o aprmorameto do eso através da Iteret. A proposta apresetada é uma ferrameta computacoal destada ao professor que receberá formações sobre as habldades dos aluos, os íves de dfculdade das questões, acompahameto do aluo o teste e as otas poderadas equalzadas. Esta ferrameta é mplemetada a partr da Teora de Resposta ao Item e das metodologas dos Testes Adaptatvos Iformatzados. A detecção e classfcação de dfculdades e habldades dos aluos servrão prcpalmete como strumeto de auto-avalação para o professor.
Fabríca D. Satos, Lucla G. Rbero, Leoardo G. de R. Guedes, Weber Marts. Teora de Resposta ao Item A Teora de Resposta ao Item é uma reuão de modelos estatístcos usados para fazer predções, estmatvas ou ferêcas sobre as habldades (ou competêcas) meddas em um teste. Através dos modelos estatístcos, é possível predzer tas habldades por meo de correspodêcas etre a potuação obtda por um estudate em uma stuação de teste e os tes a ele forecdos [Hambleto & Swamatha, 195; Ruder, 199]. A Teora de Resposta ao Item propõe modelos que represetam a relação etre a probabldade de uma resposta certa a um tem e a habldade de um aluo, proporcoado a avalação dvdual do aluo, pos, cada estudate respoderá tes referetes à sua habldade, torado a avalação persoalzada. Os modelos de respostas forecem dferetes cojutos de tes em uma avalação, permtdo comparar o desempeho etre eles e, portato, auxlado o professor a tarefa de avalação. A Teora de Resposta ao Item possu város modelos, dferecados pelas curvas característcas e forma de potuação empregada. Detre os modelos propostos pela teora, optamos por utlzar o Modelo Logístco de um Parâmetro, também cohecdo como The Rasch [Baker, 1]. A equação que caracterza a probabldade do aluo respoder corretamete é mostrada abaxo. ode: ( θ ) P 1 (1) b 1 + exp ( θ ) = 1( θ ) P é a probabldade de um determado aluo com habldade θ, respoder a um tem corretamete; b é o ídce de dfculdade do tem. O parâmetro b pode ser alterado à medda que os estudates passam a realzar o teste e a respoder corretamete ou corretamete ao tem. Os valores para b varam este modelo de -. (tes fáces) a +. (tes dfíces). A partr do modelo estudado, desevolvemos uma ova proposta para o cálculo da potuação obtda por um aluo e a sua habldade. 3. Modelos de Potuação e Habldade Propomos, este trabalho, uma ova abordagem de potuação e habldade do aluo. Nestas abordages, utlzamos os cocetos de Esperaça Matemátca e Medaa. Frequetemete, a apresetação de otas para a sttução é ecessára. Nestes mometos, a potuação é realzada a partr da medda de habldade do aluo. No caso, propomos calcular a Esperaça Matemátca de acerto de uma questão de ível
FERRAMENTA AVALIATIVA DINÂMICA A PARTIR DA TEORIA DE RESPOSTA AO ITEM 3 de dfculdade com ível de habldade θ. b sedo P ( θ ) a probabldade de acerto da questão por um aluo ( θ ) E ( x ) = b. P () A ota π do aluo é defda como a razão etre o desempeho obtdo pelo desempeho esperado coforme seu ível de habldade. Matematcamete, é expressa pela equação abaxo. Ode R π R. E ( x) = 1 = 1 = = = E ( x) R. b. P ( θ ) 1 b. P ( θ ) represeta a resposta do tem ( ou 1). O acerto correspode ao valor utáro equato o erro é regstrado pelo valor ulo. Perceba que o deomador represeta o desempeho esperado do aluo com seu ível de habldade. O quocete, a ota, especfca qual razão deste desempeho efetvamete ocorreu, ou seja, quato o aluo coseguu cocretzar do que sera esperado dele. Deve-se ressaltar que o desempeho esperado pressupõe íves cotíuos de acerto e, ão, apeas certo e errado (como é o caso). De qualquer modo, trata-se de uma medda dvdualzada, pos cosdera o ível de habldade específco de cada aluo. Para se estmar a habldade cal de um aluo, podemos utlzar um valor padrão cal ( default ), e, a partr desse valor, ajustar a habldade do aluo, obtda através das respostas dos tes do teste. A habldade do aluo é resultate da probabldade de acerto de uma questão de determado ível de dfculdade. Um aluo com habldade θ terá 5% de probabldade de acerto de questões com ível de dfculdade b = θ. Assm, devemos ecotrar qual ível de dfculdade de questão b o aluo terá 5% de chaces de acerto, que será realzada pela busca da medaa das questões aplcadas. Em outras palavras, o ível de habldade procurado dvde o cojuto de questões (ordeado por ível de dfculdade) em duas metades. Desevolvemos uma ova fórmula para cálculo da habldade dos aluos. Para a Teora de Resposta ao Item, a habldade vara de. a.. Como o osso caso o ídce de dfculdade de um tem pode varar de a 1, temos: ( b,5 ) = ' b () Ode b é o ídce de dfculdades dos tes varado de. a.; e é a ova represetação umérca do ível de dfculdade, agora de a 1. Para calcularmos a habldade θ, trabalhamos com o valor medao dos tes aplcados o teste, levado-os a um valor cetral. [( med /,5) ] = ves b b ' θ (5) (3)
Fabríca D. Satos, Lucla G. Rbero, Leoardo G. de R. Guedes, Weber Marts Portato, aplcado o valor da habldade o Modelo The Rash, ecotra-se a probabldade de um aluo respoder corretamete um tem dado a sua habldade.. Modelos Avalatvos Adaptatvos For am desevolvdos dos modelos avalatvos adaptatvos. Cada modelo possu as suas peculardades e juto a esses modelos desevolvemos uma Ferrameta Computacoal para apoo pedagógco que auxla o professor a detfcar as habldades dos aluos, realza o acompahameto dos aluos o curso e das questões relacoadas ao teste. Para o desevolvmeto dos modelos avalatvos, utlzamos um baco de tes (questões) com város íves de dfculdade, varado de (mas fáces) a 1 (mas dfíces). As questões são cadastradas pelo própro professor, composta por um códgo, descrção da perguta, cco alteratvas, o ível de dfculdade cal da questão e o gabarto (resposta correta). Todos os aluos cam o teste com uma questão de mesmo ível de dfculdade. No caso, camos um teste com uma perguta de ível de dfculdade 5 (dfculdade termedára). Tal habldade rá se ajustar o decorrer do teste. O aluo é submetdo ao teste, ode respode questões que revelam seu cohecmeto, retratado pela sua habldade. No Modelo Avalatvo I, cosderado coservador, quado o aluo acerta um tem, o próxmo tem a ser admstrado tem ível de dfculdade acrescdo de uma udade. Se errar, o ível é dmuído em uma udade. Obvamete, há de se respetar os lmtes superor (1) e feror (). Um exemplo da estratéga de seleção de tes do teste aplcado com o Modelo Avalatvo I é mostrado a Fgura 1. Quado dos aluos fazem o teste smultaeamete, provavelmete ão respodem as mesmas questões, tedo em vsta que são escolhdas de acordo com a habldade de cada aluo. Respostas ao Teste Nível de Dfculdade 1 9 7 5 3 1 1 3 5 7 9 1 11 Ites Fgura 1: Regstro de resposta do aluo o Modelo Avalatvo I. O Modelo Avalatvo II (cosderado progressvo) possu, ao cotráro do cremeto/decremeto utáro costate, estratégas dferetes para o acerto e erro.
FERRAMENTA AVALIATIVA DINÂMICA A PARTIR DA TEORIA DE RESPOSTA AO ITEM 5 Quado ocorre acerto, o próxmo ível é defdo pela méda do ível correte e o lmte superor (1) como demostrado a Equação. atual + máx ovo = Na preseça de erro, temos duas stuações. Quado se trata de erro solado ( prmero erro ), usamos a méda etre o ível correte e o ível do tem ateror (ver Equação 7a). Quado se trata de erro ão solado (tedo ocorrdo erro o tem ateror), a méda etre o ível atual e o lmte feror () é empregada (Equação 7b). Na ecessdade de coverter valores fracoáros para teros (3,5, por exemplo), tedo em vsta que os íves são úmeros teros, leva-se para o ível medatamete superor (, este mesmo exemplo). ovo atual + ateror = (a) ovo atual + mí = (b) Temos a Fgura o exem plo de uma execução do Modelo II. Covém regstrar que se tratam das mesmas questões utlzadas o prmero modelo (ou melhor, extraídas do mesmo baco de questões). A comparação etre as Fguras 1 e esclarece a maor velocdade a busca do ível de habldade do aluo apresetada o segudo modelo, ode saltos maores são empregados. () (7) Respostas ao Teste Nível das Questões 1 9 7 5 3 1 1 3 5 7 9 1 11 Ites Fgura : Regstro de resposta do aluo o Modelo Avalatvo II... Dâmca da Varação do Nível de Dfculdade da Questão À medda que as questões são respoddas, os íves de dfculdade varam, caracterzado os modelos desevolvdos como auto-adaptatvos. Quato mas aluos acertarem uma determada questão, ela é cosderada mas fácl e coseqüetemete seu ível de dfculdade dmu. Por outro lado, quato mas aluos respoderem corretamete uma questão, a questão é cosderada mas dfícl, elevado seu ível. O ovo ível da questão é calculado através da segute equação:
Fabríca D. Satos, Lucla G. Rbero, Leoardo G. de R. Guedes, Weber Marts um _ acertos ível = 1 * 1 um _ acessos () 5. Modelo Computacoal Implemetamos juto aos Modelos Avalatvos I e II, uma ferrameta computacoal para apoo pedagógco que, através dos testes realzados com os aluos, auxla o professor a detfcar as habldades dos aluos, fazer acompahameto dos mesmos e o acompahameto dos íves de dfculdade das questões. A ferrameta fo desevolvda em lguagem ASP (Actve Server Pages), terface HTML, sedo a valdação dos campos realzada através de JavaScrpt e do baco de dados Access. A ferrameta oferece a edção de questões, a correção dos testes aplcados aos aluos e posteror dvulgação dos resultados, podedo ser utlzado pelo admstrador do sstema, pelo professor e pelo aluo. Durate a realzação do testes, o aluo escolher sua resposta permte ao sstema corrgr as formações de ível de dfculdade o baco de dados. Com os dados armazeados, tato para professor quato para o aluo, o feedback tora-se de fácl mapulação. Ao fal do teste, um feedback statâeo é mostrado ao aluo, ode as questões que foram respoddas corretamete são lstadas. Neste mometo, o aluo pode drecoar o estudo para as questões e assutos de maor dfculdade, mostrado que o feedback cocretza o apoo à apredzagem. Para o professor, os resultados se mostram mas formatvos. O professor vsualza o desempeho de cada aluo ou da turma, em forma de ota, lstagem das questões respoddas pelos aluos e as otas sugerdas. O feedback mostra ada a medaa, a habldade do aluo e méda de todas as otas dos aluos o teste. A ferrameta fo desevolvda para oferecer formações tato para o professor quato para o aluo, smplfcar o trabalho de correção de questões, forecedo apoo ao professor. A forma de medr a habldade do aluo cotrbu para detfcar suas dfculdades e facldades, fazedo com que, detro de seus lmtes, qualquer aluo cosga realzar o teste, que será ajustado ao seu perfl.. Aálse dos Resultados Para valdação da ferrameta desevolvda, desevolvemos um teste em Iglês para os modelos avalatvos I e II. Cadastramos 1 questões com ível de dfculdade varado de zero a dez. Para cada modelo, tvemos dez aluos realzado o teste. Optamos por um úco grupo de questões, pos as comparações etre os modelos toram-se mas precsas. Como mostrado a fgura 3, observa-se que % dos aluos obtveram otas mas altas o Modelo Avalatvo II (Questoáro II). O desempeho quato às habldades correspodeu às defções aterores (ver Fgura ). Para evtar efetos de ordem de apresetação, alterou-se a aplcação dos questoáros de aluo para aluo.
FERRAMENTA AVALIATIVA DINÂMICA A PARTIR DA TEORIA DE RESPOSTA AO ITEM 7 Notas dos Aluos 9 7 5 3 1 1 3 5 7 9 1 Questoáro I Questoáro II Fgura 3 - Descrção das otas obtdas pelos aluos os dos questoáros. Habldade 1 1 1 3 5 7 9 1 Questoáro I Questoáro II Fgura Habldade dos Aluos Podemos afrmar que os aluos estão aptos a respoderem questões com íves de dfculdade próxmo às suas habldades. Com a habldade do aluo é possível desevolver testes dvdualzados para cada um, auxlado o processo ddátco- O tempo médo gasto pelos aluos para respoder cada questoáro fo pedagógco. de aproxmadamete 11,5 mutos. A maora das questões respoddas apresetou ível de dfculdade 5 (segudas pelas de ível ) e as meos respoddas foram as de ível de dfculdade 9 (segudas pelas de ível zero). Um fator teressate observado fo a facldade em respoder aos modelos (Questoáro I ou Questoáro II). Todos os aluos cocordaram em que o questoáro mas fácl era aquele em que ele realzava prmero, deotado fadga. Ates dos aluos respoderem aos questoáros, fo pergutado a eles qual o cohecmeto admtdo por eles em Iglês. Cerca de 5% dos aluos admtram ter cohecmeto médo, % básco e 1% avaçado. Ao fal do teste, pergutamos qual a opão sobre a terface da ferrameta. Todos respoderam ser de fácl mauseo. Para melhor vsualzação e aálse dos dados obtdos, selecoamos algus aluos e suas respectvas curvas dos íves de dfculdade calculados.
Fabríca D. Satos, Lucla G. Rbero, Leoardo G. de R. Guedes, Weber Marts 1 1 Questoáro I Questoáro II 1 3 5 7 9 11 13 15 Fgura 5- Curvas das habldades para o Aluo X Nota-se que, este caso, o Modelo Avalatvo I (Questoáro I) apreseta aumetos gradatvos dos íves de dfculdade das questões até o aluo alcaçar o ível mas alto. Somete depos ecotramos varações alteradas para os íves e posteror queda gradatva. Para o Modelo Avalatvo II (Questoáro II), há varabldade maor os íves calmete e logo depos ocorre establzação. 1 9 7 5 3 1 1 3 5 7 9 11 13 15 Questoáro I Questoáro II Fgura - Curvas das habldades para o Aluo Y No caso do aluo Y, fca claro que houve maor varabldade o Modelo Avalatvo II (Questoáro II), porém, sempre que houve a apresetação de questões com íves de dfculdade muto altos, o aluo as respodeu corretamete e, em seguda, fo admstrado uma questão de ível de dfculdade meor. O Modelo Avalatvo I (Questoáro I) apresetou-se mas estável o íco, porém segudos de erros
FERRAMENTA AVALIATIVA DINÂMICA A PARTIR DA TEORIA DE RESPOSTA AO ITEM 9 cosecutvos. Cabe saletar que o Questoáro II fo respoddo prmero para este aluo. De modelo geral, observamos que o Modelo Avalatvo I ão submeteu os aluos a uma grade varabldade de íves de dfculdade das questões, apresetado-se mas estável e desafado o aluo em seu ível de habldade. Já para o modelo avalatvo II, houve uma maor varabldade de ível de dfculdade, potecalzado o acerto. No Modelo Avalatvo I, os íves de dfculdade varam meos, e pode ser bem aplcado para aluos ode as suas habldades são termedáras (em muto alta e em muto baxa), pos o ível de uma questão vara gradatvamete. Porém, os casos com aluos de habldades altas, a mudaça de ível é meos rápda, o que leva ao aluo respoder questões as quas ele já possu cohecmeto, sedo cosderadas fáces. Para o Modelo Avalatvo II, chega-se mas rápdo à habldade do aluo os casos em que o aluo tem cohecmeto avaçado ou básco. Se o aluo possu habldade alta, o modelo II admstrará questões de maor ível de dfculdade de forma mas rápda, pos sempre trabalha com a méda dos íves das questões (atual e máxma). Caso o aluo possua uma habldade baxa, o modelo II também drecoará de forma mas rápda a questões de ível meor. Quato aos íves de dfculdade das questões, eles vararam o decorrer do teste, torado o baco de tes mas calbrado, ou seja, questões com íves de dfculdade reas para um aluo ou turma. Especfcamete, % das questões aumetaram o ível de dfculdade e % dmuíram o seu ível de dfculdade, o que realmete demostra que estão se ajustado ao logo do tempo... Cálculo de Correlação Realzamos o cálculo da correlação etre as habldades e otas obtdas pelos aluos os Questoáro I e II. Cosegumos o valor de,9 para o Questoáro I e de,97 para o Questoáro II, o que demostra matematcamete resultados satsfatóros a Tabela 1. Aluo Habldade Modelo I Questoáro I Nota Modelo I Habldade Modelo II Questoáro II Nota Modelo II A,9 1,1 B 1 1,3 1,7 C 3 3, 1,9 D 3,3 7,11 E 9,3 1 7, F 3,1 3, G 7,3 5 3, H 3,97 7 5 I 3 3,5,7 J,9,9 Tabela 1 Cálculo de Correlação
1 Fabríca D. Satos, Lucla G. Rbero, Leoardo G. de R. Guedes, Weber Marts 7. Coclusão A ferrameta computacoal avalatva adaptatva desevo lvda a partr da Teora de Resposta ao Item oferece apoo ao professor, mostrado resultados relevates para decsões de o quê esar. Pode ser utlzada para acompahameto do aluo o curso, auxlado o professor a dagostcar o desempeho do aluo e da turma, assm como sua cocepção sobre dfculdade das questões presetes o baco de tes. Quato aos dos modelos propostos, observou-se que o modelo com meos varações (Modelo I) pode ser bem aplcado a todos os aluos e prcpalmete àqueles com ível de habldade méda, pos va testado o aluo ível a ível. Para os casos de aluos avaçados, o Modelo II se apreseta mas favorável, pos faz com que o aluo respoda questões com íves de dfculdade mas compatíves com a sua habldade, o que pode favorecê-lo o setdo de mater seu teresse.. Referêcas [Baker, 1] Baker, F. B. The Bass of Item Respose Theory. Secod Edto. ERIC Clearghouse o Assessmet ad Evaluato, 1. [Hambleto ad Swamatha, 195] Hambleto, R.. ad Swamatha, H. Respose Theory: Prcples a Applcato. Kluwer /jhoff Publshg, 195. [Hoffma, J.,1 Hoffma, J. M. L. Avalação: mto e desafo uma perspectva costrutvsta. Porto Alegre; Medação, 1. [Ruder, 199] Ruder, M. L. A O-Le, teratve, computer adaptve testg m-tutoral, 199. http://www.ercae.et/scrpts/cat/catdemo.html. Acessado: Mao,.