CINTED-UFRGS Novas Tecologas a Educação TESTES ADAPTATIVOS INFORMATIZADOS BASEADOS EM TEORIA DE RESPOSTA AO ITEM UTILIZADOS EM AMBIENTES VIRTUAIS DE APRENDIZAGEM * Fabríca Damado Satos ** Leoardo Guerra de Rezede Guedes *** Resumo: A utlzação de ambetes vrtuas de apredzagem para educação a dstâca tem se expaddo os últmos aos, assm como a utlzação de softwares para esses ovos ambetes educacoas. Neste artgo remos apresetar uma ferrameta computacoal para realzação de avalação adaptatva em cursos a dstâca utlzado como fudametação a teora de resposta ao tem e os testes adaptatvos formatzados. Apresetaremos os resultados obtdos e as coclusões advdas com este trabalho. Palavras Chaves: Educação a Dstâca, Avalação, Teora de Resposta ao tem, Testes Adaptatvos Iformatzados. Abstract: The utlsato of vrtual evrotmet of learg to dstace educato have bee expeded the last years. I ths artcle t wll be preseted a software tool to the adaptatve avalato web course based o the tem aswer theory ad the computerzed adaptatve tests. Wll preset the obtaed results ad the coclusos gve by ths work. Key-words: dstace educato, avalato, tem respose theory, computerzed adaptatve tests. 1. Itrodução A avalação tem sdo palco de grades dscussões e estudos o eso, tato o presecal quato o a dstâca. Novas prátcas avalatvas cotestam a avalação como sgfcado socal e polítco. Evtar que a avalação julgue pela comparação e classfcação é uma busca costate. Para os cursos a dstâca essa preocupação também exste e, para sso o desevolvmeto de softwares aplcados a avalação de aluos, que foreçam formações de acompahameto do aluo para o professor tem a faldade de aprmorar o eso através da Iteret. A proposta apresetada é uma ferrameta computacoal destada ao professor, que receberá formações sobre as habldades dos aluos, os íves de dfculdade das questões, acompahameto do aluo o teste e as otas poderadas equalzadas. Esta ferrameta é mplemetada a partr da Teora de Resposta ao tem e das metodologas dos Testes Adaptatvos Iformatzados, pela detecção e classfcação de dfculdades e habldades dos aluos e que servrão prcpalmete como strumeto de auto-avalação para o professor. 2. Teora de Resposta ao Item * Artgo extraído da dssertação de Mestrado: Ferrameta Avalatva para apoo Pedagógco Baseada em Testes Adaptatvos Iformatzados e Teora de Resposta ao Item. UFG. Ao de obteção: 2003 ** Mestre em Egehara da Computação. Escola Técca da Uversdade Federal do Ro Grade do Sul. Professora Substtuta fdamado@yahoo.com.br. *** Doutor em Egehara Elétrca. Professor Adjuto Uversdade Federal de Goás e Uversdade Católca de Goás.leoardo.guedes@uol.com.br www.leoardoguedes.com.br V.3 Nº 2, Novembro, 2005 1
Novas Tecologas a Educação CINTED-UFRGS A Teora de Resposta ao Item é uma reuão de modelos estatístcos usados para fazer predções, estmatvas ou ferêcas sobre as habldades (ou competêcas) meddas em um teste. Através dos modelos estatístcos é possível predzer tas habldades por meo de correspodêcas etre a potuação obtda por um estudate em uma stuação de teste e os tes a ele forecdo [Hambleto & Swamatha, 1985; Ruder, 1998]. A Teora de Resposta ao Item propõe modelos que represetam a relação etre a probabldade de uma resposta certa a um tem e a habldade de um aluo, os proporcoado avalar dvdualmete um aluo, pos, cada estudate respoderá tes referete à sua habldade, torado a avalação persoalzada. A Teora de Resposta ao Item possu város modelos a serem estudados, detre os modelos propostos pela teora, optamos por utlzar o Modelo Logístco de um Parâmetro, também cohecdo como The Rasch. Que fo desevolvdo pelo matemátco damarquês Georg Rasch [Baker, 2001]. Cuja equação é dada por: ode: 1. ( θ ) P 1 ( θ ) 1( θ ) 1+ exp P é a probabldade de um determado aluo com habldade θ, respoder a um tem corretamete; 2. b é o ídce de dfculdade do tem. O parâmetro b pode ser alterado à medda em que os estudates passam a realzar o teste e a respoder corretamete ou corretamete ao tem. Os valores para b varam este modelo de -2.0 a +2.0, sedo que valores próxmos a -2.0 são cosderados tes fáces e os valores próxmos a +2.0 são cosderados tes dfíces. A partr do Modelo estudado desevolvemos uma ova proposta para o cálculo da potuação obtda por um aluo e a sua habldade. 3. Proposta de Modelos de Potuação e Habldade b Este trabalho propõe uma ova abordagem de potuação e habldade do aluo. Nestas abordages utlzamos os cocetos de Esperaça e Medaa. Para realzar os procedmetos de potuação de um aluo em um teste, quato se torar ecessáro a apresetação de otas para a sttução, exge-se a resposabldade de trasformar a habldade do aluo em classfcação. No osso caso, devemos calcular a Esperaça de acerto de uma questão de ível de dfculdade b sedo P ( θ ) a probabldade de acerto da questão por um aluo com ível de habldade θ. 2 V. 3 Nº 2, Novembro, 2005
CINTED-UFRGS Novas Tecologas a Educação E ( x) b. P Para calcular a ota π do aluo, remos calcular a méda das esperaças de todas as questões respoddas corretamete e dvdr pelo cálculo da méda das esperaças de todas as questões (corretas e corretas) respoddas. Ode termos a segute equação: Ode π 1 1 R. E ( x) E ( x) 1 ( θ ) R represeta a resposta do tem (0 ou 1). R. b. P ( θ ) b. P ( θ ) Para se estmar a habldade cal de um aluo, podemos utlzar um valor default, e a partr desse valor ajustar a habldade do aluo, a qual se obtém através das respostas dos tes do teste. A habldade do aluo é obtda a partr da probabldade de acerto de uma questão de determado ível de dfculdade b. Um aluo com habldade θ terá 50% de probabldade de acerto de questões com ível de dfculdade b θ. Assm, devemos ecotrar qual ível de dfculdade de questão b o aluo terá 50% de chaces de acerto, que será realzada pela busca da medaa das questões aplcadas, ou seja, o ível de habldade tal que metade das questões aplcadas estarão acma deste ível de metade abaxo. Desevolvemos uma ova fórmula para cálculo da habldade dos aluos. Para a Teora de Resposta ao Item, a habldade vara de -2.0 a +2.0. Como o osso caso o ídce de dfculdade de um tem pode varar de 0 a 10, ajustamos a fórmula da habldade para: b ( b 2,5 ) 2 ' ode: 1. b é o ídce de dfculdades dos tes 2. b ' é o osso valor do ível de dfculdade (0 a 10) Para calcularmos a habldade θ, sempre trabalhamos com o valor medao do tes aplcados ao teste, o que os leva a um valor cetral. θ [( med / 2,5) 2] ves Portato, aplcado o valor da habldade o Modelo The Rash, ecotramos a probabldade de um aluo respoder corretamete um tem dado a sua habldade. V.3 Nº 2, Novembro, 2005 3
Novas Tecologas a Educação CINTED-UFRGS 4. Modelos Desevolvdos Para o desevolvmeto dos modelos avalatvos, utlzamos um baco de tes (questões) com város íves de dfculdade, varado de 0 a 10, ode as questões próxmas a 0 são cosderadas fáces e as próxmas a 10 cosderadas dfíces. As questões são cadastradas pelo própro professor, composta por um códgo, descrção da perguta, cco (05) alteratvas, o ível de dfculdade cal da questão e o gabarto (resposta correta). Todos os aluos cam o teste com uma questão de mesmo ível de dfculdade. No osso caso, camos um teste com uma perguta de ível de dfculdade 5, que é cosderada de ível de dfculdade termedáro. Sedo assm, cosderamos também que todos os aluos possuem a mesma habldade, mas relembramos que esta habldade rá se ajustar o decorrer do teste. O Modelo Avalatvo I selecoa um tem após o outro, ou seja, a escolha do próxmo tem a ser admstrado é realzada logo após um tem ser respoddo. Admstrado o prmero tem, caso o aluo o respoda corretamete será forecdo a ele um ovo tem com um ível de dfculdade maor. Caso o aluo respoda corretamete, o próxmo tem a ser admstrado a ele será um tem de ível de dfculdade feror ao que estava fazedo. Sejam dos aluos fazedo o teste ao mesmo tempo, ambos provavelmete ão respoderão as mesmas questões, pos elas serão admstradas de acordo com a habldade de cada um. O Modelo Avalatvo II, também ca o teste o mesmo ível de dfculdade. Para o Modelo Avalatvo II, dado que um aluo cou o teste e respodeu corretamete ao tem, o próxmo tem a ser admstrado será calculado pela méda do ível do tem atual e o ível máxmo admtdo o teste, como abaxo: ovo atual + 2 máx Caso cotráro, se o aluo respoder corretamete ao tem, o próxmo tem a ser admstrado ao aluo será feto de duas maeras: Para o prmero erro, calcula-se o ível do próxmo tem fazedo a méda etre o ível do tem atual e o ível do tem ateror respoddo pelo aluo, dessa forma obtemos um tem que esteja etre os íves de dfculdade o qual o aluo está apto a realzar. ovo atual + 2 ateror Caso o aluo respoda corretamete a dos tes cosecutvos, o próxmo tem a ser admstrado será calculado pela méda etre o ível do tem atual e o ível do tem mímo, exemplfcado pela fórmula abaxo: 4 V. 3 Nº 2, Novembro, 2005
CINTED-UFRGS Novas Tecologas a Educação ovo atual + 2 mí 4.1. Varação dos íves de dfculdade de uma questão A medda em que as questões são respoddas, os íves de dfculdade podem varar, o que dexa os modelos desevolvdos auto-ajustáves ao logo do tempo. O ível de dfculdade de uma questão fo cadastrado pelo professor, mas a medda que a questão passa a ser respodda por um aluo ou turma, o seu ível de dfculdade pode ser modfcado. Assummos que, quato mas aluos acertarem a uma determada questão, ela poderá ser cosderada mas fácl e coseqüetemete o seu ível de dfculdade deverá dmur. No mesmo caso, quato mas aluos respoderem corretamete uma questão, cosderamos que esta questão é cosderada de ível mas dfícl e coseqüetemete o seu ível deverá aumetar. O ovo ível da questão é calculado através da segute equação: um _ acertos ível 10 * 10 um _ acessos Com esses resultados obtemos parâmetros para traçar o perfl de uma turma, ou aluo, auxlado o professor a dagostcar os potos fortes e fracos. 5. Ferrameta Computacoal Essa Ferrameta é baseada em Testes Adaptatvos Iformatzados e Teora de Resposta ao Item, podedo ser realzada va Web. A Ferrameta oferece a edção de questões, a correção dos testes aplcados aos aluos e posteror dvulgação dos resultados. Podedo ser utlzado pelo admstrador do sstema, pelo professor e pelo aluo. A Ferrameta fo desevolvda em lguagem ASP(Actve Server Pages), terface HTML, a valdação dos campos através de JavaScrpt e do baco de dados Access. O professor é resposável pelo cadastro, alteração e exclusão de questões. O aluo é cadastrado o sstema pelo admstrador, recebe um seha e poderá utlzar a ferrameta. Quado o aluo logar o sstema para realzar o teste, caberá a ele a escolha do Questoáro I (Modelo Avalatvo I) ou o Questoáro II (Modelo Avalatvo II). Após a escolha, as questões serão admstradas uma a uma estabelecedo os modelos de busca descrtos aterormete. 5.1. Apresetação dos resultados(feedback) Ao fal do teste, um feedback statâeo é mostrado ao aluo, ode as questões que foram respoddas corretamete são lstadas. Para o professor os resultados se mostram mas cosstetes. O professor poderá vsualzar o desempeho de cada aluo ou da turma, em forma de ota, lstagem das questões respoddas pelos aluos e as otas sugerdas. O feedback mostra ada a medaa, a habldade do aluo e méda V.3 Nº 2, Novembro, 2005 5
Novas Tecologas a Educação CINTED-UFRGS de todas as otas dos aluos o teste. A ferrameta fo desevolvda para oferecer formações tato para o professor quato para o aluo. Smplfcar o trabalho de correção de questões para dar apoo ao professor. A forma de detfcar a habldade do aluo cotrbu para detfcar suas dfculdades e facldades, fazedo com que detro de seus lmtes, qualquer aluo cosga realzar o teste, que será ajustado ao seu perfl. 6. Aálse dos resultados Selecoamos algus aluos e as curvas obtdas dos íves de dfculdade realzados por cada um, para uma melhor vsualzação e aálse dos dados obtdos. 12,00 10,00 8,00 6,00 Questoáro I Questoáro II 4,00 2,00 0,00 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Fgura 1- Curvas das habldades para o Aluo X Nota-se este caso que o Modelo Avalatvo I (Questoáro I) apreseta aumetos gradatvos dos íves de dfculdade das questões até o aluo alcaçar o ível mas alto, somete depos é que ecotramos algumas varações alteradas para os íves, e uma posteror queda gradatva. Para o Modelo Avalatvo II(Questoáro II), há uma varabldade maor os íves calmete e logo depos há uma establzação. 10,00 9,00 8,00 7,00 6,00 5,00 Questoáro I Questoáro II 4,00 3,00 2,00 1,00 0,00 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Fgura 2- Curvas das habldades para o Aluo Y 6 V. 3 Nº 2, Novembro, 2005
CINTED-UFRGS Novas Tecologas a Educação Em todas as curvas, calculamos a habldade dos aluos, e também calculamos a habldade elmado as três prmeras questões respoddas pelos aluos, pos cosderamos utlzadas para a famlarzação com a ferrameta, para alcaçarmos resultados mas precsos. O Modelo Avalatvo I ão submeteu os aluos à uma grade varabldade de íves de dfculdade das questões, apresetado-se mas estável e desafado o aluo em seu ível de habldade. Já para o modelo avalatvo II, houve uma maor varabldade de ível de dfculdade, potecalzado o acerto. No Modelo Avalatvo I os íves de dfculdade varam meos, e pode ser bem aplcado para aluos ode as suas habldades são termedáras (em muto alta e em muto baxa), pos o ível de uma questão vara gradatvamete. Porém, os casos com aluos de habldades altas, a mudaça de ível é meos rápda, o que leva ao aluo respoder questões as quas ele já possu cohecmeto, sedo cosderadas fáces. Para o modelo avalatvo II, chega-se mas rápdo à habldade do aluo os casos em que o aluo tem cohecmeto avaçado ou básco. Se o aluo possu habldade alta, o modelo II admstrará questões de maor ível de dfculdade de forma mas rápda, pos sempre trabalha com a méda dos íves das questões (atual e máxma). Caso o aluo possua uma habldade baxa, o modelo II também drecoará de forma mas rápda à questões de ível meor. Quato aos íves de dfculdade das questões, eles vararam o decorrer do teste torado o baco de tes mas calbrado, ou seja, questões com íves de dfculdade reas para um aluo ou turma. Em méda 44% das questões aumetaram o ível de dfculdade e 42% dmuíram o seu ível de dfculdade, o que realmete demostra que estão se ajustado ao logo do tempo. 6.1. Cálculo da Correlação Realzamos o cálculo da correlação etre as habldades e otas obtdas pelos aluos os Questoáro I e II. Cosegumos o valor de 0,94 para o Questoáro I e de 0,97 para o Questoáro II, o que demostra matematcamete resultados satsfatóros. 7. Coclusão A Ferrameta desevolvda pode ser utlzada para acompahameto do aluo o curso, auxlado o professor a dagostcar o desempeho do aluo e se o coteúdo assmlado pelo aluo fo ecessáro a seu apredzado. A capacdade de forecer subsídos de resposta para a sttução, prcpalmete para o professor e para o própro aluo que se submeter ao questoáro, forecedo a retroalmetação, estmulado o apredzado do aluo, mostrado formações que os auxle a julgar suas estratégas dvduas de estudo e também auxlado o professor a dagostcar qual parte do curso precsa de ateção especal, ou seja, coopera o setdo de sesblzar para o que deve ser mudado ou melhorado. Quato aos dos modelos propostos, observou-se que o modelo com meos varações (Modelo I) pode ser bem aplcado a todos os aluos e prcpalmete àqueles com ível de habldade méda, pos va testado o aluo ível a ível. Para os casos de V.3 Nº 2, Novembro, 2005 7
Novas Tecologas a Educação CINTED-UFRGS aluos avaçados, o Modelo II se apreseta mas favorável, pos faz com que o aluo respoda questões com íves de dfculdade mas compatíves com a sua habldade, o que pode favorecê-lo. 8. Referêca Bblográfca [Baker, 2001] Baker, F. B. The Bass of Item Respose Theory. Secod Edto. ERIC Clearghouse o Assessmet ad Evaluato, 2001. [Hambleto ad Swamatha, 1985] Hambleto, R.. ad Swamatha, H. Respose Theory: Prcples a Applcato. Kluwer /jhoff Publshg, 1985. [Ruder, 1998] Ruder, M. L. A O-Le, teratve, computer adaptve testg mtutoral, 1998. http://www.ercae.et/scrpts/cat/catdemo.html. Acessado: Ma, 2002. 8 V. 3 Nº 2, Novembro, 2005