Ferramenta Avaliativa Pedagógica para Cursos a Distância Baseada em Testes Adaptativos Informatizados e Teoria de Resposta ao Item

Transcrição

1 Ferrameta Avalatva Pedagógca para Cursos a Dstâca Baseada em Testes Adaptatvos Iformatzados e Teora de Resposta ao Item Fabríca Damado Satos (UFG) fdamado@ufgvrtual.ufg.br Lucíla Rbero (UFG) lucla@f.ufg.br Weber Marts (UFG/UCG) weber@eee.ufg.br Leoardo Guerra de Rezede Guedes (UFG/UCG) lguedes@eee.ufg.br Resumo: A comucação tem cotrbuído para as trasformações as dversas áreas do cohecmeto. A utlzação da Web em ambetes educacoas expadu-se muto e a utlzação de softwares para esses ovos ambetes educacoas está em crescete estudo e aprmorameto. Neste artgo, apreseta-se uma ferrameta computacoal para realzação de avalação de aluos em cursos a dstâca, utlzado como fudametação a teora de resposta ao tem e os testes adaptatvos formatzados. O objetvo fal é apresetar ao aluo questões de seu ível dvdual de habldade. Expermetos foram coduzdos para avalar o sstema proposto em duas versões. A velocdade de busca do ível de habldade do aluo defe as duas versões. Resultados promssores foram obtdos, mostrado a adequação de cada uma das versões. Palavras Chaves: Educação a Dstâca, Avalação, Teora de Resposta ao Item, Testes Adaptatvos Iformatzados, formátca a Educação. 1 Itrodução A avalação é uma questão muto mportate o eso. Cada vez mas, os professores estão buscado ovas prátcas avalatvas, passado a cotestar a avalação como sgfcado socal e polítco. Evtar que a avalação assuma uma fução comparatva e classfcatóra é busca costate. Para cursos a dstâca, essa preocupação é mportate. O desevolvmeto de softwares aplcados a avalação de aluos, que foreçam formações de acompahameto do aluo para o professor, objetva o aprmorameto do eso através da Iteret. A proposta apresetada é uma ferrameta computacoal destada ao professor que receberá formações sobre as habldades dos aluos, os íves de dfculdade das questões, acompahameto do aluo o teste e as otas poderadas equalzadas. Esta ferrameta é mplemetada a partr da Teora de Resposta ao Item e das metodologas dos Testes Adaptatvos Iformatzados. A detecção e classfcação de dfculdades e habldades dos aluos servrão prcpalmete como strumeto de auto-avalação para o professor. Teora de Resposta ao Item A Teora de Resposta ao Item é uma reuão de modelos estatístcos usados para fazer predções, estmatvas ou ferêcas sobre as habldades (ou competêcas) meddas em um teste. Através dos modelos estatístcos, é possível predzer tas habldades por meo de correspodêcas

2 etre a potuação obtda por um estudate em uma stuação de teste e os tes a ele forecdos [Hambleto & Swamatha, 1985; Ruder, 1998]. A Teora de Resposta ao Item propõe modelos que represetam a relação etre a probabldade de uma resposta certa a um tem e a habldade de um aluo, proporcoado a avalação dvdual do aluo, pos, cada estudate respoderá tes referetes à sua habldade, torado a avalação persoalzada. Os modelos de respostas forecem dferetes cojutos de tes em uma avalação, permtdo comparar o desempeho etre eles e, portato, auxlado o professor a tarefa de avalação. A Teora de Resposta ao Item possu város modelos, dferecados pelas curvas característcas e forma de potuação empregada. Detre os modelos propostos pela teora, optamos por utlzar o Modelo Logístco de um Parâmetro, também cohecdo como The Rasch [Baker, 001]. A equação que caracterza a probabldade do aluo respoder corretamete é mostrada abaxo. P( ) = 1 θ 1( b ) 1+ exp θ ode: ( θ ) P é a probabldade de um determado aluo com habldade θ, respoder a um tem corretamete; b é o ídce de dfculdade do tem. O parâmetro b pode ser alterado à medda que os estudates passam a realzar o teste e a respoder corretamete ou corretamete ao tem. Os valores para b varam este modelo de -.0 (tes fáces) a +.0 (tes dfíces). A partr do modelo estudado, desevolvemos uma ova proposta para o cálculo da potuação obtda por um aluo e a sua habldade. 3 Proposta de Modelos de Potuação e Habldade Propomos, este trabalho, uma ova abordagem de potuação e habldade do aluo. Nestas abordages, utlzamos os cocetos de Esperaça Matemátca e Medaa. 3.1 Potuação Frequetemete, a apresetação de otas para a sttução é ecessára. Nestes mometos, a potuação é realzada a partr da medda de habldade do aluo. No caso, propomos calcular a Esperaça Matemátca de acerto de uma questão de ível de dfculdade P θ a probabldade de acerto da questão por um aluo com ível de habldade θ. E ( x ) = b. P ( θ ) b sedo ( ) A ota π do aluo é defda como a razão etre o desempeho obtdo pelo desempeho esperado coforme seu ível de habldade. Matematcamete, é expressa pela equação abaxo. π R. E ( x) = = 1 = 1 = = E ( x) R. b. P ( θ ) 1 b. P ( θ )

3 Ode R represeta a resposta do tem (0 ou 1). O acerto correspode ao valor utáro equato o erro é regstrado pelo valor ulo. Perceba que, em termos matemátcos, o deomador represeta o desempeho esperado do aluo com seu ível de habldade. O quocete, a ota, especfca qual razão deste desempeho efetvamete ocorreu, ou seja, quato o aluo coseguu cocretzar do que sera esperado dele. Deve-se ressaltar que o desempeho esperado pressupõe íves cotíuos de acerto e, ão, apeas certo e errado (como é o caso). De qualquer modo, trata-se de uma medda dvdualzada, pos cosdera o ível de habldade específco de cada aluo. 3. Habldade Para se estmar a habldade cal de um aluo, podemos utlzar um valor costate ( default ), e, a partr desse valor, ajustar a habldade do aluo, obtda através das respostas dos tes do teste. A habldade do aluo é resultate da probabldade de acerto de uma questão de determado ível de dfculdade b. Um aluo com habldade θ terá 50% de probabldade de acerto de questões com ível de dfculdade b =θ. Assm, devemos ecotrar qual ível de dfculdade de questão b o aluo terá 50% de chaces de acerto, que será realzada pela busca da medaa das questões aplcadas. Em outras palavras, o ível de habldade procurado dvde o cojuto de questões (ordeado por ível de dfculdade) em duas metades. Desevolvemos uma ova fórmula para cálculo da habldade dos aluos. Para a Teora de Resposta ao Item, a habldade vara de -.0 a +.0. Como o osso caso o ídce de dfculdade de um tem pode varar de 0 a 10, ajustamos a fórmula da habldade para: ode: b ( b,5 ) = ' b é o ídce de dfculdades dos tes; b ' é o osso valor do ível de dfculdade (0 a 10). Para calcularmos a habldade θ, trabalhamos com o valor medao dos tes aplcados o teste, levado-os a um valor cetral. θ [( med /,5) ] = ves Portato, aplcado o valor da habldade o Modelo The Rash, ecotra-se a probabldade de um aluo respoder corretamete um tem dado a sua habldade. 4 Modelos Desevolvdos Foram desevolvdos dos modelos avalatvos que podem ser usados em cursos a dstâca. Cada modelo possu as suas peculardades e juto a esses modelos desevolvemos uma Ferrameta Computacoal para apoo pedagógco que auxla o professor a detfcar as habldades dos aluos, realza o acompahameto dos aluos o curso e das questões relacoadas ao teste. Para o desevolvmeto dos modelos avalatvos, utlzamos um baco de tes (questões) com város íves de dfculdade, varado de 0 (mas fáces) a 10 (mas dfíces). As questões são

4 cadastradas pelo própro professor, composta por um códgo, descrção da perguta, cco alteratvas, o ível de dfculdade cal da questão e o gabarto (resposta correta). 4.1 Admstração de Ites o Teste Todos os aluos cam o teste com uma questão de mesmo ível de dfculdade. No caso, camos um teste com uma perguta de ível de dfculdade 5 (dfculdade termedára). Tal habldade rá se ajustar o decorrer do teste. O aluo é submetdo ao teste, ode respode questões que revelam seu cohecmeto, retratado pela sua habldade. No Modelo Avalatvo I (coservador), quado o aluo acerta um tem, o próxmo tem a ser admstrado tem ível de dfculdade acrescdo de uma udade. Se errar, o ível é dmuído em uma udade. Obvamete, há de se respetar os lmtes superor (10) e feror (0). Um exemplo da estratéga de seleção de tes do teste aplcado com o Modelo Avalatvo I é mostrado abaxo (ver Fgura 1). Respostas ao Teste Nível das Questões Quatdade de Ites Fgura 1: Regstro de resposta do aluo o Modelo Avalatvo I. Quado dos aluos fazem o teste smultaeamete, provavelmete ão respodem as mesmas questões, tedo em vsta que são escolhdas de acordo com a habldade de cada aluo. O Modelo Avalatvo II (adaptação rápda) possu a mesma dâmca do modelo ateror. A dfereça está a forma com a qual o ível da próxma questão é defdo. O segudo modelo busca com mas rapdez stozar-se o ível do aluo. Ao cotráro do cremeto/decremeto utáro costate, o segudo modelo adota estratégas dferetes para o acerto e erro. Quado ocorre acerto, o próxmo ível é defdo pela méda do ível correte e o lmte superor (10) (ver equação abaxo). atual + máx ovo = Na preseça de erro, temos duas stuações. Quado se trata de erro solado ( prmero erro ), usamos a méda etre o ível correte e o ível do tem ateror (ver Equação 4a). Quado se trata de erro ão solado (tedo ocorrdo erro o tem ateror), a méda etre o ível atual e o lmte feror (0) é empregada (Equação 4b). Na ecessdade de coverter valores fracoáros para teros (3,5, por exemplo), tedo em vsta que os íves são úmeros teros, leva-se para o ível medatamete superor (4, este mesmo exemplo).

5 ovo atual + ateror = (4a) ovo atual + mí = (4b) A Fgura mostra uma das execuções do segudo modelo. Covém regstrar que se tratado das mesmas questões utlzadas o prmero modelo (ou melhor, extraídas do mesmo baco de questões). A comparação etre as fguras 1 e esclarece a maor velocdade a busca do ível de habldade do aluo apresetada o segudo modelo, ode saltos maores são empregados. Respostas ao teste Nível das Questões Quatdade de Ites Fgura : Regstro de resposta do aluo o Modelo Avalatvo II. 4. Varação do Nível de Dfculdade da Questão À medda que as questões são respoddas, os íves de dfculdade varam, caracterzado os modelos desevolvdos como auto-adaptatvos. Quato mas aluos acertarem uma determada questão, ela é cosderada mas fácl e coseqüetemete seu ível de dfculdade dmu. Por outro lado, quato mas aluos respoderem corretamete uma questão, a questão é cosderada mas dfícl, elevado seu ível. O ovo ível da questão é calculado através da segute equação: 5 Ferrameta Computacoal um _ acertos ível = 10 * 10 um _ acessos Programamos para aos Modelos Avalatvos I e II, uma ferrameta computacoal para apoo pedagógco que, através dos testes realzados com os aluos, auxla o professor a detfcar as habldades dos aluos, fazer acompahameto dos mesmos e o acompahameto dos íves de dfculdade das questões. A ferrameta fo desevolvda em lguagem ASP (Actve Server Pages), terface HTML, sedo a valdação dos campos realzada através de JavaScrpt e do baco de dados Access. A ferrameta oferece a edção de questões, a correção dos testes aplcados aos aluos e posteror dvulgação dos resultados, podedo ser utlzado pelo admstrador do sstema, pelo professor e pelo aluo.

6 5.1 Mapulação das Questões O professor é resposável pelo cadastro, alteração e exclusão de questões. O aluo é cadastrado o sstema pelo admstrador, recebe uma seha para utlzar a ferrameta. Quado o aluo etra o sstema para realzar o teste, escolhe etre o Questoáro I (Modelo Avalatvo I) ou o Questoáro II (Modelo Avalatvo II). Após tal escolha, as questões são admstradas, estabelecedo os modelos de busca descrtos aterormete. No mometo da realzação do teste, é mostrado um formuláro ao aluo com o úmero da questão, o ome do aluo, o eucado e as opções de respostas, além do botão cofrmar resposta. Após o aluo escolher sua resposta, o própro sstema faz a correção e armazea as formações o baco de dados. Com os dados armazeados, tato para professor quato para o aluo, o relatóro tora-se de fácl mapulação. 5. Apresetação dos Resultados (Relatóro) Ao fal do teste, um relatóro statâeo é mostrado ao aluo, ode as questões que foram respoddas corretamete são lstadas. Neste mometo, o aluo pode drecoar o estudo para as questões e assutos de maor dfculdade, mostrado que o relatóro cocretza o apoo à apredzagem. Para o professor, os resultados se mostram mas robustos. O professor vsualza o desempeho de cada aluo ou da turma, em forma de ota, lstagem das questões respoddas pelos aluos e as otas sugerdas. O relatóro mostra ada a medaa, a habldade do aluo e méda de todas as otas dos aluos o teste. A ferrameta fo desevolvda para oferecer formações tato para o professor quato para o aluo, smplfcar o trabalho de correção de questões, forecedo apoo ao professor. A forma de medr a habldade do aluo cotrbu para detfcar suas dfculdades e facldades, fazedo com que, detro de seus lmtes, qualquer aluo cosga realzar o teste, que será ajustado ao seu perfl. 6 Aálse dos resultados Para valdação da ferrameta desevolvda, desevolvemos um teste em Iglês para os modelos avalatvos I e II. Cadastramos 186 questões com ível de dfculdade varado de zero a dez. Para cada modelo, tvemos dez aluos realzado o teste. Optamos por um úco grupo de questões, pos as comparações etre os modelos toram-se mas precsas. Como mostrado a Fgura 3, observa-se que 60% dos aluos obtveram otas mas altas o Modelo Avalatvo II (Questoáro II). O desempeho quato às habldades (ver Fgura 4) correspodeu às defções aterores. Para evtar efetos de ordem de apresetação, alterou-se a aplcação dos questoáros de aluo para aluo.

7 Fgura 3 - Descrção das otas obtdas pelos aluos os dos questoáros. Fgura 4 Habldade dos Aluos Podemos afrmar que os aluos estão aptos a respoderem questões com íves de dfculdade próxma ao de suas habldades. Com a habldade do aluo é possível desevolver testes dvdualzados para cada um, auxlado o processo ddátco-pedagógco. O tempo médo gasto pelos aluos para respoder cada questoáro fo de aproxmadamete 11,5 mutos. A maora das questões respoddas apresetou ível de dfculdade 5 (segudas pelas de ível 4) e as meos respoddas foram as de ível de dfculdade 9 (segudas pelas de ível zero). Um fator teressate observado fo o questo facldade do modelo, ou seja, a mafestação de qual dos modelos fo percebdo como o mas fácl (Questoáro I ou Questoáro II). Todos os aluos cocordaram em que o questoáro mas fácl era aquele em que ele realzava prmero. Ifermos, portato, a fadga como fator assocado ao questo dfculdade do modelo. Ates dos aluos respoderem aos questoáros, fo pergutado a eles qual o cohecmeto admtdo por eles em Iglês. Cerca de 50% dos aluos admtram ter cohecmeto médo, 40% básco e 10% avaçado. Ao fal do teste, pergutamos qual a opão sobre a terface da ferrameta. Todos respoderam ser de fácl mauseo.

8 6.1 Curvas Para melhor vsualzação e aálse dos dados obtdos, selecoamos algus aluos e suas respectvas curvas dos íves de dfculdade calculados Questoáro I Questoáro II Gráfco 1- Curvas das habldades para o Aluo X Nota-se que, o caso do aluo X (ver Gráfco 1), o Modelo Avalatvo I (Questoáro I) apreseta aumetos gradatvos dos íves de dfculdade das questões até o aluo alcaçar o ível mas alto. Somete depos ecotramos varações alteradas para os íves e posteror queda gradatva. Para o Modelo Avalatvo II (Questoáro II), há varabldade maor os íves calmete e logo depos ocorre establzação Questoáro I Questoáro II Gráfco - Curvas das habldades para o Aluo Y No caso do aluo Y (ver Gráfco ), fca claro que houve maor varabldade o Modelo Avalatvo II (Questoáro II), porém, sempre que houve a apresetação de questões com íves de dfculdade muto altos, o aluo as respodeu corretamete e, em seguda, fo admstrado uma questão de ível de dfculdade meor. O Modelo Avalatvo I (Questoáro I) apresetou-se

9 mas estável o íco, porém segudos de erros cosecutvos. Cabe saletar que o Questoáro II fo respoddo prmero para este aluo. De modelo geral, observamos que o Modelo Avalatvo I ão submeteu os aluos a uma grade varabldade de íves de dfculdade das questões, apresetado-se mas estável e desafado o aluo em seu ível de habldade. Já para o modelo avalatvo II, houve uma maor varabldade de ível de dfculdade, potecalzado o acerto. No Modelo Avalatvo I, os íves de dfculdade varam meos, e pode ser bem aplcado para aluos ode as suas habldades são termedáras (em muto alta e em muto baxa), pos o ível de uma questão vara gradatvamete. Porém, os casos com aluos de habldades altas, a mudaça de ível é meos rápda, o que leva ao aluo respoder questões as quas ele já possu cohecmeto, sedo cosderadas fáces. Para o Modelo Avalatvo II, chega-se mas rápdo à habldade do aluo os casos em que o aluo tem cohecmeto avaçado ou básco. Se o aluo possu habldade alta, o modelo II admstrará questões de maor ível de dfculdade de forma mas rápda, pos sempre trabalha com a méda dos íves das questões (atual e máxma). Caso o aluo possua uma habldade baxa, o modelo II também drecoará de forma mas rápda a questões de ível meor. Quato aos íves de dfculdade das questões, eles vararam o decorrer do teste, torado o baco de tes mas calbrado, ou seja, questões com íves de dfculdade reas para um aluo ou turma. Especfcamete, 44% das questões aumetaram o ível de dfculdade e 4% dmuíram o seu ível de dfculdade, o que realmete demostra que estão se ajustado ao logo do tempo. 6. Cálculo da Correlação Realzamos o cálculo da correlação etre as habldades e otas obtdas pelos aluos os Questoáro I e II. Cosegumos o valor de 0,94 para o Questoáro I e de 0,97 para o Questoáro II, o que demostra matematcamete resultados satsfatóros. A plalha abaxo pode esclarecer melhor os resultados ecotrados. Aluo Habldade Modelo I Questoáro I Nota Modelo I Habldade Modelo II Questoáro II Nota Modelo II A 8 6,9 10 6,81 B 1 1,36 1,76 C 3 3, 1,96 D 4 3,38 7 4,11 E 9 8, ,6 F 3,16 6 3,6 G 8 7,38 5 3,86 H 6 3, I 3 3,85 4,7 J 4 4,49 8 6,09 7 Coclusão A ferrameta desevolvda oferece apoo ao professor, mostrado resultados relevates para decsões de o quê esar. Pode ser utlzada para acompahameto do aluo o curso, auxlado

10 o professor a dagostcar o desempeho do aluo e da turma, assm como sua cocepção sobre dfculdade das questões presetes o baco de tes. Quato aos dos modelos propostos, observou-se que o modelo com meos varações (Modelo I) pode ser bem aplcado a todos os aluos e prcpalmete àqueles com ível de habldade méda, pos va testado o aluo ível a ível. Para os casos de aluos avaçados, o Modelo II se apreseta mas favorável, pos faz com que o aluo respoda questões com íves de dfculdade mas compatíves com a sua habldade, o que pode favorecê-lo o setdo de mater seu teresse. Referêcas Baker, F. B. The Bass of Item Respose Theory. Secod Edto. ERIC Clearghouse o Assessmet ad Evaluato, 001. Hambleto, R.. ad Swamatha, H. Respose Theory: Prcples a Applcato. Kluwer Publshg, Ruder, M. L. A O-Le, teratve, computer adaptve testg m-tutoral, Dspoível em:< Acesso: Ma, 00.