Seleção de um Algoritmo para um Teste Adaptativo Informatizado para fins de Classificação por meio de Simulações

Transcrição

1 Seleção de um Algoritmo para um Teste Adaptativo Informatizado para fins de Classificação por meio de Simulações Selecting a Computerized Adaptive Testing Algorithm for Classification purpose by Simulations Fernando de Jesus Moreira Junior Doutor em Engenharia de Produção, UFSC Professor do Departamento de Estatística, UFSM fmjunior777@yahoo.com.br Dalton Francisco de Andrade Doutorado em Biostatistics, UNC SYSTEM Professor Voluntário do Departamento de Engenharia de Produção e Sistemas, UFSC dandrade@inf.ufsc.br Antonio Cezar Bornia Doutorado em Engenharia de Produção, UFSC Professor do Departamento de Engenharia de Produção e Sistemas, UFSC cezar@deps.ufsc.br Resumo O objetivo desse trabalho é selecionar um Algoritmo para um Teste Adaptativo Informatizado (TAI) proposto para a avaliação teórica do DETRAN SC para fins de classificação por meio de simulações. Vários testes com diferentes opções de critérios de seleção dos itens, definições da habilidade inicial e métodos de estimação da habilidade foram avaliados. O algoritmo selecionado utiliza o zero na escala (0;1) para a definição da habilidade inicial, o método da Máxima Informação para a seleção dos itens e o Método da Máxima Verossimilhança Ponderada para a estimação da habilidade. Palavras chave: Teste adaptativo informatizado. Teste para classificação. Simulações. Algoritmos. Abstract The aim of this paper is to select an Algorithm for Computerized Adaptive Test (CAT) proposed for the theoretical evaluation of the DETRAN SC for classification purposes by simulations. Several tests with different options for the items selection criteria, initial ability definitions and ability estimation methods were evaluated. The selected algorithm uses the zero on the scale (0, 1) for the initial ability definition, the Maximum Information method for items selection and the Weighted Maximum Likelihood Method to estimate the ability. Keywords: Computerized Adaptive Testing. Classification Test. Simulations. Algorithms.

2 Fernando de Jesus Moreira Junior, Dalton Francisco de Andrade e Antonio Cezar Bornia Introdução A avaliação teórica do DETRAN SC (Departamento Estadual de Trânsito de Santa Catarina) é realizada por meio da aplicação de um teste convencional do tipo papel e lápis (Kingsbury, 2002), que pode ser aplicado também na versão informatizada, constituído por 40 questões de múltipla escolha com quatro alternativas, sendo que apenas uma delas é correta. Para que o candidato seja aprovado no exame, ele deve responder corretamente pelo menos 70% das questões, ou seja, ele deve acertar a resposta de, no mínimo, 28 questões quaisquer da prova. A prova é elaborada com a seleção de 40 questões de um banco de itens existentes. Embora o indivíduo receba uma nota final baseada no escore, o objetivo é classificar o indivíduo em aprovado/reprovado, em relação à um determinado ponto de corte, o que caracteriza um teste do tipo classificação. O objetivo desse trabalho é selecionar um Algoritmo para um Teste Adaptativo Informatizado (TAI) proposto para a avaliação teórica do DETRAN SC para fins de classificação por meio de simulações. O objetivo de um TAI é apresentar itens ao indivíduo que sejam adequados ao seu nível de habilidade, o que fornece diversos benefícios na sua implementação (Van der Linden; Glas, 2000; 2010; Wainer, 2000). 1. Metodologia Os dados utilizados nesse estudo foram disponibilizados pelos DETRAN SC e pelo CIASC (Centro de Informática e Automação do Estado de Santa Catarina). A amostra se constituiu de provas com 40 itens, respondidas por candidatos (alguns fizeram a prova mais de uma vez), e aplicadas no ano de 2008, totalizando 462 itens distintos. O modelo escolhido para essa análise foi o ML3, que permite estimar o parâmetro de acerto casual. Para a utilização desse modelo, as respostas dos itens (categorias A, B, C e D) foram dicotomizadas em duas categorias: (1) correta e (0) incorreta. Itens administrados que não foram respondidos ou que tiveram mais de uma alternativa assinalada foram considerados como resposta incorreta. 58

3 Seleção de um Algoritmo para um Teste Adaptativo Informatizado para fins de Classificação por meio de Simulações Para verificar o pressuposto da unidimensionalidade, foi realizada uma análise fatorial baseada nas correlações tetracóricas. O resultado obtido mostrou que um único fator foi responsável por explicar 82,82% da variabilidade geral dos dados, sendo um forte indicativo para aceitar a suposição de unidimensionalidade nos dados. Todo o banco de itens foi calibrado simultaneamente numa única etapa, como se fosse uma única grande prova, utilizando se os itens em comum. Nesse estudo, os itens foram calibrados na escala (0, 1), ou seja, com média igual a zero e desvio padrão igual a um. Após o processo de calibração, removendo se os itens inadequados e os que possuam discriminação menor que 1, o banco final ficou constituído de 286 itens, onde 94,4% desses possuíam grau de dificuldade abaixo do valor médio da escala. Conforme Segall (1997), o ponto de corte deve preservar as taxas atuais de fluxo do teste convencional, ou seja, deve se manter a proporção de aprovados e reprovados. Dessa forma, procedeu se da seguinte maneira: (1) verificou se que a proporção de examinandos reprovados em 2008, segundo os dados obtidos, foi de 0,253548; (2) supondo que a habilidade provém de uma distribuição Normal Padrão, verificou se que o valor do eixo x que separa os 25,3548% dos casos mais baixos era 0,663; e (3) adotou se o valor 0,663 como ponto de corte na escala de proficiência, supondo que 25,3548% dos indivíduos na população devem ter habilidade inferior a esse valor. Foram simulados respondentes com base na distribuição Normal Padrão. Foi considerada uma taxa máxima de exposição dos itens de 0,20 e o critério de parada utilizado foi um intervalo de 95,4% de confiança (default do CATSim) fora do ponto de corte e no máximo 40 itens administrados. Os algoritmos foram comparados em termos de: Nível de habilidade inicial: o Mediano igual a zero, o Valor aleatório ente 1 e 1. Método de seleção dos itens: o Método da Máxima Informação Pura (MI) o Máxima Informação Modificado I (MIMI): Seleciona aleatoriamente 5 itens com máxima informação dentre os primeiros 5 itens do teste. o Máxima Informação Modificado II (MIMII): Seleciona aleatoriamente 10 itens com máxima informação dentre os primeiros 10 itens do teste o Método da Máxima Informação no Ponto de Corte (MIPC): Essa opção pode ser útil nos testes com o objetivo de classificação, onde o item selecionado maximiza a informação no ponto de corte (SPRAY; RECKASE, 1994; 1996) 59

4 Fernando de Jesus Moreira Junior, Dalton Francisco de Andrade e Antonio Cezar Bornia Método de Estimação da habilidade o Máxima Verossimilhança (MV) c/ passo = 1: é o tamanho do passo, na escala de dificuldade, para a seleção do próximo item. o Máxima Verossimilhança (MV) c/ estimação inicial EAP com priori com média 0 e desvio padrão 1. o Máxima Verossimilhança (MV) c/ estimação inicial MAP com priori com média 0 e desvio padrão 1. o Bayesianos da Esperança a Posteriori (EAP) com priori com média 0 e desvio padrão 1. o Bayesiano da Moda a Posteriori (MAP) com priori com média 0 e desvio padrão 1. o Máxima Verossimilhança Ponderada (MVP). Os critérios utilizados para a análise da precisão e da validade dos testes foram: o erro padrão médio (EPM), a raiz quadrada do erro quadrado médio (RQEQM), o desvio empírico médio (DEM), a eficiência (EF) e a correlação linear (CL), conforme Muñiz e Hambleton (1999). Também serão utilizados os seguintes critérios: Ap/Ap: Percentual de aprovados que o teste classificou como aprovados. Re/Re: Percentual de reprovados que o teste classificou como reprovados. Ap/Re: Percentual de aprovados que o teste classificou como reprovados. Re/AP: Percentual de reprovados que o teste classificou como aprovados Nesse estudo, foram utilizados os softwares TESTFACT (Bock et al., 2003) para a análise da dimensionalidade, BILOG MG (Toit, 2003) para a calibração dos itens (fase 2 do Software), e CATSim (Weiss; Guyer, 2010) para as simulações das respostas e aplicação dos algoritmos dos TAIs. 2. Resultados e comentários Como o número de combinações a serem testadas era muito grande, primeiramente, comparou se os dois critérios para a seleção dos itens iniciais, mantendo fixo o Método de seleção dos itens da Máxima Informação pura (MI) e o Método de Estimação da habilidade da Máxima Verossimilhança (MV) c/ passo igual a 1. Foram denominados: 60

5 Seleção de um Algoritmo para um Teste Adaptativo Informatizado para fins de Classificação por meio de Simulações Teste 1: Utiliza critério mediano igual a zero Teste 2: Utiliza um valor aleatório ente 1 e 1. As Tabelas 1 e 2 fornecem os resultados dos critérios de avaliação. Tabela 1: Desempenho dos Testes TESTE EPM RQEQM DEM EF CL Teste 1 0,6080 0,7447 0, ,1056 0,8207 Teste 2 0,6113 0,7712 0, ,9101 0,8171 Tabela 2: Percentual de acerto e erro na classificação TESTE Acerto Ap/Ap Re/Re Erro Ap/Re Re/Ap Teste 1 92,45 94,63 85,81 7,55 5,37 14,19 Teste 2 91,89 94,26 84,67 8,11 5,74 15,33 Observa se que o Teste 1 possui um desempenho superior em relação ao critérios EPM, RQEQM, CL e a todos os critérios da Tabela 2. Dessa forma, Optou se por fixar a utilização do critério mediano igual a zero como método de seleção inicial dos itens nas demais simulações. Seguindo se a análise, comparou se os quatro Método de seleção dos itens, mantendo fixo o Método de Estimação da habilidade da Máxima Verossimilhança (MV) c/ passo igual a 1. Foram denominados: Teste 1 (já simulado anteriormente): Utiliza o Método da Máxima Informação Pura (MI) Teste 3: utiliza o Método da Máxima Informação Modificado I (MIMI). Teste 4: utiliza o Método da Máxima Informação Modificado II (MIMII). Teste 5: utiliza o Método da Máxima Informação no Ponto de Corte (MIPC). As Tabelas 3 e 4 fornecem os resultados dos critérios de avaliação. Tabela 3: Desempenho dos Testes TESTE EPM RQEQM DEM EF CL Teste 1 0,6080 0,7447 0, ,1056 0,8207 Teste 3 0,6094 0,7669 0, ,8947 0,8112 Teste 4 0,6123 0,7781 0, ,0827 0,8176 Teste 5 0,6007 0,6819 0, ,7146 0,

6 Fernando de Jesus Moreira Junior, Dalton Francisco de Andrade e Antonio Cezar Bornia Tabela 4: Percentual de acerto e erro na classificação TESTE Acerto Ap/Ap Re/Re Erro Ap/Re Re/Ap Teste 1 92,45 94,63 85,81 7,55 5,37 14,19 Teste 3 92,09 94,57 84,55 7,91 5,43 15,45 Teste 4 92,26 94,62 85,08 7,74 5,38 14,92 Teste 5 92,42 94,27 86,78 7,58 5,73 13,22 Observa se que o Teste 5 teve o pior desempenho entre todos o teste, já que a quantidade média de itens aplicado (EF) foi quase 50% superior do que nos demais. Naturalmente, essa quantidade maior de itens aplicados forneceu resultados ligeiramente melhores que os demais testes quanto ao EPM, a RQEQM, o DEM e a CL e a alguns percentuais. Isso significa que o critério utilizado para a seleção dos itens que maximiza a informação no ponto de corte não teve um bom desempenho e, portanto, não será considerado nas demais simulações. Os demais testes tiveram desempenho muito parecido, ou seja, a utilização dos métodos de seleção dos itens MIMI e MIMII não produziram resultados consideravelmente melhores do que o teste que utiliza a MI. Dessa forma, optou se por optou se por não considerar os métodos MI modificados nas próximas simulações. Seguindo se a análise, comparou se os seis Método de estimação da habilidade. Foram denominados: Teste 6: utiliza a Máxima Verossimilhança (MV) c/ passo = 1. Teste 7: utiliza a Máxima Verossimilhança (MV) c/ estimação inicial EAP. Teste 8: utiliza a Máxima Verossimilhança (MV) c/ estimação inicial MAP. Teste 9: utiliza a Esperança a Posteriori (EAP). Teste 10: utiliza a Moda a Posteriori (MAP). Teste 11: utiliza a Máxima Verossimilhança Ponderada (MVP). As Tabelas 5 e 6 fornecem os resultados dos critérios de avaliação. Tabela 5: Desempenho dos Testes TESTE EPM RQEQM DEM EF CL Teste 6 0,6079 0,7209 0, ,0787 0,8273 Teste 7 0,5318 0,5490 0, ,4205 0,8344 Teste 8 0,5195 0,5424 0, ,4090 0,8318 Teste 9 0,4783 0,4794 0, ,6717 0,8505 Teste 10 0,4651 0,4795 0, ,5231 0,8497 Teste 11 0,5563 0,6498 0, ,9361 0,

7 Seleção de um Algoritmo para um Teste Adaptativo Informatizado para fins de Classificação por meio de Simulações Tabela 6: Percentual de acerto e erro na classificação TESTE Acerto Ap/Ap1 Re/Re2 Erro Ap/Re3 Re/Ap4 Teste 6 91,74 94,38 83,70 8,26 5,62 16,30 Teste 7 91,81 94,15 84,67 8,19 5,85 15,33 Teste 8 92,05 94,53 84,51 7,95 5,47 15,49 Teste 9 92,49 96,23 81,12 7,51 3,77 18,88 Teste 10 92,81 96,21 82,45 7,19 3,79 17,55 Teste 11 91,93 93,76 86,37 8,07 6,24 13,63 As principais características em um teste de classificação são a eficiência (terminar o teste com menor quantidade de itens aplicados) e a proporção de acertos (ter uma alta proporção de acertos na classificação). Dentro do contexto do DETRAN SC, a situação que parece mais grave seria aprovar um candidato que deveria ter sido reprovado, ou seja, habilitar um motorista que ainda não está preparado para dirigir. Dessa forma, em relação aos demais métodos, os procedimentos bayesianos parecem ser menos adequados por aprovar uma quantidade maior de candidatos que deveriam ter sido reprovados. Dentre os testes restantes, aquele que utiliza o procedimento MVP, parece o mais adequado, considerando esse critério. Dessa forma, o algoritmo selecionado foi o do Teste 11, cuja configuração é: Modelo de Resposta ao item: ML3 Nível de habilidade Inicial: Mediano igual a zero na escala (0;1) Método de Seleção dos itens: Máxima Informação Método de Estimação da habilidade: MVP Restrições: Taxa de exposição de 0,20 Conclusões Critério de parada: Intervalo de 95,4% de Confiança fora do ponto de corte com no máximo 40 itens administrados. Diferentes configurações de algoritmos de de testes adaptativos foram avaliados. Os resultados permitiram selecionar um algoritmo que obteve o melhor desempenho entre os testes avaliados, em geral. Esse algoritmo utiliza o zero na escala (0;1) para a definição da habilidade inicial, o método da Máxima Informação para a seleção dos itens e o Método da Máxima Verossimilhança Ponderada para a estimação da habilidade. 63

8 Fernando de Jesus Moreira Junior, Dalton Francisco de Andrade e Antonio Cezar Bornia Agradecimentos Ao DETRAN SC (Departamento Estadual de Trânsito de Santa Catarina), pela autorização na utilização do banco de dados de Ao CIASC-SC (Centro de Informática e Automação do Estado de Santa Catarina), pela compilação do banco de dados com as informações necessárias para esse estudo. Referências Bock, R.; Gibbons, R.; Schilling, S.; Muraki, E. W.; Wood, R., (2003) TESTFACT 4 (Computer software). Lincolnwood, IL: Scientific Software International. Kingsbury, G. G. (2002) An Empirical Comparison of Achievement Level Estimates from Adaptive Tests and Paper and Pencil Tests. American Educational Research Association annual meeting. New Orleans, LA, USA. Muñiz, J.; Hambleton, R. (1999) Evaluación psicométrica de los tests informatizados. In: Olea, J.; Ponsoda, V.; Prieto, G. (Eds.). Tests informatizados: Fundamentos y aplicaciones. Madrid: Pirámide, p Segall, D. O. (1997) Equating the CAT ASVAB. In: Sands, W. A; Waters, B. K.; MCBRIDE, J. R. (Eds.). Computerized adaptive testing: From inquiry to operation (pp ). Washington, DC, USA: American Psychological Association. Toit, M. (2003) IRT from SSI: BILOG MG, MULTILOG, PARSCALE, TESTFACT. Scientific Software International. Van Der Linden, W. J.; Glas, C. A. W. (2000) Computerized Adaptive Testing: Theory and Practice. Dordrecht, Netherlands: Kluwer Academic, Van Der Linden, W. J.; Glas, C. A. W. (2010) Elements of Adaptive Testing. Statistical for Social and Behavioral Sciences. New York: Springer Science+Business Media, LLC. Wainer, H. (2000) Computerized Adaptive Testing: A Primer. New Jersey: Lawrence Erlbaum Associates. Weiss, D. J.; Guyer, R. (2010) Manual for CATSim: Comprehensive simulation of computerized adaptive testing. St. Paul MN: Assessment Systems Corporation. Recebido em: 03/11/2013 Avaliado em: 25/11/