Correção Automática de Testes de Múltipla Escolha MCTest - Versão para Android Francisco de Assis Zampirolli e Rodrigo Teiske China (bolsa PIBIC/UFABC) fzampirolli@ufabc.edu.br e rodrigo.china@aluno.ufabc.edu.br Centro de Matemática, Computação e Cognição Universidade Federal do ABC - Santo André, Brasil 09.210-170 RESUMO Atualmente há muitos corretores automáticos comerciais de testes de múltipla escolha, usualmente compostos de um software e um scanner especializados. Mas a vasta disseminação de laptops, tablets e smartphones com câmeras integradas oferece novas possibilidades para realizar o mesmo serviço sem a necessidade de qualquer hardware ou software extras e com o benefício da execução remota de baixo custo. Este projeto visa apresentar um aplicativo para smartphones, com Android, onde já constatou sucesso na correção de 674 testes de múltipla escolha de um problema real e desenvolvido originalmente em linguagem Matlab, para desktop ou notebook. Vídeo Matlab: http://youtu.be/yrpbgs_ysmq Vídeo Android: http://youtu.be/wd3tpu00jow (testes de 10 questões e 16 tipos) http://youtu.be/50tknjwfbf4 (testes de 40 questões e 80 questões) Santo André, 2014
INSTALAÇÃO 1) Configuração mínima testada: a. Smartphone, com Android 2.2; b. Câmara, 3Mpixel; c. Tamanho da Tela 2,8 QVGA, 262k (cores) e 320h x 240w; d. Touch Screen; 2) No app Play Store do seu smartphone, em Configurações, Filtragem de conteúdo, habilite a opção Todos, para permitir a instalação de todos os aplicativos; 3) Instalar o aplicativo MCTest: https://play.google.com/store/apps/details?id=com.corretordetestes Ou http://vision.ufabc.edu.br/mctest/mctest.apk CORREÇÕES DOS TESTES Vejam em http://vision.ufabc.edu.br/mctest//testsexamples vários exemplos de formatos de testes para serem aplicados. Para smartphones antigos, com processamento lento, as correções podem demorar alguns segundos para cada teste. O número máximo de questões de um teste vai depender da resolução da câmera de vídeo do smartphone, não ultrapassando 40 questões, segundo os nossos experimentos. Porém, é possível fazer vários quadros de respostas em um mesmo teste, bastando que os quadros de respostas estejam a pelo menos 1 centímetro de distância um do outro, e que o usuário some os resultados dos vários quadros para se ter a pontuação final de cada teste. Um Projeto (subpasta salva na pasta MCTest do smartphone) suporta até 16 tipos diferentes de testes com 5 alternativas de respostas em cada questão. Assim, o professor pode aplicar em um Projeto (turma) até 16 testes diferentes. Em nossos testes foi utilizado 5 alternativas de respostas para cada questão, porém este número pode mudar, consequentemente, mudará também a quantidade de tipos diferentes de testes suportados para cada Projeto, seguindo uma escala binária (por exemplo, 5 alternativas de respostas implica 4 bits e 16 tipos; 4 alternativas implica 3 bits e 8 tipos de testes em cada Projeto). Cada questão pode ter um peso de 1,5 se a última linha da questão estiver marcada no gabarito, caso contrário terá peso 1. No aplicativo MCTest, primeiro gerem os processamentos ( correções ) dos gabaritos, depois corrijam os testes. As próximas figuras foram capturas de um smartphone Samsung Galaxy Note 2, e ilustram este processo de correções de testes de múltipla escolha usando o MCTest.
Figura 1: Tela de apresentação, ao executar o aplicativo (versões em português e inglês). Figura 2: Tela Inicial.
Figura 3: Tela de Novo Projeto (nesta figura a pasta test10 será salva em MCTest). Figura 4. Após criar/salvar o Novo Projeto test10, escolha Novo Gabarito.
Figura 5. Posicione o quadro de respostas do teste entre as linhas verdes, os 4 extremos deste quadro de respostas devem ficar na área branca, fora da elipse vermelha (IMPORTANTE: deixar fundo branco entre estas linhas, além do quadro de respostas) e fotografar (botão verde). Figura 6. Se os 4 extremos da imagem desta figura são também do quadro de respostas, então Enviar para Correção, senão Tentar Novamente.
Figura 7. Gabarito de um teste tipo 0 (numeração binária, com bit menos significativo na segunda linha da última coluna do quadro de respostas). Voltando à Figura 4 e após o processamento do(s) gabarito(s se tiver vários tipos diferentes de testes em uma Projeto), escolha Corrigir Teste, e fotografar (botão verde) um teste para realizar a correção automática usando o MCTest, como ilustra a Figura 8. Figura 8. Teste de um aluno para correção.
Figura 9. Após fotografar, Enviar para Correção, se os 4 extremos da imagem desta figura são também do quadro de respostas, como ocorrido na Figura 6. Figura 10. Correção de um teste de um aluno. Esta Figura 10, juntamente com a imagem do teste do aluno (Figura 8) são salvas no smartphone, se a opção Salvar Imagens dos Testes estiver marcada na Figura 3, veja
Figuras 11 e 12. Independente desta opção, teremos um arquivo CSV com os resultados de todas os testes corrigidos de um determinado Projeto, neste caso test10, veja Figura 14. Nesta Figura 10, também tem uma caixa de texto para que o usuário inclua uma identificação do estudante, que é opcional. Figura 11. Pasta test10 e arquivo test10.csv salvos no smartphone. Figura 12. Imagens salvas na pasta test10, referentes aos 3 testes corrigidos.
Figura 13. Conteúdo do arquivo test10.csv, referente aos 5 testes corrigidos. Voltando novamente à Figura 4, após o processamento do(s) gabarito(s) e após Corrigir Teste para a correção de vários testes, é possível visualizar a Estatística das respostas, como apresentado da Figura 14. Nesta figura, escolha o tipo do teste, por exemplo, tipo 0 e escolha o botão OK, assim será apresentada a estatística geral, como mostra a Figura 15. É possível também escolher a estatística específica de uma questão, como apresentado na Figura 16 para a questão 9. Figura 14. Na Figura 4, ao escolher o botão Estatística.
Figura 15. Estatística Geral de 5 testes, nesta ilustração somente a questão 9 teve um acerto e a questão 10 todos erraram. As demais questões todos acertaram. Figura 16. Estatística específica para a questão 9, considerando 5 testes. Nesta ilustração ninguém respondeu a opção A e as demais respostas foram um B, um C, um D, um E e um teve a questão inválida, opção O. Dentro da pasta MCTest/test10 possui também a pasta Result, contendo um arquivo csv com a somatória de todas as respostas para o cálculo das estatísticas apresentadas anteriormente, veja na Figura 17 o conteúdo deste arquivo.
Figura 16. Arquivo contendo o somatório de todas os testes corrigidos, considerando cada resposta de cada questão um valor unitário e questões inválidas, somam-se a linha O deste arquivo. Figura 18. Na Figura 2, ao escolher o botão Sobre.
SUGESTÕES Testar: Antes de aplicar um teste em uma turma (principalmente com muitos estudantes), sugerimos imprimir o gabarito e algumas folhas de teste e realizar alguns experimentos para ver se o aplicativo MCTest funciona corretamente em seu smartphone. Usar por exemplo, os modelos de testes disponíveis em http://vision.ufabc.edu.br/mctest/testsexamples. Pintar corretamente: Os experimentos realizados indicam que as respostas dos estudantes que não pintaram corretamente os quadrados (fizeram algumas linhas à caneta, deixando muito fundo branco) não foram consideradas pelo MCTest, dando uma pontuação inferior. Neste caso, o professor pode destacar mais a resposta do estudantes pintando com um lápis no quadrado pintado de forma incorreta. Quando ocorre uma resposta inválida (sem resposta ou com mais de uma resposta por questão) o aplicativo destaca em amarelo a coluna. Nos experimentos realizados com o MCTest, em 185 testes com 8 tipos diferentes de gabaritos, dois testes apresentaram este problema e foi resolvido facilmente rabiscando com um lápis o(s) quadrado(s) pintado(s) de forma incorreta. Assim, sugerimos fortemente que o estudante pinte por completo o quadrado da resposta de uma questão, de preferência com caneta de cor preta. O MCTest faz filtros e considera pelo menos 50% do quadrado pintado. Fundo branco: IMPORTANTE - ao Fotografar, além do quadro de respostas, deixar fundo branco entre as linhas verdes (veja um exemplo na Figura 5), senão o MCTest vai reconhecer ruídos como extremos, contrário ao que ocorre na Figura 6. Boa iluminação: Ao fotografar um quadro de respostas, a iluminação pode influenciar nas correções. Assim, escolha uma ambiente bem iluminado, sem sombras, sem reflexões de luz, e que em todo o quadro de respostas tenha a mesma intensidade de luz. Folha num plano: Também, o quadro de respostas deve estar em uma superfície plana, ao ser fotografada, principalmente se for um teste com muitas questões, o que vai deixar os quadrados das respostas bem pequenos. Isso pode fazer com que uma resposta de uma questão fique cortada ao meio numa folha não plana, seguindo o modelo de solução implementado no MCTest.