Uso do Algoritmo APriori para Descoberta de Padrões de Evasão de Usuários em Cursos Online

Uso do Algoritmo APriori para Descoberta de Padrões de Evasão de Usuários em Cursos Online Francisco Araujo de Almeida Neto 1, Alberto Nogueira de Castro Jr 1 1 Instituto de Computação Universidade Federal do Amazonas (UFAM) CEP 69.077-000 Manaus AM Brasil frc.neto@gmail.com, alberto@ufam.edu.br Resumo. Neste trabalho é investigado a utilização do algoritmo APriori para a obtenção de Regras de Associação em um Base de Dados Educacionais com o objetivo prever a ocorrência de evasão de alunos em cursos online. Os melhores resultados foram obtidos ao se utilizar o Predictive APriori em relação ao APriori sem alterações juntamente com a escolha e utilizar apenas as Regras e Associação que indicam evasão. 1. Introdução Assim como os cursos presenciais os cursos de Educação a Distância (EaD) também sofrem com a evasão escolar dos seus alunos. As pesquisas de [Martins 2013] e [Moreira 2013] demonstram uma preocupação em estudar os motivos da evasão escolar em Ambientes Virtuais de Aprendizagem (AVA) com o objetivo de evitar tal evasão. Por outro lado, a utilização de técnicas de mineração de dados vem sendo utilizadas para a descoberta de padrões e regras de associação. Podemos citar como exemplo a pesquisa relatada por [Ahmed 2009] aonde conseguiu-se Regras de Associação (RA) para o trabalho de associar estudantes a empresas para a realização de estágios ou trabalho prático pela Universidade Utara Malaysia (UUM). Assim, este trabalho pretende utilizar de mineração de dados para encontrar regras de associação úteis para a prevenção da evasão escolar em em ambientes de cursos online tais como os AVAs. Tais regras poderiam então ser aplicadas em cursos a distância, tais como os oferecidos pela Universidade Aberta do Brasil (UAB) 1, com potencial para aumentar a quantidade de pessoas concluindo com sucesso os cursos. Os resultados diretos de tal melhoria seriam uma economia de recursos humanos e materiais desses cursos, podendo então serem utilizados para aumentar ainda mais a quantidade de alunos atendidos por esses cursos atualmente. 2. Trabalhos Relacionados Segundo [Baker et al 2011] a área de Mineração de Dados Educacionais é uma área 1 http://uab.capes.gov.br

multidisciplinar recente cujos trabalhos permeiam várias subáreas da Ciência da Computação, sendo o seu desenvolvimento no Brasil bastante recente. No entanto, o uso de técnicas de mineração de dados de cursos online com o objetivo de conseguir melhorias para o processo de ensino-aprendizagem já é explorado em vários trabalhos de pesquisa dentre os quais podemos citar os trabalhos de [Baruke et al 2007], [Baker 2010], [Gottardo et al 2012] e [Kovacic 2010] aonde foi possível obter ganhos sensíveis para a área. Um trabalho parecido com o deste estudo é de [Dekker et al 2009] aonde também se procura prever quais estudantes vão evadir um curso online, no entanto no trabalho dele apesar de serem utilizadas diferentes técnicas de mineração de dados o algoritmo APriori não é utilizado. 3. Metodologia Para a análise e estudo do Apriori para a geração de RA para evasão de alunos em um curso online foi seguida a metodologia abaixo: 1. Estudo e escolha de uma base de dados educacionais a serem utilizados nos experimentos; e 2. Escolha das variáveis a serem utilizadas nas RA; e 3. Realização de um pré-processamento na base de dados para melhor entendimento do domínio do problema e realização de limpeza nos dados; e 4. Transformação das bases para um formato sumarizado a ser utilizado como entrada para o algoritmo Apriori; e 5. Extração de RA com a utilização do Apriori; e 6. Teste e avaliação das RA em uma base de de dados não utilizada durante a geração das RA; e 7. Interpretação e avaliação dos resultados Na seção seguinte é iniciada a descrição dos experimentos deste trabalho. 4. Seleção e Tratamento dos Dados Para a realização deste trabalho foi utilizado o PSLC DataShop 2 [Koedinger et al. 2010], de onde foram adquiridos os seguintes datasets: Dataset 1: IWT Self-Explanation Study 0 (pilot) (Fall 2008)(raw data) Dataset 2: IWT Self-Explanation Study 1 (Spring 2009) (raw data) Dataset 3: IWT Self-Explanation Study 2 (Fall 2009) (raw data) 2 https://pslcdatashop.web.cmu.edu/

Dataset 4: IWT Self-Explanation Study 3 (Spring 2010) (raw data) A escolha pelo PSLC DataShop se deu por ser uma base de dados Internacional publicamente disponível e por ter um tratamento padronizado dos seus dados. Além disso os datasets do IWT Self-Explanation Study tem os dados da interação dos alunos com um Sistema Tutor Inteligente (STI) do projeto Wylie - Intelligent Writing Tutor 3 do LearnLab 4. No curso aonde esse STI é utilizado os alunos devem resolver problemas proposto pelo curso no ambiente online e ao final do curso devem resolver o último problema do curso (sempre chamado de survey ). Da lista dos datasets escolhidos os três primeiros foram utilizados para a descoberta das RA e o último foi utilizado para validar o funcionamento das RA encontradas. Tabela 1: Variáveis para o experimento Variável total_problema_usuario qtd_problema_correto qtd_dica qtd_tentativa_incorreta qtd_tentativa_correta total_tempo_problema qtd_acesso tempo_total_acesso qtd_media_dica qtd_media_erro qtd_media_tentativa Descrição Quantidade de problemas que o usuário resolveu. Quantidade de problemas que o usuário resolveu corretamente Quantidade de dicas que o usuários solicitou ao ambiente/sistema Quantidade de tentativas incorretas de resolução de uma questão Quantidade de tentativas corretas de resolução de uma questão Somatório do tempo de resolução de todos os problemas Quantidade de acessos ao ambiente Tempo total de acesso ao ambiente Média de dicas solicitadas por problema Média de erros por problema Média de tentativas de resolução por problema tempo_medio_problema Tempo médio utilizado em cada problema tempo_medio_acesso evasao Tempo médio utilizado em cada acesso ao ambiente Informa se houve evasão ou não do usuário no decorrer do curso Para a seleção das variáveis para comporem o conjunto de dados dos experimentos foram estudados os trabalhos de [Gottardo 2012], [Romero 2008], [Feng 2006], [Baker 2010] e [Dekker 2009]. Nos entanto, não foi possível utilizar todas as variáveis citadas nesses estudos pois os datasets do PSLC DataShop não contém todas elas, portanto após um cruzamento das informações disponíveis nos datasets e as utilizadas nos artigos foram escolhidas as seguintes variáveis para representarem o usuário no experimento conforme a Tabela 1. A variável evasao é calculada verificando se o aluno acessou o problema 3 http://www.learnlab.org/research/wiki/index.php/wylie_-_intelligent_writing_tutor 4 http://www.learnlab.org/

survey pois ele é sempre apresentado ao final de cada curso do IWT Self-Explanation Study. Para poder utilizar o algoritmo APriore para a mineração de RA é necessário transformar o valor das variáveis em valores discretos. Para tanto, para cada variável da Tabela 1 com exceção da variável evasão foi feito o seguinte procedimento: 1. A variável recebe o valor de POUCO caso o seu valor esteja dentro do 1º Quartil da distribuição daquela variável na turma 2. Caso contrário, se o seu valor for estiver contido dentro do 2º ou 3º Quartil da distribuição daquela variável na turma ele recebe o valor de MEDIO 3. Caso contrário, ela recebe o valor de ALTO A escolha dessa divisão foi para tentar avaliar cada aluno em relação ao desempenho dos outros alunos da mesma turma. Para a próxima fase do experimentos foram então construídos dois conjuntos de dados para a criação das RA e posterior análise e validação delas: O primeiro conjunto foi feito considerando todos os dados dos datasets 1 ao 3 incluindo a interação do aluno com o problema final survey. O segundo conjunto também considera os datasets 1 ao 3, porém antes de gerar o conjunto são apagados dos datasets todas as informações referentes ao problema final survey. Ou seja, vai ser utilizado o segundo conjunto para saber se as RA geradas para prever um evento sem os dados gerados pelo próprio evento melhoram ou não a qualidade das RA geradas, tal preocupação foi expressada nos trabalhos de [Dekker 2009] e [Ahmed 2009]. Tanto a geração como os experimentos de verificação das regras do segundo grupo foram feitos com os dados até o momento imediatamente anterior a aplicação do survey, com exceção do dado de evasão pois para obter este precisamos saber quem acessou o survey. 5. Experimentos Realizados Para a execução do experimento foi utilizado o software Weka 5 [Mark Hall 2009] por ser um software livre e ter implementado vários algoritmos de data mining incluindo o APriori. O APriori do Weka foi executado com os parâmetros configurados conforme a Tabela 2 para os dois conjuntos de dados. As RA encontradas após a execução do Weka estão sumarizadas na Tabela 3. 5 http://www.cs.waikato.ac.nz/ml/weka/index.html

Tabela 2: Tabela Principais 3: Regras parâmetros de Associação configurados encontradas no APriori com o do APriori Weka Num Regra 1 2 3 Com Dados do Survey Parâmetro Sem Dados Valor do Survey Condição carconfiança Condição True Confiança classindex 1.0-1 delta 0.05 lowerboundminsupport 1.0 0.1 metrictype Confidence numrules 1.0 10 SignificanteLevel -1.0 upperboundminsupport 1.0 Suporte 1.0 0.15 1.0 0.15 1.0 0.15 Evasão NAO NAO NAO 4 0.97 0.97 0.15 NAO 5 qtd_tentativa_incorreta=medio tempo_total_acesso=pouco 6 qtd_media_erro=medio qtd_tentativa_correta=pouco 7 qtd_tentativa_incorreta=medio tempo_total_acesso=pouco 8 qtd_media_erro=medio qtd_tentativa_correta=pouco 9 qtd_tentativa_incorreta=medio tempo_total_acesso=pouco 10 qtd_media_erro=medio qtd_tentativa_correta=pouco tempo_total_acesso=pouco Conforme podemos observar na Tabela 3, todas as regras encontradas foram para o caso de o aluno não evadir. No entanto, tais regras não são desejáveis conforme os argumentos apresentados por [Dekker 2009] para esses tipos de previsões e suas consequências quando da ocorrência de falsos positivos ou falsos negativos. Para exemplificar, podemos descrever o caso aonde uma dessas regras gere um falso negativo (prever que o aluno não vai evadir quando na verdade ele vai) gerando um impacto para os moderadores do curso online maior do que um falso positivo (prever o aluno vai evadir quando na verdade ele não vai). Para exemplificar o ponto, ao serem aplicados essas RA no Dataset 4 temos para a utilização dos dados do survey uma previsão de 23 estudantes sem evasão, no

entanto em apenas 19 foram confirmadas as previsões, resultando em 4 estudantes que estariam fora do acompanhamento do ambiente quando esses 4 deveriam estar sendo monitorados de perto. Para o teste sem a utilização dos dados do survey este evento não aconteceu (foram previstos e acertados 36 alunos sem evasão), no entanto com o experimento aqui executado não se tem como afirmar se essa taxa de acerto de 100% vai se repetir para outros cursos. Portanto, suspeitou-se da possibilidade de obter resultados mais satisfatórios se fossem encontradas RA para o caso de prever alunos com previsão de evasão e não o contrário. No entanto, utilizando o algoritmo APriori implementado no Weka mostrouse difícil encontrar boas regras mesmo aumentando a quantidade de regras retornadas pelo Weka. Assim, optou-se por utilizar o algoritmo Predictive APriori de [Scheffer 2001] que também se encontra implementado no Weka pois este algoritmo encontra as RA enquanto balanceia o suporte e a confiança durante a sua execução. Assim foi executado o algoritmo Predictive APriori no Weka para encontrar as 50 melhores regras e dessas 50 retirar as regras a respeito da previsão de ocorrência de evasão. As regras encontradas para os dois conjuntos de dados se encontram descritas na Tabela 4. Tabela 4: Regras de Associação encontradas com o Predictive APriori Num Regra Com Dados do Survey Condição Acurácia Calculada Sem Dados do Survey Condição Acurácia Calculada Evasão 1 qtd_acesso=pouco 0.99476 qtd_acesso=pouco 0.99479 SIM 2 total_problema_usuario=pouco 0.99430 total_problema_usuario=pouco 0.99438 SIM 3 qtd_problema_correto=pouco 0.99430 qtd_problema_correto=pouco 0.99438 SIM 4 qtd_dica=pouco total_tempo_problema=pouco 0.99352 qtd_dica=pouco total_tempo_problema=pouco 0.99377 SIM 5 qtd_tentativa_correta=medio qtd_media_tentativa=alto 0.99352 SIM 6 qtd_dica=medio qtd_media_dica=alto 0.99155 SIM 7 8 9 qtd_dica=pouco qtd_media_dica=medio total_tempo_problema=pouco tempo_medio_problema=alto total_tempo_problema=medio tempo_medio_problema=alto 0.99103 SIM 0.99103 SIM 0.99040 SIM Realizando a validação dessas regras no Dataset 4 foi observado os seguintes resultados: Para o conjunto 1 (com dados do survey ) foram previstos 22 alunos dos quais 4 realmente evadiram, para o conjunto 2 (sem dados do survey ) foram previstos 6 alunos dos quais 4 realmente evadiram.

6. Análise dos Resultados O Dataset 4 tem dados de um total de 103 alunos sendo que 96 acessaram o problema survey e 7 não acessaram. Estes últimos foram considerados neste trabalho como evasão. Foi observado que a geração e validação das RA sem os dados do problema survey gerou resultados melhores do que com a utilização dos dados do problema survey. Aponta-se a seguir os fatores que levam a essa conclusão: As RA geraram menos falsos negativos e menos falsos positivos para os dados utilizados neste experimento; e Houve um aumento da média dos índices de confiança e acurácia para as RA que foram encontradas neste experimento pelos algoritmos APriori e Predictive APriori; e Para as RA de previsão evasão houve uma menor quantidade de regras geradas. Analisando o resultado do APriori e do Predictive APriori. Portanto pode-se concluir que para a geração de RA que auxiliem os administradores de um AVA na prevenção de evasões é melhor utilizar o Predictive APriori procurando pelas que apontem os alunos que estão com risco de evasão. 7. Conclusões A diminuição das taxas de evasão em cursos em um AVA é um objetivo que merece ser seguido pois significa um melhor aproveitamento dos recursos envolvidos para a operação e manutenção desses cursos, maior ainda a preocupação se o forem utilizadas verbas publicas para a criação e manutenção desses cursos. Neste sentido, este trabalho demonstra a possibilidade de utilizar o algorimo Predictive APriori para encontrar Regras de Associação que forneçam aos administradores de um Sistema Tutor Inteligente um meio de detectar possíveis evasões de alunos e assim possibilitar uma intervenção com o objetivo de evitar as evasões antes delas acontecerem. No entanto, este estudo levanta outra questão. Foi verificado que minerar as Regras de Associação retirando-se os dados do último evento do curso, possibilitou um ganho na qualidade das mesmas. Assim, a pergunta natural que surge é: até que ponto a retirada em ordem cronológica invertida dos eventos pode melhorar a qualidade das Regras de Associação? Esta questão será melhor investigada em trabalhos futuros. Referências Martins, Ronei Ximenes. Santos, Telsuita Laudomira Pereira. Et al. Por que eles desistem? Estudo sobre a Evasão em Cursos de Licenciatura a Distância. ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distância Belém/PA, 11 13 de

junho de 2013 UNIREDE Moreira, Priscila Rezende. Glória, Laíssa Generoso Lott. Et al. Evasão Escolar nos Cursos de Graduação a Distância. ESUD 2013 X Congresso Brasileiro de Ensino Superior a Distância Belém/PA, 11 13 de junho de 2013 UNIREDE Ahmed, Almahdi Mohamme. Norwawi, Norita Md. Et al. Identifying Student and Organization Matching Pattern Using Apriori Algorithm for Practicum Placement. 2009 International Conference on Electrical Engineering and Informatics 5-7 August 2009, Selangor, Malaysia Koedinger, K.R., Baker, R.S.J.d., Cunningham, K., Skogsholm, A., Leber, B., Stamper, J. (2010) A Data Repository for the EDM community: The PSLC DataShop.. In Romero, C., Ventura, S., Pechenizkiy, M., Baker, R.S.J.d. (Eds.) Handbook of Educational Data Mining. Boca Raton, FL: CRC Press. Gottardo, E., Kaestner, C., & Noronha, R. (2012). Previsão de Desempenho de Estudantes em Cursos EAD Utilizando Mineração de Dados: uma Estratégia Baseada em Séries Temporais. In Simpósio Brasileiro de Informática na Educação (pp. 26 30). Rio de Janeiro, RJ: SBIE. Retrieved from http://www.brie.org/pub/index.php/sbie/article/view/1758 Romero, C., Ventura, S., & García, E. (2008). Data mining in course management systems: Moodle case study and tutorial. Computers & Education, 51(1), 368 384. doi:10.1016/j.compedu.2007.05.016 Feng, M., Heffernan, N. T., & Koedinger, K. R. (2006). Addressing the testing challenge with a web-based e-assessment system that tutors as it assesses. Proceedings of the 15th International Conference on World Wide Web - WWW 06, 307. doi:10.1145/1135777.1135825 Baker, R. d, Goldstein, A., & Heffernan, N. (2010). Detecting the Moment of Learning. Intelligent Tutoring Systems, 25 34. doi:http://dx.doi.org/10.1007/978-3- 642-13388-6_7 Mark Hall, Eibe Frank, Geoffrey Holmes, Bernhard Pfahringer, Peter Reutemann, Ian H. Witten (2009); The WEKA Data Mining Software: An Update; SIGKDD Explorations, Volume 11, Issue 1. Dekker, G., Pechenizkiy, M., & Vleeshouwers, J. (2009). Predicting Students Drop Out: A Case Study. EDM, (9), 41 50. Retrieved from http://www.win.tue.nl/~mpechen/projects/edm/internshipreport_090409.pdf Scheffer, Tobias. 2001. Finding Association Rules That Trade Support Optimally against Confidence. In: 5th European Conference on Principles of Data Mining and Knowledge Discovery, 424-435, 2001.

Baruque, C. B., Amaral, M. A., Barcellos, A., Freitas, J. C. da S., & Longo, C. J. (2007). Analysing Users Access Logs in Moodle to Improve e Learning. In Euro American Conference On Telematics and Information Systems (pp. 1 4). Faro, Portugal: ACM. doi:http://dx.doi.org/10.1145/1352694.1352767 Kovacic, Z. (2010). Early Prediction of Student Success: Mining Students Enrolment Data. In Informing Science & IT Education Conference (InSITE) (pp. 647 665). Retrieved from http://repository.openpolytechnic.ac.nz/handle/11072/646 Baker, R., Isotani, S., & Carvalho, A. (2011). Mineração de Dados Educacionais: Oportunidades para o Brasil. Revista Brasileira de Informática Na Educação, 19(02), 3 13. doi:10.5753/rbie.2011.19.02.03