Uma comparação do Estado da Arte de técnicas de

Transcrição

1 Uma comparação do Estado da Arte de técnicas de classificação com aplicações em finanças Porthos R. A. Motta 1 1 Universidade Federal de Goiás (UFG) Caixa Postal Goiânia GO Brazil {porthos.motta}@gmail.com Abstract. This article describes a comparison model classification algorithms using data repository Australian Credit Approval of the UCI and ata from a financial instituition (FI), in order to verify the performance using various comparison criteria, where hte KNN algorithm obtained best result in the test and training in the UCI classification data and baagging classification tree on data from the IF. Resumo. Este artigo descreve um modelo de comparação de algoritmos de classificação, utilizando dados do repositório Australian Credit Approval do UCI e dados de uma instituição financeira (IF), com o intuito de verificar o desempenho, utilizando vários critérios de comparação, onde o algoritmo KNN obteve melhor resultado na classificação de teste e de treinamento dos do UCI e o Bagging classification tree nos dados da IF. Este artigo descreve um modelo de comparação de algoritmos de classificação, utilizando dados do repositório Australian Credit Approval do UCI e dados de uma instituição financeira (IF), com o intuito de verificar o desempenho, utilizando vários critérios de comparação, onde o algoritmo KNN obteve melhor resultado na classificação de teste e de treinamento dos do UCI e o Bagging classification tree nos dados da IF. Palavras chaves: Classificadores, UCI, Instituição Financeira. 1. Introdução A mineração de dados é uma área do conhecimento utilizada para resolver vários tipos de problemas como os de classificação. A inadimplência é um assunto de interesse de várias IF s. A partir de certas características, é possível classificar um cliente como adimplente e inadimplente. A partir dessa classificação é possível classificar novos dados após a utilização de algoritmos, com o objetivo de obter informação de interessante da instituição, e que possar ser utilizada para rever os processos internos de avaliação de crédito. Os classificadores pertencem ao aprendizado supervisionado, que tem como objetivo a resolução de problemas preditivos, e tem sido amplamente aplicado em conjuntos de dados de vários domínios científicos, como economia, ciências biológicas, ciências sociais e exatas, por exemplo.

2 Um classificador avalia o conjunto de dados e por meio de um algoritmo particiona-o de acordo com os rótulos das classes, porém nem todo o conjunto de dados pode ser classificado por todos os classificadores com a mesma acurácia, sendo que para cada tipo de dados existe um ou vários classificadores específicos. Eles oferecem uma forma eficiente de tratar informações financeiras, sendo a área de finanças de interesse da inteligência computacional (IC). Os dados utilizados nos algoritmos precisam passar por etapas de limpeza por meio do pré-processamento a fim de reduzir os noise (ruídos) e lidar com valores missing (faltantes), analisar a relevância por meio da seleção de features (características), a fim de remover atributos irrelevantes ou redundantes e pela transformação dos dados por meio de técnicas de normalização e generalização. [Han and Kamber 2006][Duda et al. 2012] [Bishop 2006]. Neste trabalho serão investigados a performance de 7 algoritmos de classificação. Na seção 2 será apresentado os trabalhos relacionados, na seção 3 os métodos utilizados, na seção 4 os resultados experimentais, na 5 a conclusão, na seção 6 os trabalhos futuros e por fim as referências. 2. Trabalhos correlatos As técnicas de mineração de dados (MD) podem ser utilizadas para resolver inúmeros tipos de problemas, seja resumir dados, encontrar associações, definir regras, extrair características, analisar alterações, efetuar agrupamentos,detectar anomalias e efetuar classificação. Pode-se dizer que a classificação é uma das técnicas utilizadas com frequência nos problemas relacionados à área de MD e de reconhecimento de padrões (RP). E como dito anteriormente, dado um conjunto de valores de atributos ou características associadas a uma classe, é possível predizer em qual classe estes valores fornecidos pertencerão. [Yap et al. 2011] utilizou a mineração de dados para melhorar a avaliação da qualidade de crédito via modelos de credit scoring. Fez uso dos algoritmos de regressão logística e de árvore de decisão. [Bee Wah and Ibrahim 2010] usou modelos de previsão de mineração de dados para classificar os candidatos de cartão de crédito. Os algoritmos de regressão logística, rede neural de retro propagação e árvore de classificação e regressão, foram utilizadas. A análise Comparativa de Algoritmos de classificação em diferentes conjuntos de dados do repositório UCI usando a ferramenta open souce WEKA para execução dos algoritmos J48 e Multiplayer Perceptron (MPL) foi proposta por [Arora and Suman 2012], onde percebeu-se que o este obteve melhores resultados que aquele. 3. Métodos Os classificadores a serem utilizados neste trabalhos estão descritos na figura Base de dados de teste Os conjuntos de dados utilizados na investigação foram os dados do domínio financeiro obtido do repositório online UCI chamado Australian Credit Aproval.

3 Figure 1. Classificadores Por meio de uma perspectiva empírica, será utilizada a base supra citada, composta por uma matriz que consiste de dados de aprovação de crédito, sendo um conjunto interessante, por possuir um mix de atributos contínuos, nominais e com poucos e muitos dígitos. Existem 690 instâncias e 14 atributos ou características. Os valores faltantes ou missing que apareceram em 37 casos, foram substituídos pela moda quando atributos categóricos e pela média nos casos dos contínuos, e a classe distribuída em bom ou classe1 com 307 (44,5 %) e mau ou classe2 com 383 (55,5 %). O segundo conjunto de dados foi obtido de uma IF de Goiás que contém dados rotulados dos clientes adimplentes e inadimplentes, e possui 8372 objetos e 10 características, onde 4096 (48,92 %) são classificados como adimplentes e 4276 (51,08 %) como inadimplentes. Para o trabalho em questão foi utilizado de cada conjuntos de dados 80 % para treinamento e o restante 20 % para a etapa de teste de acurácia dos algoritmos de classificação selecionados, tanto na base UCI quanto na da IF Medidas de desempenho dos classificadores Para a avaliação do desempenho de algoritmos utilizamos várias medidas como: Classification Accuracy (CA) que é dada pela porcentagem de predições que estão corretas, Sensitivity (Sens), Specifiticity (Spec),Information Score (IS), Brier Score (Brier), Mathews correlation coeficient (MCC), conforme figura 2. As medidas Area Under ROC curve (AUC), F-Measure(F1), Precision(Prec) e

4 Figure 2. Fórmulas de alguns indicadores Recall(Recall) são obtidos a partir da matriz de confusão ou tabela de contingência. 4. Resultados experimentais e analise dos algoritmos Apresentaremos os resultados do experimento, bem como os valores obtidos pelas medidas de avaliação. Orange DataMining [Demšar et al. 2013] é um toolbox, multiplataforma, open source de mineração de dados escrito na linguagem python. Os algoritmos de classificação foram escritos em c++ para melhorar o tempo de execução, sem qualquer chamada a python, a fim de evitar sobrecarga desnecessária. Todos os experimentos foram feitos em uma estação de trabalho com processador Intel(R) Core(TM) i GHz com memória RAM 16,0 GB, no sistema Windows 8.1 Pro de 64 bits e processador com base em x64. O conjunto de testes são dados independentes do conjunto de treinamento a fim de evitara ocorrência de overfitting ou superajuste. Para cada algoritmo foi utilizada uma parametrização específica. Os resultados obtidos utilizando as medidas descritas anteriormente estão relacionados na figura 3. A matriz de confusão dos três melhores classificadores estão indicadas na figura 4. A partir dos resultados das figuras 3 e 4, constatou-se que o classificador KNN foi o melhor para a base UCI e o bagging de árvore de classificação mostrou-se o melhor devido a diferença do resultado do indicador IS que foi maior em relação ao classificador MLP. 5. Conclusão Neste artigo foi possível avaliar a performance de vários algoritmos de classificação, utilizando várias medidas, e duas bases de dados, uma do UCI e outra real de uma IF de Goiásra a base da IF.

5 Figure 3. Indicadores para base de dados Real e Australian UCI Figure 4. Matriz de confusão e curva roc O problema de classificação de clientes foi solucionado uma vez que os dados foram bem selecionados e normalizados e as etapas de treino favoreceram a obtenção dos resultados. Assim, percebe-se a importância de utilizar não só a matriz de confusão, mas também outros indicadores como Recall, MCC, F-Measure, para auxiliar no processo de tomada de decisão do melhor classificador, e neste estudo eles foram calculados utilizando o Orange Toolkit. Foi Interessante utilizar dados do UCI e reais para treino e teste dos algoritmos,que demonstra o funcionamento dos classificadores por meio de um modelo pré-estabelecido para depois utilizá-lo em dados reais. Dessa forma os resultados podem auxiliar a instituição financeira a classificar clientes por meio das características apresentadas. 6. Trabalhos Futuros Para trabalhos futuros, sugere-se a utilização de algoritmos de otimização ou de algum tipo de estratégia evolucionária em conjunto com os classificadores a fim de avaliar os resultados. Propõe-se também aumentar a quantidade de características a fim de verificar se ocorrerá alguma alteração no resultado do algoritmo escolhido como melhor classificador para o conjunto de dados. References Aggarwal, C. C. (2014). Statistical Analysis Data Mining Applications. CRC Press.

6 Arora, R. and Suman (2012). Article: Comparative analysis of classification algorithms on different datasets using weka. International Journal of Computer Applications, 54(13): Full text available. Bee Wah, Y. and Ibrahim, I. (2010). Using data mining predictive models to classify credit card applicants. In Advanced Information Management and Service (IMS), th International Conference on, pages Bishop, C. (2006). Pattern Recognition and Machine Learning. Information Science and Statistics. Springer. Cortes, C. and Vapnik, V. (1995). Support-vector networks. Mach. Learn., 20(3): Demšar, J., Tomaž, Erjavec, A., Črt Group, Hočevar, T., Milutinovič, M., Možina, M., Polajnar, M., Toplak, M., e Starič, A., Štajdohar, M., Umek, L., Žagar, L., Ž, J., Žitnik, M., and Zupan, B. (2013). Orange: Data mininig toolbox in python. Journal of Machine Learning Research, 14: Dietterich, T. G. (2000). Essemble methods in machine learning. [Online; accessed 26- Dezembro-2014]. D.Michie (1996). Machine Learning, Neural and Statistical Classification. ACM. Duda, R., Hart, P., and Stork, D. (2012). Pattern Classification. Wiley. Freeman, J. A. and Skapura, D. M. (1991). Neural networks: algorithms, applications, and programming techniques. Addison-Wesley. Han, J. and Kamber, M. (2006). Data Mining: Concepts and Techniques, 2nd ed.the Morgan Kaufmann Series in Data Management Systems, Jim Gray, Series Editor. Morgan Kaufmann Publishers. Hastie, T., Tibshirani, R., and Friedman, J. (2009). The Elements of Statistical Learning: Dataminig, Inference, and Prediction. Springer. Haykin, S. (2009). Neural Networks and Learning Machines. Number v. 10 in Neural networks and learning machines. Prentice Hall. John, G. and Langley, P. (1995). Estimating continuous distributions in bayesian classifiers. In In Proceedings of the Eleventh Conference on Uncertainty in Artificial Intelligence, pages Morgan Kaufmann. Kasabov, N. K. (1998). Foundations of Neural Networks, Fuzzy Systems, and Knowledge Engineering. The MIT Press. Marsland, S. (2009). Machine Learning: An Algorithmic Perspective. Chapman Hall/CRC Machine Learning Pattern. Nisbet, R., Elder, J., and Miner, G. (2009). Statistical Analysis Data Mining Applications. Elsevier. Skapura, D. (1996). Building Neural Networks. ACM Press Series. ACM Press. Yap, B. W., Ong, S. H., and Husain, N. H. M. (2011). Using data mining to improve assessment of credit worthiness via credit scoring models. Expert Systems with Applications, 38(10):