PONDERAÇÃO DO KNN UTILIZANDO-SE DE MÉTODOS TRADICIONAIS DE SELEÇÃO DE ATRIBUTOS

Transcrição

1 VALFREDO PILLA JR. PONDERAÇÃO DO KNN UTILIZANDO-SE DE MÉTODOS TRADICIONAIS DE SELEÇÃO DE ATRIBUTOS SEBASTIAN DAVID C. DE O. GALVÃO Aluno - Bacharelado em Informática - Centro Universitário Positivo / UnicenP sebastian.david@terra.com.br ESTEVAM RAFAEL HRUSCHKA JÚNIOR Professor - Bacharelado em Informática - Centro Universitário Positivo / UnicenP estevam@unicenp.br da Vinci, Curitiba, v. 1, n. 1, p ,

2 PONDERAÇÃO DO KNN UTILIZANDO-SE DE MÉTODOS TRADICIONAIS DE SELEÇÃO DE ATRIBUTOS RESUMO Métodos tradicionais de seleção de atributos têm sempre sido usados para a identificação da relevância de atributos em bases de dados de forma a se obter um subconjunto de atributos de maior relevância. Este trabalho apresenta a aplicação da seleção de atributos através do teste estatístico qui-quadrado no processo de ponderação dos atributos a serem utilizados pelo algoritmo Knn. Este algoritmo, calcado no aprendizado baseado em instâncias, compara um novo objeto (a ser classificado) com todos os demais que estão na sua base de dados para trazer a classificação. O objeto mais próximo ao novo é o que será considerado seu vizinho mais próximo e a classe do vizinho será considerada a classe do novo objeto. Essa comparação, aplicada de maneira direta, leva em conta que todos os atributos do objeto têm a mesma relevância, o que nem sempre é verdade. Assim torna-se importante ponderar os atributos para buscar um melhor desempenho do Knn. Palavras-chave: Aprendizado de máquina, seleção de atributos e classificação. ABSTRACT Traditional feature selection methods have been used for the identification of the relevance of attributes in databases. This work applies the chi-square (c 2 ) statistical test to weight the contribution of each of the features from a database in a classification task using the KNN algorithm. The learning process of the KNN (K-Nearest Neighbor) algorithm is an instance-based learning method. It stores the presented training data and when a new query instance is encountered, a set of similar related instances is retrieved from memory and used to classify the new query instance. Using the c 2 the relevance of each feature is considered to the identification of the nearest neighbor. Thus the traditional KNN can be optimized. Key words: Machine Learning, feature selection and classification. 116

3 SEBASTIAN DAVID C. DE O. GALVÃO E ESTEVAM RAFAEL HRUSCHKA JÚNIOR PONDERAÇÃO DO KNN UTILIZANDO-SE DE MÉTODOS TRADICIONAIS DE SELEÇÃO DE ATRIBUTOS SEBASTIAN DAVID C. DE O. GALVÃO / ESTEVAM RAFAEL HRUSCHKA JÚNIOR 1. INTRODUÇÃO O Knn ( K-nearest neighbors ou K-vizinhos mais próximos) (MITCHELL, 1997) é um dos algoritmos utilizados para data mining (mineração de dados). Originalmente, nenhum método de seleção de atribuídos é utilizado para este algoritmo. O método qui-quadrado pode ser utilizado para esta finalidade e, conforme os resultados, apresentou-se consistente. A grande quantidade de dados armazenadas nos bancos de dados empresariais cria um problema relativo ao que fazer, uma vez que dados puros, ou seja, sem tratamento, podem não ser muito úteis (OLESON et al., 2000). Há muitos dados e pouco conhecimento. A informação é a base fundamental das operações empresariais. Sistemas Gerenciadores de Banco de Dados permitem consultas aos dados, mas isso é só um pouco do que se pode fazer com esses sistemas. Dados analisados podem prover conhecimento adicional sobre um negócio, indo explicitamente além dos dados armazenados, para derivar conhecimento sobre o negócio. Desta forma, o processo chamado Knowledge Discovery in Databases (KDD) pode trazer benefícios para qualquer empreendimento. KDD é um processo não-trivial de identificar nos dados padrões válidos compreensíveis, novos e potencialmente úteis (FAYYAD et al., 1996). A análise dos dados consiste em muito mais que apenas mera computação quantitativa. O objetivo é buscar estruturas, modelos, padrões e associações (QIN, 2000). Por isso não é trivial. Data mining (mineração de dados) neste contexto é o processo da descoberta de conhecimento focado justamente na extração dos padrões dos dados utilizando-se de algum algoritmo, como o Knn por exemplo. Resumidamente, é necessário algum método (algoritmo) que consiga descobrir os padrões e relações entre os dados, constituindo o processo de data mining. Neste trabalho é proposta a utilização de um método de ponderação de variáveis agregada ao Knn como método para mineração dos dados. Para tanto na seção 1 são abordados trabalhos relacionados a este tema de pesquisa. A seção 2 apresenta o algoritmo Knn tradicional e a forma de aplicação do processo de ponderação. Na seção 3 são descritos a implementação do método proposto, as simulações executadas e os resultados obtidos. Finalmente na seção 4 são dadas as conclusões e apontados alguns trabalhos futuros relevantes. 2. TRABALHOS RELACIONADOS Não existe uma única forma de se aplicar o processo de ponderação de atributos no algoritmo Knn. Nesta seção são abordados alguns métodos clássicos para esta tarefa com base em (WETTSCHERECK, 1995 e LEE et al.,1994). São vistas duas abordagens, a pri- 117

4 PONDERAÇÃO DO KNN UTILIZANDO-SE DE MÉTODOS TRADICIONAIS DE SELEÇÃO DE ATRIBUTOS meira tratando diretamente sobre métodos para a ponderação e outro que a aborda em um contexto de validação cruzada Ponderação de Atributos Em (WETTSCHERECK, 1995) são definidas algumas técnicas para fazer a atribuições de pesos no Knn com o objetivo de que os atributos menos importantes recebam os menores pesos de forma a otimizar o processo de aplicação do algoritmo Knn. Um método para se ponderar o Knn é a utilização do conhecimento de um especialista humano no negócio, mas muitas vezes isso não é possível e então se torna necessário o uso de métodos que façam isso automaticamente. Segundo (WETTSCHERECK, 1995) cinco dimensões podem ser definidas para distinguir esses métodos: - Feedback : trata de casos em que o método de ponderação recebe alguma resposta (feedback) do Knn. São apresentadas duas técnicas para esse tipo: - Incremental hill-climbers: aumenta a similaridade de duas instâncias quando têm a mes ma classe, e diminui para as outras classes. Por exemplo: quando ocorre uma classifi cação correta, os atributos que possuem exatamente o mesmo valor tanto no objeto de treinamento quanto no de teste têm os seus pesos aumentados. Para os atributos com valores diferentes, seus pesos são decrementados. No caso das classificações incorretas ocorre justamente o contrário: os atributos de valores idênticos têm seus pesos diminuídos e os que não bateram aumentam seus pesos. Ou seja, nos casos de acerto, aumente os pesos dos atributos que influenciaram mais na decisão (tinham mais atributos iguais, logo tem grande chance de estar mais perto). E nas classificações incorretas, considera-se que atributos falsos estão sendo considerados, então diminui-se o peso deles. - Otimizadores contínuos: alteram os pesos utilizando casos de treinamento escolhi dos aleatoriamente. Pode-se, por exemplo, usar algoritmos genéticos em que a busca é guiada por alguns operadores genéticos e o fitness é baseado no acerto do treinamento. - Weight Space : o tamanho do espaço de busca para os pesos. Alguns métodos de ponderação utilizam previamente a seleção de atributos. Isso pode diminuir a dimensionalidade (quantidade de atributos) retirando atributos menos relevantes. - Representação: refere-se aos casos em que os atributos são modificados antes de receberem os pesos. - Generalidade: assume que a ponderação dos atributos pode variar em determinadas regiões do conjunto de treinamento. A maioria dos métodos leva em consideração o conjunto inteiro (global), mas nem sempre essa é a melhor forma. - Conhecimento: quando conhecimento específico do negócio é usado. Por exemplo: se há um analista do domínio, este poderia definir os atributos de maior relevância e, então, o algoritmo Knn seria utilizado. Os métodos que não levam em consideração a resposta do Knn (como os do Feedback) são chamados de ignorantes (WETTSCHERECK, 1995). Eles ignoram o retorno do classificador por isso recebem este nome. São apresentados três métodos com essa característica: 118

5 SEBASTIAN DAVID C. DE O. GALVÃO E ESTEVAM RAFAEL HRUSCHKA JÚNIOR - Probabilidades condicionais: fazem a discretização de atributos numéricos (criar faixas de valores) e binarizam os simbólicos (transformam as strings em valores binários). Este método tem duas subcategorias: - per category feature importance (PCF): atribui os pesos de acordo com o quanto um atributo está relacionado com a sua classe. Por exemplo: o peso do atributo X é definido pela probabilidade de uma instância ser de uma determinada classe dado o valor de X. - cross-category feature importance (CCF): faz uma média pelas classes. - Projeção de classe: dois objetos são similares se possuem atributos cujas respectivas projeções no conjunto de treinamento forem similares. - Informação mútua: a informação mútua entre duas variáveis é a redução da incerteza do valor de uma variável dado o valor de outra Aplicação da Validação Cruzada Moore e Lee (LEE et al.,1994) apresentam um tratamento para seleção de modelos que tenham o melhor desempenho para dados futuros. A validação cruzada pode ser um método recomendável para essa tarefa, porém pode ser de alto custo computacional. Na validação cruzada toda a base é testada, gerando, portanto, um alto custo computacional na maioria dos casos. Em algun casos, mesmo caracterizados por um grande conjunto de dados, é possível a identificação de um subconjunto suficiente para a identificação de um modelo com características desejáveis. Um modelo pode ser um conjunto de diferentes algoritmos de classificação ou diferentes arquiteturas de um mesmo algoritmo, por exemplo. O melhor modelo é aquele que prevê os dados futuros com melhor precisão (LEE et al.,1994). Alguns métodos estatísticos têm sido usados para a tarefa de seleção de modelos. Além desses há (LEE et al.,1994) uma modificação de uma versão Bayesiana de um outro método conhecido (Kaelbling s Interval Estimation (KAELBLING,1993)) também para a mesma finalidade. A idéia central desta abordagem de validação cruzada é a utilização de corridas entre os testes dos modelos. Assim os modelos com resultados menos favoráveis vão sendo eliminados e continuam na corrida os vencedores (que estariam tendo um melhor desempenho comparado com os demais modelos no momento). Novos modelos aderem à corrida, competindo com o vencedor anterior, e o processo se repete até se estimar o melhor modelo. Em (AHA et al., 1991 e AHA, 1990) é proposto um método onde a determinação dos pesos é operada localmente, ou seja, alguns atributos que são mais relevantes em certas partes do conjunto serão considerados e em outras partes (nas quais não sejam mais relevantes) serão ignorados. O método chamado de Schemata consiste em encontrar famílias de atributos de maior relevância, ou seja, criar grupos formados pelos atributos de maior semelhância. Em quantidades muito elevadas de atributos, sejam eles relevantes ou não, a utilização desse método é recomendada (LEE et al., 1994). 119

6 PONDERAÇÃO DO KNN UTILIZANDO-SE DE MÉTODOS TRADICIONAIS DE SELEÇÃO DE ATRIBUTOS 3. O ALGORITMO KNN O algoritmo Knn é um método básico do aprendizado baseado em instâncias. Este tipo de aprendizado consiste no armazenamento dos exemplos de treinamento sem, no entanto, a geração de uma regra como na maioria dos métodos convencionais de aprendizado. O modelo baseado em instâncias inclui o Knn, o qual assume que todas as instâncias correspondem a pontos num espaço n-dimensional (MITCHELL, 1997). Quando um novo objeto é apresentado para ser classificado, um conjunto de exemplos similares é recuperado do conjunto de treinamento e utilizado para classificar o novo objeto (BATISTA, 2003). Esses exemplos similares são os que possuem a menor distância no espaço dimensional e por isso este método é conhecido como Vizinho mais próximo (Nearest Neighbor). O Knn não é o único método de aprendizado baseado em instâncias, há também outros como, por exemplo, o locally weighted linear regression (ATKESON et al., 1997) e case based reasoning (CBR) (AAMODT et al., 1994). A característica em comum de todos esses métodos é que eles não geram um modelo para descrever os dados, e por isso são todos incluídos em métodos de aprendizado baseado em instâncias. As principais características do algoritmo Knn são (BATISTA, 2003): - pode ser utilizado para predizer tanto atributos qualitativos, por meio do cálculo da moda entre os k vizinhos mais próximos, quanto atributos quantitativos, por meio da média dos k vizinhos mais próximos. Esse k representa uma constante para quantos vizinhos mais próximos serão considerados. No caso de k=1 (1nn), será levado em conta o único vizinho mais próximo. Caso k=2, seriam os 2 mais próximos e assim por diante. - O algoritmo knn não cria modelos explícitos como, por exemplo, uma árvore de decisão ou um conjunto de regras. O próprio conjunto de dados é utilizado. Dessa forma, o knn pode ser facilmente adaptado para utilizar qualquer atributo como atributo classe. Essa adaptação é feita por meio da modificação de quais atributos devem ser considerados na função de distância. Há várias maneiras de se calcular essa distância. Entre elas há a Euclidiana, Manhattan e a overlap. Esta última geralmente é mais usada para atributos qualitativos (BATISTA, 2003) enquanto as duas primeiras geralmente para dados quantitativos. Porém este trabalho é focado somente nas distâncias Euclidiana e Manhattan. Também para conjuntos de dados formados por atributos discretos pode-se utilizar a técnica do Simple Matching Approach (HRUSCHKA et al., 2003). Uma vez que todos os exemplos de treinamento são simplesmente armazenados sem gerar-se um modelo preditivo, cada nova instância apresentada deverá percorrer toda a base de dados para encontrar o exemplo de maior similaridade, gerando um alto custo computacional. Além disso, na maioria das implementações consideram-se todos os atributos com pesos iguais, premissa nem sempre válida, pois podem existir atributos que descrevam mais eficientemente um determinado objeto. Nestes casos pode-se aplicar um processo de ponderação A ponderação com qui-quadrado Métodos tradicionais de seleção de atributos podem ser uma maneira de se ponderar o Knn. Neste trabalho será utilizado o teste estatístico qui-quadrado (LEVIN, 1987). A partir 120

7 SEBASTIAN DAVID C. DE O. GALVÃO E ESTEVAM RAFAEL HRUSCHKA JÚNIOR de cálculos de estatística, este método é capaz de criar um ranking dos atributos considerados mais influentes (WITTEN et al., 2000), os quais teriam maiores pesos no momento da classificação. Esse ranking é usado para atribuir um peso no cálculo da diferença. Por exemplo: supondo que no teste do qui-quadrado tenha-se determinado que o atributo x é o mais relevante e assim atribuído o peso 50 para ele (50 arbitrariamente, somente para exemplificar). No Knn padrão, na hora de se calcular a distância desse atributo de uma instância com outra seria feito: (Xn Xt)². No Knn ponderado seria: (Xn Xt)² * 50. Onde n corresponde a Nova instância, t a instância do conjunto de Treinamento e X é o atributo em questão O teste do qui-quadrado O teste de qui-quadrado (LEVIN, 1987) é um método não-paramétrico cujo princípio básico é comparar divergências entre os valores observados e os esperados. As categorias dos dados devem ser mutuamente exclusivas, ou seja, cada elemento está em uma e apenas uma categoria. Pode-se dizer que dois grupos se comportam de forma semelhante se as diferenças entre as freqüências observadas e as esperadas em cada categoria forem muito pequenas, próximas a zero. Trabalha-se com duas hipóteses nesse teste: - Não existe relação entre os grupos - Existe relação entre os grupos As freqüências observadas são calculadas dos dados das amostras e as esperadas são obtidas a partir destas. Depois de se calcular o qui-quadrado, procura-se na tabela de distribuição o valor crítico do qui-quadrado considerando o nível de significância adotado e os graus de liberdade. Se o qui-quadrado obtido for igual ou maior que o crítico, a hipótese de que não há relação deverá ser rejeitada Formas de determinação dos valores da ponderação Nas simulações realizadas neste trabalho, duas alternativas foram testadas: Numa PA de razão 1 O atributo mais relevante recebe valor n (n = número de atributos sem contar a classe). Exemplo: num caso de 5 atributos, em que um deles é a classe, o mais bem classificado no ranking receberia peso 4, o segundo colocado valor 3, o terceiro valor 2 e o quarto valor

8 PONDERAÇÃO DO KNN UTILIZANDO-SE DE MÉTODOS TRADICIONAIS DE SELEÇÃO DE ATRIBUTOS Numa PA de razão variável Nesta PA a razão é calculada por: -(X/n), onde X é um valor arbitrário, que será usado para o atributo mais relevante, e n corresponde ao número de atributos (sem a classe). Por exemplo: num caso de 5 atributos (em que um deles é a classe), supondo um valor X determinado em 20, o mais bem classificado atributo recebe peso 20, o próximo 15, 10 e 5. O motivo para se testar essas duas maneiras é que em alguns casos a primeira forma resulta em classificações muitos semelhantes comparadas ao Knn tradicional. Assim, é possível se obter resultados mais significativos com a segunda forma. 4. SIMULAÇÕES E RESULTADOS Foi criado um classificador Knn capaz de calcular as distâncias Euclidiana e Manhattan para qualquer base. Para que não haja uma influência maior de um atributo sobre outro, é realizada a normalização da base de dados antes de começar a classificação. O processo de normalização implementado consiste em equilibrar os valores (numéricos) dos atributos. Utiliza-se no caso uma faixa de 0 a 1 para todos os atributos, assim terão pesos iguais. Considere por exemplo, que em uma base de dados específica há atributos nos quais os valores (domínio da variável) podem variar de 4 até 15 e outros em que o domínio é definido por valores que vão de 8 até 21. O processo de normalização transforma proporcionalmente essas faixas para 0 até 1. No exemplo dado, na faixa de 4 até 15, um valor como 4 seria 0, 15 seria 1 e 9,5 ficaria 0,5. Para mais detalhes sobre a normalização em tarefas de classificação com o algoritmo Knn veja (MITCHELL, 1997). A metodologia utilizada nas simulações consiste em ler dois arquivos texto. O primeiro consiste em uma base de dados contendo casos que serão utilizados na busca do vizinho mais próximo (base de treinamento); e o segundo arquivo contém o casos a serem classificados (base de teste). Para minimização de tendências geradas pelas bases de treinamento e teste, estas são geradas a partir de um arquivo único através da aplicação de um processo de validação cruzada que trabalha com 5 conjuntos distintos (five-fold crossvalidation) (LIU et al.,1998). Para a classificação dos atributos foi usado o teste do qui-quadrado e a validação cruzada conforme explicado anteriormente. Os valores atribuídos aos atributos seguiram a seguinte regra: o maior recebe o valor 1000, e os demais 1000-(1000/NumeroAtributos). Ou seja, para uma base com 4 atributos (sem incluir a classe) tem-se 1000 como ponderação para o atributo mais bem classificado, 750 para o seguinte, 500 e assim por diante. Apesar de o programa que implementa o algoritmo das simulações utilizar apenas arquivos de texto é fácil a mudança para que utilize bancos de dados com acesso relacional devido à divisão em camadas do software. Os testes foram realizados com as bases Iris, Wisconsin Breast Cancer e Soybean, que estão disponíveis em (UCI). Para efeito de avaliação comparativa do método de ponderação as simulações foram realizadas aplicando-se o algoritmo Knn tradicional e em seguida o Knn com ponderação de qui-quadrado. Os resultados obtidos podem ser observados na tabela

9 SEBASTIAN DAVID C. DE O. GALVÃO E ESTEVAM RAFAEL HRUSCHKA JÚNIOR Tabela 1. Resultados da classificação das bases de dados utilizando-se o algoritmo Knn tradicional e o Knn ponderado com quiquadrado. O conteúdo numérico dos parênteses na primeira coluna da tabela representam o valor arbitrário X conforme o item deste trabalho. Na quinta linha, o valor sequencial é o descrito no item Através de uma validação cruzada com 5 folds (conjuntos) obteve-se a média dessas cinco classificações, o que gerou os valores contidos na tabela. São taxas de classificações corretas em porcentagem. 5. CONCLUSÃO Este trabalho apresenta um método de ponderação de atributos para o algoritmo Knn baseado no teste estatístico do qui-quadrado e avalia empiricamente seus resultados em tarefas de classificação. O método é aplicado a 3 bases de dados tradicionalmente utilizadas em testes de algoritmos de classificação e os resultados são comparados com os obtidos através da utilização do algoritmo Knn tradicional. Os resultados obtidos demonstram que para os três conjuntos de dados utilizados a ponderação através do qui-quadrado apresentou uma pequena melhora nas taxas de classificação e, desta forma, mostrou-se consistente. Nesses conjuntos de dados utilizados a melhora encontrada foi pequena, mas outros testes devem ser realizados e assim determinar o quão promissor realmente pode ser este método. Um outro ponto a ser destacado é a simplicidade computacional do método, ou seja, ao contrário da maioria dos métodos de ponderação (veja seção 1), a ponderação por quiquadrado não traz aumento da complexidade na tarefa de classificação, pois é um método linear em relação a quantidade de objetos na base de dados de treinamento. Um aspecto interessante a ser abordado como trabalho futuro é a comparação nos aspectos preditivo e de complexidade com relação a outros métodos tradicionais de ponderação do algoritmo Knn. Além disso, a aplicação do método proposto em mais bases de dados é necessária para uma melhor avaliação da robustez do processo. 123

10 PONDERAÇÃO DO KNN UTILIZANDO-SE DE MÉTODOS TRADICIONAIS DE SELEÇÃO DE ATRIBUTOS REFERÊNCIAS BIBLIOGRÁFICAS MITCHELL, T. M. In Machine Learning. McGraw-Hill, OLESON, V., SCHWAN, K., EISENHAUER, G., PLASE, B., PU, C., AMIN, D. Operational information systems - an example from the airline industry. In: WORKSHOP ON INDUSTRI- AL EXPERIENCES WITH SYSTEMS SOFTWARE,. 2000, WIESS. Proceedings. WIESS, FAYYAD, U. M.; SHAPIRO, G. P.; SMYTH, P. From data mining to knowledge discovery: an overview. Fayyad, U.M. et al (Ed.) Advances in Knowledge discovery and data mining, MIT Press, p QIN, J. Working with data: discovering knowledge through mining and analysis, bulletin of the American Society for Information Science, v. 27, n. 1, Oct./Nov WETTSCHERECK, D.; AHA, D. W. Weighting features. IN: INT. CONFERENCE ON CASE- BASED REASONING. 1., Proceeedings p LEE, M. S.; MOORE, A. W. Efficient algorithms for minimizing cross validation error. In: INTERNATIONAL CONFERENCE ON MACHINE LEARNING, 11., p KAELBLING, L. P. Learning in Embedded Systems. Cambridge, MA MIT Press, AHA, D.W., KIBLER, D., ALBERT, M. K. Instance-based learning algorithms. Machine Learning, 6:37-66, AHA, D. W. A study of instance-based algorithms for supervised learning tasks: mathematical, empirical and psychological evaluations. Novembro Tese (Doutorado) - University of California. BATISTA, G.A.P.A. Pré-processamento de dados em aprendizado de máquina supervisionado. Tese (Doutorado) Universidade de São Paulo, ATKESON, C. G.; MOORE, A. W.; SCHAAL, S. A. Locally weighted learning for control, In: AI Review, AAMODT, A., PLAZAS, E., Case-based reasoning: methodological variations, and system approaches. In: AI Communications, p , HRUSCHKA, E. R.; HRUSCHKA Júnior, E. R.; EBECKEN, N. F. F. Evaluating a nearestneighbor method to substitute continuous missing values, In: AUSTRALIAN JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE - AI 03, 16., 2003, Heidelberg. Lecture notes... Heidelberg: Springer-Verlag: Springer-Verlag,

11 SEBASTIAN DAVID C. DE O. GALVÃO E ESTEVAM RAFAEL HRUSCHKA JÚNIOR LEVIN, J. Estatística Aplicada a Ciências Humanas. Harbra, WITTEN, I. H., FRANK, E. Data mining: practical machine learning tools and techniques with Java implementations., San Francisco: Morgan Kaufmann, LIU, H.; MOTODA, H. Feature Selection for Knowledge Discovery and Data Mining. Kluwer Academic, UCI Machine Learning Repository. Disponível em MLSummary.html. Acesso em: 13 mar