Análise comparativa dos algoritmos de clusterização k-means e fuzzy c-fuzzy com uso de dados oriundos do plantio de canade-açucar

Transcrição

1 Análise comparativa dos algoritmos de clusterização k-means e fuzzy c-fuzzy com uso de dados oriundos do plantio de canade-açucar Ramon Pansonato 1, Maria das Graças J. M. Tomazela 1 1 Faculdade de Tecnologia de Indaiatuba (FATEC-ID) Indaiatuba, SP Brasil ramon_pansonato@hotmail.com, gtomazela@fatecindaiatuba.edu.br Resumo. O objetivo desse trabalho foi pesquisar os algoritmos de clusterização de dados k- means e fuzzy c-means e aplicá-los em uma base contendo dados sobre cana-de-açúcar de uma usina do estado de São Paulo, com a finalidade de verificar qual deles traz um melhor resultado. O suporte metodológico baseou-se, inicialmente, em um levantamento bibliográfico sobre as tarefas de Mineração de Dados focando a parte de clusterização, sobre lógica fuzzy e de como ocorre a clusterização fuzzy. Em seguida foi utilizada a ferramenta MATLAB, para a criação de classes para os dados por meio da técnica KNN K-nearest neighbor, bem como para o processo de clusterização. Os resultados obtidos com os algoritmos de clusterização foram analisados e comparados com os resultados da classificação e foi possível identificar que, para o cenário estudado, o k-means mostrou-se mais eficaz, trazendo melhores resultados do que o algoritmo fuzzy c-means. O k-means teve um acerto de 19% na maior classe criada, Muito Baixa, e o fuzzy c-means teve 4% de acerto na mesma classe. Abstract The aim of this study was to investigate the clustering algorithms of k -means and fuzzy c -means data and apply them in a sugar cane database from a plant in the state of São Paulo, in order to find which one would bring better results. Methodological support was based initially on a literature survey about the tasks of data mining, focusing on fuzzy logic clustering and how fuzzy clustering occurs. Then MATLAB tool was used to create classes for the data, through the KNN - K- nearest neighbor technique, and for the clustering process. The results obtained with the clustering algorithms were analyzed and compared with the results of the classification and it was found that, for the scenario studied, the k -means algorithm was more effective, bringing better results than the fuzzy c -means algorithm. The k -means algorithm had an accuracy of 19 % in the highest class created, " Very Low ", and the fuzzy c -means was 4 % accuracy in the same class... 1.Introdução Com o passar do tempo nota-se que a quantidade de dados produzidos diariamente dentro das organizações é maior do que a capacidade humana de analisar e extrair conhecimento a partir desses dados. Por essa razão novas técnicas e ferramentas têm sido desenvolvidas para extrair conhecimento das bases de dados de modo eficaz e automatizado. A Mineração de Dados é uma das mais importantes etapas do processo de descoberta de conhecimento em bases de dados, o KDD. O processo KDD pode ser dividido em três etapas operacionais (Han e Kamber, 2006) 1) Pré - Processamento: Consiste em coletar, organizar e limpar os dados, fazendo assim a preparação dos mesmos para a execução dos algoritmos na etapa de mineração.

2 2) Mineração de Dados: Consiste na execução de algoritmos com o objetivo de encontrar novos padrões de conhecimento dentro de grandes bases de dados, para gerar uma previsão futura, baseando-se em descobertas passadas. A Mineração de Dados pode ser feita por meio de diversas tarefas, as tarefas mais citadas na literatura são: Classificação: Tem como objetivo classificar automaticamente novos itens de acordo com análises previamente realizadas. Associação: Consiste em comparar a semelhança que existe entre os dados, observando as afinidades durante as transações nas bases. Clusterização: Consiste em separar os dados em vários grupos (clusters), de acordo com a similaridade destes dados, ou seja dados muito similares vão para um grupo, dados com uma similaridade baixa vão para outro grupo. 3) Pós - Processamento é o tratamento das informações recolhidas através da mineração dos dados, para que haja uma melhor compreensão das informações extraídas. Neste trabalho foram aplicados dois algoritmos de clusterização: o k-means e o fuzzy c-means.o algoritmo K-means particiona um conjunto de n objetos, em k clusters, e busca obter similaridade intra cluster elevada, e baixa similaridade inter cluster. O centroide do cluster, ou a média dos objetos dentro de cada cluster, é utilizado para calcular a similaridade entre esses objetos. Inicialmente são escolhidos K centroides aleatoriamente, então os objetos são atribuídos aos seus clusters de acordo com uma medida de similaridade. Em seguida, para cada cluster, o centroide é recalculado e os objetos são atribuídos aos clusters novamente, este processo se repete até que não haja alteração dos objetos entre um cluster e outro (Han e Kamber, 2006). O fuzzy c-means é uma versão fuzzy do próprio k-means. Um algoritmo fuzzy trabalha com a lógica fuzzy e, diferente da lógica convencional, tem a capacidade de se aproximar do mundo real, não trabalhando apenas com respostas extremas, mas tendo um equilíbrio entre essas respostas. Klir e Yan (1995) afirmam que a principal diferença entre a lógica clássica e a lógica fuzzy é que a lógica clássica trabalha com questões de verdadeiro ou falso, já a lógica fuzzy propõe isso como uma questão de grau. Um exemplo da lógica clássica é que definimos uma pessoa como alta ou baixa, já a lógica fuzzy diz que esta mesma pessoa é muito alta e pouco baixa, ou ao contrário. Este trabalho teve como objetivo comparar os algoritmos k-means e o fuzzy c- means e verificar qual dos dois tem um resultado mais exato no agrupamento dos dados. O estudo apresentado se iniciou com um levantamento bibliográfico em diversos títulos e artigos acadêmicos como Braga (2005), Carlantonio (2001), Han e Kamber (2006) entre outros, e a comparação dos algoritmos foi feita com base no trabalho de Quinteiro (2001). Os algoritmos foram aplicados, testados e comparados por meio de uma classe criada nos dados da cana-de-açúcar de uma usina do estado de São Paulo das safras 06/07 e 08/09, disponibilizada por um grupo sucroenergético sediado na cidade de Ribeirão Preto. 2. Materiais e métodos Neste trabalho foi utilizada uma base de dados do censo varietal qualitativo contendo informações das safras 06/07, 08/09. Esta base foi disponibilizada por um grupo sucroenergético sediado na cidade de Ribeirão Preto.

3 A planilha com os dados contém os seguintes atributos: código da gleba, código do talhão, data de plantio, data de corte atual, estágio de corte, produtividade, vinhaça, adubação, ambiente, fertilidade e textura. Sendo assim a base contém 11 atributos e instâncias. No Quadro 1 são apresentados os atributos utilizados na base e seus respectivos tipos de dados: Quadro 1 - Atributos utilizados na base de dados Atributo Gleba Talhão Plantio Corte Atual Estágio de Corte Produtividade Vinhaça Adubação Ambiente Fertilidade Textura Tipo Data Data Para a realização da pesquisa, inicialmente, os dados foram tratados no Microsoft Office Excel 2007 para a padronização, como por exemplo, no atributo adubação algumas instâncias não estavam preenchidas e outras estavam com valores 0, ambas informando que não havia adubação para aquele período, por este motivo, o Excel foi utilizado para preencher as instâncias em branco com o valor 0. As demais tarefas realizadas nos dados foram feitas com o software MATLAB R2012 (versão de avaliação para estudantes), um software matemático utilizado em diversas áreas como engenharia, computação e matemática, dispondo das técnicas e algoritmos utilizados neste trabalho. O próximo passo da pesquisa foi criar classes para os dados, para, posteriormente, fazer a clusterização dos mesmos e usar as classes criadas para comparar o quão correto foi a clusterização. Para a criação das classes foi escolhido o atributo produtividade como o atributo alvo, contendo no mesmo, valores entre 0 e 615,61. Após a escolha do atributo,o mesmo foi discretizado pelo método de distância (Equi-width) que segundo Han e Kamber(2006) divide os valores de um determinado atributo em um número de intervalos definidos pelo usuário com tamanhos iguais. Foram definidos 5 intervalos, classificando a produtividade como: muito baixa, baixa, média, alta e muito alta. Esta classificação foi feita com base no trabalho de Tomazela e Daniel (2010). Abaixo na Tabela 1 serão mostradas as distribuições das instâncias nas classes:

4 Tabela 1 - Distribuição das instâncias nas classes Classes Quantidade de Instâncias Muito Baixa Baixa 2508 Média 8 Alta 4 Muito Alta 1 Antes de realizar a clusterização dos dados foi feita uma classificação por meio do método K-vizinhos mais próximos (K-NN) para verificar qual era o nível de acerto dessa classificação, para, posteriormente, verificar o acerto da clusterização. Para a realização da clusterização, foram utilizados 2 métodos de agrupamento por particionamento, o k-means e o fuzzy c-means, como citado, o fuzzy c-means é uma versão fuzzyficada do k-means. Como na criação das classes os dados foram divididos em 5 classes, para os dois algoritmos foram definidos 5 clusters, como dito anteriormente o fuzzy c-means distribui os dados em diversos clusters por meio de similaridade, ou seja um mesmo dado pode ter similaridade com mais de um cluster. Para este trabalho foi definida uma porcentagem mínima de 70% de grau de pertinência ao cluster, ou seja, quando o dado tiver esse percentual ou mais de similaridade com um determinado cluster, esse cluster é considerado o predominante. O algoritmo fuzzy c-means utiliza como distância de similaridade a distância euclidiana, por este motivo o k-means também foi testado com essa medida. Para analisar os resultados obtidos por meio da clusterização, foi utilizado o Microsoft Office Excel. Os resultados desse experimento são apresentados na próxima seção. 3. Resultados e Discussões A análise dos resultados dos segmentos k-means e fuzzy c-means foi utilizado como base no trabalho de Quinteiro (2001), que faz uma análise dos resultados da clusterização de dados de uma pesquisa sobre música realizada no facebook. Este estudo foi realizado em duas etapas. Na primeira etapa foram criadas classes para o conjunto de dados e utilizado o método k-vizinhos mais próximos (K- NN) para determinar a acurácia da classificação, conforme apresentado na Tabela 2. Posteriormente os dados foram clusterizados com os algoritmos k-means e fuzzy c- means.

5 Tabela 2 - Acurácia KNN Técnica Classificador Acurácia K-Vizinhos mais próximos (K-NN) IBK K = % A Tabela 3 mostra a porcentagem de acertos por classe e a Figura 1 mostra a matriz de confusão gerada pelo classificador. Tabela 3 - Acerto por classe algoritmo KNN Classe % Muito Baixa 97 Baixa 76 Média 0 Alta 0 Muito Alta 0 Figura 1 - Matriz de confusão Analisando a matriz, é possível observar que as linhas mostram as classes reais dos dados e as colunas, como eles foram classificados, ou seja, apenas os dados na diagonal estão classificados corretamente, a maioria dos acertos ocorreu nas classes Muito Baixa e Baixa. Isso ocorre pelo fato das classes estarem muito desbalanceadas, tendo uma distribuição muito maior nestas duas classes, por esse motivo é possível ver que os erros ocorreram nas demais classes. Foram utilizados métodos para balanceamento de classes, porém, os mesmos não foram satisfatórios neste caso. O acerto na classificação foi significativamente alto, então concluiu-se que o modelo de classificação gerado é adequado Algoritmo K-means Na Tabela 4, são mostrados em porcentagem os acertos e os erros do algoritmo k- means, de acordo com as classes. Na sequência, na Figura 2, pode-se visualizar a distribuição nos clusters em um gráfico criado no Microsoft Office Excel.

6 Tabela 4 - Resultados obtidos k-means Classe Instâncias Totais Instâncias clusterizadas corretamente % acerto % erro Muito Baixa Baixa Média Alta Muito Alta Figura 1 - Acertos k-means A partir da tabela e do gráfico é possível observar que o maior acerto no agrupamento dos dados, comparando com a classificação mostrada anteriormente, foi obtido pela classe Baixa. Comparando este agrupamento com a matriz de confusão, nota-se que foi uma boa clusterização acertando quase 50% dos dados, as classes Média e Alta ficaram com uma porcentagem que pode ser considerada elevada em função das mesmas terem poucos dados. Pode-se observar também que o acerto nas classes Média e Alta foram superiores aos da classe Muito Baixa, essa informação pode ser desconsiderada, pelo fato de existirem poucos dados nas classes Média e Alta, ou seja, os 19% de acertos na classe Muito Baixa é muito mais significativo do que os 25% nas classes Média e Alta. 3.2.Algoritmo fuzzy c-means Como dito anteriormente, o algoritmo fuzzy c-means estipula um grau de similaridade entre os clusters, sendo assim, na Tabela 5 são mostrados os acertos do algoritmo com porcentagem superior a 70% e, na Figura 3, um gráfico mostrando esses resultados.

7 Posteriormente, na Tabela 6 e na Figura 4, são apresentados os dados que foram agrupados nos clusters corretos, porém, com porcentagem inferior a 70%. Tabela 5 - Resultados obtidos fuzzy c-means Classe Instâncias Totais Instâncias clusterizadas corretamente % acerto % erro Muito Baixa Baixa Média Alta Muito Alta Figura 3 - Acertos fuzzy c-means

8 Tabela 6 - Resultados obtidos fuzzy c-means inferiores a 70% Classe Instâncias Totais Instâncias clusterizadas corretamente % acerto % erro Muito Baixa Baixa Média Alta Muito Alta Considerações Finais Figura 2 - Acertos fuzzy c-means inferiores a 70% Pode-se afirmar que o algoritmo fuzzy c-means teve um nível alto de acertos, porém, a grande maioria dos agrupamentos ocorreu fora dos 70%, sendo assim considerados errados no contexto deste trabalho. Outro fator a ser destacado é que a grande parte dos dados teve uma similaridade grande com diversos clusters, sendo que a maior não era com o devido cluster.neste cenário, o correto é não utilizar graus de similaridade, já que foram criadas 5 faixas de classificação, não podendo a produtividade da cana ser alta e baixa ao mesmo tempo. Neste estudo foi possível observar que há uma grande diferença em se utilizar os métodos k-means e fuzzy c-means, apesar dos dois algoritmos serem muito parecidos. As informações extraídas são diferentes, já que com o fuzzy c-means é possível definir vários graus de pertinência entre os clusters e com o k-means o dado pertence a um e somente um cluster. Para o cenário estipulado verificou-se que o uso do algoritmo fuzzy c-means foi menos apropriado, sendo melhores os resultados apresentados pelo k-means. Mas não

9 pode ser desconsiderado que o fuzzy c-means pode ser de grande utilidade em outros cenários, como por exemplo, em uma base que armazene informações sobre preferência em esportes. Com o k-means cada pessoa pode ser designada a apenas um cluster, indicando que gosta de apenas um esporte, não sendo uma informação muito adequada, já que essa pessoa pode gostar de vários esportes simultaneamente, em graus diferentes de preferência. Referencias Bibliográficas BRAGA, P. Introdução a Mineração de Dados 2ª Edição revisada e ampliada. E- papers, 2005 CARLANTONIO, L. M. Novas Metodologias para Clusterização de Dados, Coordenação de Programas de Pós-Graduação em Engenharia, COPPE/UFRJ, 2001 HAN, J.; KAMBER, M. Data Mining: Concepts and Techniques. San Francisco: Morgan Kaufmann, KLIR, G. J.; YUAN, B.Fuzzy Sets and Fuzzy Logic: Theory and Applications. New Jersey: Prentice Hall PTR, QUINTEIRO, J. A. T.Segmentação de indivíduos no facebook que gostam de música: Abordagem exploratória, recorrendo à comparação entre dois algoritmos, k-means e fuzzy c-means. Universidade técnica de Lisboa Instituto superior de economia e gestão: Lisboa, TOMAZELA,M. G. J. M., e DANIEL, L.A., Uma Estratégia de Preparação de Dados para Aumento de Precisão de Modelos de Classificação da Produtividade de Canade-Açúcar.Faculdade de Tecnologia de Indaiatuba,2010.