Classificação de Notas de Vinhos Utilizando Métodos de Mineração de Dados Leandro Takeshi Hattori

Transcrição

1 Classificação de Notas de Vinhos Utilizando Métodos de Mineração de Dados Leandro Takeshi Hattori I. INTRODUÇÃO Com a popularização dos aspectos luxuosos e benéficos do vinho o aumento do consumo deste produto no mundo inteiro bem como sua produção está ascendente. O aumento de produção mundial de vinho é refletido em pesquisas onde mostra em Portugal, entre os anos de 1997 á 2007, um aumento de 36% de produção e tem se mantido constante. Este produto agrega maior importância para Portugal dado sua alta taxa de exportação, onde 45% da sua produção é voltada para exportação e representando 11% do Valor Acrescentado Bruto (VAB) das industrias alimentares e bebidas [1]. Realça-se o aumento de 22% de produção de vinho na região do Minho. E que nos últimos anos, é predominante a produção de vinhos Tintos/Rosados, os quais representam 70% da produção. Aumento de produção de 0,3% do mercado mundial do vinho em relação ao ano de 2013 [2]. Desde então, diversas pesquisas tem sido voltadas para melhorar o processo de sua fabricação. Uma das partes fundamentais do processo de fabricação do vinho é a certificação de sua qualidade. Principalmente quando é considerado o vinho um bem de luxo, e sua qualidade é essencial para o marketing, venda e definição de preços. A etapa de avalidação da qualidade também evita a venda de falsificações e assegura a qualidade dos vinhos. Existem organizações que são responsáveis por esta avaliação como, por exemplo, a Comissão de Viticultura da Região dos Vinhos Verdes (CVRVV) [3], que avalia os vinhos do noroeste de Portugal. Comumente, os testes para a certificação dos vinhos são feitos a partir da coleta de dados físicos-químicos por laboratórios especializados que possuem censores para capturar características do vinho como, densidade, ph, álcool, entre outras. Entretanto, no processo de certificação do vinho ainda existe uma forte dependência da avaliação sensorial, o qual é feita por especialistas (enólogos). Em razão, desta dependência e da quantidade de avaliação que um profissional pode realizar, comparado a avaliações computadorizadas do processo anterior, e dado ao aumento de produção deste produto já citados. O fluxo do processo pode passar a depender muito desta etapa e perder muito de sua eficiência. Com o advento de técnicas de extração de informações de grande volume de dados, possibilitou que diversas informações fosses extraídas deste montante de dados. Os quais, provavelmente nunca seriam descobertos dado a tamanha complexidade de sua análise. Existem diversas informações que podem ser extraídas deste grande volume de dados, e que pode retornar uma valiosa informação sobre o processo observado. Uma das técnicas desenvolvidas para solucionar este problema é a Mineração de Dados (MD), o qual permite extrair informações de alto nível a partir de dados brutos. Dentro desta área de pesquisa existem diversos métodos como os métodos de classificação, o qual permite dado uma entrada apresentar uma classe. Objetivo O objetivo deste trabalho é classificação de notas de vinhos da região do noroeste de Portugal e aplicar outros conceitos desenvolvidos na disciplina de Mineração de Dados (MD) utilizando como base as propriedades físico-químicas. Justificativa Em razão, do baixo conhecimento sobre o paladar [4], visão e olfato relacionados ao gosto humano, armazenamento de uma grande quantidade de dados físico-químicos e aos crescentes investimentos em novas tecnologias pesquisas nesta área se torna um interessante desafio aberto. Divisão do Trabalho Este trabalho segue apresentando o contexto dos métodos de mineração de dados utilizados neste trabalho na seção II. O método de balanceamento proposta é apresentado na seção III e na seção IV é apresentado o dataset utilizado para os testes. Na seções V e VI são apresentados os resultados obtidos com a aplicação weka e os scripts da linguagem R. Na seção VII são apresentadas algumas conclusões. A. Associação: Apriori II. MÉTODOS DE MINERAÇÃO DE DADOS Os algoritmos de associação estão comumente ligados a bancos que armazenam grande quantidade de dados, e que desejam saber se existem conjuntos de itens freqüentes. O algoritmo de associação Apriori começa com a contagem dos itens para determinar suas respectivas freqüências L k. Posteriormente, na iteração k, são utilizados os itens frequente de L k 1 para gerar os conjuntos de itens. Os parâmetros que controlam o algoritmo são o suporte mínimo (minsup) que define a fração mínima de transações que satisfaz a união dos itens. E, a confiança mínima, o qual define uma c% mínima de transações.

2 1 Clusterização: K-means Hierárquico e Camadas A clusterização é um processo de agrupamento por busca explorar características semelhantes entre amostras, separando-os por categoria ou grupos. Nesta técnica não existe a necessidade de um treinamento supervisionado dominando assim essa classe de métodos como não supervisionados. O métodos de K-means ou K-médio é um dos algoritmos clusterização que tem o objetivo de encontrar a melhor divisão P dados em K grupos, e a soma das distancias entre os dados de cada grupo e seus respectivos centro seja a menor possível [5]. Inicialmente, este algoritmo gera P pontos aleatórios nos espaço para os K grupos e calcula-se as distâncias dos vetores de cada K grupo. Posteriormente cada ponto será designado ao centro mais próximo. Assim, como os grupos atualizados em cada K grupo será calculada seus respectivos vetores médios. E este processo continua sucessivamente até que não tenha mais materializações ou que não seja tão significantes para a resposta. A clusterização hieráquico ocorre em sucessivos agrupamentos, o qual cria uma estrutura de diagrama em árvore. Os nós folhas representam os elementos e o nó raíz representa o agrupamento apenas de um elemento. Quanto mais interno for o galho da árvore mais agrupamentos irão existir e inversamente a quantidade de elementos será contidos em grupo [6]. O algoritmo de clusterização baseado por densidade tem o objetivo de determinar grupos a partir de objetos com alta densidade para baixas densidades [7]. Um dos algoritmos comumente conhecido é o algoritmo DBSCAN, pricipalmente pela sua complexidade computacional ser O(n 2 ). Árvore de Decisão e Floresta Aleatória Árvore de Decisão (AD) é um método de inferência, que prediz uma classe dado um conjunto de atributos por meio de uma regra geral produzida por meio de um treinamento. Os nós que compõem uma árvore consiste em um nó raiz, os galhos e as folhas. O nó raíz é o primeiro nó da árvore e é conectado com outros nós internos da árvore (galho ou folha). Os nós galhos podem estar conectados com 1 ou mais outros nós galho ou com um nó folha. Cada nó galho e raiz representa um determinado teste de um atributo, o qual vai indicar para qual nó mais interno da árvore que ele deve seguir até que chegue em um nó folha. O nó folha corresponde é o ultimo nó e representa os valores do atributo-classe. Um dos algoritmos comumente utilizados é o J48 [8], o qual gera árvores de classificação a partir de um conjunto de dados de treinamento, sendo que, a cada nó, o algoritmo escolhe um atributo que mais eficientemente subdivide o conjunto das amostras em subconjuntos homogêneos e caracterizados por sua classe. O critério é o ganho de informação obtida na escolha do atributo para subdivisão. Diferentemente do algoritmo de AD, nas Florestas Aleatórias (FA) o conjunto de dados é dividido em diversos subconjuntos menores. Os subconjuntos são formados por um método de amostragem denominado bootstrap [9], o qual funciona por meio de reposição. A partir, de cada subconjunto é criada respectivamente uma árvore de decisão e esta coleção de árvores forma a floresta. Na classificação deste algoritmo são consideradas todas as árvores do conjunto. E, para definir em qual classe se encontra o conjunto de atributos de entrada é feito uma votação. Naive Bayes O algoritmo de Naive Bayes (NB) é um modelo probabilístico de classificação com uma abordagem simples e rápida. Este modelo considera que os atributos são multualmente independentes e possui uma abordagem bayesiana [10]. Neste algoritmo a probabilidade de um evento H dada a evidência E é representada pela equação: P r[h E] = P r[e H]P r[h] P r[e], onde H pode ser representado por uma classe e E os valores dos atributos previsores de 1 até N. Logo, pode ser representado pela equação 2. P r[h E] = P r[e 1 H]...P r[e N H]P r[h] (2) P r[e] Redes Neurais Artificiais As Redes Neurais Artificiais (RNA) são aplicadas a diversas áreas, este modelo é muito utilizado para apresentar uma solução para problemas muito complexos de classificação e reconhecimento de padrões, onde não existe modelo matemático definido e grande quantidade de informação. As RNAs mais comuns como Multilayer Perceptron (MPL) e Radial Basis Function (RBF) são redes feedfoward, o qual é composta por um conjunto de nodos conforme apresentado na figura 1. Estas redes dividem em 3 camadas, a camada de entrada que recebe os valores de entrada a partir de alguma fonte e faz a interface com a camada intermediária por meio de uma conexão. Cada conexão possui um valor que é multiplicado pelo valor passado, denominado peso sináptico. O nó soma todos os valores das conexões recebidas, e um cálculo é realizado sobre o valor (funções sigmóide,tag,log, gaussiana), variando de acordo com o modelo de RNA utilizada. Estes são repassados para os nós das camadas seguintes até que chega no(s) nós da camada de saída. (1)

3 2 Figura 1. Modelo comum de uma rede neural artificial (RNA). Onde, X representa os parâmetros na camada de entrada, a multiplação dos valores pelos pesos sinápticos (W jh ), os ϕ H neurônios da camada intermediária e Y representado as saídas dos neurônios da camada de saída. Uma RNA pode ter uma aprendizado supervisionado e não supervisionado, ambas devem aprender de forma a atingir uma forma generalizada. As redes MLPs vieram do estudo do modelo denominado Perceptron, onde o neurônio da camada de entrada se conecta diretamente a cada de saída, entretanto este modelo é aplicável apenas para problemas linearmente separáveis. Para solucionar tal problema foi adicionado uma camada intermediária ou camada escondida entre a camada de saída e a camada de entrada. A camada escondida deve conter ao menos uma camada. As funções de ativação de redes MPL são não-lineares como, por exemplo, as funções sigmoidais. O treinamento das redes MLPs é divido em duas etapas a etapa da propagação e a retropropagação da rede. Na propagação a camada de entrada recebe os valores de treinamento T = x(n), d(n), onde x(n) é o conjunto de entrada e d(n) é a saída esperada. Para o cálculo do valor da saída de cada neurônio é utilizado a seguinte fórmula: v j = m w ji x i + b (3) i 1, onde w ji são os pesos de cada ligação entre o neurônio j com o neurônio i, x i é o valor recebido pelo neurônio e b é o bias. Para o cálculo da saída y j da unidade k é feito o seguinte cálculo, considerando uma função sigmóide teremos: y = f(v) = e ( αv ), o qual α é uma constante de momentun e v é a saída do neurônio após aplicado a equação 3. Na segunda etapa o treinamento é realizado de forma supervisionada, o qual permite que a rede possa entender o quanto foi o erro e ajustar para tentar minimizar o erro de classificação. A estrutura das redes RBF é composta por 3 camadas. A primeira camada é responsável por fazer a receber os dados e fazer a conexão com a camada intermediária. A segunda camada também denominada camada escondida é responsável por transformação não linear nos dados, o qual seu funcionamento é explicado pelo teorema de Cover [?], Dado que um problema que não é linearmente separável pode ser de forma probabilística transformado em um problema linearmente separável. E a terceira camada ou camada da saída realiza a transformação do espaço vetorial interno em uma saída, aplicando um processo linear. Para evitar o problema de overfitting e problemas de de presença de ruídos é desejável que a quantidade de neurônios na camada escondida seja menor que o número de amostras do conjunto de treinamento. As funções das redes RBF são radiais, os quais possuem uma característica de uma resposta decrescente ( ou crescente) monotonicamente em relação ao um ponto central. As funções mais conhecidas desta classe são: gaussiana, multi-quadrátricas e multi-quadráticas inversas. A escolha de cada função pode variar de acordo com o conhecimento dos dados. Considerando uma função Gaussiana, temos a função de base radial obtemos a seguinte relação: y i = F j (x) = H h=1 w jh exp( 1 2σh 2 x s c h 2 ) (5), onde w é o peso sináptico entre o neurônio h da camada escondida e do neurônio j da camada de saída. H é a quantidade de neurônios da camada escondida. x e c são vetores, onde x contém os dados de entrada do conjunto de treinamento e c os valores dos centros de todos os neurônios da rede. σ é a largura da função radial. O treinamento das redes RBFs são divididas em 2 etapas. A primeira etapa consiste em ajustar os parâmetros da função (4)

4 3 radial como, definição de centros e definição da largura das funções radiais. A definição dos centros podem ser distribuídos de forma aleatória ou aplicando algum algoritmo de pré-processamento de dados como Mínimos Quadráticos ou K-means. A definição da largura das funções é feita geralmente com ajustes empírico e de forma heurísticos. A segunda etapa é aplicado o ajuste de peso da camada de saída, onde a função de ativação é linear. Nestas condições o treinamento é supervisionado e os parâmetros da camada escondida não devem mudar. III. BALANCEAMENTO: RESAMPLE O balanceamento de carga utilizando o método resample é baseado em uma determinada probabablidade. O balanceamento é utilizado em dois casos, quando existe uma classe com poucas amostras também chamada de classe minoritária. Ao final do balanceamento a quantidade de dados pode ser próxima a original ou próximo da distribuição balanceada. E ele pode ser aplicado nos apenas nos dados de treinamento ou em todo dataset. IV. DATASET: VINHO Os dados retirados dos vinhos foram coletados da região noroeste de Portugal entre o ano de 2004 e As notas das certificações de cada amostragem foram feitas pela CVRVV, que tem o objetivo de melhorar a produção do vinho nesta região. Todos os atributos físico-químicos foram coletados a partir de um software (ilab), que coleta as informações a partir de censores, e cada amostragem foi inserida no dataset (.csv). Para não haver descarte de diversas amostras neste dataset foram considerados os testes físico-químicos mais comuns. As notas das certificações de cada amostragem foram feitas pela CVRVV, que tem o objetivo de melhorar a produção do vinho nesta região. As distribuições das quantidades de amostras dos conjuntos de treinamentos podem ser observados na figura 2. Figura 2. Variação das classes no dataset de vinhos brancos e tintos. O dataset de vinhos brancos é constituído de 4898 exemplos, enquanto o dataset de vinhos tintos possuem apenas 1599 amostras. Em relação aos testes sensoriais, cada amostra foi testada por pelo menos 3 enólogos e a nota é dada pela mediana destas a avaliações. Os enólogos classificaram os vinhos entre 0 (muito ruim) e 10 (ótimo). todos os atributos do dataset são valores numéricos, com exceção ao atributo etiqueta. A média e a mediana dos atributos numéricos de ambos datasets são apresentadas na tabela I. Tabela I DADOS ESTATÍSTICOS DAS PROPRIEDADES FÍSICO-QUÍMICAS DOS VINHOS, O QUAL AS MÉDIAS E MEDIANAS DO VINHO BRANCO E DO VINHO TINTO SÃO REPRESENTADAS REPESPECTIVAMENTE POR (B) E (T). Atributo Média(B) Média(T) Mediana(B) Mediana(T) ácido fixo (g(ácido tartárico)/dm 3 ) acidez volátil (g(ácido acético)/dm 3 ) ácido cítrico (g/dm 3 ) açúcar residual (g/dm 3 ) álcool (vol.%) cloretos (g(cloretos de sódio)/dm 3 ) dióxido de enxofre livre (mg/dm 3 ) densidade (g/cm 3 ) total de dióxido de enxofre (mg/dm 3 ) ph sulfatos (g(sulfato de potássio)/dm 3 )

5 4 V. RESULTADOS E DISCUSSÃO Este trabalho foi realizado em duas etapas, inicialmente foi realizada a tarefa de classificação utilizando o conjunto de dados de vinhos brancos e posteriormente foi utilizado os dados de vinhos tintos. Foram selecionadas algumas das principais técnicas de classificação propostas na literatura Naive Bayes, Redes Neurais, Árvore de Decisão Floresta Aleatória. Para obter os resultados foi aplicado a validação cruzada com 10 subconjunto com 10 repetições e nos experimentos com balanceamento, primeiramente foi aplicado o algoritmo de RESAMPLE em todo dataset para então fazer a divisão dos subconjunntos. Para medir o desempenho dos métodos de classificação foram utilizadas o cálculo de precisão, sensibilidade (recall), f-meansure e a área abaixo da curva ROC (AUC - Area Under Curve). A medida AUC especifica a probabilidade de um exemplo positivo ser ranqueado acima de um exemplo negativo. Quanto maior a área, melhor é o desempenho médio do classificador. A tabela II apresenta os resultados dos 5 algoritmos (Naive Bayes, Multi Layer Perceptron (MLP), Radial Basis Function (RBF), Árvore de Decisão (J48) e Floresta Aleatória (randomforest) ) de classificação utilizando o dataset de vinhos brancos. Na avaliação proposta o algoritmo Naive Bayes foi o que teve o pior desempenho em todos os aspectos avaliados. Os dois algoritmos de RNAs (MLP e RBF) obtiveram o comportamento parecido, entretanto em nenhum dos aspectos superou o melhor algoritmo de classificação deste trabalho. O algoritmo J48 teve um desempenho superior em relação aos classificadores de RNAs, entretanto podemos observar que quando consideramos o recall este algoritmo perde desempenho. Em contra partida, o algoritmo de randomforest foi o que obteve o melhor resultado considerando todos os aspectos de avaliação dos outros algoritmos de classificação. Tabela II MÉDIA DOS RESULTADOS DE PRECISÃO, RECALL, F-MENSURE E AREA UNDER ROC DOS MÉTODOS DE MINERAÇÃO DE DADOS SEM A APLICAÇÃO DO MÉTODO DE BALANCEMENTO COM O DATASET DE VINHOS BRANCOS. Método Precision (%) Recall (%) F-meansure (%) Area under ROC NaiveBayes 52 33,7 40,8 57,3 MLP(11) 55,1 72,2 62,5 65,8 RBF(11) 55,3 72,4 62,7 66,7 J48 62,6 63,8 63,2 68,1 RandomForest 63,8 77,8 70,1 78,6 Em relação a avaliação dos métodos de classificação utilizando o dataset de vinhos tinto, o qual é apresentada na tabela III, podemos observar que em todos os algoritmos de classificação temos uma melhora no aspecto geral do atributo área abaixo da curva ROC. Em relação a comparação dos métodos, o algoritmo de Naive Bayes teve uma melhora entretanto é o algoritmo no aspecto geral de desempenho inferior. Nos algoritmos de RNAs, o classificador MLP teve um melhor desempenho em relação ao algoritmo de RBF. O algoritmo J48 superou todos os outros algoritmos de classificação ficando apenas abaixo do algoritmo randomforest, o qual novamente mostrou-se bastante robusto. Tabela III MÉDIA DOS RESULTADOS DE PRECISÃO, RECALL, F-MENSURE E AREA UNDER ROC DOS MÉTODOS DE MINERAÇÃO DE DADOS SEM A APLICAÇÃO DO MÉTODO DE BALANCEMENTO COM O DATASET DE VINHOS TINTO. Método Precision (%) Recall (%) F-meansure (%) Area under ROC NaiveBayes 55, MLP RBF ,1 74,4 J48 60, ,4 78 RandomForest 67 70,2 68,5 86,6 Na tabela IV é apresentado a quantidade de amostras em cada classe antes e depois do balanceamento das classes com o método resample (seção III). Podemos observar que no dataset de vinhos brancos não houve uma mudança brusca na quantidade em cada classe do dataset. As classes com nota 3, 4, 5 e 6 tiveram aumento de 4, 10, 22 e 22 respectivamente. Entretanto, as classes 7, 8 e 9 tiveram um aumento 39, 17 e 2 amostras. Tabela IV DISTRIBUIÇÃO DAS CLASSES ANTES E DEPOIS DO BALACEAMENTO. Nota Balanceamento Não(B) Sim(B) Não(T) Sim(T) Os resultados dos métodos de classificação aplicados com o dataset de vinhos brancos e tintos balanceados são apresentados nas respectivas tabelas V e VI. Os resultados com o dataset balanceado tiveram resultados superiores nos métodos J48 e

6 5 randomforest comparado aos resultados da tabela II. Nos outros métodos avaliados tiveram um aumento nos atributos precisão, e inversamente acontece atributo recall. Tabela V MÉDIA DOS RESULTADOS DE PRECISÃO, RECALL, F-MENSURE E AREA UNDER ROC DOS MÉTODOS DE MINERAÇÃO DE DADOS POSTERIOMENTE APLICADO O MÉTODO DE BALANCEMENTO RESAMPLE COM O DATASET DE VINHO BRANCO. Método Precision (%) Recall (%) F-meansure (%) Area under ROC NaiveBayes 54,8 32,3 40,6 58,4 MLP 57,4 69,6 62,6 67,5 RBF 53,2 64,9 58,8 62,3 J48 77,8 79,4 78,6 83,2 RandomForest 79,5 88,6 83,8 92,9 Tabela VI MÉDIA DOS RESULTADOS DE PRECISÃO, RECALL, F-MENSURE E AREA UNDER ROC DOS MÉTODOS DE MINERAÇÃO DE DADOS POSTERIOMENTE APLICADO O MÉTODO DE BALANCEMENTO RESAMPLE COM O DATASET DE VINHO TINTO. Método Precision (%) Recall (%) F-meansure (%) Area under ROC NaiveBayes MLP RBF J RandomForest VI. R: SCRIPT E RESULTADOS Os atributos Pwinequality.white e o PwinequalityDiscreto contém respectivamente o dataset dos dados físico-químicos e p dataset binarizado no software Weka 3.7 utilizando a biblioteca NumericToBinary. Figura 3. Procedimentos para executar o algoritmo de Clusterização por Densidade na linguagem R. Figura 4. Procedimentos para executar o algoritmo de Clusterização por Hierarquico na linguagem R.

7 6 Figura 5. Procedimentos para executar o algoritmo de Clusterização por K-means na linguagem R. Figura 6. Diagrama de Árvore para executar o algoritmo de Clusterização por Hierarquico na linguagem R. Figura 7. Diagrama de Árvore para executar o algoritmo de Clusterização por Hierarquico na linguagem R com corte. Figura 8. Procedimentos para executar o algoritmo de Associação apriori na linguagem R (Pacote: arules).

8 7 Figura 9. Procedimentos para gerar regras específicas para apriori. Figura 10. Procedimentos para remover redundâncias específicas para apriori. Figura 11. Procedimentos para executar o algoritmo de Classificação Naive Bayes na linguagem R. Figura 12. Procedimentos para executar o algoritmo de Classificação de Árvore de Decisão na linguagem R (Pacote: party).

9 8 Figura 13. Procedimentos para executar o algoritmo de Classificação de Árvore de Decisão na linguagem R (Pacote: rpart). Figura 14. Procedimentos para executar o algoritmo de Classificação de Floresta Aleatória na linguagem R (Pacote: randomforest). Figura 15. Procedimentos para executar o algoritmo de Classificação de Rede Neural Artificial na linguagem R (Pacote: nnet). VII. CONCLUSÃO Este trabalhou apresentou métodos de mineração vistos na disciplina de mineração de dados aplicados ao dataset de atributos físico-químicos do vinhos branco e tinto. Em relação aos resultados de vinhos branco, as análises comparativas mostraram que o algoritmo de floresta aleatória obteve os melhores resultados para a classificação das notas de vinhos tanto no aspecto do dataset balanceado (AUC 92.9%) ou não (AUC 78.6%). No dataset de vinhos tinto ocorre o mesmo cenário, onde o algoritmo

10 9 de floresta aleatória e superior aos outros algoritmos com um AUC de 86% no conjunto desbalanceado e 97% no balanceado. Em relação a linguagem R podemos observar que é possível aplicar os mesmos métodos apresentados na disciplina e com maior liberdade para desenvolver seu problema, bem como facilidade para análise estatísticas dos dados iniciais do problema. REFERÊNCIAS [1] W. of Portugal, Associação interprofissional do sector vitivinícola e a entidade gestora da marca wines of portugal, November [Online]. Available: [2] A. S. Curvelo-Garcia, Controlo de qualidade dos vinhos: química enológica-métodos analíticos. Instituto da Vinha e do Vinho, [3] CVRVV, Comissão de viticultura da região dos vinhos verdes, July [Online]. Available: [4] D. V. Smith and R. F. Margolskee, Making sense of taste, Scientific American, vol. 16, no. 3, pp , [5] E. P. Pimentel, V. F. d. França, and N. Omar, A identificação de grupos de aprendizes no ensino presencial utilizando técnicas de clusterização, in Anais do Simpósio Brasileiro de Informática na Educação, vol. 1, no. 1, 2003, pp [6] M. V. DONI, Análise de cluster: métodos hierárquicos e de particionamento, São Paulo: Universidade Presbiteriana Mackenzie, São Paulo, [7] G. S. Semaan, M. D. Cruz, J. Brito, and L. S. Ochi, Proposta de um método de classificação baseado em densidade para a determinação do número ideal de grupos em problemas de clusterização, Learning and NonLinear Models, vol. 10, pp , [8] T. M. Mitchell, Machine learning. 1997, Burr Ridge, IL: McGraw Hill, vol. 45, [9] J. Han and M. Kamber, Data Mining, Southeast Asia Edition: Concepts and Techniques. Morgan kaufmann, [10] I. H. Witten and E. Frank, Data Mining: Practical machine learning tools and techniques. Morgan Kaufmann, 2005.