O PROBLEMA DE CLUSTERIZAÇÃO AUTOMÁTICA: UM NOVO MÉTODO UTILIZANDO O ILS

Transcrição

1 O PROBLEMA DE CLUSTERIZAÇÃO AUTOMÁTICA: UM NOVO MÉTODO UTILIZANDO O ILS Marcelo Db Cruz 1, Luz Satoru Och 2 1 Departamento de Matemátca Unversdade Federal Rural do Ro de Janero (UFRRJ) BR.465, km Seropédca RJ Brasl 2 Insttuto de Computação Unversdade Federal Flumnense (UFF) Caxa Postal Ntero RJ Brasl {db@ufrr.br, satoru@c.uff.br} Resumo Clusterzação é o processo de alocar os elementos de uma base de dados em um conunto de clusters, de modo que os elementos smlares permaneçam no mesmo cluster e elementos não smlares seam alocados para clusters dstntos. Nos algortmos de clusterzação, normalmente é assumdo que o número de clusters é um dado de entrada. Contudo, em mutas aplcações, este número deal de clusters não pode ser determnado ou estmado prevamente. Estes problemas são conhecdos como Problemas de Clusterzação Automátca (PCA). Neste trabalho é apresentado um Algortmo utlzando a metaheurístca ILS para a solução do PCA, nclundo três módulos de busca local e memóra adaptatva. Resultados computaconas realzados para um conunto de nstâncas mostram a efcênca e a robustez da heurístca proposta. Palavra Chave. Clusterzação Automátca, ILS, Memóra Adaptatva, Mneração de Dados Abstract Clusterng s the process by whch elements of a database are assgned for clusters of smlar elements. In clusterng algorthms, t s usually assumed that the number of clusters s known or gven. Unfortunately, the optmal number of clusters s unknown for many applcaton of ths problem. These problems are known as Automatc Clusterng Problems (ACP). In ths work we present a ILS Algorthm for ACP ncludng tree local search and adaptve memory programmng procedures. Computatonal results on a set of nstances llustrate the effectveness and the robustness of the proposed heurstc. Keywords. Automatc Clusterng, ILS, Adaptatve Memory, Data Mnng 1 Introdução Clusterzação é o termo genérco para um processo que une obetos smlares de uma base de dados em um mesmo grupo. Cada grupo é denomnado um cluster. O número de clusters pode ser conhecdo a pror ou não. Quando o número de clusters é conhecdo a pror, ele é conhecdo como Problema de K-Clusterzação ou smplesmente Problema de Clusterzação (PC). Caso contráro, o problema é denomnado Problema de Clusterzação Automátca (PCA). Ambos os problemas são classfcados como NP-Hard [22], mas o fato do valor de k não ser prevamente conhecdo torna o problema anda mas complexo, aumentando substancalmente o número de soluções possíves. Devdo a elevada complexdade do PCA, a maora dos trabalhos encontrados na lteratura utlza técncas heurístcas para a sua solução aproxmada. Contudo, observamos que a maora das contrbuções para o problema ou apresentam heurístcas smples de construção e/ou busca local ou metaheurstcas em sua forma básca [6] [16] [18]. Neste contexto, acredtamos haver a necessdade de explorar melhor o potencal das metaheurístcas, procurando desenvolver versões mas efcentes de algortmos heurístcos [2] [14] [15]. O obetvo deste trabalho é propor uma heurístca para o PCA, utlzando a metaheurístca ILS (Iterated Local Search), denomnada ILS_PCA. Neste contexto, é efetuado um processamento ncal para tentar reduzr as dmensões dos dados de entrada do problema, através de um algortmo construtvo. Após esta prmera fase, são utlzadas buscas locas, cua função é refnar as soluções encontradas pelo algortmo construtvo e pelas perturbações das soluções. O algortmo proposto utlza adconalmente concetos de memóra adaptatva, na estrutura de um conunto de soluções denomnado CE, cua função, é armazenar as melhores soluções dstntas geradas até o momento pelo ILS_PCA. O algortmo utlza uma perturbação que vara o número de clusters, com o obetvo de encontrar a melhor confguração possível para a solução. Este trabalho está organzado da segunte forma: Na seção 2, é descrto o PCA acompanhado de uma revsão parcal dos trabalhos da lteratura; na seção 3 é descrto o algortmo proposto; na seção 4 são mostrados os resultados e análse dos testes computaconas realzados e fnalmente, na seção 5, são apresentadas as conclusões. 2 O Problema de Clusterzacao Automátca Formalmente podemos defnr o problema de clusterzação automátca da segunte forma: dado X um conunto de n obetos X={x 1, x 2, x 3..., x n }, onde cada obeto x é uma tupla (x 1,x 2,...,x p ), e cada coordenada x está relaconada com um atrbuto do obeto. Cada obeto pode ser consderado um ponto no espaço R p. Como obetvo, devemos encontrar o conunto C={C 1,C 2,...,C k } de clusters, onde k não conhecdo prevamente, onde a smlardade entre os obetos de um mesmo cluster sea maxmzada e a smlardade entre obetos de dferentes clusters sea mnmzada, sueto as seguntes condções: 1

2 C, para 1,.., k (1) C C, para, 1,.., k e (2) k 1 C X Outra defnção necessára é o conceto de centróde de um cluster C. A substtução de um conunto C com t pontos smlares por um únco ponto v m = (v m1, v m2,...v mp ) que os represente, pode ser feto consderando-se v m o centróde de C, onde cada coordenada de v m é dada pela equação: (3) 1 t vm = x, =, p m 1,.. t 1 (4) 2.1 Trabalhos Relaconados O tema clusterzação é antgo e á muto estudado. Os prmeros trabalhos datam da década de 60. Porém, a maora dos trabalhos é para o PC, onde o número de clusters é defndo prevamente. Um dos métodos mas conhecdos para o PC é o Método K-Means [10], que utlza o conceto de centróde (equação 4) para representar os clusters. No entanto, o PCA anda não é tão explorado como o PC. O X-means [12] adapta o k-means para o PCA. O trabalho de [19] é mas recente e também adapta o k-means para resolver o PCA. Alguns trabalhos encontrados na lteratura utlzam algortmos evolutvos como em [16] e [18]. Os métodos propostos em [3] [4] consstem em dvdr o espaço (base de dados) que contem os obetos em um determnado numero de subespaços ou células. As células contendo um número grande de obetos são canddatos a formarem um cluster. O resultado do método depende do tamanho das células, que normalmente é um parâmetro de entrada. Um método apresentado por [20] utlza o conceto de árvore geradora para obter uma árvore ncal e depos fazer cortes, gerando sub-árvores, que formarão os possíves clusters. Em [1] [21] são apresentados métodos baseados em funções que defnem densdade e conectvdade. Eles são baseados na déa que obetos que formam uma regão densa podem ser agrupados prevamente num mesmo cluster. 3 O Algortmo ILS Proposto O Algortmo ILS para o PCA (ILS_PCA), aqu proposto, é um método composto por quatro componentes prncpas: a Fase de Construção, as Buscas Locas, a Perturbação e o Crtéro de Acetação. 3.1 A Fase de Construção A Fase de construção do ILS_PCA é uma etapa ncal que tem por obetvos tentar reduzr a cardnaldade dos dados de entrada do problema, bem como gerar uma solução ncal de boa qualdade. A déa é substtur grupos de obetos da base de dados cua smlardade é consderada alta, por um únco obeto (cluster ncal) que represente o grupo. Neste trabalho usamos como medda de smlardade a dstanca eucldana entre dos pontos. A redução do tamanho da entrada (pré-processamento) é realzada agrupando-se em um mesmo cluster os pontos pertencentes a uma regão densa, como mostra a fgura 1. Incalmente, nas lnhas 2, 3 e 4, para cada ponto é defndo a menor dstânca a outro ponto qualquer. Depos, na lnha 5, é calculada a méda destas dstâncas, denomnada d medo. Então, cada ponto x Є X é consderado o centro de um círculo cuo valor do rao é r = u * d medo, onde u é um parâmetro de entrada. Logo após, na lnha 8, é calculado o conunto de pontos contdos no círculo de centro x e rao r (N = crculo (x,r)). Estes valores são colocados em uma lsta T que é ordenada em ordem decrescente. Os elemento de T são consderados os clusters parcas B = {B 1,B 2,...B t }. Para que os clusters não possuam elementos em comum, toda vez que um círculo é seleconado, todos os pontos do seu nteror não podem mas entrar em outro círculo. Com este procedmento as regões mas densas são seleconadas. Após este procedmento ncal, é realzado um refnamento que tem como obetvo central dmnur o número de clusters parcas. Assm, é efetuada uma agregação de clusters parcas de menor cardnaldade ( mn, onde mn é um dado de entrada), que esteam bem próxmos a algum outro cluster de maor cardnaldade. Isto é realzado verfcando se este cluster menor está a uma dstanca d ad de outro cluster, onde d ad = v * d medo (onde o valor v é um dado de entrada). 1. Procedmento Construtvo (X, u) 2. PARA = 1 até n FAÇA 3. dmn (x )= mn x x,, 1,... n 4. FIM PARA 2

3 5. 1 n dmedo = d ) 1 mn(x n 6. r = u * d medo 7. PARA = 1 até n FAÇA 8. N = crculo (x,r) 9. T = T N 10. FIM PARA 11. ordenar T em ordem decrescente 12. = ENQUANTO ( T Ø) FAÇA 14. B = próxmo(n Є T) 15. T = T {N } 16. = FIM ENQUANTO 18. retornar B = { B 1,B 2,...B t }, os clusters parcas. 19. FIM construtvo Fgura 1: Descrção do procedmento construtvo Os clusters gerados no procedmento construtvo são utlzados nesta fase da segunte forma, como mostra a fgura 2. Para cada cluster parcal de menor cardnaldade, verfque qual o cluster que está mas próxmo em relação à dstânca entre os centródes (lnhas 4, 5 e 6). Se este cluster possur cardnaldade maor que mn pontos e possur pelo menos um ponto a uma dstanca de d ad de qualquer ponto do outro cluster, então ele será ncorporado ao outro, como mostram as lnhas 7 e 8. Denomnamos este procedmento de Junção de Clusters Incas Adacentes (JCIA) e tem por obetvo ncorporar clusters de menor cardnaldade a clusters de maor cardnaldade. Este procedmento pode reduzr o número de clusters remanescentes da prmera fase. Os clusters gerados após o Procedmento Construtvo e o JCIA são denomnados clusters ncas. 1. Procedmento JCIA (X, u, v, d medo, mn) 2. B = Procedmento construtvo(x,u) 3. d ad = v * d medo 4. PARA = 1 até t FAÇA 5. SE ( cardnaldade (B )<= mn) ENTÃO 6. B k = menor_dstanca_centrode(b ) 7. SE ( xr B e xs Bk tal que xr xs < dad ) 8. ENTÃO 9. B k = B k U B 10. FIM SE 11. FIM SE 12. FIM PARA 13. retornar B = {B 1,B 2,...B m } os clusters ncas, onde m <= t 14. FIM JCIA Fgura 2: Descrção do procedmento JCIA Consdere os clusters ncas gerados como B= {B 1,B 2,...,B m } e sea v, = 1,2,...,m o centróde (equação 4) de cada cluster B. Para representar uma solução é utlzada uma cadea bnára de m posções. Por exemplo, se m = 7, então uma cadea bnára podera ser { }. Se o valor correspondente ao B na cadea bnára for gual a 1, sso sgnfca que o cluster ncal B faz parte da solução como cluster pa. Se o valor correspondente ao B na cadea bnára for gual a 0, B é consderado um cluster flho. Os clusters flhos são undos aos clusters pas utlzando o crtéro de menor dstânca entre os centródes. A cada unão, o valor do centróde do cluster pa é recalculado. No fnal, todos os clusters flhos são undos aos clusters pas para gerar uma solução completa. Portanto, nesta representação, a cada nova solução poderemos ter um número dstnto de clusters pas, que não se alteram depos deste processo. Os clusters gerados após esse processo são denomnados clusters fnas C={C 1,C 2,,...,C k }. Para descrever melhor este processo, sea B o = {B o 1, B o 2,...,B o r } um subconunto de B onde seus elementos tem valor 0 na cadea bnára e B 1 = { B 1 1,B 1 2,...,B 1 s } um subconunto de B onde seus elementos tem valor 1 na cadea bnára, onde m = r + s. Incalmente cada elemento do conunto B 1 é canddato únco a cada cluster C, = 1,..,s. Então, para cada elemento de B o o (B Є B o, cuo centróde é v o ), encontrar um elemento de B 1 (B 1 z Є B 1, cuo centróde é v 1 z ), onde a dstânca entre os seus centródes sea mínma, como mostra a equação abaxo: v z 1 v o = mínmo v 1 v o, = 1,...,s (5) 3

4 A cada busca, B z 1 é atualzado ncorporando B o e o centróde é recalculado. O conunto B o é atualzado. O processo contnua até B o = Ø. Para avalar a qualdade da solução encontrada, é utlzada uma função de avalação F (equação 10), proposta por Kaufman e Rousseeum [9], conhecda como Índce Slhueta. Esta função admte valores dentro do ntervalo [-1,1] e não é necessáro defnr o valor de k, pos o valor mas adequado de k é atngdo ao maxmzar esta função. Sea x um ponto pertencente ao cluster C w Є C, com C w = M > 1. A dstânca entre os obetos x e x é defndo por d. A smlardade méda de x em relação a todos os pontos x Є C w é dada por a(x ) onde 1 a ( x ) = d, x x, x C. (6) w M 1 Nos casos em que C w possur um únco elemento, defnmos a(x ) = 0. Consdere anda, cada um dos clusters C t Є C com t w e C t = T > 1. A smlardade méda do ponto x em relação a todos os pontos de C t é 1 d(x,ct )= d, x C. t T (7) Sea b(x ) o menor valor dentre todos os d(x,c t ). Então, b( x ) = Mn d(x,ct ), Ct Cw, Ct C (8) O valor de Slhueta do ponto x Є X é dado por b( x ) a(x ) s(x ) = (9) max(a(x ),b(x )) n e a função F, denomnada Índce Slhueta, é defnda como: 1 F s( x ) (10) n 1 Para gerar uma solução, ncalmente é realzado um procedmento para construr uma lsta LRC. Nesta etapa, váras soluções são geradas, e o número de clusters pas das melhores são armazenados na LRC. 1. Procedmento GSI (B ; MaxIter) 2. Sea B= {B 1,B 2,...,B m } o conunto de clusters ncas 3. PARA = 1 até MaxIter FAÇA 4. PARA k = 2 até m-1 FAÇA 5. s 0 = Gerar Solução (k, B) 6. Atualzar LRC(s 0 ) 7. SE (s 0 > s * ) ENTÃO 8. s * = s 0 9. FIM SE 10.. FIM PARA 11. FIM PARA 12. Retornar s * e LRC 13. FIM GSI Fgura 3: O procedmento GSI O procedmento denomnado Gerar Solução Incal (GSI) é mostrado na fgura 3. Na lnha 1, os clusters ncas são dados e são armazenados no conunto B. Depos é feto um processo teratvo, que a cada momento, gera uma solução s 0 com k clusters pas (s 0 = Gerar Solução (k, B)), k=2,..,m-1. Cada solução é avalada e o número de clusters pas das melhores são armazenadas na lsta LRC (Atualzar LRC(s 0 )). Isto está ndcado entre as lnhas 4 e 6. Depos, nas lnhas 7, 8 e 9, a melhor solução s * até o momento é atualzada. Este processo teratvo é repetdo por MaxIter vezes, como ndca a lnha 3. O retorno deste procedmento é a solução ncal s * e a lsta LRC. A lsta LRC defne o lmte nferor (l ) e o lmte superor (l s ) de clusters pas que as soluções do algortmo podem ter. O uso de memóra Adaptatva em metaheurstcas anda tem sdo pouco explorado, mas se mostrado bastante promssor como vsto por Glover [7][15]. O camnho para tornar um algortmo heurístco auto-adaptatvo, pode estar relaconado ao processo de calbração de seus parâmetros e/ou uso de nformações relevantes das terações passadas num processo de busca. A proposta utlzada neste trabalho é a de fazer um bom uso da memóra, através da utlzação de nformações contdas num pool das melhores soluções geradas. A memóra Adaptatva utlza um conunto com as melhores soluções do algortmo, que são atualzadas ao longo das terações. Neste trabalho é utlzado um conunto, denomnado CE (Conunto ELITE), que armazena a melhor solução de cada teração do algortmo. As soluções armazenadas são dferentes entre s. O CE é utlzado em dos momentos dferentes no algortmo proposto: no meo do algortmo, para efetuar a busca local Reconexão por Camnhos, que permte procurar soluções melhores através de boas soluções encontradas pelo algortmo e 4

5 armazenadas no CE; e no fnal do algortmo, para efetuar a busca local Inversão Indvdual, que tem como obetvo tentar melhorar as melhores soluções encontradas ao longo das terações do algortmo e armazenadas no CE. 3.1 As Buscas Locas A prmera busca local proposta, denomnada Troca Entre Pares, é uma busca ntensva que troca o status de dos elementos da solução com valores dferentes. Por exemplo, suponha que a solução corrente é { }. Prmero é trocado o prmero e o segundo elemento da solução. Então a nova solução é { }. Se este novo solução melhorar o valor da função, então ele será aceto e será a nova solução corrente. A próxma troca é feta entre o prmero e o tercero elemento da solução corrente. A busca local termna quando todas as trocas entre dos elementos com valores dstntos são testadas. O obetvo da busca local Troca Entre Pares é nvestgar possíves soluções dferentes com o mesmo número de clusters pas. A segunda busca local utlzada, denomnada Reconexão por Camnhos (RC), fo proposta ncalmente por F. Glover para as metaheurstcas Tabu Search e Scatter Search [7] e tem como obetvo, dado duas soluções extremas de boa qualdade geradas até o momento por uma heurístca teratva, encontrar soluções ntermedáras de melhor qualdade. Fgura 4: Descrção da RC Na Reconexão por Camnhos utlzada neste trabalho, o sentdo da traetóra adotado é o percurso do camnho partndo da solução de melhor qualdade (S melhor ) para a de por qualdade(s por ). Na RC, a déa é a cada teração deste módulo, nserr um elemento da solução alvo (SA) na solução base (SB). Neste contexto, a prmera solução ntermedara é obtda da segunte forma: pegar o -ésmo elemento da solução alvo e permutar pelo -ésmo elemento assocado da solução base, se estes forem dstntos, repetr este procedmento para todos os elementos que compõe uma solução. A cada permutação gera-se uma nova solução canddata; avala-se cada canddato e o melhor canddato (a que retorna a melhor solução) será escolhda como a prmera solução ntermedára. Num segundo passo, essa solução seleconada passa a ser a nova solução base e o procedmento é repetdo para gerar a segunda solução ntermedára até que a solução base sea gual a solução alvo. A fgura 4 lustra este procedmento. O que podemos observar na RC, é que a busca é mas ntensva nas escolhas das prmeras soluções ntermedáras o que ustfca a escolha da busca ser sempre da melhor (S melhor ) para a por solução extrema (S por ). Outra ustfcatva para o uso da RC é pelo fato de encontrar o número deal de clusters ser um dos obetvos do problema, e ao analsar duas soluções extremas com números de clusters pas dferentes, teremos possbldade de obter soluções ntermedáras com número de clusters dferentes das exstentes nas soluções extremas. A déa básca desta tercera busca local proposta, denomnada Inversão Indvdual, é tentar melhorar a solução corrente analsando soluções próxmas a ela. Para sso, essa busca permuta o valor de cada elemento da solução (1 por 0, ou 0 por 1), um por vez, e calcula o novo valor da função. Porém, o algortmo só aceta a mudança, se o novo valor da função for maor que o valor anteror. Por exemplo, magne que a solução corrente é { }. Prmeramente, é trocado o prmero elemento da solução. Então a nova solução é { }. Se esta solução tem valor da função maor que o anteror, então ele será a nova solução. E então, é trocado o segundo elemento. A nova solução agora é { }. Se este possur valor da função maor que o anteror, então a mudança é aceta. Caso contraro, a solução é mantda. A busca acaba quando todos os elementos da solução são testados. A busca local Inversão Indvdual se ustfca, pos encontrar o número deal de clusters é um dos obetvos do problema, e a nclusão ou retrada de um cluster pa pode melhorar uma determnada solução. 3.3 A Perturbação O obetvo da Perturbação é alterar o número de clusters pas da solução corrente. Dado uma solução ncal, esta pode ter o número de clusters pas maor ou menor que o deal. Portanto, pode ser necessáro aumentar ou dmnur este número. A perturbação deve aumentar ou dmnur este valor em uma undade, caso o número de clusters pas estea bem próxmo ao deal, ou anda, aumentar ou dmnur em n undades, para procurar soluções afastadas da solução ncal. A Perturbação começa ncrementando o número de clusters pas em uma undade. Se a solução obtda após a Perturbação e a busca local for melhor que a anteror, o processo é repetdo, ou sea, o número de clusters pas desta solução é ncrementado em uma undade de novo. Caso a solução obtda não melhore a anteror, então a Perturbação aumenta o número de clusters pas em duas 5

6 undades. O processo contnua enquanto a solução possur o número de clusters pas dentro do lmte superor (l s ) defndo pela LRC. Depos, o número de clusters pas da solução é decrementado até atngr o lmte nferor (l ) da LRC. A Perturbação não permte que um determnado número de clusters pas sea utlzado mas de uma vez, para efetuar a busca local Troca entre Pares. 3.4 O Crtéro de Acetação O crtéro de acetação utlzado é que a solução gerada é aceta como a solução corrente, se esta melhorar a melhor solução encontrada até o momento. O algortmo ILS_PCA gera uma solução ncal e aplca a busca local Troca entre Pares. Após cada Perturbação, o algortmo também aplca a busca local Troca entre Pares. A cada t terações, o algortmo aplca a busca local Reconexão por Camnhos entre a solução corrente e a melhor solução do conunto CE. No fnal, o algortmo aplca a busca local Inversão Indvdual, no conunto CE gerado. 4 Resultados Computaconas Para analsar o desempenho do algortmo ILS_PCA aqu proposto, testes computaconas foram realzados. O ILS_PCA fo comparado com um dos algortmos mas recentes da lteratura, denomnado CLUES, que fo publcado em 2007 pela revsta Computaconal Statstcs & Data Analyss [21]. O CLUES fo mplementado usando o software estatístco R, e o seu códgo fonte fo dsponblzado e utlzado para executar as nstâncas propostas. O códgo fonte do CLUES fo executado sem qualquer alteração. O ILS_PCA fo mplementado usando complador C++ no ambente Lnux Ubuntu 7.5. Nos testes de contagem de tempo, foram utlzados computadores, para os dos algortmos, com processadores Intel Xeon Quad Core onde cada processador tem 3.0 Ghz e com 16G de memóra Ram. Das nstâncas mostradas na tabela 1, ses são nstâncas conhecdas na lteratura como RuspnDataSet[13], Irs Plants Database [5], MaronnaDataSet[11], 200DATA[5], VowelDataset[8] e Broken Rng[21]. A quantdade de nstâncas encontradas para o PCA é pequena e, além dsso, possuem um número pequeno de pontos: 75, 150, 200, 200, 500 e 800 respectvamente. Por sso, achamos nteressante e mportante gerar outras nstâncas com dmensões maores. Neste contexto foram construídas nstâncas de 100 a 2000 pontos no R 2 com o número de clusters varando de 2 a 26. As nstâncas foram construídas através de uma ferramenta gráfca denomnada Dots, desenvolvda por Soares e Och [16]. A característca prncpal desta ferramenta, é possbltar a geração também de nstâncas onde a solução ótma pode ser vsualzada, e portanto, onde o número deal de clusters é pré-determnado mas obvamente não fornecdo ao algortmo. Cada nstânca possu o número de pontos e o número deal de clusters (o número deal de clusters não é repassado aos algortmos, pos um de seus obetvos é descobrr este valor). O nome da nstânca mostra nformações sobre a nstânca. Por exemplo, a nstânca 100p3c possu 100 pontos e 3 clusters. Quando o nome da nstânca termna em 1, como em 200p2c1, sgnfca que exstem mutos pontos entre os clusters e que, em alguns casos, o número deal de clusters não está bem defndo. Todas as nstâncas são do espaço R 2, exceto a Irs Plants Database que é do R 4. Tabela 1: Tabela de Comparação dos algortmos ILS_PCA CLUES NOME melhor Méda t(s) NC Desvo Méda t(s) NC Desvo RuspnDataSet 0,7376 0,7376 0,8 4 0,00 0,7376 0,6 4 0,00 Írs Plants Database 0,6862 0,6862 3,4 3 0,00 0,5626 1,3 3 18,01 MaronnaDataSet 0,5745 0,5745 1,7 4 0,00 0,5745 4,2 4 0,00 200DATA 0,8231 0,8231 1,9 3 0,00 0,4622 2,8 3 43,85 VowelDataSet 0,4483 0, ,3 23 3,17 0, ,8 9 0,00 Broken Rng 0,4995 0, ,5 5 0,00 0, ,8 5 0,00 100p2c1 0,7427 0,7427 9,5 2 0,00 0,5213 3,7 5 29,81 100p3c 0,7858 0,7858 0,9 3 0,00 0,7858 1,6 3 0,00 100p3c1 0,5966 0,5802 9,4 3 2,75 0,5966 1,8 3 0,00 100p5c1 0,7034 0,6958 1,1 7 1,08 0,7034 3,1 6 0,00 100p7c 0,8338 0, ,2 7 0,00 0,8338 3,7 7 0,00 100p7c1 0,5511 0,4835 1,1 7 12,27 0,5511 4,1 7 0,00 100p10c 0,8336 0, ,3 10 0,00 0,8336 2,7 10 0,00 200p2c1 0,7642 0,7642 1,8 2 0,00 0,5912 3,1 3 22,64 200p3c1 0,6797 0,6797 1,7 3 0,00 0,6740 3,9 3 0,84 200p4c 0,7725 0,7725 1,7 4 0,00 0,7725 3,6 4 0,00 200p4c1 0,7544 0,7449 1,9 4 1,26 0,7544 3,4 4 0,00 200p7c1 0,5553 0,5394 1,5 2 2,86 0,5553 8,8 9 0,00 200p12c1 0,5693 0,5693 1,9 8 0,00 0,5624 8,5 9 1,21 300p2c1 0,7764 0,7764 4,2 2 0,00 0,4899 4,7 5 36,90 6

7 300p3c 0,7663 0,7663 1,9 3 0,00 0,5520 9,2 3 27,97 300p3c1 0,6768 0,6768 2,7 3 0,00 0,5924 4,4 4 12,47 300p4c1 0,5924 0,5910 2,6 2 0,24 0,5924 4,6 7 0,00 300p6c1 0,6636 0,6636 3,1 8 0,00 0, ,9 7 12,78 300p13c1 0,5994 0,5441 2,8 2 9,23 0, ,8 9 0,00 400p3c 0,7985 0,7985 5,2 3 0,00 0,7985 9,6 3 0,00 400p4c1 0,6204 0,5989 2,7 4 3,47 0, ,8 4 0,00 400p17c1 0,5524 0,5138 8,5 2 6,99 0, ,2 15 0,00 500p3c 0,8249 0,8249 2,3 3 0,00 0, ,1 3 0,00 500p4c1 0,6597 0,6597 2,6 3 0,00 0,5150 9,9 3 21,93 500p6c1 0,6684 0,6287 4,2 6 5,94 0, ,7 6 0,00 600p3c1 0,7209 0,7209 4,8 3 0,00 0,7028 9,6 3 2,51 600p15c 0,7812 0, ,4 15 0,00 0, ,1 16 3,66 700p4c 0,7969 0,7969 9,7 4 0,00 0, ,9 4 0,00 700p15c1 0,6799 0, ,1 15 0,00 0, ,9 17 3,00 800p4c1 0,7143 0,6643 8,2 4 7,00 0, ,9 4 0,00 800p10c1 0,5071 0, ,2 2 7,69 0, ,7 8 0,00 800p18c1 0,6941 0, ,9 19 0,39 0, ,2 19 0,00 800p23c 0,7873 0, ,9 23 0,00 0, ,7 22 6,17 900p5c 0,7160 0, ,4 5 0,00 0, ,4 7 14,40 900p12c 0,8408 0, ,2 12 0,00 0, ,1 10 5, p5c1 0,6391 0, ,3 5 0,00 0, ,0 7 12, p6c 0,7356 0, ,3 6 0,00 0, ,3 6 0, p14c 0,8306 0, ,5 14 0,00 0, ,6 11 7, p27c1 0,5631 0, ,6 2 15,31 0, ,4 14 0, p6c1 0,6847 0, ,7 6 1,90 0, ,9 6 0, p17c 0,8229 0, ,7 17 0,00 0, , , p6c 0,6941 0, ,4 6 0,00 0, ,6 5 1, p6c1 0,6597 0, ,8 6 2,44 0, ,7 6 0, p20c 0,8232 0, ,2 20 0,00 0, , , p22c 0,8036 0, ,3 22 0,00 0, , , p9c1 0,6230 0, ,6 9 0,00 0, ,2 7 14, p11c 0,7129 0, ,4 11 0,00 0, ,6 8 24,22 Meda , ,98 Em relação aos parâmetros utlzados no algortmo ILS_PCA, estes foram defndos a partr de testes prelmnares. Fo utlzado o valor de u entre 1.5 e 4.5 e o valor de v gual a 2 (somente para nstâncas com mas de 200 pontos. Caso contráro, o valor de v é 0). O valor mn é gual a 4. O valor de MaxIter é gual a 5. O tamanho da LRC é de 7 elementos. O número de terações realzadas vara entre os valores l e l s da LRC. A busca local Reconexão por Camnhos é executada quatro vezes, nas terações que correspondem a 50%, 65%, 75% e 85% do total de terações. O tamanho do conunto CE fo fxado com cnco elementos. Para a execução do CLUES, não é necessára a especfcação de parâmetros. A Tabela 1 mostra a comparação entre o CLUES e o ILS_PCA. Os algortmos foram executados 5(cnco) vezes para cada nstânca. As colunas têm os seguntes sgnfcados: a coluna Nome contém os nomes das nstâncas. A coluna Melhor contém o maor valor da função Índce Slhueta encontrado pelos algortmos. A coluna Méda contém a méda dos valores da função Índce Slhueta que cada algortmo encontrou. A coluna t(s) contém a méda dos tempos de execução de cada algortmo em segundos e a coluna NC contém o número de clusters que a melhor solução de cada algortmo encontrou. A coluna Desvo contém o desvo da méda em relação à melhor solução, conforme a segunte defnção: Desvo = (Melhor - Méda) /Melhor * 100. Os melhores resultados estão realçados em negrto. Na comparação do ILS_PCA com o CLUES, a dferença entre os Desvos é grande, de 1.58 para 6.98, sgnfcando que o ILS_PCA está mas próxmo das melhores soluções. Além de possur uma méda melhor, o ILS_PCA também alcança os melhores valores em uma quantdade maor de nstâncas. O ILS_PCA chega aos melhores valores em 36 nstâncas, num total de 53. O CLUES chega aos melhores valores em 27 nstâncas. Em relação ao tempo, o CLUES possu uma méda um pouco melhor, com valor de 20,42s contra 21.72s do ILS_PCA. Avalando os tempos, o que se observa é no conunto de nstâncas menores (de ruspndataset até 1000p6c), o algortmo ILS_PCA possu uma méda melhor, de 12.66s contra 14,56s do CLUES. Porém, em nstâncas com mas de 1500 pontos, o CLUES consegue os tempos bem menores. Em relação à quantdade de clusters (NC) encontrados por cada algortmo, é percebdo que encontrar o número deal de clusters é a grande dfculdade dos algortmos. Em nstâncas de até 800 pontos, onde os clusters estão bem defndos (as nstâncas onde os nomes termnam em c acrescdas de RuspnDataSet, IrsPlantsDatabase, MaronnaDataSet, 200DATA, e Broken Rng ) é verfcado que os dos algortmos encontram o valor deal dos clusters na maora dos casos. Em nstâncas com mas de 800 pontos e onde os clusters estão bem defndos, somente o ILS_PCA encontrou o número deal de clusters. Porém, onde os clusters não 7

8 estão bem defndos (as nstâncas onde os nomes termnam em 1 acrescdas de VowelDataSet) é percebdo que os algortmos dvergem bastante em relação ao número de clusters. Isto se deve a característca destas nstâncas, onde os pontos estão muto próxmos, sendo muto dfícl determnar onde acaba um cluster e começa um outro. Porém o ILS_PCA consegue chegar nas melhores confgurações de clusters, pos alcança os maores valores da função Índce Slhueta. É mportante ressaltar que o CLUES não precsa especfcar qualquer parâmetro na sua execução, que é um dferencal em relação ao ILS_PCA. 5 Conclusão Este trabalho aborda o PCA. Fo desenvolvdo um Algortmo ILS que utlza váras buscas locas e Memóra Adaptatva para melhorar a qualdade das soluções obtdas, após as perturbações. Constatamos que a utlzação de uma Fase de Construção de boa qualdade melhora bastante o desempenho do algortmo, uma vez que reduz o número de obetos a serem agrupados. Acredtamos que, as buscas locas utlzadas, foram outro fator mportante para o bom desempenho do ILS_PCA. Embora aumentem o tempo de processamento por teração, verfcamos que o ILS necessta de um número menor de terações para atngr um valor alvo. Fnalmente, os resultados do ILS_PCA comparados com um algortmo da lteratura mostram a efcênca do algortmo proposto, uma vez que conseguu resultados melhores. Como trabalho futuro, tentaremos mplementar outras heurístcas utlzando as metaheurístcas GRASP e VNS, uma vez que a maora dos trabalhos para o PCA que utlzam metaheurístcas, utlzam Algortmos Genétcos ou Evolutvos. 6 Referêncas Bblográfcas [1] Agrawal, R., Gehrke, J., Gunopulos, D., Raghavan, P. (2005). Automatc Subspace Clusterng of Hgh Dmensonal Data. Data Mnng and Knowledge Dscovery, 11, pp [2] Brto, J. A. M., Och, L. S., Montenegro F., Maculan, N. (2010). An ILS Approach Appled to the Optmal Stratfcaton Problem. To appear n Internatonal Transacton n Operatonal Research (ITOR) - Wley-Blackwell (aceto em 02/2010). [3] Derya, B., Alp, K. (2007). ST-DBSCAN: An algorthm for clusterng spatal temporal data. Data & Knowledge Engneerng 60, pp [4] Duan, L. Xu, L., Guo, F., Lee, J., Yan, B. (2007); A local-densty based spatal clusterng algorthm wth nose, Informaton Systems 32;pp [5] Fsher, R. (1936). The use of multple measurements n taxonomc problems. Annual Eugencs 7,pp [6] Gara, G., Chaudhur, B. B.(2004). A novel genetc algorthm for automatc clusterng. Pattern Recognton Letters, pp [7] Glover, F.; Kochenberger, G. A. (2003) Handbook of Metaheurstcs. Kluwer Academc Publshers. [8] Haste, t.;tbshran, R.; Fredman, J. (2001). The Elements of Statstcal Learnng. Data Mnng, Inference, and predcton. Sprnger. [9] Kaufman, L., Rousseeum, P. J. (1990). Fndng Groups n Data : An ntroducton to cluster Analyss. A Wley-Intercence publcaton. [10] MacQueen, J. B. (1967). Some Methods for classfcaton and Analyss of Multvarate Observatons. Proceedngs of 5-th Berkeley Symposum on Mathematcal Statstcs and Probablty, Berkeley, Unversty of Calforna Press, 1, pp [11] Maronna, R.; Jacovks, P. M. (1974). Multvarate clusterng procedures wth varable metrcs. Bometrcs30, pp [12] Pelleg, D, Moore, A. (2000). X-means: Extendng K-means wth effcent estmaton of the number of clusters. Proceedng of the 17th Internatonal Conference on Machne Learnng, pp [13] Ruspn, E. H. (1970). Numercal methods for fuzzy clusterng. Informaton Scence.pp. pp [14] Santos, H. G., Och, L. S., Marnho, E. H., Drummond, L. M. (2006).Combnng an Evolutonary Algorthm wth Data Mnng to solve a Vehcle Routng Problem. NEUROCOMPUTING Journal - ELSEVIER, volume 70 (1-3), pp [15] Slva, A. R. V., Och, L. S. (2010). Hybrd Algorthms for Dynamc Resource-Constraned Proect Schedulng Problem. To appear n Lecture Notes n Computer Scence (LNCS) - Proc. of the 7th Internatonal Workshop on Hybrd Metaheurstcs (HM2010)., Venna [16] Soares, S. S. R., Och, L. S., Drummond, L. M. (2006). Um algortmo de construção e busca local para o Problema de Clusterzação de Bases de Dados. Tendêncas de Matemátca Aplcada e Computaconal, Vol. 7(1), pp [17] Trndade, A. R., Och, L. S. (2006). Um algortmo evolutvo híbrdo para a formação de células de manufatura em sstemas de produção. PESQUISA OPERACIONAL, Vol. 26(2), pp [18] Tseng, L. Y., Yang, S. B (2001). A genetc approach to the automatc clusterng problem; Pattern Recognton 34, pp [19] Zalk, K. R. (2008). An effcent k -means clusterng algorthm; Pattern Recognton Letters 29, pp [20] Yuan, L. (2006). A clusterng algorthm based on maxmal θ-dstant subtrees, Pattern Recognton, pp [21] Wang, X., Qu, W., Zamar, R. H. (2007). CLUES: A non-parametrc clusterng method based on local shrnkng. Computatonal Statstcs & Data Analyss 52, pp [22] Welch, J. W. (1983). Algorthmc complexty: three NP-hard problems n computaconal statstcs. Journal of Statstcal Computaton and Smulaton 15. pp