PROPOSTA DE UM MÉTODO DE CLASSIFICAÇÃO BASEADO EM DENSIDADE PARA A DETERMINAÇÃO DO NÚMERO IDEAL DE GRUPOS EM PROBLEMAS DE CLUSTERIZAÇÃO

Transcrição

1 PROPOSTA DE UM MÉTODO DE CLASSIFICAÇÃO BASEADO EM DENSIDADE PARA A DETERMINAÇÃO DO NÚMERO IDEAL DE GRUPOS EM PROBLEMAS DE CLUSTERIZAÇÃO Gustavo Slva Semaan 1, Marcelo Db Cruz 2, José André de Moura Brto 3, Luz Satoru Och 1 1 Insttuto de Computação - Unversdade Federal Flumnense (IC-UFF) 2 Departamento de Matemátca - Unversdade Federal Rural do Ro de Janero (DEMAT-UFRRJ) 3 Escola Naconal de Cêncas Estatístcas (ENCE-IBGE) {gsemaan@c.uff.br, db@ufrrj.br, jose.m.brto@bge.gov.br, satoru@c.uff.br} Resumo. A área de Cluster Analyss agrega dversos métodos de classfcação não supervsonada que podem ser aplcados com o objetvo de dentfcar grupos dentro de um conjunto de dados, supondo fxado o número de grupos e uma função objetvo, ou dentfcar o número deal de grupos medante avalação de algum índce ou coefcente. Em partcular, o presente trabalho traz a proposta de um novo método de classfcação denomnado MRDBSCAN, que fo concebdo a partr de uma calbração dos valores de parâmetros que são utlzados no conhecdo método DBSCAN, que trabalha com o conceto de densdade. A qualdade das soluções obtdas é ndcada pelo coefcente slhueta, que combna coesão e separação. Os resultados apresentados neste estudo ndcam que o método proposto é de fácl mplementação e é compettvo em relação à qualdade das soluções quando comparado com os algortmos mas sofstcados da lteratura. Palavras Chave: Problema de Agrupamento Automátco, Densdade, Slhueta, Algortmo DBSCAN. 1 - INTRODUÇÃO A resolução do problema de agrupamento de dados consste na classfcação não supervsonada de objetos em grupos (clusters), não sendo necessáro um conhecmento prévo sobre as suas classes ou categoras [Jan and Dubes, 1988]. Seu objetvo é obter grupos que apresentem padrões (característcas) semelhantes e que possam refletr a forma como os dados são estruturados. Para sso, deve-se maxmzar a smlardade (homogenedade) entre os objetos de um mesmo grupo e mnmzar a smlardade entre objetos de grupos dstntos [Han and Kamber, 2006] [Larose, 2005] [Goldschmdt and Passos, 2005]. Formalmente, este problema pode ser defndo da segunte manera: dado um conjunto formado por n objetos X = { x1, x2,..., x,..., xn}, com cada objeto x possundo p atrbutos (dmensões ou característcas), ou seja, 1 2 p x = { x, x,..., x }, deve-se construr k grupos C j ( j = 1,..., k) a partr de X, onde os objetos de cada grupo sejam homogêneos segundo alguma medda de smlardade. Além dsso, devem ser respetadas as restrções concernentes a cada problema partcular abordado [Han and Kamber, 2006] [Ester et al., 1995] [Baum, 1986] [Hruschka and Ebecken, 2001] [Das and Och, 2003]. No presente trabalho será abordado o problema clássco de agrupamento defndo pelas restrções: k U C = X (1) = 1 I j,j=1,.., k e j (2) C C = C =1,.., k (3) Estas restrções determnam, respectvamente, que: O conjunto X corresponde à unão dos objetos dos grupos, cada objeto pertence a exatamente um grupo e todos os grupos possuem ao menos um objeto. Para este problema, o número de soluções possíves, ou seja, o total de maneras em que os n objetos podem ser agrupados, consderando um número fxo de k grupos, é dado pelo número de Strlng (NS) de segundo tpo [Jr, 1968], e podem ser obtdas pela Equação 4 [Lu, 1968]. Para problemas de agrupamento em que o valor de k é desconhecdo (agrupamento automátco), o número de soluções possíves aumenta anda mas. Este número é dado pela Equação 5, que corresponde ao somatóro da Equação 4 para o número de grupos varando no ntervalo [1,k max ], sendo k max o número máxmo de grupos. Para que se tenha uma dea da ordem de grandeza deste número, no caso de n=10 objetos a serem alocados em k=3 grupos, o número de soluções a serem consderadas é de Mas consderando apenas dobro de objetos, ou seja, n=20 e k=3, o número de soluções possíves (Equação 4) sobe para No problema de agrupamento automátco estes valores crescem exponencalmente com o aumento da quantdade de objetos (n). Esta característca torna probtva a obtenção 242

2 da solução ótma medante a aplcação de um procedmento de enumeração exaustva. Esta questão é comentada em város trabalhos da lteratura, como por exemplo, no trabalho de Nald (2011). 1 k NS( n, k) = ( 1) k! k k j n j (4) j= 0 j kmax = NS n j (5) j= 1 NS( n) (, ) Conforme Kumar et. al.(2009), as últmas décadas foram marcadas pelo desenvolvmento de dversos algortmos de agrupamento. Por sua vez, estes algortmos encontram aplcação em dversos domínos, como por exemplo: ntelgênca artfcal, reconhecmento de padrões, marketng, economa, ecologa, estatístca, pesqusas médcas, cêncas polítcas, etc. Não obstante, nenhum desses algortmos é aproprado para todos os tpos de dados, formatos de grupos e aplcações. Esta últma observação sugere que há espaço para o estudo e o desenvolvmento de novos algortmos de agrupamento que sejam mas efcentes ou mas aproprados, levando em conta as característcas específcas de conjuntos de dados. Em mutos casos, nclusve, a análse de o que é uma boa solução é subjetva. O presente artgo está estruturado em cnco seções, nclundo a ntrodução. A seção dos apresenta uma revsão da lteratura em relação a algortmos para a obtenção da quantdade deal de grupos. É apresentado também o índce relatvo slhueta, utlzado para avalar as soluções obtdas com a aplcação do método proposto. Na seção três são apresentados o clássco algortmo da lteratura DBSCAN e a técnca para a seleção automátca de parâmetros para esse algortmo. Já a seção quatro apresenta as nstâncas utlzadas, os resultados obtdos nos expermentos computaconas e os comparatvos com algortmos da lteratura. Por fm, a seção cnco relata conclusões obtdas nas pesqusas e apresenta propostas de pesqusas e de trabalhos futuros. 2 - REVISÃO DA LITERATURA Segundo [Kumar et. al., 2009], talvez um dos problemas de seleção de parâmetros mas conhecdo seja o de determnar o número deal de grupos em um problema de agrupamento. Neste sentdo, dversas técncas não supervsonadas de avalação de soluções podem ser utlzadas. Uma dessas técncas consste analsar o valor da Soma dos Erros Quadrátcos (SEQ, Equação 6) das soluções obtdas em função do número de grupos. O objetvo é encontrar a quantdade natural de grupos, procurando por uma quantdade de grupos em que exsta uma nflexão no valor do SEQ. Essa abordagem pode falhar em algumas stuações, quas sejam: quando exstem grupos entrelaçados, superpostos ou até mesmo annhados. Na Equação 6, dst( c, x ) ndca a dstânca (Eucldana: Equação 7) entre o objeto x e o centróde a ele mas próxmo (c ). SEQ k 2 = dst( c, x) (6) = 1 x C Essa prmera abordagem pode ser realzada, por exemplo, com a aplcação de um algortmo clássco de agrupamento denomnado k-means (Han and Kamber, 2006), consderando que k é um ntero que assume todos os valores no ntervalo [2,n]. Dessa forma, aplca-se o algortmo de agrupamento para cada valor de k e, em seguda, calcula-se o valor de SEQ para cada uma nas (n - 1) soluções obtdas. A partr destes valores, torna-se possível construr um gráfco SEQ versus o número de grupos, conforme apresenta a Fgura 1. É mportante destacar que o algortmo k-means é sensível à seleção de protótpos (objetos ou centródes) ncas. Ou seja, uma seleção aleatóra desses protótpos para a formação dos grupos ncas do algortmo geralmente resulta em agrupamentos pobres, de baxa qualdade (Kumar et. al., 2009) no que concerne à estrutura ou ao valor da smlardade. Dessa forma, recomenda-se que para cada numero k de grupos no ntervalo estabelecdo (nessa análse [2,n]), esse algortmo seja executado consderando dferentes protótpos ncas. Em seguda, são consderadas para a análse somente a melhor solução (menor SEQ) para cada número k de grupos. 243

3 Outra abordagem concernente à determnação do número deal de grupos consste na avalação da função slhueta proposta por Rousseeuw (1987) e utlzada em dversos trabalhos, dentre os quas: Nald (2011), Cruz (2010), Wang et. al. (2007), Soares (2004) e Tseng and Yang(2001). Mas especfcamente, aplca-se um algortmo de agrupamento para alguns valores de k no ntervalo [2,n], escolhendo-se como o k deal aquele assocado ao maor valor da função slhueta (Fgura 1). Uma vez que esse trabalho utlzou a função slhueta, há uma seção específca para a descrção detalhada da mesma. Anda em relação à análse da função índce slhueta, também é possível executar tal abordagem consderando múltplas execuções do algortmo k-means. Novamente, aconselha-se a executar esse algortmo com dferentes ncalzações de protótpos para cada número de grupos e, ao fnal, deve-se utlzar a função slhueta para avalar as soluções obtdas para cada k Com base no algortmo k-means, fo proposto por [Pelleg and Moore, 2000] o algortmo X-Means para a resolução do problema de agrupamento automátco. Este algortmo recebe como parâmetros a nstânca a ser processada e um ntervalo com a quantdade de grupos [k mn, k max ] e utlza o índce BIC (Bayesan Informaton Crteron) para dentfcar e retornar qual o melhor número de grupos. Em [Zalk, 2008] é apresentado um algortmo que também adapta o k-means para resolver um problema de agrupamento automátco. Fgura 1: SEQ versus Número de Grupos e Slhueta versus Número de Grupos (adaptação de [Kumar et. al., 2009]) Fgura 2: Instânca assocada ao gráfco da Fgura 1 ([Kumar et. al., 2009]). O Bsectng k-means, proposto por Stenbach et. al. (2000), corresponde a uma versão herárquca do k-means, em que a cada teração, um grupo é seleconado e dvddo em dos novos grupos. Dessa forma, novamente são obtdas soluções para todos os valores de k pertencentes a um ntervalo de k pré-estabelecdo. O crtéro de seleção do grupo a ser dvddo pode ser, por exemplo, o grupo com maor dâmetro (dstânca entre dos objetos em um mesmo grupo) ou o grupo com o menor valor de função slhueta. Anda no contexto do problema agrupamento automátco, város trabalhos na lteratura propõem algortmos baseados em metaheurístcas que têm por objetvo encontrar um número deal de grupos e a sua solução correspondente. Dentre estes, destacam-se os seguntes trabalhos: [Soares, 2004] [Cruz, 2010] [Cole, 1998] [Cowgll, 1999] [Bandyopadhyay and Maulk, 2001] [Bandyopadhyay and Maulk, 2002b] [Hruschka and Ebecken, 2003] [Hruschka et. al., 2004a][Hruschka et. al., 2004b] [Hruschka et. al., 2006] [Ma et. al., 2006] [Alves et. al. 2006] [Tseng and Yang, 2001] [Nald and Carvalho, 2007] [Pan and Cheng, 2007] Exstem, também, as heurístcas que utlzam alguns procedmentos de busca local baseados no algortmo k-means. Em um prmero momento, essas heurístcas utlzam algortmos para construção de grupos, denomnados grupos parcas (temporáros, componentes conexos) com o objetvo de unr os objetos mas homogêneos. Em seguda, são aplcados algortmos de busca local e de perturbação sobre esses grupos produzndo soluções de boa qualdade [Cruz, 2010] [Tseng and Yang, 2001] [Hruschka et. al., 2004b] [Alves et. al. 2006] [Hruschka et. al., 2006] [Nald and Carvalho, 2007]. Em [Tseng and Yang, 2001] fo apresentado um algortmo genétco denomnado CLUSTERING, que também utlza a função slhueta para determnar o número deal de grupos. Para sso, esse algortmo constró um grafo, dentfca os seus componentes conexos e atua no agrupamento desses componentes com o objetvo de maxmzar a função slhueta. O trabalho Soares [Soares, 2004] apresenta alguns algortmos baseados nas metaheurístcas Smulated Annealng e Algortmos Evolutvos para a resolução do problema de agrupamento automátco. Este trabalho também propõe algortmos para construção de soluções, perturbações e refnamentos (buscas locas), nclundo um procedmento de reconexão por 244

4 camnhos (path relnkng) que atua na busca de soluções de melhor qualdade. Em seus expermentos foram realzadas algumas comparações com o algortmo CLUSTERING [Tseng and Yang, 2001]. O algortmo CLUES (CLUstErng based on local Shrnkng) [Wang et. al., 2007] também aborda o problema do agrupamento automátco, possbltando a aplcação da função slhueta ou do índce CH (índce de Calnsk-Harabasz) para a determnação do número deal de grupos. Trata-se de um algortmo teratvo que, com a utlzação de um procedmento de encolhmento (Shrnkng procedure) baseado nos k-vznhos mas próxmos, realza a unão dos objetos mas homogêneos segundo os seus atrbutos. Após a aplcação do procedmento de encolhmento, o CLUES constró soluções, avalando-as medante o valor da função de slhueta ou do Índce CH. Anda em Wang et. al. (2007) é relatado que os resultados obtdos com a utlzação da função de slhueta e do índce CH foram comparados. A partr dessa comparação, observou-se que medante a aplcação do Índce Slhueta foram produzdas soluções de melhor qualdade no que concerne ao número de grupos defndos e à formação de soluções denomnadas perfetas em tal trabalho. Esse algortmo fo desenvolvdo em R e o seu códgo fonte está dsponível em um pacote do software estatístco R. O trabalho de Cruz [Cruz, 2010] traz uma proposta de algortmos heurístcos mas sofstcados no que concerne aos procedmentos de construção, de busca local e de perturbação. Mas especfcamente, estes algortmos foram baseados nas metaheurístcas Algortmos Genétcos, Busca Local Iterada (Iterated Local Search) e GRASP (Greedy Randomzed Adaptve Search Procedure). O dferencal desses algortmos está na ncorporação de procedmentos para a construção de grupos parcas, concetos de Memóra Adaptatva e Buscas Locas que utlzam o algortmo k-means para a unão de grupos parcas. Anda no trabalho de Cruz (2010) foram propostos também métodos híbrdos. Estes métodos utlzam algumas das soluções produzdas pelos algortmos heurístcos, ou seja, soluções assocadas com alguns valores de k e que sejam consderadas promssoras no que concerne ao número deal de números, porém não necessaramente a melhor solução para tal número. Consderando estes valores específcos de k, são aplcadas duas formulações de programação ntera, quas sejam: para o problema de agrupamento com dâmetro mínmo e dos k-medods [Cruz, 2010]. Nos expermentos apresentados neste trabalho foram realzadas comparações com o algortmo da lteratura CLUES [Wang et. al., 2007]. O presente trabalho propõe um método de classfcação baseado em densdade que tem por objetvo a dentfcação do número deal de grupos. Ou seja, dentfcar de forma não supervsonada padrões semelhantes e que possam refletr na forma como os dados são estruturados. O método proposto consste na aplcação de um algortmo de agrupamento clássco baseado em densdade DBSCAN (Densty Based Spatal Clusterng of Applcatons wth Nose) [Ester et. al., 1996]. Esse algortmo necessta de dos parâmetros, sejam eles: a dstânca e a densdade (quantdade de objetos no rao de alcance de um objeto, nclundo o própro objeto). Para a calbração desses parâmetros fo utlzada a técnca proposta na lteratura denomnada DstK e descrta na seção 3.2. É mportante ressaltar que o DBSCAN fo adaptado para que todos os objetos que compõem uma nstânca sejam consderados. Essa modfcação decorre do fato de o algortmo DBSCAN tradconal classfcar os objetos em Interores, Lmítrofes e Ruídos e, os objetos classfcados como Ruídos serem gnorados pelo algortmo em sua versão orgnal. Como o algortmo DBSCAN é determnístco, foram obtdos dferentes valores para cada um de seus parâmetros com o objetvo de encontrar soluções dversfcadas no que dz respeto ao número de grupos e à dstrbução dos objetos nesses grupos. Conforme Nald [Nald, 2011], os índces de valdação relatvos têm sdo utlzados e nvestgados extensvamente, tendo estes apresentado resultados satsfatóros em dversos cenáros. Os índces relatvos, como própro nome sugere, têm como fnaldade avalar a qualdade relatva das soluções produzdas por dferentes métodos de agrupamento. Estes índces não têm a propredade de monotoncdade, ou seja, não são afetados pelo aumento ou pela redução do número de grupos da solução. Dessa forma, podem ser utlzados na avalação de dversas soluções, provenentes de dversos algortmos. No presente trabalho, assm como nos algortmos da lteratura consderados nos expermentos, as soluções obtdas são avaladas pelo índce de slhueta, que é um índce relatvo. Ou seja, buscar-se-á a resolução de um problema de otmzação cuja função deve ser maxmzada A Slhueta O Índce Slhueta fo proposta por Rousseeuw [Rousseeuw, 1987]. Esta medda determna a qualdade das soluções com base na proxmdade entre os objetos de determnado grupo e na dstânca desses objetos ao grupo mas próxmo. O índce slhueta é calculado para cada objeto, sendo possível dentfcar se o objeto está alocado ao grupo mas adequado. Esse índce combna as deas de coesão e de separação. Os quatro passos a segur explcam, brevemente, como calculá-lo: 245

5 1. Neste trabalho d j (Equação 7) corresponde à dstânca eucldana entre os objetos e j, e p é a quantdade de atrbutos dos objetos. Para cada objeto x calcula-se a sua dstânca méda a( x ) (Equação 8) em relação a todos os demas objetos do mesmo grupo. Na Equação 8, C w representa a quantdade de objetos do grupo C w, ao qual o objeto pertence. x p 2 j = ( x x ) (7) x= 1 d j 1 a( x ) = dj j C 1 w x x, x j Cw (8) 2. A Equação 9 apresenta a dstânca entre o objeto x e os objetos do grupo objetos do grupo C t. Para cada objeto grupos ( b( x ) ) (Equação 10). C, em que C é a quantdade de x calcula-se a sua dstânca méda em relação a todos os objetos dos demas t t 1 x d( x, Ct ) = d j Ct j C t (9) = C t t Cw Ct b( x ) mn d( x, C ) C (10) 3. O coefcente slhueta do objeto x ( s( x )) pode ser obtdo pela Equação 11. b( x ) a( x ) s( x ) = (11) max{ b( x ), a( x )} 4. O cálculo da slhueta de uma solução S é a méda das slhuetas de cada objeto, conforme apresenta a Equação 12, em que n é a quantdade de objetos da solução. Essa função deve ser maxmzada. n 1 Slhueta( S) = s( x ) n = 1 (12) Os valores postvos de slhueta ndcam que o objeto está bem localzado em seu grupo, enquanto valores negatvos ndcam que o objeto está mas próxmo de outro(s) grupo(s). A Fgura 2 apresenta um exemplo gráfco de uma solução consttuída por dez grupos e objetos com duas dmensões. As cores dos objetos ndcam as suas slhuetas e, quanto mas escuro o tom de cnza, menor o valor da slhueta (próxmo de zero). Observa-se que nesse exemplo nenhum objeto possu a slhueta negatva. Conforme Nald [Nald, 2011], este índce é mas aproprado para agrupamentos volumétrcos, com grupos gerados de acordo com dstrbuções Gaussanas multdmensonas hperesfércas ou moderadamente alongadas, porém ele não obteve bons resultados para grupos com formatos arbtráros [Rousseeuw, 1987]. Em [Hruschka et. al., 2004a] é proposta uma versão smplfcada do índce de slhueta. Nesta versão são efetuadas modfcações nos cálculos de a(x ) e b(x ) com o objetvo de reduzr a complexdade do algortmo de O(n 2 ) para O(n). Segundo 246

6 os autores desse trabalho, mesmo com a redução da complexdade, esse novo índce mantém a qualdade próxma ao da slhueta tradconal, o que é confrmado por [Vendramn et. al., 2009] [Vendramn et. al., 2010]. 3 O MÉTODO PROPOSTO Com o objetvo de dentfcar o número deal de grupos em cada nstânca, propõe-se no presente trabalho um método que consste em uma varante do algortmo DBSCAN [Ester et. al., 1996], denomnado MRDBSCAN (do nglês Multple Runs of DBSCAN). Mas especfcamente, a partr dos parâmetros ncas do DBSCAN são consderados dferentes valores de entradas, determnados a partr de uma técnca denomnada Dstk, técnca essa baseada nas dstâncas dos k-vznhos mas próxmos a cada objeto. As soluções obtdas são avaladas com a utlzação do índce relatvo de slhueta, que deve ser maxmzado. Consequentemente, as soluções com os maores valores para esse índce são consderadas de melhor qualdade, sendo os números de grupos (valores de k) assocados a essas soluções apresentados como os deas. De forma a facltar o entendmento dessa nova varante, apresenta-se a segur (subseção 3.1) uma descrção concsa do algortmo DBSCAN Algortmo DBSCAN Os algortmos de agrupamento baseados em densdade têm como objetvo a determnação de grupos (regões) de alta densdade de objetos separados por regões de baxa densdade. Nesse contexto, o algortmo DBSCAN [Ester et. al., 1996] é um dos mas conhecdos da lteratura e possu uma complexdade computaconal O(n 2 ). Trata-se de um algortmo smples, efcente, e que contempla concetos mportantes, que servem de base para qualquer abordagem baseada em densdade. O DBSCAN utlza-se de um conceto de densdade tradconal baseada em centro, ou seja, a densdade de um objeto x é a quantdade de objetos em um determnado rao de alcance de x, nclundo o própro objeto. Este algortmo possu como parâmetros de entrada o rao (raodbscan) e a quantdade mínma de objetos em um determnado rao (qtdeobjetos). Assm, a densdade de um objeto depende do rao especfcado. Deve-se, então, calbrar o parâmetro raodbscan para que o seu valor não seja tão alto de forma que todos os objetos tenham densdade n (solução com apenas um grupo), e nem tão baxo em que todos os objetos terão densdade 1 (solução com n grupos denomnados sngletons). A abordagem da densdade baseada em centro realza a classfcação dos objetos em: Interores ou Centras: objetos que pertencem ao nteror de um grupo baseado em densdade. Deve possur uma quantdade de objetos em seu rao raodbscan gual ou superor ao parâmetro qtdeobjetos - 1. Lmítrofes: não é um objeto central, mas é alcançável por ao menos um objeto central, ou seja, está dentro do rao de vznhança de algum objeto central. Ruídos: demas objetos que não são Centras e nem estão na vznhança de um objeto central. Para a aplcação do algortmo DBSCAN são consderados os seguntes passos: 1. Classfcar os objetos como Objetos Centras, Lmítrofes ou Ruídos. 2. Elmnar os objetos que sejam classfcados como Ruídos. 3. Adconar arestas entre todos os Objetos Centras que estejam dentro do raodbscan. 4. Tornar cada grupo de Objetos de centro um grupo separado. 5. Atrbur cada Objeto lmítrofe a um dos grupos dos seus objetos centras assocados. Como base nestas nformações, a Fgura 3 lustra a classfcação dos objetos em Ruído, Lmítrofe ou Interor. Essa mesma fgura apresenta também uma solução obtda com a execução do DBSCAN, em que é possível observar que objetos dentfcados como dos tpos Interor ou Borda formam grupos enquanto objetos do tpo Ruído permanecem solados e não fazem parte de nenhum grupo. 247

7 (x)ruído (+)Borda (o)nteror Solução obtda Fgura 3: classfcação de 3000 objetos de duas dmensões pelo DBSCAN [Kumar et. al., 2009] Tendo em vsta que o DBSCAN é um algortmo baseado em densdade, o mesmo é mune a ruídos, uma vez que esses objetos são dentfcados e gnorados (não pertencem a grupos). Além dsso, o algortmo pode trabalhar com grupos de tamanhos (número de objetos) e formas arbtráras. Dessa forma, ele é capaz de dentfcar grupos que não poderam ser encontrados medante a aplcação de outros algortmos, como por exemplo, o k-means. Conforme fo comentado, o K-means tende a produzr grupos com formato hperesférco, de tamanhos semelhantes e bem separados. Entretanto, ao aplcar-se o DBSCAN em nstâncas que possuem densdades muto varadas, pode mplcar na classfcação dos objetos pertencentes a áreas de baxa densdade como ruídos. Este fato tende reduzr a qualdade dos resultados obtdos no que dz respeto à quantdade de grupos e ao índce slhueta. 3.2-Seleção de Parâmetros para o Algortmo DBSCAN Em [Kumar et. al., 2009] é apresentada uma abordagem para calbrar o rao aproprado, nttulada Dstk. Esta abordagem consste em, para um valor ntero k* fornecdo como o parâmetro de entrada, analsar o comportamento das dstâncas entre cada objeto e o seu vznho de índce k* mas próxmo, ou seja, o seu k-ésmo vznho mas próxmo. O objetvo desse procedmento é dentfcar os valores de dstâncas que resultaram em soluções de qualdade, obtdas medante a execução do algortmo DBSCAN. Um valor baxo para a dstânca entre um objeto x e o seu vznho de índce k* mas próxmo ndca que esses objetos pertencem a um mesmo grupo, enquanto valores relatvamente altos ndcam que os objetos não pertencem ao mesmo grupo ou anda, ndca a ocorrênca de objetos classfcados como ruídos. A abordagem consste, bascamente, nos passos a segur: 1. Para cada objeto x, obter o seu vznho mas próxmo x j de índce k* e a dstânca d j. 2. Adconar as dstâncas entre esses objetos em um vetor de dstâncas V dst. 3. Ordenar V dst de forma crescente e construr um gráfco DstK com os valores de V dst. 4. Identfcar as grandes varações nos valores das dstâncas de V dst. Espera-se que uma mudança abrupta (nflexão) nesses valores corresponda a um valor aproprado para o parâmetro raodbscan. Para obter o k-ésmo-vznho mas próxmo de cada objeto x, as dstâncas entre x e os demas objetos são adconadas em um vetor, que deve ser ordenado (custo computaconal O(n log n) em que n é a quantdade de objetos). Uma vez que a ordenação deve ser realzada para cada objeto, o custo computaconal total para a obtenção dos parâmetros que devem ser nformados ao algortmo DBSCAN é O(n 2 log n), custo esse superor, nclusve, ao do algortmo DBSCAN que é O(n 2 ). O algortmo DBSCAN orgnal utlzou k* = 4. Segundo [Kumar et. al. 2009], esse é um valor razoável para a maora dos conjuntos de dados bdmensonas. Porém, anda é necessáro dentfcar um valor nteressante para o parâmetro raodbscan. Com o objetvo de obter dferentes soluções para a calbragem do DBSCAN, conforme a abordagem DstK, 248

8 foram utlzados os valores de k* pertencentes ao conjunto B = {3,4,5,10,15,20,50}. Além dsso, para a determnação do parâmetro raodbscan foram utlzadas quatro regras, obtdas emprcamente através de expermentos prelmnares, quas sejam: 1. Medana: Consderar o valor da medana obtda a partr de V dst. 2. Maor: Consderar o maor valor de V dst. 3. Pco10: Dvdr o vetor V dst em 10 partes com a mesma quantdade de dstâncas e verfcar a maor dferença entre V dst [+1] e V dst [], para = {1,2,..., 10}. A dstânca consderada será (V dst [+1]+V dst []) / Pco20: Dvdr o vetor V dst em 20 partes com a mesma quantdade de dstâncas e verfcar a maor dferença entre V dst [+1] e V dst [], para = {1,2,..., 20}. A dstânca consderada será (V dst [+1]+V dst []) / 2. As quantdades de partes utlzadas pelas regras Pco10 e Pco20 foram determnadas com base em expermentos empírcos. Tendo em vsta que as quantdades de partes são constantes (10 e 20 partes), a dentfcação de grandes varações de valores de V dst ocorre em O(1) (constante). Uma vez que foram utlzados sete valores dstntos de k* e, para cada valor foram obtdas quatro dstâncas de rao (raodbscan), os expermentos realzados consderaram 28 confgurações dferentes. A Fgura 4 apresenta um gráfco DstK para a nstânca 200DATA consderando k*=3. Com base neste gráfco, a lnha que ntercepta o exo Y em um valor próxmo de 3,0 corresponde à regra 2 (maor dstânca obtda). A lnha que ntercepta o exo Y próxmo de 0,5 corresponde à regra 1 (a medana das dstâncas obtdas), enquanto as lnhas dos valores 2,1 e 1,9 representam, respectvamente, as dstâncas obtdas medante a aplcação das regras 3 e 4. 4-Expermentos Computaconas Fgura 4: nstânca 200DATA DstK para K*=3. A presente seção traz um conjunto de resultados computaconas obtdos a partr da aplcação de alguns dos algortmos ctados na seção 2 e do novo método que utlza o algortmo DBSCAN (MRDBSCAN). Observa-se que os algortmos da lteratura foram mplementados utlzando dferentes lnguagens de programação, compladores e foram executados em dferentes máqunas e sstemas operaconas. Além dsso, alguns códgos fonte da lteratura não estavam dsponíves até o momento da preparação desse trabalho. Em face destas observações, a comparação entre os algortmos da lteratura e o MRDBSCAN, no que concerne à sua performance, fcou restrta à qualdade das soluções com base na função slhueta e nas quantdades de grupos dentfcadas. Ou seja, os tempos de processamento estão dsponblzados apenas para o MRDBSCAN. A mplementação do MRDBSCAN fo feta em Lnguagem C++, utlzando o paradgma de orentação a objetos, em um ambente de desenvolvmento Eclpse for C/C++ Developers. Todos os expermentos computaconas foram realzados em um computador dotado de um processador 7 de 3.0 GHz e com 8GB de RAM e o sstema operaconal Ubuntu 9.10, kernel

9 É mportante destacar que não fo explorada a capacdade de multprocessamento do equpamento utlzado e não fo utlzado nenhum conhecmento prévo sobre as nstâncas ou resultados obtdos por outros trabalhos da lteratura. Os algortmos da lteratura para os quas resultados foram apresentados e comparados foram os seguntes: CLUES (CLUstErng based on local Shrnkng) [Wang et. al., 2007]: mplementado no software estatístco R [Matloff 2011] e dsponível no pacote clues. CLUSTERING [Tseng and Yang, 2001]: mplementação de um Algortmo Genétco em C++ realzada por [Soares, 2004]. SAPCA (Smulated Annealng) e AEC-RC (Algortmo Evolutvo com Reconexão por Camnhos): proposto e mplementado em C++ por [Soares, 2004]. AECBL1 (Algortmo Evolutvo com Busca Local), GBLITRC1 (GRASP com Reconexão de Camnhos) e IBLITRC1 (Busca Local Iterada com Reconexão de Camnhos) de [Cruz, 2010]: os melhores resultados obtdos para cada nstânca consderando os três algortmos. Desenvolvmento feto em lnguagem C++. Em relação ao ntervalo relaconado com o número de grupos, é uma prátca comum em abordagens sstemátcas utlzar [2, k max ], sendo k max = n 1/2 ([Pal and Bezdek, 1995][Pakhra et. al., 2005][Campello et. al., 2009]. Em partcular, no MRDBSCAN esse ntervalo fo consderado para ndcar se o número de grupos torna válda ou não a solução, uma vez que o algortmo não possu o parâmetro do número de grupos. Para a realzação dos expermentos foram utlzadas 83 nstâncas da lteratura que estão dstrbuídas em três conjuntos de (DS - Datasets). Estas nstâncas possuem um número de objetos varando entre 30 e 2000, o número de dmensões (atrbutos) entre 2 e 60 e dferentes característcas relaconadas, por exemplo, com a coesão, à separação e às densdades dos grupos. O prmero conjunto (DS1), apresentado pela Tabela 1, possu 10 nstâncas bem conhecdas da lteratura com a quantdade de objetos entre 75 e 1484 e dmensões (quantdade de atrbutos) entre 2 e 60 [Fsher, 1936][Ruspn, 1970][Maronna and Jacovks, 1974][Wang et. al., 2007][Haste et. al., 2001][Nald, 2011]. Tabela 1: Conjunto de Instâncas DS1 Instânca N o Objetos Dmensão 200DATA chart gauss rs maronna ruspn 75 2 sphercal_4d3c vowel wne yeast O segundo conjunto (DS2), apresentado na Tabela 2, possu 51 nstâncas que foram construídas por [Cruz, 2010] utlzando a ferramenta Dots desenvolvda por [Soares and Och, 2004]. Estas nstâncas possuem uma quantdade de objetos entre 100 e 2000, sendo todas com duas dmensões e o número de grupos entre 2 e 27. Nesse conjunto os nomes das nstâncas foram defndos conforme a quantdade de objetos, de grupos, e se os grupos são bem defndos, coesos e separados (denomnados comportados em Cruz (2010)). A Fgura 5 apresenta, respectvamente, as nstâncas 200p4c e 300p4c1, em que 200p4c ndca uma nstânca comportada com 200 objetos e 4 grupos e a nstânca 300p4c1 ndca uma nstânca não comportada com 300 objetos e 4 grupos. 250

10 Fgura 5: lustrações das nstâncas 200p4c e 300p4c1 Tabela 2: Conjunto de Instâncas DS2 Instânca N o Objetos Instânca N o Objetos Instânca N o Objetos 100p10c p3c p23c p2c p3c p12c p3c p4c p5c p3c p6c p14c p7c p3c p5c p8c p4c p6c p5c p17c p27c p7c p19c p6c p2c p3c p17c p3c p4c p6c p4c p6c p22c p4c p15c p24c p7c p3c p11c p8c p4c p26c p12c p15c p9c p13c p10c p10c p18c p2c p4c1 800 O tercero conjunto (DS3), apresentado pela Tabela 3, possu 11 nstâncas que foram construídas e utlzadas por [Soares and Och, 2004][Soares, 2004]. Tas nstâncas possuem quantdade de objetos entre 30 e 2000, sendo todas com duas dmensões. Tabela 3: Conjunto de Instâncas DS3 Instânca N o Objetos Instânca N o Objetos 30p p4c 300 outlers_ags p5c p 97 numbers 437 3dens p4c 450 Outlers 150 moreshapes p p3c 500 convdensty 175 numbers p p3c 600 convexo p5c 900 2face p6c 1000 Face p11c 2000 No prmero expermento são apresentados os resultados obtdos com a execução do DBSCAN nos três conjuntos de dados. Neste expermento são apresentados as quantdades de grupos das melhores soluções, o valor do índce slhueta e algumas estatístcas em relação aos tempos de execução. 251

11 Em um prmero momento, o MRDBSCAN utlza a técnca de calbração de parâmetros DstK. Nesse sentdo, para a obtenção dos valores de raodbscan são utlzadas as regras propostas no presente trabalho, quas sejam: medana, maor, Pco10 e Pco20. Uma vez que são consderados sete valores de k* e quatro regras, são obtdas 28 confgurações, sendo cada uma destas confgurações correspondente a um valor para o parâmetro raodbscan e um valor para o parâmetro qtdeobjetos. De posse dessas confgurações, o algortmo DBSCAN adaptado deve ser executado. Por fm, as soluções obtdas devem ser avaladas por meo da aplcação do Índce Slhueta. A quantdade de grupos da solução que resulta no maor valor do índce slhueta é ndcada como a deal. As Tabelas 4, 5, 6 e 7 apresentam os melhores resultados em relação às 28 confgurações do DBSCAN obtdos para, respectvamente, as nstâncas do DS1, DS2 parte 1, DS2 parte 2 e DS3. Nessas tabelas, a coluna k ndca o número de grupos correspondente ao maor valor da slhueta, a coluna FX corresponde ao maor valor de slhueta e a coluna Tempo possu colunas com o menor, o maor, a méda dos tempos de execução dos algortmos que encontraram o maor valor da slhueta (em segundos) e o desvo padrão (DESVP) dos tempos de execução. É possível observar que o valor da slhueta fo postvo e maor ou gual a 0,5 para todas as nstâncas do DS1, o que ndca, por sua vez, que os grupos têm uma boa estrutura [Rousseeuw, 1987]. Além dsso, apenas para as duas maores nstâncas em quantdade de objetos o tempo de execução fo superor a 1 segundo, sejam elas: gauss9 (900 objetos) e a yeast (1484 objetos). Em relação aos resultados apresentados pelas Tabelas 5 e 6, referentes às nstâncas do grupo DS2, observa-se que o valor da slhueta fo negatvo apenas para 2 das 51 nstâncas e ambas são consderadas nstâncas não comportadas. Os tempos de processamento vararam entre 1 e 11 segundos, consderando as nstâncas com um número de objetos entre 900 e 2000 objetos. Tabela 4: Melhores Resultados Produzdos pelo MRDBSCAN Consderando o Conjunto DS1 Tempo (segundos) Instânca k FX Menor Maor Médo Desvp DS1-200DATA 3 0,823 0,021 0,022 0,022 0,000 DS1-chart 2 1,000 0,360 0,361 0,360 0,000 DS1-gauss9 2 0,151 1,032 1,032 1,032 0,000 DS1-rs 2 0,687 0,013 0,019 0,016 0,003 DS1-maronna 2 0,562 0,021 0,022 0,022 0,000 DS1-ruspn 4 0,738 0,006 0,010 0,008 0,002 DS1-sphercal_4d3c 4 0,689 0,106 0,107 0,106 0,000 DS1-vowel2 2 0,417 0,229 0,229 0,229 0,000 DS1-wne 2 0,545 0,019 0,025 0,022 0,003 DS1-yeast 3 0,550 4,600 4,634 4,617 0,024 Em relação aos resultados apresentados pela Tabela 6, referentes às nstâncas do grupo DS3, observa-se que o valor da slhueta fo postvo para todas as nstâncas. Os tempos de processamento foram da ordem de 1,5 segundos para a nstânca com 1000 objetos (1000p6c) e da ordem de 11 segundos para a nstânca maor, com 2000 objetos (2000p11c). As Tabelas 4, 5, 6 e 7 apresentam os melhores resultados obtdos ndependente dos parâmetros submetdos ao MRDBSCAN. Com o objetvo de dentfcar os melhores parâmetros, ou seja, a melhor calbração realzada, a Tabela 8 (apresentada mas à frente) traz os resultados concernentes à aplcação das quatro regras, consderando cada um dos 7 valores de k* para o Dstk. Tabela 5: Melhores Resultados Produzdos pelo MRDBSCAN Consderando o Conjunto DS2 Tempo (segundos) Instânca k FX Menor Maor Médo Desvp DS2-1000p14c 15 0,808 1,445 1,468 1,457 0,011 DS2-1000p27c1 3-0,293 1,448 1,454 1,451 0,004 DS2-1000p5c1 2 0,164 1,479 1,500 1,489 0,014 DS2-1000p6c 6 0,736 1,562 1,566 1,564 0,001 DS2-100p10c 8 0,692 0,009 0,009 0,009 0,000 DS2-100p2c1 2 0,743 0,009 0,009 0,009 0,000 DS2-100p3c 3 0,786 0,008 0,009 0,008 0,000 DS2-100p3c1 5 0,104 0,008 0,008 0,008 0,000 DS2-100p5c1 2 0,423 0,010 0,015 0,012 0,

12 DS2-100p7c 7 0,834 0,008 0,009 0,008 0,000 DS2-100p7c1 2-0,013 0,009 0,015 0,012 0,002 DS2-100p8c1 9 0,402 0,009 0,009 0,009 0,000 DS2-1100p6c1 5 0,369 1,945 1,968 1,956 0,016 DS2-1300p17c 18 0,806 3,044 3,075 3,060 0,014 DS2-1500p6c1 18 0,123 4,804 4,804 4,804 0,000 DS2-1800p22c 23 0,791 8,081 8,129 8,106 0,023 DS2-1900p24c 25 0,788 9,372 9,376 9,374 0,002 DS2-2000p11c 11 0,713 11,123 11,131 11,126 0,002 DS2-2000p26c 27 0,789 10,980 11,036 11,008 0,026 DS2-2000p9c1 2 0,164 10,990 11,045 11,018 0,027 DS2-200p12c1 3 0,403 0,029 0,035 0,032 0,004 DS2-200p2c1 6 0,625 0,026 0,026 0,026 0,000 DS2-200p3c1 2 0,648 0,023 0,024 0,023 0,000 Tabela 6: Melhores Resultados Produzdos pelo MRDBSCAN Consderando o Conjunto DS2 Tempo (segundos) Instânca k FX Menor Maor Médo Desvp DS2-200p4c 4 0,773 0,022 0,030 0,026 0,003 DS2-200p4c1 3 0,623 0,024 0,030 0,027 0,004 DS2-200p7c1 3 0,392 0,026 0,032 0,029 0,004 DS2-200p8c1 13 0,423 0,026 0,026 0,026 0,000 DS2-300p10c1 3 0,512 0,055 0,055 0,055 0,000 DS2-300p13c1 3 0,404 0,032 0,038 0,035 0,004 DS2-300p2c1 4 0,621 0,071 0,071 0,071 0,000 DS2-300p3c 3 0,766 0,055 0,063 0,059 0,004 DS2-300p3c1 2 0,640 0,056 0,064 0,060 0,004 DS2-300p4c1 3 0,269 0,055 0,063 0,059 0,004 DS2-300p6c1 2 0,549 0,055 0,055 0,055 0,000 DS2-400p17c1 14 0,183 0,120 0,120 0,120 0,000 DS2-400p3c 3 0,799 0,114 0,124 0,119 0,005 DS2-400p4c1 2 0,379 0,117 0,117 0,117 0,000 DS2-500p19c1 20 0,136 0,211 0,211 0,211 0,000 DS2-500p3c 3 0,825 0,210 0,212 0,211 0,001 DS2-500p4c1 2 0,305 0,209 0,221 0,215 0,006 DS2-500p6c1 12 0,495 0,212 0,212 0,212 0,000 DS2-600p15c 15 0,781 0,335 0,336 0,336 0,000 DS2-600p3c1 2 0,687 0,354 0,354 0,354 0,000 DS2-700p15c1 2 0,123 0,532 0,532 0,532 0,000 DS2-700p4c 4 0,797 0,524 0,540 0,532 0,007 DS2-800p10c1 2 0,079 0,765 0,783 0,773 0,009 DS2-800p18c1 24 0,266 0,757 0,774 0,765 0,012 DS2-800p23c 23 0,787 0,791 0,792 0,792 0,000 DS2-800p4c1 2 0,509 0,780 0,797 0,788 0,012 DS2-900p12c 12 0,841 1,061 1,088 1,072 0,011 DS2-900p5c 5 0,716 1,092 1,094 1,093 0,001 A Tabela 8 traz uma síntese dos resultados obtdos consderando os Gaps (Equação 13) em relação aos melhores resultados obtdos para as regras Maor, Medana, Pco10 e Pco20, respectvamente. Essa tabela apresenta, respectvamente, os gaps médo, medano, o desvo padrão, o maor e o menor gaps em relação aos melhores valores obtdos por conjunto de nstâncas. Anda na Tabela 8, em relação à regra Maor, os maores gaps para as nstâncas de DS1 e DS3 foram de apenas 0,1%. Observa-se, porém, que para o conjunto DS2 o maor Gap fo de 12,2%. Com base na coluna Méda, os conjuntos DS1 e DS3 apresentaram gaps médos de 0%, e o conjunto DS2 um gap de apenas 1,1%. 253

13 A mesma tabela apresenta uma síntese de resultados com a aplcação da regra Medana. Nesse caso, a méda e os maores gaps não foram satsfatóros, embora em cada conjunto de nstâncas, ao menos para uma nstânca a melhor solução obtda fo alcançada. A méda dos gaps fo de 7,7% e o maor gap fo de 56,3%. Tabela 7: Melhores Resultados Produzdos pelo MRDBSCAN Consderando o Conjunto DS3 Tempo (segundos) Instânca k FX Menor Maor Médo Desvp DS3-1000p6c 6 0,736 1,435 1,437 1,436 0,001 DS3-157p 4 0,666 0,016 0,016 0,016 0,000 DS3-181p 6 0,737 0,020 0,020 0,020 0,000 DS3-2000p11c 11 0,713 11,011 11,039 11,016 0,006 DS3-2face 2 0,667 0,023 0,024 0,023 0,000 DS3-300p4c 4 0,750 0,056 0,056 0,056 0,000 DS3-30p 2 0,382 0,004 0,004 0,004 0,000 DS3-350p5c 5 0,759 0,082 0,093 0,087 0,004 DS3-3dens 2 0,762 0,011 0,012 0,011 0,000 DS3-450p4c 4 0,766 0,154 0,159 0,155 0,001 DS3-500p3c 3 0,825 0,210 0,210 0,210 0,000 DS3-600p3c 3 0,751 0,349 0,371 0,357 0,007 DS3-900p5c 5 0,716 1,100 1,102 1,101 0,001 DS3-97p 3 0,711 0,008 0,012 0,010 0,003 DS3-convdensty 3 0,854 0,019 0,025 0,022 0,003 DS3-convexo 6 0,669 0,023 0,023 0,023 0,000 DS3-face 2 0,079 0,067 0,067 0,067 0,000 DS3-moreshapes 7 0,728 0,196 0,196 0,196 0,000 DS3-numbers 9 0,560 0,143 0,143 0,143 0,000 DS3-numbers2 10 0,600 0,251 0,268 0,258 0,006 DS3-outlers 2 0,787 0,014 0,019 0,017 0,004 DS3-outlers_ags 7 0,754 0,007 0,007 0,007 0,000 Tabela 8: Síntese dos Melhores Resultados Obtdos (Gaps) Medante Aplcação das Quatro Regras Médo Medano DESVP Maor Menor DS1 0,00% 0,00% 0,00% 0,00% 0,00% DS2 1,10% 0,00% 2,73% 12,19% 0,00% DS3 0,01% 0,00% 0,02% 0,10% 0,00% TODAS 0,58% 0,00% 2,03% 12,19% 0,00% DS1 13,08% 5,79% 21,64% 56,30% 0,00% DS2 7,28% 4,44% 8,05% 20,26% 0,00% DS3 3,38% 0,00% 8,27% 20,26% 0,00% TODAS 7,68% 1,39% 12,08% 56,30% 0,00% DS1 0,74% 0,00% 1,57% 4,04% 0,00% DS2 6,17% 0,00% 13,81% 61,78% 0,00% DS3 0,18% 0,00% 0,40% 1,37% 0,00% TODAS 3,92% 0,00% 11,15% 61,78% 0,00% DS1 0,00% 0,00% 0,00% 0,00% 0,00% DS2 3,44% 0,00% 9,22% 40,04% 0,00% DS3 0,43% 0,00% 1,10% 4,57% 0,00% TODAS 2,23% 0,00% 7,39% 40,04% 0,00% Maor Medana Pco10 Pco20 254

14 ( Slhuetabest + 1) ( Slhueta + 1) gap = Slhueta + 1 best (13) A Tabela 8 apresenta também uma síntese de resultados com a aplcação das regras Pco10 e Pco20. Embora novamente em cada conjunto de nstâncas, ao menos para uma nstânca a melhor solução obtda fo alcançada, a méda e os maores gaps não foram satsfatóros. Para a regra Pco10 a méda fo de 3,9% e o maor gap fo da ordem de 61,8% enquanto para a regra Pco20 a méda fo de 2,2% e o maor gap fo da ordem de 40,0%. Conforme os resultados apresentados na Tabela 8, a Regra Maor apresentou-se superor às demas regras. Porém, os resultados apresentados nessa tabela não dscrmnam quas valores de k* foram utlzados para a obtenção das dstâncas (parâmetro rao) e, consequentemente, à aplcação das quatro regras. A Tabela 9 apresenta uma síntese dos resultados obtdos com a aplcação da análse DstK para todos os valores de k* utlzados nos expermentos desse trabalho, sejam eles k* = {3,4,5,10,15,20,50}. Nessa tabela a coluna Menor, que apresenta o menor gap em relação aos melhores resultados obtdos para cada nstânca, ndca que para todos os valores de k* utlzados fo possível alcançar o valor de slhueta da melhor solução obtda nos expermentos desse trabalho. A coluna medana fo dferente de 0% somente para k* = 20 no conjunto de dados DS3, em que o gap fo de apenas 0,1%. Tabela 9: Resultados do Dstk3 em Relação ao Melhor Resultado Obtdo K* DS MEDIA MEDIANA DESVP MAIOR MENOR DS1 6,02% 0,00% 11,15% 34,95% 0,00% DS2 7,19% 0,00% 12,08% 40,04% 0,00% DS3 1,87% 0,00% 5,66% 25,87% 0,00% TODAS 5,62% 0,00% 10,76% 40,04% 0,00% DS1 5,93% 0,00% 10,92% 34,20% 0,00% DS2 9,69% 0,00% 15,10% 61,66% 0,00% DS3 1,27% 0,00% 2,28% 7,07% 0,00% TODAS 6,87% 0,00% 12,78% 61,66% 0,00% DS1 3,04% 0,00% 4,90% 10,37% 0,00% DS2 10,39% 0,00% 17,68% 61,78% 0,00% DS3 0,85% 0,00% 1,71% 7,07% 0,00% TODAS 6,71% 0,00% 14,30% 61,78% 0,00% DS1 1,62% 0,00% 3,46% 10,36% 0,00% DS2 6,65% 0,00% 13,13% 51,92% 0,00% DS3 1,54% 0,00% 2,99% 9,85% 0,00% TODAS 4,39% 0,00% 10,28% 51,92% 0,00% DS1 2,01% 0,00% 3,42% 10,12% 0,00% DS2 5,95% 0,00% 9,53% 36,84% 0,00% DS3 1,40% 0,00% 2,52% 8,88% 0,00% TODAS 3,87% 0,00% 7,44% 36,84% 0,00% DS1 7,52% 0,00% 17,20% 49,64% 0,00% DS2 7,36% 0,00% 10,84% 37,74% 0,00% DS3 3,51% 0,10% 6,98% 22,23% 0,00% TODAS 6,27% 0,00% 10,82% 49,64% 0,00% DS1 8,19% 0,00% 18,45% 56,30% 0,00% DS2 6,84% 0,00% 14,38% 55,57% 0,00% DS3 1,29% 0,00% 3,10% 11,02% 0,00% TODAS 5,30% 0,00% 13,05% 56,30% 0,00% Anda com base na Tabela 9, observa-se que os menores gaps médos foram observados para os valores k*=15 e k*=10, com respectvamente 3,87% e 4,39%. Além dsso, com base na coluna Maor, que possu o maor gap em relação ao melhor resultado obtdo nesse expermento, o menor valor fo obtdo nos expermentos consderando k* = 15, que também possu o menor desvo padrão. Como fo apresentado anterormente, neste trabalho as soluções foram classfcadas em váldas e nváldas conforme a quantdade de grupos. Uma solução válda possu a quantdade de grupos no ntervalo [2, n 1/2 ]. 255

15 A Fgura 6 apresenta o gráfco de barras com os percentuas de soluções váldas consderando os conjuntos de nstâncas DS1, DS2 e DS3, bem como as quatro regras. Com base nessa fgura, podemos destacar as regras Pco10 e Pco20 com percentuas de soluções váldas próxmas ou guas a 100% em todos os conjuntos de nstâncas. Fgura 6: quanttatvo de soluções váldas por regra A Fgura 7 apresenta o gráfco de barras com os percentuas de soluções váldas consderando os conjuntos de nstâncas DS1, DS2 e DS3 bem como os valores de K* para o expermento DstK. Nesse gráfco destacam-se os resultados obtdos para K* = {3,4,5}, em que os percentuas de soluções váldas foram de 100% para os conjuntos de nstâncas DS1 e DS3 e superor a 88% para o DS2. Fgura 7: quanttatvo de soluções váldas por valor de k em DstK A Fgura 8 apresenta os quanttatvos de soluções váldas do conjunto de nstâncas DS2, separando as nstâncas consderadas comportadas das não comportadas (classfcação utlzada no trabalho de [Cruz, 2010]). As soluções das nstâncas comportadas foram superores em quanttatvos de soluções váldas tanto na méda quanto consderando a Medana. A Fgura 9 apresenta a méda e a medana dos valores das melhores soluções obtdas consderando, também, a dvsão entre as nstâncas comportadas e não comportadas. Nesse gráfco observa-se novamente a superordade dos resultados relaconados às nstâncas comportadas. Enquanto a méda e a medana das soluções das nstâncas não comportadas são nferores a 0,4, os resultados das nstâncas comportadas são superores a 0,73. Fgura 8: quanttatvo de soluções váldas do DS2 256 Fgura 9: méda e medana das soluções obtdas do DS2

16 No segundo expermento apresentado no presente trabalho, além da apresentação e análses dos resultados obtdos pelo Método Proposto, foram efetuadas comparações com os algortmos da lteratura que consderam a mesma função de avalação (Índce Slhueta). Com base nos resultados apresentados por [Soares, 2004], para a comparação foram consderados os melhores resultados obtdos pelos algortmos SAPCA e AEC-RC. O MRDBSCAN obteve resultados equvalentes ou superores em 13 das 16 nstâncas. Além dsso, em relação ao número de grupos das três nstâncas em que o método obteve resultados nferores, o resultado para a nstânca Irs ndca a mesma quantdade de grupos e nos resultados das nstâncas Face e Moreshapes a dferença no número de grupos fo de apenas uma undade. A Tabela 10 apresenta resultados comparatvos obtdos entre o MRDBSCAN e os algortmos propostos por [Tseng and Yang, 2001] e por [Soares, 2004] em um subconjunto com 16 nstâncas consderadas neste trabalho. Devdo à heterogenedade dos ambentes e das tecnologas em que os expermentos foram realzados, foram apresentados apenas os valores do índce slhueta e o número de grupos das melhores soluções obtdas para cada nstânca. Tabela 10: Comparação com Resultados da Lteratura TZENG E YANG SOARES MRDBSCAN INSTÂNCIA CLUSTERING SAPCA AEC-RC BEST k Slhueta k 200Data 0,541 0,823 0,823 0, ,823 3 Irs 0,601 0,686 0,686 0, ,687 2 Ruspn 0,550 0,737 0,737 0, , p6c 0,367 0,735 0,727 0, , p 0,657 0,667 0,667 0, , p11c 0,287 0,658 0,611 0, , face 0,513 0,666 0,666 0, , p5c 0,568 0,758 0,758 0, , dens 0,742 0,762 0,762 0, , p 0,706 0,710 0,710 0,710-0,711 3 Convdensty 0,818 0,854 0,854 0, ,854 3 Convexo 0,618 0,667 0,667 0, ,669 6 Face 0,402 0,511 0,511 0, ,079 2 Moreshapes 0,436 0,731 0,725 0, ,728 7 Numbers 0,417 0,546 0,542 0, ,560 9 Numbers2 0,513 0,527 0,565 0, , Em relação aos resultados do algortmo CLUSTERING, proposto por [Tseng and Yang, 2001], o MRDBSCAN apresentou resultados superores em 15 das 16 nstâncas. Além dsso, na nstânca Face, únca em que as soluções possuíram slhuetas nferores, o número de grupos do algortmo CLUSTERING dferu do número de grupos do MRDBSCAN em apenas uma undade. A Tabela 11 sumarza os melhores resultados produzdos pelos algortmos propostos por [Cruz, 2010] e por [Wang, X. et al., 2007] para um subconjunto com 49 nstâncas consderadas neste trabalho. Novamente, em decorrênca da heterogenedade dos ambentes e das tecnologas utlzadas nos expermentos realzados, foram apresentados apenas os valores do índce slhueta e o número de grupos das melhores soluções obtdas para cada nstânca. Tabela 10: Comparação com Resultados da Lteratura. A partr dos resultados reportados na Tabela 11, fo avalada a dferença entre o número de grupos assocado à melhor solução (métodos da lteratura) produzda para as nstâncas do conjunto DS2, em relação às soluções obtdas com o método MRDBSCAN. Com objetvo de tornar esta análse correta e justa, foram consderadas, separadamente, as nstâncas comportadas (total de 17) e as não comportadas (total de 28). As Fguras 10 e 11 mostram estes resultados. 257

17 Tabela 11: Comparação com Resultados da Lteratura Best MRDBSCAN Best MRDBSCAN Nome FX K FX K Nome FX K FX K Ruspn 0, , DS2-200p4c1 0, , Irs 0, , DS2-200p7c1 0, , Maronna 0, , DS2-300p13c1 0, , data 0, , DS2-300p2c1 0, , DS2-1000p14c 0, , DS2-300p3c 0, , DS2-1000p27c1 0, , DS2-300p3c1 0, , DS2-1000p5c1 0, , DS2-300p4c1 0, , DS2-1000p6c 0, , DS2-300p6c1 0, , DS2-100p10c 0, , DS2-400p17c1 0, , DS2-100p2c1 0, , DS2-400p3c 0, , DS2-100p3c 0, , DS2-400p4c1 0, , DS2-100p3c1 0, , DS2-500p3c 0, , DS2-100p5c1 0, , DS2-500p4c1 0, , DS2-100p7c 0, , DS2-500p6c1 0, , DS2-100p7c1 0, , DS2-600p15c 0, , DS2-1100p6c1 0, , DS2-600p3c1 0, , DS2-1300p17c 0, , DS2-700p15c1 0, , DS2-1500p6c1 0, , DS2-700p4c 0, , DS2-1800p22c 0, , DS2-800p10c1 0, , DS2-2000p11c 0, , DS2-800p18c1 0, , DS2-2000p9c1 0, , DS2-800p23c 0, , DS2-200p12c1 0, , DS2-800p4c1 0, , DS2-200p2c1 0, , DS2-900p12c 0, , DS2-200p3c1 0, , DS2-900p5c 0, , DS2-200p4c 0, , Fgura 10: Instâncas Comportadas Fgura 11: Instâncas Não Comportadas Com base nos resultados apresentados na fgura dez, observa-se, que na maora dos casos (77% das nstâncas comportadas), o MRDBSCAN produzu o número de grupos gual ao número de grupos assocado à melhor solução da lteratura. Além dsso, em menos de 10% das nstâncas esta dferença fo de duas undades. No que concerne às nstâncas não comportadas, os resultados foram apenas razoáves. Mas especfcamente, em cerca da metade dos casos (47% das nstâncas) o MRDSCAN produzu um número de grupos com até duas undades de 258