Problemas de Agrupamentos: Uma Abordagem via Pesquisa em Vizinhança Variável (VNS)

Transcrição

1 Problem de Agrupmento: Um Abordgem vi Pequi em Vizinhnç Vriável (VNS) Dlil R. Serp¹, Antonio A. Chve², Frncico de A. Corrê³, Luiz A. N. Loren¹ ¹Progrm de Metrdo em Computção Aplicd - CAP, INPE ²Fculdde de Engenhri de Gurtinguetá UNESP Gurtinguetá SP, Bril ³Univeridde Pulit UNIP São Joé do Cmpo SP, Bril {dlil.erp, loren}@lc.inpe.br, chve@feg.unep.br, corre@unip.br Abtrct. The need to group dt in order to undertnd n object or phenomenon till unknown gve rie to the clutering problem. The clutering dt i bed on imilrity between object of dt et, where the mot imilr object re in the me group. Thi pper preent new pproch to clutering problem with the Vrible Neighborhood Serch (VNS) metheuritic. The VNS i chrcterized by performing erche in ditnt neighborhood. Uing model for clique prtitioning, the lgorithm generted prtition to different dt et. Thoe prtition were evluted with the externl vlidtion index CRnd. Moreover, the reult of VNS were compred with other lgorithm in the literture nd cn be conidered promiing lgorithm for olving clutering problem. Reumo. A neceidde de e grupr ddo fim de entender um objeto ou um fenômeno ind deconhecido deu origem o problem de grupmento. O grupmento é feito com be n imilridde entre o objeto de um conjunto ddo, onde o mi imilre ficm no memo grupo. Ete trblho propõe um nov bordgem pr problem de grupmento por meio d met-heurític Vrible Neighborhood Serch (VNS). O VNS é crcterizdo por relizr buc em vizinhnç ditnte. Utilizndo um modelgem pr prticionmento em clique, o lgoritmo gerou prtiçõe pr diferente conjunto de ddo. E prtiçõe form vlid pelo índice de vlidção extern CRnd. Além dio, o reultdo do VNS form comprdo com outro lgoritmo encontrdo n litertur e pode er

2 coniderdo um lgoritmo promior pr olução de problem de grupmento. Plvr-chve: Agrupmento. VNS. Prticionmento em clique. 1. Introdução Peo de diferente áre de etudo encontrm grnde número de informçõe todo intnte. E informçõe ão rmzend como ddo, pr fcilitr nálie futur. Clificr ou grupr ee ddo é um mneir de trblhá-lo fim de decobrir conjunto de ctegori entre ele, im entendendo um novo objeto ou um novo fenômeno [Xu e Wunch 005]. De form, urgem o problem de grupmento. Em um definição gerl, ee problem ão crcterizdo pel neceidde de e grupr objeto de um conjunto de ddo de form mnter o mi imilre no memo grupo (cluter). E imilridde é repreentd por lgum crcterític que ej comum entre o objeto do memo cluter. Pr olucionr ee problem, diferente técnic ou lgoritmo de grupmento ão encontrdo n litertur. Segundo Bárbr (000) e Jin et l (1999), ee lgoritmo ão dividido em doi tipo principi: hierárquico e prticionl. A diferenç entre ele etá n etrutur reultnte de cd um, onde o hierárquico germ um equênci ninhd de prtiçõe e o prticioni um únic prtição do ddo. Exitem tmbém o lgoritmo de grupmento bedo em teori do grfo [Brbr 000; Xu e Wunch 005]. Entre o mi conhecido etão o lgoritmo de prtição em clique [Mehrotr 1998; Kochenberger et l 005; Amorim et l 199]. O funcionmento dele é bedo no prticionmento de um grfo em clique (ubgrfo completo), onde o número de clique é igul o número de cluter encontrdo. Outr bordgem interente é trblhr um problem de grupmento como um problem de otimizção [Brbr 000]. A idéi é plicr um lgoritmo bedo em um modelo mtemático onde o objetivo ej mximizr ou minimizr o vlor de um função. Ete lgoritmo heurítico buc encontrr melhor olução dentre muit gerd por ele, m não grnte que melhor olução encontrd relmente ej olução ótim, poi im como pode chegr próximo o ótimo tmbém pode tê-lo encontrdo. Um exemplo é o lgoritmo k-médi que tent minimizr o erro qudrático entre o objeto e eu centro de cluter (em outr plvr, tent minimizr om d ditânci entre o objeto e eu centro de cluter). Aper de er um do lgoritmo mi utilizdo pr ete fim, qundo há um grnde número de objeto no conjunto de ddo, o tempo computcionl neceário pr e chegr à melhor olução e torn btnte elevdo [Chng et l 009]. Ete fto motivou o etudo de plicçõe de met-heurític [Chng et l 009; Ncimento et l 010; Al-Sultn 1995; Amorim et l 199] ee problem, qui preentrm reultdo emelhnte e té melhore que o k-médi (entre outro lgoritmo) em menor tempo computcionl. Um trblho de detque n áre de met-heurític é: Ncimento et l (010) que propõe um modelo mtemático pr olução de problem de grupmento. O modelo é tetdo com met-heurític GRASP (Greedy rndomized dptive erch procedure) [Feo e Reende 1995]. O utore utilizm conjunto de ddo biológico e vlim o cluter gerdo pelo GRASP com o índice de vlidção Corrected Rnd

3 (CRnd) [Hubert e Arbie 1985]. Além dio, comprm o reultdo com o lgoritmo: k-médi, k-medin [Kufmn e Roueeuw 1990] e Prticionmento em torno de medin (PAM, do inglê Prtitioning Around Medoid) [Kufmn e Roueeuw 1990]. Com be no etudo de met-heurític citdo cim, ete trblho propõe um nov bordgem pr problem de grupmento trvé do lgoritmo Buc em Vizinhnç Vriável (VNS, do inglê Vrible Neighborhood Serch), propoto inicilmente por Mldenovic e Hnen (1997). Nete trblho, o VNS foi modeldo pr olucionr grupmento por meio do prticionmento em clique. A oluçõe gerd pelo VNS form vlid trvé do índice de vlidção CRnd. A função dete índice é motrr, ettiticmente, quão correto etão o grupmento. O cálculo do CRnd é feito utilizndo du prtiçõe: gerd pelo lgoritmo de grupmento e que tem o grupmento rel. O vlor de CRnd vri entre [0,1], endo que qunto mi próximo de 0, mi diferente ão du prtiçõe (o cluter encontrdo em um ão diferente do encontrdo n outr). E qunto mi próximo de 1, mi emelhnte ão prtiçõe (o cluter encontrdo em um ão o memo encontrdo n outr), conttndo combinção perfeit n du prtiçõe. Pr utilizá-lo é neceário que o conjunto de ddo udo no experimento trgm clificção rel de cd objeto. O fto de ur clificçõe rei do objeto é que crcteriz ee índice como vlidção extern. O trblho etá orgnizdo d eguinte form: n eção, é preentdo o lgoritmo, motrndo eu funcionmento e eu peudocódigo. N eção 3, ão decrito o conjunto de ddo utilizdo e metodologi do experimento computcionl. Além dio, ão preentdo o reultdo obtido no experimento e um breve nálie dele. E por último, n eção 5, lgum coniderçõe fini.. VNS plicdo problem de grupmento Trtr um problem de grupmento como problem de otimizção tornou-e um bo opção qundo e tem um conjunto exteno de ddo. Utilizr método determinítico (lgoritmo que grntem encontrr olução ótim) eri o idel, m novmente encontrrímo problem com relção o tempo computcionl que ele demndm. A met-heurític vêm endo recentemente invetigd n reolução de grupmento, poi memo não grntindo encontrr olução ótim, ão cpze de chegr té el (ou próximo el) em tempo computcionl ceitável. Bendo ne idéi e tmbém no trblho de Ncimento et l (010), ete trblho preent um nov bordgem heurític por meio do VNS que é crcterizdo por fzer troc itemátic de vizinhnç. Combindo com um buc locl, ele ó ceit olução e e omente e el for melhor encontrd. Aqui, o VNS trblhrá como um lgoritmo de prticionmento em clique, bedo n formulção propot em Ncimento et l (010). Pr melhor entender eu funcionmento, imgine um conjunto de ddo repreentdo como um grfo G = ( V, E), onde V é o conjunto do N objeto (repreentdo por N nó) e E o conjunto de ret não direciond que ligm o objeto i o j. A ditânci entre o doi objeto define o vlor do peo ocido cd ret. Inicilmente, cd nó etá ligdo com todo o outro nó, formndo um grfo completo.

4 No VNS o conjunto de nó do grfo é repreentdo por um vetor = { 1,,..., N }, endo N o número de objeto. A cd poição dee vetor é tribuíd um cle, numericmente repreentd de cordo com quntidde de cluter definid priori. Aim o objeto correpondente à poição do vetor pertencerá à cle tribuíd e poição. Ee vetor erá chmdo de olução. A Figur 1, ilutr um exemplo de olução, com 9 objeto e 3 cle Figur 1 Repreentção de um olução A oluçõe ão vlid por um função objetivo que clcul om d ditânci entre o objeto do memo cluter. Sej N, o número de objeto d olução e d ditânci entre o objeto i e j, função objetivo f () é dd por: f() = N 1 i= 0 N d j= i+ 1 i = j onde, om d ditânci d erá feit qundo i = j, ou ej, ditânci ó erá omd e o cluter do objeto i e j forem igui. Nete trblho, função objetivo erá minimizd. N fe inicil, o lgoritmo ger olução letorimente, ou ej, tribui um cluter letório cd poição d olução. Aim ão gerd 100 oluçõe e pen que obtem menor vlor d função objetivo é ecolhid pr er olução inicil do VNS. O Procedimento 1 motr e rotin. Procedimento 1 Gerr olução inicil( ) 1: Ler ddo(); : Inicilizr olução inicil ; 3: Inicilizr olução uxilir Aux ; 4: Sej C o número de cluter exitente; 5: Enqunto (condição de prd não tifeit) fç 6: Pr cd poição de Aux fç c 1,C ; 7: Atribuir rndomicmente um cluter [ ] 8: fim-pr; 9: Avlir trvé d função objetivo ( ) 10: Se f ( Aux) < f () então 11: Aux ; 1: fim-e; 13: fim-enqunto; 14: fim. f ; A prtir d olução inicil, o VNS ger um vizinho letório pertencente V p e plic um buc locl nele. Nete trblho, o proceo de um vizinhnç ( ) gerção d vizinhnç pr o VNS contrá bicmente com doi movimento: troc do cluter entre doi objeto (wp) e mudnç de um objeto de cluter (hift).

5 Função Gerr vizinho (olução, vizinhnç p) 1: ; : Co p ej: 3: 1: Trocr o cluter entre 1 pr letório de objeto de em ; 4: : Mudr letorimente 1 objeto de cluter em ; 5: 3: Trocr letorimente o cluter entre pre letório de objeto em ; 6: 4: Mudr letorimente objeto de cluter em ; 7: 5: Trocr o cluter entre 3 pre letório de objeto em ; 8: 6: Mudr letorimente 3 objeto de cluter em ; 9: fim-co; 10: Retorn ; 11: fim. Procedimento 3 Buc Locl(olução ) 1: Atribu um olução ; : Enqunto (condição de prd não tifeit) fç 3: Pr cd cluter c [ 1,C ] fç 4: Pegue um poição letóri de e tribu c el; 5: Gurde e poição pr que não ej viitd novmente; 6: Se f ( ) < f ( ) então 7: ; 8: Senão 9: ; 10: fim-pr; 11: fim-enqunto; 1: fim. Procedimento 4 VNS(olução inicil ) p 1: Sej mx o número de etrutur diferente de vizinhnç; : Sej melhor olução encontrd; 3: p 1; 4: ; 5: Enqunto (critério de prd não tifeito) fç V p ; 6: Gerr um vizinho d vinhnç ( ) 7: Aplicr Buc Locl em obtendo um ótimo locl 8: Se f ( ) < f ( ) então 9: ; 10: p 1; 11: Senão 1: p p + 1; 13: fim-e; p > p 14: Se ( mx ) então 15: p 1; 16: fim-e; 17: fim-enqunto; 18: fim. ;

6 A etrutur de vizinhnç ão gerd prtir do movimento relizdo. Com io, qunto mi movimento relizr, mi ditnte erão vizinhnç. A Função ilutr o peudocódigo d rotin que ger o vizinho prtir d 6 etrutur de vizinhnç ( p = mx 6 ) definid pelo movimento de hift e wp. A buc locl reliz tete com todo o cluter em um poição d olução, ou ej, tet o memo objeto em todo o cluter exitente, ceitndo o cluter que obtiver menor vlor n função objetivo. E poição é gurdd pr que não ej viitd novmente durnte mem iterção do VNS. O Procedimento 3 motr o peudocódigo d buc locl. Por fim, o Procedimento 4 ilutr o peudocódigo do VNS plicdo problem de grupmento. Com o lgoritmo preentdo, form relizdo tete computcioni pr qutro conjunto de ddo encontrdo n litertur. 3. Experimento computcionl Pr tetr o VNS, form utilizdo qutro conjunto de ddo. Ee conjunto ão formdo por objeto (tmbém conhecido como motr, ponto ou pdrõe), cd objeto poui tributo (medid ou vriávei) que crcterizm o objeto quntittiv ou qulittivmente. Além dio, o conjunto de ddo ão dividido em diferente número de cluter. Nete trblho erão utilizdo o conjunto: Íri, Bret, Yet e Proteín. O trê primeiro podem er encontrdo em Auncion e Newmn (007) e o último em A idéi é vlir oluçõe gerd pr ee conjunto com o índice CRnd e im comprr o índice reultnte com o preentdo no trblho Ncimento et l (010), onde podem er encontrdo miore detlhe obre cd conjunto de ddo. A Tbel 1 ilutr etrutur de cd conjunto, onde primeir colun, Conjunto de ddo, motr o nome do conjunto. A egund colun, Objeto, motr quntidde de objeto. A terceir colun, Atributo, motr quntidde de tributo. E últim colun motr quntidde de cluter exitente em cd conjunto de ddo. Tbel 1. Etrutur do conjunto de ddo Conjunto de Objeto Atributo Cluter ddo Yet Bret Proteín Íri Como metodologi do tete foi inpird em Ncimento et l (010), tmbém form utilizd diferente métric de ditânci. São el: Ditânci Euclidin, Ditânci City-block, Coeno e Correlção de Peron. Sendo ik o k éimo tributo do objeto i e L o número de tributo, temo:

7 Ditânci Euclidin Comumente utilizd, clcul ditânci entre doi objeto trvé de eu tributo. Su formulção é dd por d = L ( ik ) k= 1 (1) Ditânci City-block E métric implemente retorn diferenç bolut entre o tributo de doi objeto. A formulção del é dd por d = L k= 1 ik () Correlção de Peron não centrlizdo ou Coeno E ditânci é um correlção geométric definid pelo ângulo entre doi objeto. A formulção é eguinte: D L k = 1 = L ik L ik k= 1 k = 1 (3) O vlor de D vri entre [-1,1]. Aim, qundo D = 1, ignific que ângulo entre o vetore é 0º, gor qundo D = 1, o ângulo é 180º. A ditânci coniderd é d = 1 D. Correlção de Peron E métric mede relção entre doi objeto e retorn um vlor entre [-1,1]. O vlor 1 ger um ocição poitiv (relção forte), enqunto -1 ger relção liner perfeit negtiv. A formulção é dd por L ik ik ik ( ik ) L ( ) r = (4) L A ditânci coniderd é dd por d = 1 r. Com intuito de vlir o reultdo, o VNS foi comprdo com GRASP [Ncimento et l 010], k-médi [McQueen 1967], k-medin [Kufmn e Roueeuw 1990] e PAM [Kufmn e Roueeuw 1990], todo utilizndo mem métric de ditânci.

8 O índice CRnd foi clculdo no oftwre R-Project deenvolvido pr cálculo ettítico. É grtuito e pode er obtido em O VNS gerou prtiçõe pr o qutro conjunto de ddo. E prtiçõe form vlid pelo índice CRnd. O lgoritmo foi executdo 0 veze e dentre e execuçõe, omente olução que obteve menor função objetivo foi coniderd, poi deej-e minimizr om d ditânci entre o objeto do memo cluter. Form relizdo tete com VNS grupndo o conjunto de ddo em C cluter, onde C vri de 1. A Tbel 3, 4, 5 e 6 motrm, repectivmente o vlore de C e CRnd pr Ditânci Euclidin, Ditânci City-block, Coeno e Correlção de Peron, encontrdo pelo VNS pr cd conjunto de ddo juntmente com o reultdo obtido pelo lgoritmo GRASP, k-médi, k-medin e PAM em Ncimento et l (010). O reultdo preentdo ão quele em que o vlor de C obteve mior vlor do CRnd. A colun Conjunto de ddo indic o nome do conjunto de ddo, enqunto colun C e CRnd indicm o número de cluter e o CRnd encontrdo pr C, repectivmente. O melhore CRnd etão ecrito em negrito. Conjunto de ddo Tbel. Reultdo do CRnd pr Ditânci Euclidin VNS GRASP k-médi k-medin PAM C CRnd C CRnd C CRnd C CRnd C CRnd Yet Bret Proteín Íri Conjunto de ddo Tbel 3. Reultdo do CRnd pr Ditânci City-block VNS GRASP k-médi k-medin PAM C CRnd C CRnd C CRnd C CRnd C CRnd Yet Bret Proteín Íri Conjunto de ddo Tbel 4. Reultdo do CRnd pr Coeno VNS GRASP k-médi k-medin PAM C CRnd C CRnd C CRnd C CRnd C CRnd Yet Bret Proteín Íri

9 Conjunto de ddo Tbel 5. Reultdo do CRnd pr Correlção de Peron VNS GRASP k-médi k-medin PAM C CRnd C CRnd C CRnd C CRnd C CRnd Yet Bret Proteín Íri Anlindo o reultdo, percebe-e que o VNS obteve o melhore reultdo pr lgum be, principlmente com Ditânci City-block e de mneir gerl, obteve bon reultdo. N Tbel, o VNS teve melhore reultdo: Bret e Íri, encontrndo o memo número de cluter que o número rel pr o doi conjunto de ddo. N Tbel 3, o VNS obteve 3 melhore reultdo, meno pr o conjunto Yet. Pr ditânci Coeno, Tbel 4, o VNS é o único coneguir o melhor reultdo pr Bret, encontrndo um número de cluter uperior o número rel. N Tbel 5, o VNS tmbém encontr pen 1 melhor reultdo (Proteín), m encontr o memo número de cluter que o rel. Como e pode ver, o VNS tem deempenho emelhnte o melhore lgoritmo, chegndo er o único preentr o melhor reultdo em um do co. Comprndo de form gerl, o GRASP preent o melhore reultdo, eguido do VNS, o que motr que o VNS é um lgoritmo promior n olução de problem de grupmento. 5. Coniderçõe fini Ete trblho propô um nov bordgem heurític o problem de grupmento por meio do lgoritmo VNS. Utilizndo um bordgem pr prticionmento em clique, met-heurític VNS gerou prtiçõe pr 4 conjunto de ddo. E prtiçõe form vlid pelo índice de vlidção extern: Corrected Rnd (CRnd). O reultdo obtido form comprdo com um trblho publicdo recentemente. A nálie do reultdo pode comprovr que o VNS tem deempenho competitivo o lgoritmo utilizdo n comprção. No experimento, ele obteve reultdo próximo ou igui o melhore lgoritmo e em um co foi o melhor lgoritmo. Dinte dee reultdo, o VNS pode er coniderdo um lgoritmo com potencil plicção problem de grupmento. Como trblho futuro, pretende-e ur met-heurític híbrid Buc por Agrupmento (CS, do inglê Clutering Serch) [Chve 009] n olução de problem de grupmento. Et met-heurític é crcterizd por relizr buc pen em regiõe promior à melhori d olução. O intuito do CS é melhorr o proceo de convergênci e diminuir o eforço computcionl. Acredit-e que o CS ej um lgoritmo promior n olução de problem de grupmento.

10 Referênci Al-Sultn, K.S. (1995), A Tbu erch pproch to the clutering problem. Pttern Recognition, 8, Amorim, S.G.; Brthélemy, J.P.; Ribeiro, C.C.(199), Clutering nd clique prtitioning: Simulted nneling nd tbu erch pproche. Journl of Clifiction, 9, Auncion, A. e Newmn, D. J. (007), UCI Mchine Lerning Repoitory. Irvine, CA: Univerity of Cliforni, School of Informtion nd Computer Science. Brbr, D.(000), An introduction to cluter nlyi for dt mining. [cedo em 6 de bril de 010]. Chng, Dong-Xi; Zhng, Xin-D e Zheng, Chng-Wen. (009), A genetic lgorithm with gene rerrngement for K-men clutering, Pttern Recognition, 4, Chve, A. A. (009). Um met-heurític híbrid com Buc por Agrupmento plicd problem de otimizção combintóri. Tee de Doutordo em Computção Aplicd - Intituto Ncionl de Pequi Epcii (INPE), São Joé do Cmpo, SP. Feo, T. e Reende, M. (1995). Greedy rndomized dptive erch procedure. Journl of Globl Optimiztion.6, Hubert, L. e Arbie, P.(1985). Compring prtition. Journl of Clifiction,, Jin, A.K. e Dube, R.C., Algorithm for Clutering, Prentice-Hll, Jin, A.K.; Murty, M.N.; Flynn, P.J.(1999), Dt clutering: A review. ACM Computing Survey 31(3), Kufmn, L.; Roueeuw, P.J., Finding group in dt: n introduction to cluter nlyi. Wiley, New York, Kochenberger, G.; Glover, Fred; Alidee, B.; Wng, Hibo. (005), Clutering of Microrry dt vi Clique Prtitioning. Journl of Combintoril Optimiztion, 10, McQueen, J. B. (1967) Some method for clifiction nd nlyi of multivrite obervtion. Proceeding of 5-th Berkeley Sympoium on Mthemticl Sttitic nd Probbility, Univerity of Cliforni Pre, Berkeley, Mehrotr, A.;Trick, M.(1998), Clique nd clutering: A combintoril pproch. Opertion Reerch Letter,, 1-1. Mldenovic, N. e Hnen, P.(1997), Vrible neighborhood erch. Computer nd Opertion Reerch, 4, Ncimento, M.C.V; Toledo, F.M.B. e Crvlho, A.C.P.L.F.(010), Invetigtion of new GRASP-bed clutering lgorithm pplied to biologicl dt. Computer nd Opertion Reerch, 37 (8),

11 Rnd, W.M. (1971). Objective criteri for the evlution of clutering method. Journl of the Americn Sttiticl Aocition.60, Xu, R. e Wunch, D. (005), Survey of clutering lgorithm. IEEE Trnction on Neurl Network, 16(3),