Um algoritmo de otimização online para a solução do problema SVM baseado na topologia de uma rede Perceptron dual

Transcrição

1 U algoro de ozação onlne para a solução do problea SVM baseado na opologa de ua rede Percepron dual Raul Fonseca Neo, Sauel Beln Deflppo Deparaeno de Cênca da Copuação UFJF Coordenação de Maeáca Aplcada e Copuaconal LNCC raulfonsecaneo@g.co.br, saueldeflppo@yahoo.co.br Resuo Ese rabalho consse no desenvolveno e pleenação de u algoro para a solução do problea relaconado ao renaeno de u classfcador denonado áquna de veores supores (SVM). Traa-se da solução de u problea dual de ozação quadráca colocado sob a fora de Wolfe. O éodo apresenado e coo ebasaeno eórco o desenvolveno de ua rede Percepron dual cua opologa esá relaconada a ua represenação dependene dos dados que copua ua função de saída responsável pela axzação da arge de separação dos dados e u problea de classfcação bnára. O algoro, denonado KPDS, Kernel Percepron Dual SVM, ulza ua fora as esável, poré, co ua enor axa de convergênca, de correção dos ulplcadores, co base no gradene da função lagrangeana.. Inrodução: O desenvolveno de classfcadores ernel, Sola e Scholopf [] e, e parcular, das áqunas de veores supores, Cores e Vapn [], represena u grande avanço, e, aé eso, ua udança de perspecva, no capo da aprendzage de áqunas, no conexo, sobreudo, do aprendzado supervsonado. Város probleas de classfcação, coo exeplo, o reconheceno de padrões coplexos de esruura não rígda ou de forações varáves coo a escra, fala e obeos deforáves, envolvendo os processos de caegorzação e generalzação do ser huano, passara a ser resolvdos co aor efcênca, angndo níves de perforance be acenuados, quase coparados aos processos decsóros de especalsas. A aplcação deses algoros de aprendzage, não se resue, enreano, a sulação dos processos de percepção. U grande núero de probleas reas pode ser soluconado co a ulzação desas écncas. Nese parcular, podeos desacar os probleas nas áreas de Medcna, Bologa, Engenhara, Econoa e Copuação, nclundo a oada de decsão e dagnóscos édcos; a análse de dados provenenes de experenos de croarray e a análse de seqüêncas bológcas; o conrole de processos e planas ndusras, o reconheceno de agens e o processaeno de snas; a neração de dados relaconados a coercalzação, esoques e lucravdade de epresas, e, fnalene, a neração de exos na web. Incalene, vaos abordar alguas das prncpas écncas ulzadas para o renaeno de áqunas de veores supores, ou sea, aplcadas a solução do problea de ozação quadráca na fora dual de Wolfe, conhecdo coo problea SVM, Cores e Vapn [], e descro coo: Max Λ.. Λ Sueo a : T Λ. Y = 0 0 Λ C T. H. Λ () consderando o veor Λ = (,,..., ) o veor de ulplcadores, Y = (y, y..., y ), o veor de róulos de valores bnáros e H a arz Hessana sérca, posva se-defnda co odos auovalores não negavos, na fora: H = [h, ], onde h, = y.y.k,, esando assocada a u conuno de renaeno Z = d d {(x, y )} e a ua função ernel : R xr R, sendo K, = (x,x ). Se a arz H for posva defnda, a função obeva do problea e a fora esraene convexa e a sua solução óa global relava a u pono de áxo que sasfaça as condções de KKT é únca, podendo ser obda, segundo Flecher [3], por algu éodo de ozação quadráca convexa. Enreano, eso se a arz Hessana for posva se-defnda a solução obda pode ser global e únca. No caso as geral, a solução não será únca se dado algua solução Λ, escolheos u veor Λ que perence ao espaço nulo da Hessana, sendo o veor Λ orogonal ao veor unáro, dervando ua solução Λ + Λ abé óa. Poré, a solução enconrada será sepre ua solução óa global, e conrase co as écncas de

2 Redes Neuras Arfcas, que eprega o algoro bacpropagaon, onde uas soluções de áxos locas poderão exsr.. Méodos de solução: A elaboração de u éodo para a solução do problea de ozação quadráca relaconado ao renaeno de ua áquna SVM depende, essencalene, de rês faores. E prero lugar, coo deveos consderar as nforações ulzadas da função obeva do problea, ou sea, nforações de prera orde ou nforações de segunda orde. E segundo lugar, se o éodo de renaeno, relaconado a écnca de ozação, deve ser pleenado de fora onlne, ou aravés de soluções bach. Fnalene, e ercero lugar, se a solução do problea será fea no espaço de varáves pras ou duas. A dfculdade aor na solução do problea de prograação quadráca, assocado a ese renaeno, esá no aanho da arz Hessana, que é quadráca e relação ao aanho do conuno de renaeno e exreaene densa, não perndo a ulzação de écncas efcenes de faoração no côpuo de sua nversa. Enreano, deveos consderar que na solução óa do problea, soene alguns ponos ou veores, chaados de veores supores, parcpa do conuno avo, possblando o eprego de écncas de ozação baseados na redução de varáves e e éodos de decoposção que ulza u subconuno de rabalho a cada eração. Aualene, exse váras écncas e éodos de ozação, aplcados ao renaeno de ua áquna SVM. Eses éodos, de cera fora, ulza-se de ua análse aproprada dos faores enconados, desenvolvendo, ass, deernadas esraégas específcas. O prero, radconalene as ulzado, esá relaconado ao uso de esraégas de conuno de rabalho, sendo consderado u éodo de decoposção. Ulza u solver de ozação não lnear, que reé a cada eração u sub-conuno de varáves, assocados a pedaços do conuno de renaeno, para a foração da arz Hessana. Esa écnca fo epregada por Osuna, Freund e Gros [4] no problea de reconheceno de agens deforáves ou faces. O segundo, desenvolvdo receneene por John C. Pla [5], pode ser consderado coo ua écnca de decoposção na sua fora as exrea. Nese caso, os sub-probleas de prograação quadráca envolve a cada eração, soene dos ulplcadores, podendo ser soluconados de fora analíca, se a necessdade de u solver de ozação não lnear. Recebeu o noe de Ozação Mína Seqüencal (SMO). O ercero, desenvolvdo por Fress, Crsann e Capbell [6], é ua écnca sples, as basane efcene conhecda coo Kernel Adaron. Fo desenvolvdo co a nrodução de funções Kernel no algoro Adaron, proposo por Anlauf e Behl [7]. Consse de u éodo de ozação onlne que ulza soene nforações de prera orde da função obeva do problea. A sua forulação clássca, descra por Capbell e Crsann [8], ulza a base do algoro Adaron realzando, enreano, ua análse as dealhada na avalação do bas da equação do hperplano. 3. Problea SVM co sof argn: Na ulzação de u hperplano óo coo separador e u problea de classfcação bnára pode ocorrer probleas onde o conuno de ponos não sea perfeaene lnearene separável. Nese caso, pode exsr algua fora de overlap enre as classes, provocando ua volação das resrções de classfcação do ssea. A fora as usual de corrgr ese problea consse na nrodução de varáves de folga não negavas, ou de relaxação das resrções, segundo Cores e Vapn [], que perrão que o conuno de renaeno sea separado lnearene co u núero íno de erros relaconado ao conrole da capacdade do classfcador. 3. Flexblzação da arge: Sea a nrodução das varáves de relaxação ε, =,...,, ondeε 0. Deveos nzar a função de erro: є σ, sueo às resrções de classfcação na fora relaxada: wx + b ε para y = + + b wx ε para y =, perndo, desa fora, segundo a Fgura, que alguns ponos ulrapasse a barrera dos hperplanos segundo os valores de ε. Claraene, os valores de ε esão assocados aos erros de renaeno. Se o valor de є esver condo no nervalo, 0 < ε <, os veores assocados ulrapassa a arge de segurança, se, no enano, ocorrere erros de classfcação. Por ouro lado, se ε >, enão o veor assocado x esá sendo classfcado na classe conrára, ocorrendo u erro de classfcação. Se os veores assocados aos erros de classfcação pudere ser separados do resane do conuno de renaeno, enão os dados reanescenes poderão ser renados de fora a defnr u hperplano separador óo. Ese problea pode ser raado de anera foral aravés da nzação de u funconal Φ que nclu ua edda de capacdade do classfcador, assocado a axzação da arge, e ua edda de penaldade dos erros de renaeno.

3 Consderando a forulação pral do problea SVM, eos: Mn ½ w. w + C. Φ ( є σ ) () Sueo a: wx + b ε para y = + + b wx ε para y =, ε 0, onde o parâero C é ua consane posva que conrola a penaldade do erro e o veor w se refere ao veor noral do hperplano separador. Fgura : SVM co sof argn. 3. Forulação SVM: Toando Φ(u) = u e σ =, eos, segundo Cores e Vapn [], a prera fora de solução do classfcador co sof argn relaconada a nzação da nora lnear ou noral L : T Mn w. w + C. ε (3) Sueo a: y w x + b + ε 0, para = ε ( ),..., 0 Inroduzndo os ulplcadores e µ, eos: Mn w w + C ε y( wx + b) + ε µ ε ou Mn w w y ( wx + b) + + ε( C µ ), µ 0 Fazendo uso do gradene da função lagrangeana e relação a w, b e є, e gualando a zero de odo a sasfazer as condções de oaldade de prera orde, eos: = 0 w y x = 0 w = 0 = 0 y b = 0 C µ = 0 ε Subsundo o valor de w na expressão da função lagrangeana e nroduzndo as deas equações coo resrções do problea, anulaos a dependênca da função obeva e relação aos parâeros w, b e є, esabelecendo o problea na fora dual de Wolfe, ou sea: Max L( ) = yy x, x (4) Sueo a: y = 0 C - - µ = 0 µ >= 0, >= 0 Consderando µ = C - e µ 0, eos C, possblando reescrever o problea SVM na fora quadráca confore apresenado e (): Max L( ) = yy x, x (5) Sueo a: y = 0 0 C A vabldade da solução do problea pral e dual, assocada às equações de copleenardade, esabelece as segunes condções de oaldade, conhecdas coo condções de KKT ( Karush-Kuhn- Tucer ): y w x + b + ε ( ) 0, µ ε, 0 ( y ( wx + b) + ε ) = 0 µ ε = 0 Podendo ser fea a segune análse de vabldade consderando a flexblzação na classfcação dos dados: º caso: O veor esa fora das argens. Se = 0 µ = C ε = 0 dervando: y ( wx + b) 0 º caso: O veor ulrapassa as argens. Se C => µ = 0 => є >= 0 = dervando: y ( wx + b) 0. 3º caso: O veor esá sobre a arge. Se 0 < < C => µ > 0 => є = 0 dervando: y ( wx + b) = 3.3 Funções ernel: Quando o conuno de dados não é lnearene separável aplcaos ua ransforação não-lnear dos dados, do espaço de enrada orgnal, para u espaço de as ala densão, denonado espaço de caraceríscas. Esa ransforação pode ser obda aravés do uso de váras funções de apeaeno. Após esa ransforação, os dados são separados de fora lnear no espaço de caraceríscas aravés da consrução de u hperplano separador por u po de classfcador coo as áqunas SVM, confore o exeplo da Fgura, que osra ua proeção de ponos de u espaço de enrada R para u espaço de caraceríscas R 3.

4 coo u parâero de regularzação e de flexblzação da arge e, por f, a anuenção do conuno de ulplcadores dferenes de zero, forando o conuno SV, que acelera o côpuo da função f dscrnane. O loop prncpal do algoro, coo vereos, esa odo os exeplos do conuno de renaeno, a exeplo do algoro Percepron, deernando ua época ou eapa no processo de aprendzage. Fgura : Espaço de enrada e de caraceríscas. De fora splfcada, podeos resur a ulzação de funções ernel apresenando o segune problea: Sea u conuno de ponos ou dados perencenes ao espaço eucldano R D, defndo coo espaço de enrada, sea F u espaço de as ala densão defndo coo espaço de caraceríscas. Defnndo ua função de apeaeno φ:r D F, x φ(x), podeos esabelecer ua função ernel, (x,x ) = <φ(x).φ(x )>, na fora de u produo nerno do apeaeno de dos veores assocados a função caracerísca φ, sendo x e x R D, consderando que a função aende as condções esabelecdas por Mercer [9]. É porane ressalar que o algoro de renaeno de u classfcador ernel coo ua áquna de veores supores, depende, soene, do produo nerno dos veores no espaço de enrada, segudo da avalação da função ernel, a f de deernar ua superfíce de decsão lnear ou hperplano separador no espaço de caraceríscas. Nese sendo, ao proearos os ponos no espaço de caraceríscas, aravés do apeaeno obdo pela função φ, necessaos defnr, soene, a função ernel, não precsnado avalar a função φ explcaene e ne eso conhecê-la. Ulzando a função no algoro de renaeno obeos ua superfíce de decsão lnear no espaço de caraceríscas F, a qual corresponde a ua superfíce de decsão não lnear no espaço de enrada. 4. Algoro KPDS: Nese rabalho desenvolveos e pleenaos u éodo onlne para a solução do problea SVM. O algoro e coo obevo a deernação do hperplano separador óo no espaço dual das varáves, esabelecendo u Percepron de larga arge. O processo de aprendzage é baseado no côpuo do gradene da função lagrangeana, apresenada na forulação (5), e relação a cada ulplcador, ou sea, deernaos L, assocado a ua axa de aprendzage η. Consderaos e nossa pleenação a ulzação de funções ernel, a adoção do parâero C 4. Topologa de rede: A prncpal dferença e relação ao algoro Kernel Adaron esá na fora de aualzação dos ulplcadores e de avalação do bas da equação. Os éodos onlne, e sua aora, aualza odos os ulplcadores a cada época, ou sea, a cada passage do conuno de renaeno, segundo a fora de correção do algoro Adaron. E nossa pleenação, opaos pela correção de u únco ulplcador a cada época, e ua fora de aprendzado caracerzada pela correção do veor ao padrão as nforavo, assocada a escolha de u vencedor, coo ocorre no processo de aprendzado copevo. Escolheos para aualzar sepre aquele ulplcador assocado ao aor valor da correção. Ou sea, aualzaos sendo = Arg Max { L }, anendo nalerados os valores dos deas ulplcadores. Ese éodo segue a fora de correção exsene no algoro MnOver, Knzel [0], que apesar de apresenar ua enor axa de convergênca, e relação ao algoro Adaron, produz resulados as esáves. Coo funções ernel pleenaos a função produo nerno, para a solução de probleas lnearene separáves, a função de Gauss para a solução de probleas no espaço de caraceríscas e alguas funções relaconadas ao copuo de slardades enre seqüêncas bológcas para a solução de probleas na área de Bo-Inforáca. A arz ernel, caso haa eóra sufcene, é copuada na fase ncal do algoro, no sendo de ornar as efcene a avalação da função f. A esruura do processaeno pode ser represenada pela opologa de rede do Percepron Dual, descra na Fgura 3, fornecendo a segune função dscrnane: f ( x ) = y ( x x ) + λ =,. (6) De oura fora, esa equação pode ser reescra consderando os valores de não assocados a veores supore guas a zero, resulando e: ( x ) = y ( x x ) + λ f, (7) SV ( x ) y f ( x ) g =, deernando a segune função de decsão: z ( x ) ϕ( g( )) x =, para ua função snal ϕ.

5 Fgura 3: Topologa de rede do algoro KPDS. 4. Base eórca e forulação: Para u problea SVM que consdera a relaxação de resrção de gualdade, na fora: Max L(, λ) = yyk( x, x ) λ y = = = = 0 C, λ rresro (8) copuaos a dervada parcal e relação a cada ulplcador : = y y K( x, x ) λ. y. = Toando o valor áxo: = y f ( x ), sendo = Arg Max, aualzaos o ulplcador vencedor co base na expressão: = η[ g( x )], sendo o novo valor de dado por: = 0 se + 0 = + se 0 < + < = C se + C Na aualzação do valor do bas, ulzaos u processo eravo de ausaeno co base no gradene da função lagrangeana L da equação (8) e relação ao parâero λ, ou sea, consderando: = y, λ = aualzaos o bas λ, ao fnal de cada época, e função do únco ulplcador odfcado, segundo a equação: λ = λ + y se + > 0, (9) λ = λ y se + 0. O créro de parada é defndo pelo cálculo da se-arge, cuo valor deve convergr para o valor unáro, ou sea, ao fnal de cada época copuaos: + γ = Mn f ( x ) Max f, ( ( ) ( ( ) ) x coparando seu valor ao nervalo: C є < γ < + є, para ua consane de erro є. O algoro, por aualzar soene u ulplcador a cada época, converge, segundo Knzel [0], a ua axa polnoal. Esa fora de ozação é equvalene na eora da aeáca aos éodos conhecdos coo row-acon, endo coo écncas slares o éodo de proeção de Bregan ou o éodo eravo de Hldreh para prograação quadráca, Bregan [], Hldreh []. 4.3 Análse das Condções de oaldade: A sasfação das condções de KKT, resulane da obenção da áxa arge, pode ser analsada da segune fora: Se 0 < < C e y. f(x ), enão não ocorre correção do ulplcador e o pono assocado peranece na arge coo u veor supore, aendendo a condção de KKT. Se 0 < < C e y. f(x ) > ou y. f(x ) <, enão o valor do ulplcador é alerado, ou sea, dnuído ou auenado, no sendo de sasfazer a condção de KKT. Se = 0 e y. f(x ) >, enão o valor de é dnuído, poré as resrções de canalzação faze co que o valor de peraneça zero. Se = 0 e 0 < y. f(x ) <, enão o valor de é auenado, descolando-se do valor zero, e o pono assocado se orna u veor supore. Se = C e y. f(x ) >, enão o valor de é dnuído e o pono desloca-se de denro da arge ornando-se u veor supore. Fnalene, se = C e 0 < y. f(x ) <, enão o valor de é auenado, poré as resrções de canalzação faze co que o valor de peranece gual a C e o pono denro da arge. 5. Resulados e Aplcações: Para coprovar a correude do algoro KPDS apresenaos a solução de u problea arfcal de classfcação bnára relaconado à dsposção de u

6 conuno de ponos no espaço de enrada R, sendo o eso, denonado problea da espral, de naureza não lnear, exgndo, para a sua solução o eprego de ua função ernel Gaussana. Aualene, esaos rabalhando uno ao núcleo de Bo-Inforáca do LNCC, ulzando o algoro KPDS co funções ernel relaconadas ao copuo da edda de slardade de seqüêncas bológcas e probleas de predção de esruuras secundáras de faílas de proeínas e no reconheceno de regões proooras. 5. Problea de separabldade não lnear: Sea, o conuno de ponos e R roulados pelas respecvas classes, confore o conuno de renaeno apresenado pela Fgura 4. resolvdo de anera efcene co a ulzação de funções Kernel. Fnalene, osraos a pleenação de u algoro onlne de renaeno de ua áquna SVM, denonado KPDS, que ulza ua fora as esável, poré co ua enor axa de convergênca, de correção dos ulplcadores, co base no gradene da função lagrangeana. Achaos, pelos eses realzados, que ese algoro apresena ua robusez superor ao algoro Kernel-Adaron de Fress, Crsann e Capbell [6]. Agradecenos: O auor Raul Fonseca agradece ao CNPq pelo apoo presado a realzação de seu Pós-Douorado. Referêncas: Fgura 4: Conuno de renaeno. Os segunes resulados fora apresenados pelo algoro KPDS, ulzando coo ernel a função gaussana co varânca σ =. Valor da arge: Veores supores: 0,,, 3, 4, 5, 6, 7, 8, 9, 0,,, 3, 4, 5, 6, 7, 8, 9, 0,,, 3, 4, 5, 6, 7, 8, 9, 30, 3, 3, 33, 34, 35, 36, 37, 38, 39, 40, 4, 4, 43, 44, 45, 46, 47, 48, 49, 50, 5, 5, 53, 54, 55, 56, 57, 58, 59, 60, 6, 6, 63, 64, 65, 66, 67, 68, 69, 70, 7, 7, 73, 74, 75, 76, 77, 78, 79, 80, 8, 8, 85, 86, 90, 9 Bas (λ): Conclusões: Nese rabalho descreveos, de fora sucna, o desenvolveno das áqunas de veores supores, ebasado na eora de prograação aeáca, nclundo a ulzação de ua arge flexível, chaada de sof argn, que pere a efeva realzação do conrole da capacdade do odelo e de seu poder de generalzação. Consderando a classe de hpóeses foradas por hperplanos ou funções lneares ncopaíves co a solução de probleas não lnearene separáves descreveos, abé, coo ese problea pode ser [] A. Sola e B. Scholopf. Learnng wh Kernels. MIT Press, 00. [] C. Cores e V. Vapn, Suppor Vecor Newors. Machne Learnng, 0: 73-97, 995. [3] R. Flecher. Praccal Mehods of Opzaon. John Wley and Sons, 987. [4] E. Osuna, R. Freund e F. Gros, Suppor Vecor Machnes: Tranng and Applcaons. A. I. Meo. n. 60, CBCL, AIL, MIT, 997. [5] J. C. Pla, Sequencal Mnal Opzaon: A Fas Algorh for Tranng Suppor Vecor Machnes. Techncal Repor n. MSR-TR-98-4, Mcrosof Research, Seale, 998. [6] T.-T Fress, N. Crsann e C. Capbell. The Kernel-Adaron Algorh: A Fas and Sples Learnng Procedure for Suppor Vecor Machnes. In Machne Learnng Proc. of he 5 TH Conf., San Francsco, Morgan Kauffan Pub., 998. [7] J. K. Anlauf e M. Behl, The Adaron: An Adapve Percepron Algorh. Europhys. Leers., 0:687-69, 989. [8] C. Capbel, e N. Crsann, Sple Learnng Algorhs for Tranng Suppor Vecor Machnes. Techncal Repor, Dep. of Engneerng Maheacs, Unversy of Brsol, UK, 998. [9] J. Mercer, Funcons of posve and negave ype and her connecon wh heory of negral equaons. Phlosophcal Transacons of he Royal Socey, London A 09, , 909. [0] W. Knzel, Sascal Mechancs of he Percepron wh Maxal Sably. Lecure Noes In Physcs, Sprnger Verlarg 368: 75-88, 990. [] L. M. Bregan, The relaxaon ehodof fndng he coon pon of convex ses and s applcaon o he soluon of probles n convex prograng. U.S.S.R. Copuaonal, Mah and Mah. Phys., 7:00-7, 967. [] C. Hldreh, A quadrac prograng procedure. Naval Res. Logs. Quar. 4: 79-85, 957.