3 Classificação Supervisionada

Transcrição

1 3 Cassfcação Supervsonada 3.. Aprendzado de Máquna A aprendzagem de máquna é uma área da ntegênca artfca que estuda métodos computaconas, a fm de obter um determnado conhecmento específco através de experêncas. Os agortmos de aprendzado de máquna possuem o foco em métodos estatístcos e a apcação prátca de aprendzado de máquna ncu o processamento de nguagem natura, dagnóstcos médcos, buscadores, entre outras. O reconhecmento de padrões é um tópco de aprendzagem de máquna cuo obetvo é cassfcar nformações baseadas ou em conhecmento a pror (supervsonado) ou em nformações estatístcas extraídas dos padrões (não supervsonado). Um sstema de reconhecmento de padrões consste em dos mecansmos, o prmero reaconado à extração de nformações (padrões), que processa as característcas semehantes, e o segundo capaz de cassfcar as observações, dependendo das característcas extraídas anterormente. Nessa dssertação, focaremos apenas no reconhecmento de padrões supervsonado, que se utza de um conunto dados de entrada, prevamente rotuados, com obetvo prncpa de capactar a máquna a aprender sobre o probema proposto. A segur, apresentaremos dos métodos de reconhecmento de padrão supervsonado, Máxma Verossmhança e Support Vector Machnes, mas para a cassfcação de magens podemos utzar outros métodos de aprendzado de máquna como Rede Neura, TBL, Árvore de Decsão entre outros. 3.. Máxma Verossmhança Consdere a famía D θ de dstrbuções de probabdades parametrzadas por um parâmetro θ desconhecdo assocado a uma função de densdade de

2 Cassfcação Supervsonada 4 probabdade (dstrbução contínua) ou a uma função de massa de probabdade (dstrbução dscreta), denomnado f. θ Sea x, x,, x K n um conunto de n vaores dessa dstrbução, e usando f θ para computar a densdade de probabdade através dos dados observados. Assumndo que as amostras do conunto x, x,, x K n são obtdas de forma ndependente umas das outras, podemos utzar um método de estmação de parâmetros conhecdo como máxma verossmhança para estmar o vaor do parâmetro θ. Dado a função de θ com defnda por: o vaor de x, x,, x K n fxos, a função de verossmhança é L( ) f ( x, K, x θ ) (3..) θ θ n O método de máxma verossmhança estma o parâmetro θ, encontrando ^ θ que maxmza L (θ ), dada pea função abaxo, em que Θ representa o espaço de característcas []: ^ θ arg max L( θ ) (3..) θ Θ No caso da dstrbução Gaussana unvarada, dos parâmetros devem ser estmados. Dessa manera, o parâmetro θ da função de máxma verossmhança passa a ser denotado peo conunto θ { µ,σ }, em que µ e σ representam a méda e a varânca, respectvamente. A representação resutante para a função de verossmhança para uma dstrbução Gaussana é defnda por: L( {, σ }) f { }( x, K, x { µ, σ }) (3..3) µ µ, σ n 3.3. Support Vector Machnes O modeo mas smpes de Support Vector Machnes (SVM), que também fo o prmero a ser ntroduzdo, é chamado Cassfcador de Margem Máxma. Ee trabaha apenas com dados nearmente separáves, fcando restrto, portanto, a poucas apcações prátcas. Apesar dessa mtação, o Cassfcador de Margem Máxma apresenta propredades mportantes e é a pedra fundamenta para a formuação de SVM mas sofstcadas.

3 Cassfcação Supervsonada 5 A Fgura 7 exbe um espaço de característcas nearmente separáves para um conunto de trenamento bdmensona e a Fgura 8 ustra um espaço nearmente nseparáve. A nha escura presente em ambas as fguras, que separa os vetores de entrada de casses dstntas, é chamada de superfíce de decsão (ou separação). Em partcuar, na Fgura 7, devdo à neardade da superfíce de decsão, a mesma também é conhecda como hperpano de separação. Fgura 7 Espaço de característcas nearmente separáve Fgura 8 Espaço de característcas nearmente nseparáve O cassfcador de margem máxma otmza mtes no erro de generazação das máqunas neares em termos da margem de separação entre as casses, a qua é determnada peo hperpano de separação. Essa estratéga envove separar os dados com um tpo especa de hperpano, o hperpano de margem máxma ou de separação ótma, que é descrto na próxma seção.

4 Cassfcação Supervsonada Hperpanos de Separação Ótma Um hperpano é consderado de margem máxma (ou de separação ótma) se separa um conunto de vetores sem erro e a dstânca entre os vetores (das casses opostas) mas próxmos ao hperpano é máxma []. A Fgura 9(a) mostra um hperpano com margem pequena e 9(b), um hperpano de margem máxma, para um conunto de trenamento bdmensona. Para o caso nearmente separáve, o agortmo de Support Vector Machnes tem como obetvo encontrar esse hperpano. Fgura 9 (a) Um hperpano de separação com margem pequena. (b) Um Hperpano de Margem Máxma Consdera um conunto S de pontos de entrada N x R com,, K, N. Cada ponto x pertence a uma das duas casses, sendo fornecdo, portanto, um rótuo y {, }. Supõe-se que há um hperpano que separa os exempos postvos dos negatvos. Os pontos x sobre o hperpano satsfazem w. x + b, em que w é norma (perpendcuar) ao hperpano, b / w é a dstânca perpendcuar do hperpano à orgem e w é a norma Eucdana de w. Sea a menor dstânca entre o hperpano de separação e os pontos na frontera da casse postva ( + ), e d a menor dstânca entre o hperpano de separação e os pontos mas próxmos na frontera da casse negatva ( ). A margem do hperpano deve ser, dessa forma d + + d. O agortmo de SVM procura o hperpano de separação com margem máxma que pode ser construído como segue. Assume-se que todos os dados de trenamento satsfazem as seguntes restrções: + d

5 Cassfcação Supervsonada 7 x. w + b +, para y + (3.3.) x. w + b, para y (3.3.) Podemos combnar estas desguadades e obter: y ( x. w + b),, K, N (3.3.3) Os pontos para os quas vae a guadade na restrção (3.3.) estão no hperpano H : x. w + b, que possu norma w e dstânca perpendcuar à orgem gua a b / w. Smarmente, os pontos para os quas vae a guadade da restrção (3.3.) estão no hperpano H : x. w + b, com norma novamente w e dstânca perpendcuar à orgem gua a d + d / w e a margem é smpesmente / w. b / w. Portanto, Pode-se observar que H e H são paraeos (ees têm a mesma norma) e que não há pontos de trenamento entre ees. Assm, é possíve encontrar o par de hperpanos que geram a margem máxma, pea mnmzação de w, sueto à restrção defnda em A defnção do hperpano é a segunte: dada uma amostra de trenamento nearmente separáve representada da segunte forma: S (( x y ),, (, )), K x y, o hperpano w. x + b pode ser encontrado souconando-se o probema de otmzação: mnmze sueto w, b a ( w. w), y (( x. w) + b),, K, (3.3.4) A soução para um caso bdmensona típco deverá ter a forma representada na fgura. Os pontos para os quas se apca a guadade na equação (3.3.3) (sto é, aquees que estão em um dos hperpanos H ou H ) e que, se forem removdos, devem aterar a soução encontrada, são chamados vetores de suporte. Esses pontos são ndcados na Fgura abaxo por círcuos extras.

6 Cassfcação Supervsonada 8 Fgura Hperpano de separação para o caso nearmente separáve. Os vetores de suporte estão crcuados. Para transformar o probema (3.3.4) em um probema quadrátco, é necessáro reescrevê-o da forma abaxo: mnmze sueto a w, b y ( w. w), (( x. w) + b),, K, (3.3.5) Para souconar esse probema de otmzação é usado o método dos mutpcadores de Lagrange. Há duas prncpas razões para sso:. A restrção (3.3.3) é substtuída por uma nova restrção, que é defnda em função dos mutpcadores de Lagrange, os quas são mas fáces de manusear computaconamente;. Nessa reformuação do probema, os dados de trenamento apenas aparecem na forma de produto nterno entre vetores. Essa é uma propredade cruca que permte generazar o procedmento para o caso não near [3]. São ntroduzdos os mutpcadores de Lagrange α K,. É reazado o, produto entre a restrção (3.3.3) e os mutpcadores de Lagrange postvos e esse produto é subtraído da função obetvo para formar a funcona de Lagrange. Portanto, para souconar o probema (3.3.5), deve-se encontrar o ponto de sea da segunte funcona de Lagrange: L P ( w. w) y ( x. w + b) + α α (3.3.6)

7 Cassfcação Supervsonada 9 A dervada de L P em reação a w e b, deve ser nua, sso corresponde ao fato de que no ponto ótmo, têm-se as seguntes equações de ponto de sea: L P ( w, b, α ) w w y α x (3.3.7) L P ( w, b, α) b y α (3.3.8) substtundo as reações obtdas, têm-se: w y α x (3.3.9) y α (3.3.) Dadas essas restrções acma, pode-se substtuí-as na Equação (3.3.6) e obter a formuação dua, uma vez que é computaconamente mas efcente encontrar o ponto de sea na formuação dua [4], a qua é defnda da segunte forma: L D α α α y y x x (3.3.) É mportante observar que, A soução é encontrada pea mnmzação de L P é o probema prma e L D o probema dua. L P ou maxmzação de L D. Há um mutpcador de Lagrange para cada ponto de trenamento. Na soução, os pontos para os quas α > são chamados vetores de suporte e estão em um dos hperpanos H ou H. Para SVM, os vetores de suporte são os eementos crítcos do conunto de trenamento. Ees estão na frontera, ou sea, mas próxmos do hperpano de decsão. Todos os outros pontos têm α. Se todos esses outros pontos forem removdos e o trenamento for repetdo, o mesmo hperpano deve ser encontrado [3]. Como os chamados vetores de suporte possuem α não nuos, ees são os úncos envovdos na expressão do vetor peso w, ogo, o vetor peso que representa o hperpano de margem máxma é cacuado na forma da combnação near abaxo: w y α x (3.3.)

8 Cassfcação Supervsonada 3 onde α, w pertencem a soução ótma. Pode, anda, ser reescrto em função apenas dos vetores de suporte: w vetores de sup orte y α x (3.3.3) Reescrevendo o probema novamente, agora coocando a expressão para w na funcona de Lagrange dua, o probema quadrátco de SVM torna-se o segunte: Dado α ( α K α ),, W ( α ) α y y α α ( x. x ) y α α,, K,, (3.3.4) ser uma soução para esse probema, então, a norma do vetor w, que corresponde ao hperpano ótmo é gua a: ndcadora: Maxmze Sueto a w ( ) α ( x. x ) W α α y y (3.3.5) vetores de sup orte A regra de separação, baseada no hperpano ótmo, é a segunte função f vetores de ( x) sgn y ( x. x) sup α b (3.3.6) orte na qua x são os vetores de suporte, a são os Coefcentes de Lagrange correspondentes e b é um mar constante: em que ( ) [( w. x ( ) ) + ( w. ( ) )] b x (3.3.7) x corresponde à quaquer vetor de suporte pertencente à prmera casse e x ( ), um vetor de suporte pertencente à segunda casse. O cassfcador de margem máxma, quando apcado a dados não separáves nearmente, não encontra a soução deseada. Isso é evdencado pea função obetvo (dua) que, apcada a dados não nearmente separáves, cresce arbtraramente. O prncpa probema desse cassfcador é que ee sempre constró hpóteses que se baseam na nexstênca de erros de trenamento. Entretanto, para dados com ruídos, que geramente mpca em separação não near, o mínmo para o rsco esperado não pode ser cacuado dessa forma, pos pode causar overfttng. Essas desvantagens motvaram o

9 Cassfcação Supervsonada 3 desenvovmento de técncas que permtem o tratamento de probemas não nearmente separáves va SVM Support Vector Machnes Não Lneares Para tornar o método descrto na seção anteror capaz de manpuar dados não nearmente separáves, é necessáro "reaxar" as restrções do probema. Dferentemente das restrções (3.3.) e (3.3.) da seção anteror que utzam crtéros rígdos, a estratéga apresentada nesta seção utza um crtéro mas reaxado. Isso pode ser feto ntroduzndo varáves de foga ( ξ,, K N ) nas restrções, as quas se tornam:, x. w + b + ξ, para y + (3.3.8) x. w + b +ξ, para y (3.3.9) ξ, (3.3.) Essa estratéga permte toerar ruídos e outers (pontos muto dstantes das casses a que pertencem), consdera mas pontos de trenamento, aém dos que estão na frontera, e permte a ocorrênca de erros de cassfcação. N Portanto, ξ é um mte superor para o número de erros de trenamento. Aém dsso, a fm de poder representar o custo extra para os erros, decorrente da adção das varáves de foga, há a necessdade de mudar a função-obetvo a ser mnmzada de w para: w + C N k ξ (3.3.) na qua C é um parâmetro a ser escohdo peo usuáro. C é uma constante que atua como uma função de penadade e prevenndo que outers afetem o hperpano ótmo [5]. C > determna a reação entre o erro empírco e o termo de confança. Um C maor corresponde a assumr uma penadade maor para os erros. Por se tratar de um probema de programação convexa, o vaor de k pode ser quaquer ntero postvo em partcuar; se k ou k, então, o probema também é de programação quadrátca. Por razões computaconas, entretanto, uma escoha típca é k. Esse caso corresponde ao menor dos k > e tem a

10 Cassfcação Supervsonada 3 vantagem de não ser necessáro que ξ e seus mutpcadores de Lagrange, apareçam no probema dua. O probema, com essa ateração, torna-se: Maxmze Sueto a L D y α α C,, K, A soução é dada novamente por: w α vetores de sup orte, y y α α ( x. x ) (3.3.) y α x (3.3.3) Assm, a únca dferença do caso do hperpano ótmo é que os α têm um mte superor em C. Essa stuação é representada abaxo pea fgura. Fgura Hperpano de separação para o caso nearmente nseparáve. Com o conteúdo que fo descrto nas seções anterores, é possíve, a partr deste ponto, descrever formamente a construção da técnca SVM para uma tarefa de reconhecmento de padrões. A técnca SVM mpementa bascamente duas operações matemátcas:. Mapeamento não-near dos vetores de entrada x em um espaço de característcas Z com ata dmensão;. Construção de um Hperpano de Margem Máxma no espaço de característcas. A Fgura ustra a estratéga do Support Vector Machnes, de mapear o espaço rea em um espaço de característcas.

11 Cassfcação Supervsonada 33 Fgura Iustração da estratéga de Support Vector Machnes As representações Kerne trabaham com a proeção dos dados em um espaço de característcas com ata dmensão para permtr a cassfcação em espaços não nearmente separáves. Trata-se, em prmera nstânca, de uma estratéga de pré-processamento que envove mudar a representação dos dados da segunte forma: x x, K, x ) φ( x) ( φ ( x), K, φ ( )) (3.3.4) ( n N x Esse passo é equvaente ao mapeamento do espaço de entrada X em um novo espaço Z { ( x) x X } φ chamado espaço de característcas em que φ são as funções Kerne. A Fgura 3 ustra um mapeamento de um espaço de entrada nearmente nseparáve, para um espaço de característcas de maor dmensão, em que os dados podem ser separados nearmente. Fgura 3 Mapeamento do espaço de entrada va função de Kerne

12 Cassfcação Supervsonada 34 A escoha da função Kerne é de vta mportânca para SVM e não atera muto o probema de SVM, peo menos não expctamente. Com a ntrodução da função Kerne, para encontrar os coefcentes α, é necessáro agora resover o segunte probema: Maxmze Sueto a α y α y y α α K α C,, K,, ( x. x ) (3.3.5) Essa funcona concde com a funcona para encontrar o Hperpano de Margem Máxma, exceto pea forma do produto nterno, que anterormente era representado uncamente por produto nterno ( x x ) e agora passa a ser representado pea função Kerne K ( x, x ). Com a função Kerne, a função de decsão passa a ser representada como: f vetores de ( x) sgn y K( x. x) sup α b (3.3.6) orte O uso de dferentes funções Kerne K ( x, x ) possbta a construção de máqunas de aprendzagem com dferentes tpos de superfíces de decsão nãonear no espaço de entrada. Entre as funções Kerne mas usadas, destacam-se: Ponômos [3], Funções de Base Rada Gaussana [6] e Rede Neura Sgmóde de duas camadas [7] [8] Support Vector Machnes Mutcasses Embora o SVM separe os dados nearmente em duas casses, o reconhecmento de mas do que duas casses é possíve utzando a estratéga de decomposção do probema mutcasses em subprobemas bnáros. Exstem agumas técncas que são utzadas para resover o probema de mutcasses, as mas conhecdas são a One-Aganst-A e One-Aganst-One. Sea N o número de casses, a técnca One-Aganst-A consste em separar uma casse A e agrupar as N casses restantes em uma casse B, a partr da separação encontraremos o hperpano que separa a casse A da casse B. O processo de separação da casse é reazado N vezes para cada

13 Cassfcação Supervsonada 35 casse pertencente ao conunto de casses, ogo, encontraremos N hperpanos que separam as casses. Sea N o número de casses, a técnca One-Aganst-One consste em separar duas casses A e B do conunto de casses e encontrar um hperpano que separe esse par de casses. O processo de separação é reazado para cada par de casses pertencente ao conunto de casses, ogo encontraremos N hperpanos que separam as casses. Abaxo, apresentamos duas fguras que representam as duas técncas de decomposção, One-Aganst-A e One-Aganst-One, respectvamente [9], []. Fgura 4 Exempfca a técnca de decomposção One-Aganst-A para três casses Fgura 5 Exempfca a técnca de decomposção One-Aganst-One para três casses