Máquinas de Vetores de Suporte Supprot Vector Machine. Aluizio Fausto Ribeiro Araújo Universidade Federal de Pernambuco Centro de Informática

Transcrição

1 Máqunas de Vetores de Suporte Supprot Vector Machne Aluzo Fausto Rbero Araújo Unversdade Federal de Pernambuco Centro de Informátca

2 Conteúdo. Introdução 2. Classfcadores Bnáros 3. Aprendzagem Estatístca 4. SVM com Margens Rígdas 5. SVM com Margens Rígdas: Hperplano Ótmo 6. SVM com Margens Rígdas: Método de Multplcadores de Lagrange. 7. SVM com Margens Rígdas: Padrões ão-lnearmente Separáves 8. SVM Separando Padrões ão-lnearmente Separáves 9. SVM e a Função Kernel 0. Aplcações. Dscussão 2

3 Introdução - As Máqunas de Vetores Suporte (Support Vector Machnes - SVMs) são baseadas na Teora de Aprendzagem Estatístca (TAE) proposta por Vapnk e Chernovemks nas décadas de 960 e 970 (Vapnk, 995). - A Teora de Aprendzagem Estatístca vsa encontrar condções matemátcas para escolha de uma função que separe dados a serem aprenddos em problemas de categorzação. Esta separação deve consderar o menor erro de trenamento ao mesmo tempo que deve maxmzar a capacdade de generalzação de um classfcador (para aprendzagem supervsonada). 3

4 Introdução - Método para escolha de função de separação de dados em categoras: Mnmzar o erro de trenamento e a complexdade da função seleconada. - O nível da complexdade está assocado com a capacdade de generalzação. - O conceto dmensão Vapnk-Chervonenks (VC) é útl para obter as condções menconadas acma. Ela mede a complexdade das hpóteses (funções) consderadas por um algortmo de busca por soluções. 4

5 Introdução - Característcas favoráves ao uso de SVMs:. Capacdade de generalzação alta, evtando sobretrenamento (overfttng).. Robustez para categorzação de dados com dmensões altas, que tendem a ser sobretrenados em outros classfcadores pos mutas mcro-característcas são pouco dscrmnantes.. Convexdade da função objetvo pos esta é uma função quadrátca com apenas um ótmo global. v. Teora bem estabelecda nas áreas de matemátca e estatístca. 5

6 Introdução - Trenamento: Supervsonado ou ão-supervsonado que não tem conhecmento prévo sobre o domíno do problema. - Classes de problemas em que são comumente usadas SVM:. Classfcação de padrões;. Regressão;. Reconhecmento de padrões; v. Agrupamento. - Exemplos de áreas de aplcação (dmensão alta dos dados): - Detecção de faces em magens; Categorzação de textos; Regressão lnear; Bonformátca. 6

7 Classfcadores Bnáros Função de Separação A tarefa a ser realzada: - Um conjunto de dados fnto {(x, y)} onde x representa uma entrada e y uma das duas classes à qual ela pode pertencer. {0,}, {-,+}, {o,x}, {,o}... A solução: Aprender uma função que baseada em um grupo de padrões de trenamento (que pode ser muto pequeno), possa assocar dados não vstos anterormente à classe correta. 7

8 Classfcadores Bnáros Função de Separação A abordagem clássca é tomar uma função, como um polnômo, e ajustar seus parâmetros para separar os dados de trenamento colocando-os em uma das duas classes. o trenamento, aumentando o grau do polnômo é possível reduzr o erro nos dados de trenamento. Esta estratéga pode levar ao sobretrenamento (overfttng) mplcando em baxa capacdade de generalzação. 8

9 Classfcadores Bnáros Função de Separação Procedmento alternatvo: - Redução sgnfcatva do grau do polnômo. - Esta opção pode levar ao aumento do erro de classfcação para os dados de trenamento, o underfttng. 9

10 Aprendzagem Estatístca Mnmzação do Rsco Estrutural A teora de Aprendzagem Estatístca vsa determnar condções matemátcas para escolha de um classfcador com desempenho desejado para conjuntos de trenamento e teste. É sempre possível encontrar um polnômo de alto grau que separe duas classes quasquer. - Logo o rsco empírco pode sempre ser mnmzado para zero ao custo de uma função de decsão muto complexa. - A dstrbução dos dados de trenamento pode não ser tão complexa mas, fatores como ruído podem fazer a dstrbução parecer mas complexa para a máquna de aprendzagem. A teora da Mnmzação do Rsco Estrutural (MRE) formalza o conceto de controle de complexdade e mnmzação de rsco empírco. 0

11 Aprendzagem Estatístca Mnmzação do Rsco Estrutural Se uma máquna de aprendzagem, como rede neural ou máquna de vetor suporte, pretende mnmzar o rsco esperado, ela deve mnmzar tanto o rsco empírco quanto o termo de complexdade. rsco esperado rsco empírco + termo de complexdade

12 Aprendzagem Estatístca Mnmzação do Rsco Empírco (trenamento) Crtéros consderados para escolha de um classfcador (f): - Mnmzação do rsco empírco, relatvo a erro durante o trenamento, no qual se consdera: - O número de pares entrada-saída. - A função de custo que relacone a prevsão de saída com a saída desejada. R n emp ( f ) c( f ( x ), y n 2 ) 2

13 Aprendzagem Estatístca Mnmzação do Rsco Funconal (generalzação) Crtéros consderados para escolha de um classfcador (f): - Mnmzação do rsco funconal, relatvo a erro durante a valdação (generalzação), no qual se consdera: - Função de custo relaconando a prevsão de saída com a saída desejada. - Dstrbução de probabldade dos pares. R( f ) c( f ( x), y) dp( x, y) 2 3

14 Aprendzagem Estatístca Mnmzação do Rsco Funconal (generalzação) Lmtes do rsco funconal determnam a escolha do classfcador: - Os lmtes do rsco funconal para funções snal (classe de funções aqu consderada) relaconam o número de exemplos de trenamento, o rsco empírco para este conjunto e a complexdade do espaço de hpóteses. - O rsco funconal de uma função classfcadora é mnmzado se o número de observações do conjunto de trenamento for sufcentemente grande. - A complexdade do espaço de hpóteses é medda através da dmensão Vapnk-Chervonenks (VC). - O rsco médo de uma função classfcadora é mnmzado se a dmensão VC do conjunto destas funções for sufcentemente pequena. 4

15 Aprendzagem Estatístca Dmensão-VC A complexdade de um grupo de funções de decsão pode ser medda por um valor h, chamado Dmensão-VC, que, avala a quantdade máxma de pontos que podem ser separados por este grupo de funções se todas as permutações de rótulos ocorrerem. - Aqu trabalha-se com dcotomas: funções snas que dvdem o espaço de entradas em dos subconjuntos dsjuntos. - Valor alto de dmensão VC mplca em grande complexdade das funções de decsão. h3 5

16 Aprendzagem Estatístca Mnmzação do Rsco Estrutural A equação de delmtação pode ser re-escrta empregando a dmensão-vc, sto é, usando h. - Probabldade da equação abaxo ser verdadera: -δ. - O número de exemplos de trenamento é n. rsco esperado rsco empírco + termo de complexdade 2n δ h ln + ln h 4 R[ f ] Remp[ f ] + n - O crescmento deδacarreta o aumento do rsco esperado. 6

17 Aprendzagem Estatístca Mnmzação do Rsco Estrutural R[f] Rsco esperado Termo de complexdade Rsco empírco Dmensão-VC 7

18 Aprendzagem Estatístca Margem de Separação A margem de separação de um classfcador é defnda como a menor dstânca entre exemplos do conjunto de trenamento e o hperplano utlzado na separação destes dados em classes. 8

19 Aprendzagem Estatístca Margem de Separação Podem exstr város hperplanos separando os dados corretamente, contudo exste ao menos um melhor que os demas. Pode-se notar que o hperplano com maor margem de separação tem melhor capacdade de generalzação pos dmnu a possbldade de erro. Quanto maor a margem de um classfcador menor será sua dmensão VC (prova está em teorema). Hperplano com margem alta e que mnmze os erros de trenamento e teste é chamado de hperplano ótmo. 9

20 SVM com Margens Rígdas Separabldade Lnear Um conjunto de pontos de trenamento é chamado lnearmente separável se exste ao menos um hperplano que é capaz de separalos corretamente. 20

21 SVM com Margens Rígdas Hperplano de Separação As SVMs foram orgnalmente projetadas para classfcação de dados em duas classes, gerando dcotomas. - Problema de classfcação consderado: Classfcar objetos m- dmensonas (vetores) nas classes + e. - Conjunto de trenamento: formado por n observações dos vetores de entradas com suas respectvas classfcações bnáras. Um conjunto de dados é lnearmente separável se for possível dvdr seus elementos em duas classes através de ao menos um hperplano. Estes classfcadores lneares podem ser defndos por: T x + b 0 O produto escalar envolve um vetor normal ao hperplano () e o vetor de entrada. O par (,b) é determnado durante o trenamento. 2

22 SVM com Margens Rígdas A equação do hperplano dvde o espaço de entrada em duas regões que produzem dos tpos de saídas através da uma função snal: y Hperplano de Separação +,, se se T T x x Logo, um conjunto de trenamento será lnearmente separável se for possível determnar ao menos um par (,b) que faça a função snal classfcar corretamente os exemplos de tal conjunto. + + b b > <

23 SVM com Margens Rígdas Hperplano Ótmo Deseja-se determnar o hperplano ótmo para padrões lnearmente separáves. O hperplano ótmo é aquele cuja margem de separação (ρ 0 ) é máxma. ot x+ b o 0, eq. Hperplano ótmo o, vetor de pesos ótmo b o, bas ótmo Os vetores suporte são aqueles que se stuam sobre os hperplanos que dstam ρ 0 do hperplano que separa as classes. 23

24 SVM com Margens Rígdas O hperplano ótmo é defndo pelos valores ótmos do vetor de pesos ( o ) e do bas (b o ) da segunte forma: ot x+ b o 0. A função dscrmnante g(x) ot x+ b o dá uma medda algébrca da dstânca de x para o hperplano ótmo. este caso, pode-se escrever: 0 x x p + r onde x p é a projeção de x no hperplano ótmo. 0 Para encontrar a dstânca r faz-se: g Hperplano Ótmo T T T 0 T 0 0 ( x) 0 x + b0 0 ( x p + r ) + b0 0 x p + r + b

25 SVM com Margens Rígdas Hperplano Ótmo g( x) ( T 0 x p + b 0 ) + r Se x estver na orgem então g( x) g( x p ) + r r 0 r b0 0 g( x) 0 Se b 0 > 0, a orgem está no lado postvo do hperplano ótmo; Se b 0 < 0, a orgem está no negatvo do hperplano ótmo; Se b 0 0, o hperplano ótmo passa pela orgem. 25

26 SVM com Margens Rígdas Vetores de Suporte Para um conjunto de trenamento lnearmente separável, pode-se re-escalonar que e b para que os pontos mas próxmos do hperplano separador que satsfaçam T.x + b. Isto permte a obtenção da representação canônca do hperplano que faclta futuras consderações na determnação do hperplano ótmo. Um vetor suporte é defndo como: g(x (s) ) 0T x (s) ± b 0 ±, para d (s) ±. Os vetores suporte são os mas dfíces para classfcar por estarem mas próxmos da superfíce de decsão. 26

27 A dstânca dos vetores suporte para o hperplano ótmo é calculada: ( s) r g( x (s) 0 ) 0 0 se se d d ( s) + Tem-se que ρ 0 é o valor ótmo da margem de separação entre as duas classes que formam o conjunto de trenamento. Assm tem-se que a expressão a segur mede a dstânca entre os hperplanos 0T x (s) ± b 0 ±: SVM com Margens Rígdas Vetores de Suporte ρ 2r 0 Conclu-se da expressão acma que a maxmzação da margem de separação é obtda pela mnmzação da norma Eucldana de o

28 SVM com Margens Rígdas Determnação dos Pesos Ótmos O hperplano ótmo defndo por 0T x + b 0 0 é únco pos o vetor de pesos ótmo o dá a separação máxma possível de exemplos postvos e os negatvos. A condção ótma é atendda pela mnmzação da norma eucldana do vetor de pesos. O problema de otmzação com restrções a ser resolvdo é: - Dado o conjunto de trenamento (x, d ),,..., ; Encontre os vetor de pesos e do bas b ótmos que satsfaçam as restrções: d ( T T x + b), e mnmze a função de custo: Φ( ) 2 ( ) - O fator de escala (/2) é ncluído por convenênca, a função de custo é convexa, as restrções são lneares. - Este problema pode ser resolvdo através do Método de Multplcadores de Lagrange. 28

29 SVM com Margens Rígdas Pesos Ótmos por Multplcadores de Lagrange Método dos Multplcadores de Lagrange: Empregado para resolver problemas de extremos sujetos a restrções de gualdade. Seja o problema a segur: max (mn) s.a. f ( x) g ( x) 0,, K, onde f e g (,..,) são funções reas de n (n > ) varáves e duas vezes dferencáves num determnado conjunto D. Chama-se função de Lagrange ou lagrangano à função: L x, λ) f ( x) + g ( ) ( λ x 29

30 30 Função Lagrangana: ( ) [ ] + T T b d b J 2 ),, ( x α α ( ) ( ) d b b J d b J 0 0,, Condção 2 : 0,, Condção: α α α α x O problema consste em encontrar um ponto de sela que mnmze J(.) em relação a e b e maxmze-a com respeto aos multplcadores de Lagrange (α). - Mnmzando J(,b,α) em relação a e b. SVM com Margens Rígdas Pesos Ótmos por Multplcadores de Lagrange

31 3 + + T T T T d b d b J b d b J 2 ),, ( ] ) [ 2 ),, ( α α α α α α x x ( j j T j j T T d d d d d ; 0; x x x x α α α α α Expandndo a Função Lagrangana tem-se: Para a expressão acma, tem-se que -As expressões à esquerda geram o problema dual em função de α. - Os vetores x e x j são o vetor de entrada e o padrão de entrada pertencente ao j- ésmo exemplo, SVM com Margens Rígdas Pesos Ótmos por Multplcadores de Lagrange

32 s.a. α d α 0, 0 para,2, K, 2 j Após determnar os multplcadores ótmos (α 0, ), 0 e b 0 são obtdos: SVM com Margens Rígdas Pesos Ótmos por Multplcadores de Lagrange Deve-se encontrar os multplcadores de Lagrange que maxmze a Função Objetvo: T Max J (, b, α ) Q( α) α αα jdd jx x j T (s) ( s) α0, dx b -, para d x 32

33 SVM com Margens Rígdas Padrões ão-lnearmente Separáves A condção d ( T x + b), para, 2,... pode ser volada em duas stuações: ª stuação de volação: Ponto (x, d ) está na regão de separação, mas do lado correto da superfíce de decsão. 33

34 SVM com Margens Rígdas Padrões ão-lnearmente Separáves 2ª stuação de volação: Ponto (x, d ) está no lado ncorreto da superfíce de decsão. 34

35 SVM com Margens Rígdas Padrões ão-lnearmente Separáves A equação anteror pode ser re-escrta, com a ntrodução de um conjunto de varáves escalares não negatvas ξ }. { d ( T x + b) - ξ, para, 2,... (2) 0 ξ : ª stuação ξ > : 2ª stuação O conjunto é adconado à função de custo: Φ (, ξ ) { ξ } 2 T + C - que deve ser mnmzada, sujeta às restrções: Eq. (2) e ξ 0. ξ 35

36 A maxmzação de Q(α ) é realzada com alteração em uma de suas restrções: T J (, b, α) Q( α) α αα jdd jx x 2 α SVM com Margens Rígdas Padrões ão-lnearmente Separáves d 0 j e 0 α C, para, 2,... j Logo, 0 é obtdo por: 0 α0,d x e b 0 através de: α [y ( 0T x + b 0 ) - + ξ ] 0 36

37 SVM Separando Padrões ão-lnearmente Separáves - Mapeamento Φ Classfcadores lneares são lmtados, veja a porta XOR. Contudo, eles possuem boas propredades como função de decsão fácl. Dados não-lnearmente separáves podem se tornar lnearmente separáves, em um espaço transformado através de um mapeamento Φ. Este novo espaço é chamado de espaço de característcas (feature space). Feature Space Φ 37

38 SVM Separando Padrões ão-lnearmente Deve-se substtur cada produto escalar no espaço de entrada por pontos transformados. f f ( x ( x j j ) sgn ) sgn Separáves - Mapeamento Φ d α ( x d α T j x ) + b ( ( T ) ( )) Φ x Φ x + b j j Possível problema: O espaço transformado pode ter número muto alto, até nfnto, de dmensões, mpossbltando o cálculo do produto nterno. É dfícl também encontrar a funçãoφque resolva o problema. j 38

39 39 Com uma função especal, chamada função kernel é possível calcular o produto escalar Φ(x )Φ(x j ) sem mesmo conhecer o mapeamento Φ. Defnção do kernel do produto nterno O produto nterno de dos vetores nduzdos no espaço de característcas por x e x j compõem a defnção do referdo kernel: O kernel do produto nterno é comutatvo com respeto a seus argumentos. SVM e a Função Kernel Defnção e Papel ( ) + + j j j T j j b K d b d f ), ( sgn ) ( sgn ) ( x x x x x α α ( ) ( ) ( ) ( ) l l l j T j Φ Φ K ), ( x x Φ x x Φ x x

40 A defnção para K (x,x j ) é um caso partcular do teorema de Mercer no âmbto de análse funconal: Seja K (x,x ) um kernel contínuo e smétrco que é defndo no ntervalo fechado a x b e da mesma forma para x. O kernel pode ser expanddo pela sére: K( x, x ) l λφ l l ( x) Φ ( x ), λ > 0 l Expansão válda e convergente, absoluta e unformemente, se e só se: a b a b SVM e a Função Kernel K( x, x ) Ψ( x) Ψ( x ) dxdx vale para quando Defnção e Papel a b Ψ 2 ( x) dx < l As funções Φ l são chamadas autofunções e os números λ l são denomnados autovalores. 40

41 Exemplos de função kernel: RBF Guassana : Sgmodal : tanh ( K( x. y) + θ ) Exemplo com o Kernel RBF SVM e a Função Kernel K( x, y) exp estes exemplos de funções kernel, geralmente, possuem parâmetros escolhdos pelo usuáro e faxa de valdade destes parâmetros para o Teorema de Mercer. Defnção e Papel ; ( 2 x y c) ; Polnomal :(( x. y) + θ ) Multquadrátca Inv.: x y 2 + c 2 d 4

42 A expansão de K (x j,x ) permte a construção de superfíce de decsão não-lnear no espaço de entrada, com magem lnear no espaço de característcas. Tal expansão vablza o enuncado da forma dual da otmzação com restrções de uma SVM: Dado um conjunto de trenamento de Lagrange Q( α) s.a. 0 que maxmzam a α 2 j α d 0 α C, SVM e a Função Kernel Defnção e Papel α α d para j d {( x, d )} função objetvo j K ( x, x ),2, K, j e, encontre os C multplcadores é determnado pelo usuáro. 42

43 SVM e a Função Kernel Defnção e Papel Três déas fundamentas: Defnção de um hperplano ótmo de modo que ele possa ser dentfcado em manera computaconal efcente: Maxmze a margem. Extensão da defnção acma para problemas lnearmente nãoseparáves: Consdere uma penaldade para termos equvocadamente classfcados. Mapeamento dos dados para um espaço de dmensão mas alta no qual é mas fácl realzar classfcação com superfíces lneares de decsão: reformula o problema tal que os dados são mapeados mplctamente para este espaço. 43

44 SVM e a Função Kernel Arqutetura 44

45 SVM: Aplcações Reconhecmento de caracteres manuscrtos: Exemplos de caracteres: 45

46 SVM: Aplcações Reconhecmen to de caracteres manuscrtos: Desempenho de máqunas de aprendzagem dstntas: 46

47 SVM: Aplcações Detecção de faces (defnção): Dada uma magem dgtal arbtrára determne se exste faces humanas nesta magem. Se exstrem, retorne uma codfcação de sua localzação. Codfcação sgnfca acomodar cada face em uma caxa de fronteras defnda pelas coordenadas das esqunas na magem. Pode ser extendda para reconhecmento de faces, HCI, sstemas de vglânca, etc. 47

48 SVM: Aplcações Detecção de faces (processo): SVM trenada para padrões com tamanho fxo de face e não face. Teste de canddatos de localzação de magens para padrões locas com procedmento de classfcação que determna se padrão de magem local é uma face. Este problema de classfcação, tem duas classes dcotômcas. 48

49 SVM: Aplcações Resultados expermentas em magens estátcas: Conjunto A: 33 com alta qualdade, mesmo número de faces. Conjunto B: 23 com qualdade msturada, total de 55 faces. 49

50 SVM: Aplcações Vsão Computaconal: Detecção de pele. 50

51 Dscussão Os parâmetros têm grande nfluênca no trenamento. Interface de trenamento geral. Tempo de trenamento depende da CPU. ecessdade de nterface para aplcações. SVM expressa aprendzagem como um programa matemátco empregando a teora de otmzação. SVM emprega a transformação pelo kernel para mapear ndretamente para espaços de dmensões mas altas. SVM tem se caracterzado por bom desempenho, robustez, efcênca e versatldade ao mesmo tempo que exstem ndcações teórcas dos motvos de sua capacdade de generalzação. 5

52 Referêncas Haykn, S. (999). eural etorks A Compreensve Survey. Prentce- Hall, e Jersey, second edton. Smola, A. J., Barlett, P., Schölkopf, B., & Schuurmans, D. (999). Advances n Large Margn Classfers. The MIT Press ( Vapnk, V.. (995). The ature of Statstcal Learnng Theory. Sprnger- Verlag. 52