Adriana da Costa F. Chaves

Transcrição

1 Máquna de Vetor Suporte (SVM) para Regressão Adrana da Costa F. Chaves Conteúdo da apresentação Introdução Regressão Regressão Lnear Regressão não Lnear Conclusão 2 1

2 Introdução Sejam {(x,y )}, =1,...,, x R n e y R, os pontos de trenamento. a regressão ε-sv, o objetvo é achar uma função f (x) que tenha desvo de máxmo ε dos alvos obtdos y para todos os pontos de trenamento e, ao mesmo tempo, seja o mas suave possível. Em outras palavras, erros são permtdos só se forem menores do que ε. 3 Regressão Lnear Para um melhor entendmento, começa-se com o caso de funções lneares f da forma f (x) = w.x + b, (1) onde w R n e b R. o caso (1) se procura por um w pequeno (em norma). 4 2

3 Regressão Lnear Uma manera de garantr sso, é mnmzar a norma eucldana. Pode-se escrever o problema como um problema de mnmzação convexo como: mnmzar ½ w 2 sujeto a (w.x + b) - y ε, (2) y - (w.x + b) ε. 5 Regressão Lnear Para exstr uma função f que aproxme todos os pares (x,y ) com precsão ε é necessáro que seja possível resolver o problema de otmzação. Em alguns casos, sso não é verdade ou smplesmente se deseja permtr alguns erros. 6 3

4 Regressão Lnear Analogamente ao caso de classfcação, pode-se ntroduzr varáves soltas para contornar as restrções no problema de otmzação 7 Regressão Lnear São necessáras 2 varáves soltas para os 2 casos, uma por exceder o alvo em mas que ε (y f (x ) > ε) e outra por estar mas que ε abaxo do alvo (f (x ) - y > ε). Elas serão denotadas, respectvamente, por ξ e ξ. 8 4

5 Regressão Lnear Assm, chega-se ao problema de otmzação: mnmzar ½ w 2 + C ( ξ + ξ ), sujeto a y - (w.x + b) ε + ξ, = 1 (w.x + b) - y ε + ξ, ξ, ξ 0, =1,...,. 9 Regressão Lnear A formulação anteror corresponde a ldar com a função perda ε-nsensível ζ ε descrta por ζ ε = máx (0, ζ - ε). Assm, na Fgura 1, só os pontos fora da regão marcada serão penalzados. 10 5

6 Fgura 1 11 Problema de otmzação O problema de otmzação pode ser resolvdo mas faclmente na forma dual. Além dsso, a formulação dual, feta com o método que utlza os multplcadores de Lagrange, fornece o camnho para o extensão para o caso não lnear. 12 6

7 Formulação Dual L = 1 2 = 1 w α 2 + C com α, α, η, η 0. ( ξ + ξ ) α ( ε + ξ y + w. x + b) = 1 = 1 (5) ( ε + ξ + y w. x b) ( ηξ + η ξ ) = 1 13 Formulação Dual Solução do problema de otmzação mnmzar L em relação a w, b, ξ, ξ ; maxmzar L em relação a α, α, η e η. 14 7

8 Formulação Dual Dervando L em relação às componentes de w, a b, a ξ e a ξ e gualando a 0, temos w = Σ(α - α )x, Σ(α - α ) = 0 e C - α () - η () = Problema de otmzação dual Substtundo as relações anterores na equação (5), chega-se ao problema de otmzação dual (as varáves η e η não aparecem). 1 Maxmzar ( α α )( α j α j )( x. x j ) 2 ε, j = 1 = 1 ( α + α ) + sujeto a Σ(α - α ) = 0 α, α [0,C] = 1 ( α α ) y (6) 16 8

9 Regressão Lnear Substtundo w na expressão de f, chega-se a f (x)= Σ(α - α )(x.x) + b. (7) ote que f é completamente descrta como combnação lnear dos padrões de entrada. 17 Condções de Karush-Kuhn- Tucker As condções de Karush-Kuhn-Tucker mostram que na solução ótma: α (ε + ξ - y + w.x + b) = 0, α (ε + ξ + y -w.x - b) = 0, (8) (C - α )ξ = 0, (C - α )ξ =

10 Condções de Karush-Kuhn- Tucker A partr das relações anterores, conclu-se que: 1) os pontos que estão dentro do tubo ε- nsensível, que têm ξ = ξ = 0, devem ter α = α = 0; 2) somente os pontos (x,y ) com o correspondente α () = C se stuam fora do tubo ε-nsensível em torno de f; 19 Condções de Karush-Kuhn- Tucker A partr das relações anterores, conclu-se que: 3) α.α = 0, sto é, as varáves duas α,α não podem ser postvas smultaneamente (as varáves soltas nas 2 dreções teram que ser dferentes de 0); 4) para α () (0,C), ξ () = 0 e o 2º fator de (8) tem que se anular

11 Cálculo de b Assm, b pode ser calculado da segunte manera: b = y -w.x - ε se α (0,C), b = y -w.x + ε se α (0,C). 21 Regressão não Lnear Generalzação para regressão com vetores suporte é feta de manera análoga ao caso de classfcação. A déa básca mapear os dados de entrada em um espaço F, o espaço de característcas, va uma função não lnear Φ:R n F

12 Regressão não Lnear De forma análoga ao caso de classfcação, é sufcente substtur x.x por k(x,x ) na equação (6). 23 Problema de otmzação dual Maxmzar 1 2 ε, j = 1 ( α α sujeto a Σ(α - α ) = 0 = 1 ( α α, α [0,C] + α )( α ) + j = 1 α ( α j )k( x α (9) ) y, x j ) 24 12

13 Regressão não Lnear A expansão de f pode ser escrta como f (x)= Σ(α - α )k(x,x) + b. (10) 25 9 pares entrada/saída undmensonas regressão lnear 26 13

14 9 pares entrada/saída undmensonas regressão não lnear (ε = 0) 27 9 pares entrada/saída undmensonas regressão não lnear (ε 0) 28 14

15 51 pares entrada/saída undmensonas regressão não lnear (ε 0) pares entrada/saída undmensonas regressão não lnear (ε 0) 30 15

16 49 pares entrada/saída undmensonas regressão não lnear (ε 0) 31 Conclusão Fo feta uma apresentação de SVM, aplcada à regressão. o caso mas geral, sso sgnfca a construção de um hperplano no espaço de característcas que melhor se ajuste aos pontos dados, com a defnção de uma ε-nsensível. função perda 32 16

17 Referêncas B. Schölkopf and A. J. Smola. Learnng wth Kernels. The MIT Press, Crstann and J. Shawe-Taylor. An Introducton to Support Vector Machnes and other kernel-based learnng methods. Cambrdge Unversty Press, Smon Haykn. eural etworks A Comprehensve Foundaton. Macmllan College Publshng Company, Referêncas B. Schölkopf and A. J. Smola. A Tutoral on Support Vector Regresson. eurocolt2 Techncal Report Seres C2-TR , October,