Aprendizagem de Máquina

Transcrição

1 Aprendzagem de Máquna Alessandro L. Koerch Programa de Pós-Graduação em Informátca Pontfíca Unversdade Católca do Paraná (PUCPR) Máqunas de Vetor de Suporte

2 Introdução Support Vector Machnes SVM Método supervsonado de aprendzagem para problemas de: Classfcação Regressão Duas deas prncpas Assumndo classes lnearmente separáves, aprende hperplanos de separação com margem máma. Epande a entrada para um espaço de alta dmensonaldade para ldar com casos não-lnearmente separáves.

3 Hperplano de Separação Conjunto de trenamento: (,y ), =1,2,,N; y {+1,-1} Hperplano: w+b=0 É completamente determnado por (w,b) onde =( 1, 2,, d ), w=(w 1, w 2,, w d ), w=(w 1 1 +w w d d ) produto escalar

4 Margem Máma De acordo com um teorema da teora de aprendzagem, de todas as possíves funções de decsão lneares aquela que mamza a margem do conjunto de trenamento mnmzará o erro de generalzação. Isso se tvermos dados o sufcente e assumndo que os dados não são rudosos!

5 Margem Máma w w+b<0 w+b>0 w+b=0 Obs 1: com c constante, as funções de decsão (w,b) e (cw, cb) são as mesmas. Obs 2: mas as margens, meddas pela saída da função w+b não são as mesmas se pegarmos (cw, cb). Defnção: margem geométrca: a margem dada pela função de decsão canônca, que é quando c=1/ w Estratéga: 1. Precsamos mamzar a margem geométrca! 2. Sujeta a restrção que os eemplos de trenamento sejam classfcados corretamente.

6 Margem Máma De acordo com Obs1, podemos mpor que a saída da função para os pontos mas prómos sejam +1 e 1 nos dos lados da função de decsão. Isso remove a lberdade da escala. Indcando o eemplo postvo mas prómo como + e o negatvo mas prómo como -, sto é: w b 1 e w b 1 Calculando a margem geométrca (que deve ser mamzada): 1 2 ( w w b w w w b w ) 1 2 w ( w b w b) 1 w e as restrções:. w b 1 w b 1 para para y y 1 1 y ( w b) 1 0 para todo

7 Margem Máma Dado um conjunto de trenamento com eemplos lnearmente separáves (, y ), =1,2,,N; y {+1,-1} w+b<1 w+b>1 Mnmze w 2 Sujeto a w+b=-1 w+b=1 w+b=0 y ( w b) 1 0, 1,.. N Este é um problema de programação quadrátca tendo como restrções desgualdades lneares.

8 Vetores de Suporte Os eemplos de trenamento que estverem mas prómos da função de separação são chamados de vetores de suporte. Qual é a saída da função de decsão para estes eemplos (pontos)?

9 Resolvendo Construa e mnmze o Lagrangano: Tre as dervadas com respeto a w e b, guale-os a 0 Os multplcadores de Lagrange são chamados de varáves dual Cada eemplo de trenamento tem uma varável dual assocada. N b y b L N 1,... 0, restrção com respeto a 1) ) ( ( 2 1 ),, ( 1 2 w w w 0 1) ) ( ( : 0 ),, ( 0 ),, ( 1 1 b y cond KKT y b b L y b L N N w w w w w parametros são epressos como uma combnação lnear dos pontos de trenamento. Somente SVs terão I dferente de zero.

10

11 Resolvendo Então, w N 1 y SV y Colocando de volta no Lagrangano para obter a formulação dual mamse: W ( ) subject to : N 1 y 1 2 y 0, 0, 1,... N O dual resultante é resolvdo para usando um QP solver: N, j1 j y j j N 1 b não aparece no dual, então ele é determnado separadamente a partr das restrções ncas. Dados entram somente na forma de produto escalar!

12 Classfcando Novos Eemplos Uma vez encontrados os parâmetros (*, b*) resolvendo a otmzação quadrátca sobre os eemplos de trenamento, o SVM está pronto para ser usado para classfcar novos eemplos. Dado um novo ponto (eemplo), sua aflação a classe é sgn[f(, *, b*)], onde f * * * * N * * * * (,, b ) w b y b y b 1 SV Dados entram somente na forma de produto escalar

13 Solução A solução do SVM,.e. do problema de programação quadrátca com desgualdades lneares como restrções tem a propredade nteressante de que os dados entram somente na forma de produto escalar! Produto escalar: dado =( 1, 2,, n ) e y=(y 1,y 2,,y n ), então o produto escalar de e y é y=( 1 y y n y n ). Isto é nteressante, pos nos permte tornar os SVMs não-lnear sem complcar o algortmo veja prómo slde.

14 Transforma () SVMs Não Lneares

15 SVMs Não Lneares O algortmo lnear depende somente de, portanto o algortmo transformado depende somente de ()( ) Use a função kernel K(,y) tal que K(,y)= ()(y)

16 Kernels Eemplo 1: pontos,y no espaço de característcas 2D, transformado para espaço de característcas 3D Eemplo 2: onde que corresponde a este kernel tem dmensão nfnta. Nem toda a função pode ser um kernel! A função deve obedecer o Teorema de Mercer. Para testar uma nova nstânca : ) ( ) ( ) ( ), ( mplca, 2 ) ( se ; ; y y y y K y y ) ), ( ( ) ( 1 b K y sgn f SV } 2 / ep{ ), ( 2 2 y y K (quadrado do produto escalar)

17 Kernel Trck Eemplo1: como separar lnearmente estes eemplos de duas classes? Solução: Elevando para uma dmensão lnearmente separável: R 1 R 2 φ() = (, 2 )

18 φ() = (, 2 ) Kernel Trck

19 Kernel Trck Φ: R 2 R 3 ( 1, 2 ) (z 1, z 2, z 3 ) = ( 12, 2 1 2, 22 )

20 Kernel Trck Φ: R 2 R 3 ( 1, 2 ) (z 1, z 2, z 3 ) = ( 12, 2 1 2, 22 )

21 Kernels

22 SVM para Classfcação 1. Preparar a matrz de dados 2. Seleconar a função de kernel a ser empregada 3. Eecutar o algortmo de trenamento usando um resolvedor QP para obter os valores de. 4. Novas nstâncas podem ser classfcadas usando os valores de e os vetores de suporte.

23 Conclusão Os SVMs aprendem fronteras de decsão lneares (como os perceptrons) Busca o hperplano que mamza a margem O hperplano ótmo vem a ser uma combnação lnear dos vetores de suporte Transforma problemas não lneares em um espaço de mas alta dmensão usando funções de kernel Então há uma chance maor de que neste espaço transformado, as classes serão lnearmente separáves.

24 SVM Soft Margn Entretanto, assm como outros algortmos de aprendzagem, o SVM está sujeto a dos problemas: Outlers Eemplos com erros de rotulação. Nestes caso o SVM rá falhar, mas.

25 SVM Soft Margn Mesmo se o conjunto de trenamento não for lnearmente separável A abordagem tradconal é permtr que a margem de decsão comete uns poucos erros (alguns pontos podem fcar dentro da margem ou no lado errado). Isso tem um custo para cada eemplo classfcado ncorretamente, que depende de quão longe ele está em atender as restrções mpostas pela margem.

26 SVM Soft Margn Uma modfcação da dea de margem máma que permte eemplos com erros de rotulação. Se não estr um hperplano que possa partconar os eemplos postvos (+1) e negatvos (-1), o método Soft Margn escolherá um hperplano que partcone os eemplos o melhor possível, enquanto anda mamza a dstânca para os eemplos separáves. Este método ntroduz varáves de folga (ξ ), as quas medem o erro de classfcação (ou sensbldade) do eemplo

27 SVM Soft Margn A restrção então é modfcada: y ( w b) 1 0, 1,.. N e passamos para a segunte restrção: y ( w b) 1, 1,.. N A função objetva então é aumentada por uma função que penalza ξ dferentes de zero e a otmzação se torna um compromsso entre uma margem larga e uma penaldade de erro pequena. Se a função de penalzação for lnear, o problema de otmzação se torna:

28 SVM Soft Margn sujeto a: E o dual N b y C w n b w 1,.. 0, 1 ) ( 2 1 mn 1 2,, w 0, 1 ) ( 2 1 mn ma ,,, n n n b w b w y C w

29 Parâmetros A efetvdade do SVM depende da seleção do kernel, dos parâmetros do kernel e do parâmetro soft margn C. O kernel mas usando é o Gaussano (ou RBF). Neste caso, os parâmetros gamma () e C são seleconados através de um grd-search com valores crescentes dos parâmetros (lbsvm). Grd search testa valores de cada parâmetro dentro de uma faa específca de busca, usando passos geométrcos.

30 Parâmetros Grd search é computaconalmente cara! O modelo deve ser avalado em mutos pontos dentro do grd para cada parâmetro. Eemplo: Se consderarmos 10 ntervalos de busca e um função Gaussana como kernel com 2 parâmetros (C e gamma), O modelo deve ser avalado em 10*10 = 100 pontos do grd. Se for utlzada valdação cruzada, este número é multplcado pelo número de folds (4 a 10).

31 Lmtações O SVM é aplcável dretamente somente para problemas bnáros (duas classes). Assm, para utlzá-lo em problemas multclasses, deve ser feta uma redução para dversos problemas bnáros.

32 SVM Mult-Classes Reduzr o problema mult-classes para múltplos problemas bnáros de classfcação Estratéga um-contra-todos (one-versus-all): construr classfcadores bnáros que dstnguem entre uma das classes e as demas. Estratéga um-contra-um (one-versus-one): construr um classfcador para cada par de classes. É a estratéga usada na LIBSVM!

33 SVM Mult-Classes Estratéga um-contra-todos (one-versus-all, one-versusrest, one-aganst-all): construr classfcadores bnáros que dstnguem entre uma das classes e as demas. Para C classes são construídos C classfcadores Usa-se como contra-eemplos os eemplos de todas as outras classes. A classfcação de novas nstâncas é feta usando a estratéga o- vencedor-ganha (wnner-takes-all) O classfcador com a maor saída atrbu a classe.

34 SVM Mult-Classes Estratéga um-contra-um (one-versus-one, parwse): construr um classfcador para cada par de classes. Para C classes são construídos C(C-1)/2 classfcadores. A classfcação é feta por uma estratéga de votação maora vence (ma-wns votng), onde cada classfcador atrbu uma das duas classes para a nstânca. A classe mas votada determna a classfcação da nstânca.

35 Eemplo: 4 classes SVM Mult Classes

36 SVM Mult Classes Eemplo: 4 classes Estratéga um-contra-um: 4(4-1)/2 = 6 classfcadores

37 SVM Mult Classes Eemplo: 4 classes Estratéga um-contra-um: 4(4-1)/2 = 6 classfcadores

38 SVM Mult Classes Eemplo: 4 classes Estratéga um-contra-todos: 4 classfcadores