MINERAÇÃO DE DADOS. Thiago Marzagão 1 MÁQUINAS DE SUPORTE VETORIAL. 1 Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1 / 27

Transcrição

1 MINERAÇÃO DE DADOS Thiago Marzagão 1 1 marzagao.1@osu.edu MÁQUINAS DE SUPORTE VETORIAL Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1 / 27

2 máquinas de suporte vetorial (Livro-texto faz distinção entre classificador de máxima margem, classificador de suporte vetorial e máquina de suporte vetorial. Deixemos essas distinções de lado por ora.) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 2 / 27

3 idéa básica: separar as classes linearmente (ISL, p. 345) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 3 / 27

4 β 0 + β 1 x 1 + β 2 x 2 = 0 (ISL, p. 345) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 4 / 27

5 ponto azuis: β 0 + β 1 x 1 + β 2 x 2 > 0 (ISL, p. 345) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 5 / 27

6 ponto roxos: β 0 + β 1 x 1 + β 2 x 2 < 0 (ISL, p. 345) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 6 / 27

7 infinitos hiperplanos são possíveis; como escolher? (ISL, p. 340) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 7 / 27

8 infinitos hiperplanos são possíveis; como escolher? R: escolhemos o hiperplano que fica o mais distante possível dos pontos mais próximos. Ou seja, escolhemos o hiperplano de máxima margem. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 8 / 27

9 hiperplano de máxima margem (ISL, p. 342) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 9 / 27

10 as margens são os vetores de suporte (ISL, p. 342) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 10 / 27

11 o hiperplano só depende dos pontos sobre as margens (ISL, p. 342) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 11 / 27

12 como encontrar o hiperplano de máxima margem? Além do escopo da aula. É um problema de otimização convexa. A solução envolve dualidade (Lagrange, Wolfe), condições de Karush-Kuhn-Tucker. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 12 / 27

13 como encontrar o hiperplano de máxima margem? Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 13 / 27

14 e c/ mais de 2 dimensões? β 0 + β 1 x 1 + β 2 x 2 + β 3 x β k x k = 0 Hiperplano deixa de ser uma reta. Mais difícil de representar graficamente. De resto, tudo igual. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 14 / 27

15 dúvidas? Até aqui nós vimos o cenário mais simples: duas classes linearmente separáveis. É importante entendermos o que foi visto até aqui antes de prosseguirmos. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 15 / 27

16 e se as classes não são separáveis? (ISL, p. 342) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 16 / 27

17 solução: soft margin X 1 X 1 X X 1 X 1 port (ISL, vector p. 348) classifierwasfitusingfourdifferent values of the n (9.12) (9.15). The largest value of C was used in the top Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 17 / 27

18 soft margin Como funciona? Penalizamos cada amostra classificada erroneamente: e i i-ésima amostra classificada corretamente e fora da margem: e i = 0 i-ésima amostra classificada corretamente mas dentro da margem: 0 < e i < 1 i-ésima amostra classificada incorretamente: e i > 1 Criamos um parâmetro C que funciona como orçamento": a soma de todos os e i não pode ser superior a C. Quanto maior o C, maior a tolerância a violações das margens. Encontramos o hiperplano de máxima margem obedecida a restrição de que n i=1 e i C Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 18 / 27

19 soft margin Na prática é bom usar soft margin mesmo quando as classes são linearmente separáveis. Assim evitamos overfitting. hard margin = soft margin com C = 0 Como encontramos C? R: validação cruzada. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 19 / 27

20 e se as classes REALMENTE não são separáveis? 9.3 Support Vector X X X (ISL, p. 349) FIGURE 9.8. Left: The observations fall into two classes, boundary between them. Right: The support vector classifier see ary, and consequently performs very poorly. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 20 / 27

21 e se as classes REALMENTE não são separáveis? 9.3 Support Vector Machines 349 X X 1 X 1 he(isl, observations p. 349) fall into two classes, with a non-linear Right: The support vector classifier seeks a linear bound- Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 21 / 27

22 "You re just not thinking fourth-dimensionally" Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 22 / 27

23 solução: adicionar dimensões eric-kim.net/eric-kim-net/posts/1/kernel_trick.html Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 23 / 27

24 solução: adicionar dimensões eric-kim.net/eric-kim-net/posts/1/kernel_trick.html Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 24 / 27

25 custo computacional Problema: adicionar dimensões aumenta o custo computacional. Dependendo de quantas dimensões forem necessárias o custo computacional pode ser inviável. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 25 / 27

26 custo computacional O que fazer? R: Pegar um "atalho". Encontrar o hiperplano é um problema de otimização convexa. Mas a solução depende apenas dos produtos escalares entre cada par de amostras. Existem funções capazes de computar esses produtos escalares implicitamente, i.e., sem usar diretamente x 1, x 2, x 3, etc. Essas funções são chamadas de kernels (daí o nome kernel trick). Usando kernels podemos encontrar o hiperplano sem custo computacional extra mesmo que existam infinitas dimensões. Exitem vários kernels. Como escolher? R: validação cruzada. Detalhes sobre os kernels estão além do escopo desta aula. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 26 / 27

27 soft margin ou kernel trick? R: ambos. Risco de usar kernel trick sem soft margin: overfitting (dimensões extras criadas p/ acomodar esse ou aquele outlier; modelo não generaliza). Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 27 / 27