Thiago Zavaschi Orientador: Alessandro Koerich Programa de Pós-Graduação em Informática (PPGIa) Pontifícia Universidade

Transcrição

1 Thiago Zavaschi Orientador: Alessandro Koerich Programa de Pós-Graduação em Informática (PPGIa) Pontifícia Universidade Católica do Paraná (PUC-PR)

2 Conceitos relacionados a classificação (revisão) Introdução ao SVM Funcionamento do SVM Cenários em que o SVM se aplica SVM em problemas não-binários Introdução a biblioteca libsvm Utilização da biblioteca 3

3 Support Vector Machines - SVM Máquinas de Vetor de Suporte Proposto em 1979 pelo russo Vladimir Vapnik Vladimir.Vapnik@rhul.ac.uk Um dos maiores acontecimentos da área de dos últimos 15 anos! Usado em larga escala 8

4 Aprendizagem Supervisionada Classificação Linear Classificador Binário Baseado no Teorema de Cover Os dados são mais propensos a serem separados linearmente em altas dimensões 9

5 Fronteira de decisão, qual a melhor? A ou B? 10

6 E se aparecerem novos elementos? Seriam classificados corretamente? 11

7 O SVM encontra o hiperplano ótimo Hiperplano ótimo é aquele que possui a mesma distância para os elementos de ambas as classes 1D Ponto 2D Reta 3D Plano Fronteira de Decisão SVM x Perceptron 12

8 Trabalha com o conceito de maximização da margem 13

9 São encontrados durante a fase de treinamento Servem para definir qual será o hiperplano Ou seja, definem qual será a fronteira de decisão Minimização de uma função quadrática Alto custo computacional 14

10 15

11 K é o kernel utilizado pelo SVM α e b são parâmetros encontrados durante o treinamento x é o vetor de características y é o rótulo da classe 16

12 O SVM pode sofrer com dois problemas comuns: Outliers Exemplos rotulados errôneamente O que fazer? 17

13 Há casos (a grande maioria) em que os problemas não são linearmente separáveis O SVM ainda assim pode ser aplicado Através do uso do parâmetro "C" ("variáveis de folga") 18

14 Para melhor desempenho os dados devem ser quase separáveis linearmente 19

15 Mas mesmo com as variáveis de folga (soft margin) há problemas que não são possíveis de serem separados linearmente Na realidade, a grande maioria dos problemas reais não são separáveis linearmente O que fazer? 20

16 Mapeamento não linear Solução: Projetar os dados em um espaço não linearmente separável em um que seja possível separá-los linearmente 21

17 É nesse ponto que a função de kernel é importante É responsável por elevar a dimensão dos dados para que sejam possíveis de serem separados por um hiperplano 22

18 Exercício: Como separar linearmente o seguinte exemplo? 23

19 Solução: Elevando para uma dimensão linearmente separável: R 1 R 2 φ(x) = (x,x 2 ) 24

20 Solução: Elevando para uma dimensão linearmente separável: R 1 R 2 φ(x) = (x,x 2 ) 25

21 26

22 27

23 28

24 29

25 Constrói um hiperplano no espaço de característica, sem estar nele. Toda vez que um produto interno entre vetores deve ser calculado, utiliza-se o kernel Uma função de kernel deve satisfazer o teorema de Mercer para ser válida Diz se um kernel candidato é realmente um kernel de produto interno de algum espaço Não fornece a função φ i (x)! 30

26 31

27 O SVM trabalha de maneira binária, ou seja, para duas classes Tem ou não câncer? Chove amanhã ou não chove? Está sorrindo ou não? Aula chata ou não? Aplica ou não aplica? 32

28 Contudo, a grande maioria dos problemas reais não possuem apenas duas classes: Identificação de caracteres manuscritos Placas de automóveis Tipos de câncer Expressões faciais 33

29 Com o SVM existem basicamente duas estratégias Pairwise Um-Contra-Todos 34

30 Consiste em treinar classificadores pairwise e arranjá-los na forma de uma árvore É uma competição entre os classificadores na base da árvore até que se chegue a uma solução Para q classes são necessários: q(q-1)/2 classificadores 35

31 36

32 O número de classificadores na estratégia de um-contra-todos é igual ao número de classes Treina-se um classificador C i para a primeira classe, usando-se como contra exemplos as outras classes, e assim por diante Para se obter a decisão final, em geral, é utilizada uma estratégia de votos 37

33 Dúvidas? 38

34 39