UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica

Transcrição

1 REDES NEURAIS ARTIFICIAIS MÁQUINA DE VETOR DE SUPORTE (SUPPORT VECTOR MACHINES) Prof. Dr. André A. P. Biscaro 1º Semestre de 2017

2 Introdução Poderosa metodologia para resolver problemas de aprendizagem de máquina. Proposto em 1995 pelo russo Vladimir Vapnik. Muito utilizado atualmente em diversos tipos de aplicações.

3 Introdução Classificação em dois grupos: Classificação de múltiplas classes não é uma limitação, pois pode-se construir uma SVM para cada classe; Apresenta resultados melhores que muitos métodos populares de classificação.

4 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT Introdução 1968: base matemática Teoria de Lagrange [Vapnik et al, 1992] Primeiro artigo [Vapnik et al, 1998] Definição detalhada Última década Série de artigos com aplicações de SVM Série de artigos com otimizações de SVM SOM, por exemplo

5 Introdução SVM são utilizadas em diversas áreas: Bioinformática; Reconhecimento de assinaturas; Classificação de texto e imagens; Identificação de spams; Reconhecimento de padrões diversos;

6 Introdução Consiste em um método de aprendizado que tenta encontrar a maior margem para separar diferentes classes de dados. Pertence à classe de algoritmos de aprendizado supervisionado. A essência do SVM é a construção de um hiperplano ótimo, de modo que ele possa separar diferentes classes de dados com a maior margem possível.

7 Formas de Aprendizado Aprendizado Supervisionado Árvores de decisão K-Nearest Neighbor (KNN) Support Vector Machines (SVM) Aprendizado Não Supervisionado Aprendizado Por Reforço

8 Aprendizado Supervisionado Observa-se alguns pares de exemplos de entrada e saída, de forma a aprender uma função que mapeia a entrada para a saída. Damos ao sistema a resposta correta durante o processo de treinamento. É eficiente pois o sistema pode trabalhar diretamente com informações corretas.

9 Motivação Como separar essas duas classes?

10 Motivação Como separar essas duas classes? Existem diversas retas que podem ser traçadas para separar os dados. Qual delas é a melhor opção?

11 Motivação Como separar essas duas classes? Existem diversas retas que podem ser traçadas para separar os dados. Qual delas é a melhor opção? Hiperplano ótimo!

12 Motivação Servem para definir qual será o hiperplano. São encontrados durante a fase de treinamento. Os vetores de suporte são os exemplos de treinamento realmente importantes.

13 Motivação Qual o hiperplano ótimo? Menor erro de classificação Maior margem Distância entre vetores de suporte e o hiperplano

14 Motivação Margem de Classificação Distância do exemplo x i ao separador é Exemplos mais próximos ao hiperplano são vetores de suporte. Margem ρ do separador é a distância entre vetores de suporte de classes diferentes. r w T xi b w r ρ

15 O Hiperplano (H) Hiperplano: Espaço 1D = Ponto Espaço 2D = Reta Espaço 3D = Plano

16 O Hiperplano (H) Pontos que pertencem a H satisfazem a equação: w x + b = 0 w: vetor normal a H w = w 1, w 2,..., w n w é a norma euclidiana de w (w w ) = (w w n2 ) b / w é a distância perpendicular de H até a origem A distância r entre um ponto x e o hiperplano H é: r = g(x) / w r = ( w x + b ) / w Orientação de w Define o lado do plano em que os pontos pertencem a classe +1 b > 0 (origem no lado positivo) b < 0 (origem no lado negativo) b = 0 (origem pertence ao plano) X 2 H b / w w r x X 1

17 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT O Hiperplano (H) H: w x + b = 0 H: w 1 x 1 + w 2 x 2 + b = 0 Aplicando os pontos (5,0) e (0,5) 5w 1 + b = 0 5w 2 + b = 0 Isolando b 5w 1 = 5w 2 (w 1 = w 2 ) Escolhendo arbitrariamente w 1 = 1 b = -5 Norma de w w = (w 12 +w 22 ) = 2 Distância da origem Distância de um ponto x = (5,2) até H r = ( w x + b ) / w r = (5w1 + 2w2-5 ) / 2 r = (5+2-5) / 2 r = 2 b / w = 5/ 2 5 X 1 X 2 5 H w 5/ 2 2 x = (5,2)

18 Hiperplano Ótimo r + : distância entre H e o ponto positivo mais próximo r - : distância entre H e o ponto negativo mais próximo margem: r + + r - Objetivo da SVM é encontrar w 0 e b 0 para a maior margem H 0 : w 0 x + b 0 = 0 H 1 : w 0 x i + b 0 = 1 H 2 : w 0 x i + b 0 = -1 X 2 Para o hiperplano ótimo, r + = r - r - = 1 / w Margem = 2 / w H 0 H 1 H 2 r + r - w 0 r + = ( w x + b ) / w r + = 1 / w

19 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT Hiperplano Ótimo margem = 2 / w É aquele que possui maior margem É aquele que possui menor w Determinação do hiperplano Problema de otimização restrita Minimizar uma função de custo (produto interno) sujeito a restrições Multiplicadores de Lagrange Fora do escopo Exemplo Prático

20 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT Exemplo -1, 0, -1 0, -1, -1 0, 1, -1 1, 0, -1 3, -1, +1 3, 1, +1 6, -1, +1 6, 1, +1

21 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT Exemplo -1, 0, -1 0, -1, -1 0, 1, -1 1, 0, -1 3, -1, +1 3, 1, +1 6, -1, +1 6, 1, +1

22 w 1 x 1 + w 2 x 2 + b = -1 1w 1 + 0w 2 + b = -1 b = -1 - w 1 w 1 x 1 + w 2 x 2 + b = 1 3w 1-1w 2 + b = 1 w 2 = 3w 1-1 -w 1-1 w 2 = 2w 1-2 Exemplo (1, 0) -1 (3, -1) +1 (3, 1) +1 H 1 : w x + b = 1 H 2 : w x + b = -1 3w 1 +1w 2 + b = 1 3w 1 + 2w w 1 = 1 w 1 = 1 b = -2 w 2 = 0 (1, 0) x - 2 = 0 X 1 = 2

23 H: (1, 0) x - 2 = 0 H: x 1-2 = 0 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT Exemplo Dados de Teste (4, 2), (1.5, 0.5), (0, -2) 4-2 = 2 [+1] = -0.5 [-1] 0-2 = -2 [-1]

24 Support Vector Machine Não Linear Em alguns problemas não é possível separar as classes linearmente, mesmo utilizando uma margem de folga. Na realidade, a grande maioria dos problemas reais não são separáveis linearmente. O que fazer?

25 Support Vector Machine Não Linear Como funciona para dados linearmente inseparáveis? Mapeamento do espaço de características de D dimensões para HD, onde HD > D; Vetores de entrada são mapeados de forma não linear; Após transformado, o novo espaço de características deve ser passível de separação linear.

26 NÃO LINEAR Support Vector Machine Não Linear O que fazer quando os dados não são linearmente separáveis? A abordagem utilizada pelo SVM para resolver esse tipo de problema consistem em mapear os dados para um espaço de dimensão maior: x 2 x x

27 NÃO LINEAR Support Vector Machine Não Linear Considerando o seguinte conjunto de exemplos de treinamento que não são linearmente separáveis: X Elevando para uma dimensão linearmente separável (R 1 R 2 ): 25 9 Kernel: φ(x) = (x, x 2 ) X

28 NÃO LINEAR Support Vector Machine Não Linear O espaço de atributos original pode ser mapeado em um espaço de atributos de dimensão maior onde o conjunto de treinamento é linearmente separável: Φ: x φ(x)

29 NÃO LINEAR Support Vector Machine Não Linear A mesma metodologia pode ser aplicada em um espaço 2D de características (R 2 R 3 ). A única diferença é a necessidade de uma nova função de kernel. Um exemplo de função de kernel aplicável nesse caso seria: 2 (x1, x 2) (z1, z2, z3) (x1, 2x1x 2, x 2 2 ) z 2 z 1 z 3

30 NÃO LINEAR Exemplo 2 Como separar as duas classes com apenas um ponto? X 1 Class Class +1 Class

31 NÃO LINEAR Exemplo 2 SVM usa uma função não linear sobre os atributos do espaço de características inicial. X 1 Class Class +1 Class Φ(X 1 ) = (X 1, X 12 ) Esta função torna o problema bidimensional

32 X 1 X 1 2 Class UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT NÃO LINEAR Exemplo 2 SVM usa uma função não linear sobre os atributos do espaço de características inicial Class +1 Class -1 Φ(X 1 ) = (X 1, X 12 ) Esta função torna o problema bidimensional e os dados linearmente separáveis

33 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT NÃO LINEAR Exemplo 2 w x + b = +1 w 1 x 1 + w 2 x 2 + b = +1 0w 1 + 0w 2 + b = +1 b = 1 3w 1 + 9w 2 + b = +1 w x + b = -1 w 1 x 1 + w 2 x 2 + b = -1 substituindo b e após w 1 1w 1 + 1w 2 + b = -1 w 1 = -2 - w 2 2w 1 + 4w 2 + b = w 2 + 4w2 + 1 = -1 w x + b = 0 w 2 =1 e w 1 = -3 w 1 x 1 + w 2 x 2 + b = 0-3x 1 + x = 0 X 1 X 1 2 Class

34 NÃO LINEAR H: -3x 1 + x = 0 Dados de Teste (1.5), (-1), (4) Exemplo 2 Class +1 Class -1 (1.5) mapear para (1.5, 2.25) = [-1] (-1) mapear para (-1,1) = 5 [+1] Class +1 Class (4) mapear para (4,16) = 5 [+1]

35 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT NÃO LINEAR X 1 X 2 Class Exemplo 3 Como separar as duas classes com apenas uma reta?

36 NÃO LINEAR Φ(x 1, x 2 ) = Exemplo 3 (4-x 2 + x 1 -x 2, 4-x 1 + x 1 -x 2 ), (x 12 + x 22 ) > 2 (x 1, x 2 ) Esta função mantém o problema bidimensional

37 NÃO LINEAR Exemplo 3 x 1 x 2 Class Vetores de Suporte

38 NÃO LINEAR H 1 : w x + b = 1 H 2 : w x + b = -1 w 1 x 1 + w 2 x 2 + b = -1 1w 1 + 1w 2 + b = -1 w 1 = -1 -b -w 2 w 1 x 1 + w 2 x 2 + b = 1 2(-1 -b -w 2 ) + 2w 2 + b = b -2w2 +2w 2 + b = 1 b = -3 (2-1) x 2 = (2-1) x 1 Equação da reta 2x 2 - x 2 = 2x 1 - x 1 x 2 = x 1 w 1 = w 2 = 1 Exemplo 3 Vetores de Suporte x 1 x 2 Class H 0 : (1,1) x -3 = 0 x 1 + x 2-3 = 0

39 NÃO LINEAR Φ(x 1, x 2 ) = Exemplo 3 (4-x 2 + x 1 -x 2, 4-x 1 + x 1 -x 2 ), (x 12 + x 22 ) > 2 (x 1, x 2 ) Esta função realmente separa o espaço original de forma linear? Dados de teste (5,5) Φ(5,5) = (-1, -1) Dados de teste (4,4) Φ(4,4) = (0, 0) Erros de classificação! (5,5) (4,4)

40 NÃO LINEAR Exemplo 3 Função de mapeamento não é ideal

41 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT NÃO LINEAR Funções de Kernel Como escolher a função Φ(x) tal que o espaço de características transformado seja eficiente para classificação e não possua custo computacional alto demais? Funções de Núcleo (kernel) Polinomial Gaussiano Sigmoid Sempre aumentam o número de dimensões Algumas vezes aumentam bastante!

42 NÃO LINEAR Funções de Kernel O classificador linear depende do produto interno entre exemplos K(x i,x j )=x it x j Se cada ponto for mapeado a um espaço de alta dimensão através de uma transformação Φ: x φ(x), o produto interno fica: K(x i,x j )= φ(x i ) T φ(x j ) Uma função de kernel é uma função que é equivalente a um produto interno nem espaço de maior de dimensionalidade. Exemplo: Vetores de 2 dimensões x=[x 1 x 2 ]; let K(x i,x j )=(1 + x it x j ) 2,

43 NÃO LINEAR Exemplo: Funções de Kernel Vetores de 2 dimensões x=[x 1 x 2 ]; let K(x i,x j )=(1 + x it x j ) 2, Precisamos mostrar que K(x i,x j )= φ(x i ) T φ(x j ): K(x i,x j ) = (1 + x it x j ) 2,= 1+ x i12 x j x i1 x j1 x i2 x j2 + x i22 x j22 + 2x i1 x j1 + 2x i2 x j2 = [1 x i12 2 x i1 x i2 x i22 2x i1 2x i2 ] T [1 x j12 2 x j1 x j2 x j22 2x j1 2x j2 ] = φ(x i ) T φ(x j ), onde φ(x) = [1 x 12 2 x 1 x 2 x 22 2x 1 2x 2 ] Não precisamos calcular φ(x) explicitamente.

44 NÃO LINEAR Que Funções são Kernel? Funções de Kernel Para algumas funções K(x i,x j ) checar que K(x i,x j )= φ(x i ) T φ(x j ) pode ser difícil. Teorema de Mercer: Toda função simétrica definida semi-positiva é um kernel

45 Linear: K(x i,x j )= x it x j UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT Φ: x φ(x), onde φ(x)=x Polinomial de expoente p: K(x i,x j )= (1+ x it x j ) p Φ: x φ(x), onde φ(x) tem dimensões; Gaussiana (RBF): K(x i,x j ) = Funções de Kernel e x x i 2 Φ: x φ(x), onde φ(x) tem dimensão infinita: cada ponto é mapeado para uma função gaussiana. Separadores lineares correspondem a separadores não lineares no espaço de dimensão maior. j 2 2 d p p

46 Funções de Kernel Kernel Polinomial Gaussiano Sigmoidal ( x i, x j ) ( ( x x ) k) Função i exp( xi x j tanh( ( x j i x j 2 d ) ) k)

47 Aplicação O SVM foi originalmente concebido para lidar com classificações binárias. Entretanto, a maior parte dos problemas reais requerem múltiplas classes. Para se utilizar uma SVM para classificar múltiplas classes é necessário transformar o problema multi-classe em vários problemas da classes binárias Um contra o resto. Pairwise.

48 Aplicação Antes de aplicar uma SVM para classificar um conjunto de dados é necessário responder algumas questões: Quais funções de kernel utilizar? Qual o valor do parâmetro C (Soft Margin)? É possível optar por opções comuns, mas uma abordagem mais confiável é a utilização de validações cruzadas (cross validations).

49 Vantagens: UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT Vantagens e Desvantagens Consegue lidar bem com grandes conjuntos de exemplos; Trata bem dados de alta dimensão; O processo de classificação é rápido. Desvantagens: É necessário definir um bom Kernel; O tempo de treinamento pode ser bem longo dependendo do número de exemplos e dimensionalidade dos dados.

50 Bibliotecas SVM Bases de Exemplos: