Adriana da Costa F. Chaves. Máquina de Vetor Suporte (SVM) para Classificação Binária 2

Transcrição

1 Máquina de Vetor Suporte (SVM) para Classificação Binária Adriana da Costa F. Chaves Conteúdo da Apresentação Introdução Máquinas de Vetor Suporte para Classificação binária Exemplos Conclusão Máquina de Vetor Suporte (SVM) para Classificação Binária 2

2 Introdução Máquinas de vetor suporte (SVMs) são sistemas de aprendizado baseados na teoria de aprendizado estatístico. SVMs têm sido aplicadas com sucesso em uma variedade de aplicações em classificação e regressão. Máquina de Vetor Suporte (SVM) para Classificação Binária 3 Introdução Objetivo do problema de classificação separar as duas classes por uma função induzida pelos exemplos disponíveis para produzir um classificador que tenha boa generalização. Máquina de Vetor Suporte (SVM) para Classificação Binária 4

3 Introdução Figura Máquina de Vetor Suporte (SVM) para Classificação Binária 5 Introdução a Figura, diversos hiperplanos separam os dados das classes azul e laranja, somente um maximiza a margem (indicado em verde ) hiperplano de separação ótimo. Máquina de Vetor Suporte (SVM) para Classificação Binária 6

4 Conteúdo da Apresentação Introdução Máquinas de Vetor Suporte para Classificação binária Exemplos Conclusão Máquina de Vetor Suporte (SVM) para Classificação Binária 7 Máquinas de Vetor Suporte Classificação Binária Uma função não linear mapeia os dados de entrada em um espaço de características de dimensão mais alta. esse espaço é construído um hiperplano de separação. Essa função é uma função kernel. Exemplos: Funções de Base Radial (RBF) e polinômios. Máquina de Vetor Suporte (SVM) para Classificação Binária 8

5 Máquinas de Vetor Suporte Classificação Binária Máquinas lineares (hiperplano no espaço de entrada) padrões linearmente separáveis - caso ; padrões não linearmente separáveis - caso 2. Máquinas não lineares (hiperplano no espaço de características) - caso 3. Máquina de Vetor Suporte (SVM) para Classificação Binária 9 Hiperplano de Separação Seja o conjunto de treinamento (x,y ),...,(x,y ), x i R n, y i {-,}. Objetivo encontrar o hiperplano de separação encontrar w e b tais que y i (w.x i + b) > 0, i =,...,. () Máquina de Vetor Suporte (SVM) para Classificação Binária 0

6 Caso Existe um hiperplano satisfazendo () o conjunto é linearmente separável. É possível reescrever w e b para que min i y i (w.x i + b) =. Máquina de Vetor Suporte (SVM) para Classificação Binária Hiperplano Ótimo Então, () se torna: y i (w.x i + b), i =,...,. (2) A margem do hiperplano é 2/ w. Achar o hiperplano ótimo maximizar margem minimizar w 2 sob as restrições (2). Máquina de Vetor Suporte (SVM) para Classificação Binária 2

7 Hiperplano Ótimo Margem medida da habilidade de generalizar: quanto maior, melhor a generalização. w 2 é convexo a minimização sob restrições lineares pode ser feita, usando-se multiplicadores de Lagrange. Máquina de Vetor Suporte (SVM) para Classificação Binária 3 Hiperplano Ótimo Lagrangeano primal L(w,b,α) = ½w.w - Σα i [y i (w.x i + b) -], onde α i 0 são os multiplicadores de Lagrange. Máquina de Vetor Suporte (SVM) para Classificação Binária 4

8 Hiperplano Ótimo Solução do problema de otimização minimizar L(w,b,α) em relação a w e b; maximizar L(w,b,α) em relação a α. Máquina de Vetor Suporte (SVM) para Classificação Binária 5 Hiperplano Ótimo Derivando L em relação às componentes de w e a b e igualando a 0, temos w = Σy i α i x i e Σy i α i = 0. Máquina de Vetor Suporte (SVM) para Classificação Binária 6

9 Hiperplano Ótimo Substituindo-se as relações, o problema de otimização será: maximizar W( α) = i= α com α i 0. i αiα jyiy jx i. 2 i, j= x j (3) Máquina de Vetor Suporte (SVM) para Classificação Binária 7 Hiperplano Ótimo α 0 = (α 0,...,α0 ) solução do problema de maximização w 0 = Σy i α 0 i x i. (4) Os vetores suporte são os pontos que satisfazem a equação: y i (w 0.x i + b) =. Máquina de Vetor Suporte (SVM) para Classificação Binária 8

10 Hiperplano Ótimo Considerando a expansão (4) de w 0, a equação do hiperplano pode ser escrita como: i= 0 α y x. x + b = 0. (5) (máquina linear: função linear dos dados de entrada) i i i 0 Máquina de Vetor Suporte (SVM) para Classificação Binária 9 Hiperplano Ótimo Os únicos pontos que têm α 0 i 0 são os vetores suporte. (Condição necessária e suficiente para solução ótima) Máquina de Vetor Suporte (SVM) para Classificação Binária 20

11 Função de Decisão A equação do hiperplano é chamada de função de decisão e é usada para classificar novos pontos. Assim, um ponto x é classificado de acordo com o sinal da função de decisão = α + i i= 0 f ( x) yixi. x b0. Máquina de Vetor Suporte (SVM) para Classificação Binária 2 20 Pontos de R 2 linearmente separáveis Máquina linear Máquina de Vetor Suporte (SVM) para Classificação Binária 22

12 Caso 2 Dados não linearmente separáveis, definição de variáveis soltas (ξ,...,ξ ) com ξ i 0 tais que y i (w.x i + b) - ξ i, i =,...,, (7) permite que alguns pontos violem (2). Máquina de Vetor Suporte (SVM) para Classificação Binária 23 Variáveis Soltas ξ j = ξ j 0= 0 ξ i ξ> i > ξ sv k ξ > sv k > sv sv sv sv Máquina de Vetor Suporte (SVM) para Classificação Binária 24

13 Objetivo Variáveis Soltas permitir erros ξ i >. Assim, Σξ i limite superior para o número de erros de treinamento. Máquina de Vetor Suporte (SVM) para Classificação Binária 25 Hiperplano Ótimo O hiperplano ótimo é a solução do seguinte problema: minimizar 2 w. w + C i= ξi, sujeito às restrições (7) e ξ i 0. (8) Máquina de Vetor Suporte (SVM) para Classificação Binária 26

14 Hiperplano Ótimo Resolução análoga ao caso. Primeiro termo margem Segundo termo erros permitido. número de C escolhido pelo usuário quanto maior C menos erros são permitidos. Máquina de Vetor Suporte (SVM) para Classificação Binária Pontos de R 2 não linearmente separáveis Máquina linear Máquina de Vetor Suporte (SVM) para Classificação Binária 28

15 Caso 3 A maioria dos problemas reais não pode ser resolvidos por máquinas lineares (funções lineares dos dados de entrada). Logo, o algoritmo do hiperplano ótimo deve ser melhorado para permitir superfícies de decisão não lineares. Máquina de Vetor Suporte (SVM) para Classificação Binária 29 Caso 3 A idéia básica mapear os dados de entrada em um espaço F, o espaço de características, via uma função não linear Φ: R n F. Construir o hiperplano ótimo em F equação do hiperplano não é linear nos dados de entrada. Máquina de Vetor Suporte (SVM) para Classificação Binária 30

16 20 Pontos de R 2 não linearmente separáveis Máquina não linear Máquina de Vetor Suporte (SVM) para Classificação Binária 3 SVM não linear Substituindo-se x por sua imagem Φ(x), (3) se torna W( α) = αi αiα jyiy jφ( x i ). Φ( x i= 2 i, j= Se K(x i,x j ) = Φ(x i ).Φ(x j ) é calculado diretamente, então o mapeamento Φ não é usado explicitamente. j ). Máquina de Vetor Suporte (SVM) para Classificação Binária 32

17 Exemplos de Kernels Kernel Expressão Parâmetros Polinomial K(x i,x j ) = (x i.x j + a) p a, p Perceptron K(x i,x j ) = tanh(β 0 x i.x j + β ) β 0, β RBF K( x = σ 2 i, x j) exp x 2 i x j 2σ Máquina de Vetor Suporte (SVM) para Classificação Binária 33 SVM não linear Uma vez que K, função kernel, é escolhida, o algoritmo de treinamento consiste em maximizar W( α) = αi αiα jyiy jk( x i, x j) i= 2 i, j= sujeito às restrições α i y = 0 i= i e 0 α i C, i =,...,. Máquina de Vetor Suporte (SVM) para Classificação Binária 34

18 SVM não linear A expansão de K não é linear no espaço de entrada, mas é linear no espaço de características. A equação do hiperplano será α i yik( xi, x) + b = 0. i= (9) Máquina de Vetor Suporte (SVM) para Classificação Binária 35 SVM não linear Assim, um ponto x é classificado de acordo com o sinal da função de decisão f( x) = α i y K( x, x) + b. i= i i (0) Máquina de Vetor Suporte (SVM) para Classificação Binária 36

19 Conteúdo da Apresentação Introdução Máquinas de Vetor Suporte para Classificação binária Exemplos Conclusão Máquina de Vetor Suporte (SVM) para Classificação Binária 37 Exemplo - Iris com 2 classes Considere o problema da planta Iris com 2 classes Variação de C:, 0, 00, Infinito Variação de σ 2 : 0,,, 0, 00 Máquina de Vetor Suporte (SVM) para Classificação Binária 38

20 Máquina de Vetor Suporte (SVM) para Classificação Binária 39 Máquina de Vetor Suporte (SVM) para Classificação Binária 40

21 Exemplo 2 - Haberman s Survival Data Considere o problema do banco de dados Haberman Fixando σ 2 = 0,, variando C:, 0, 00, Máquina de Vetor Suporte (SVM) para Classificação Binária 4 Máquina de Vetor Suporte (SVM) para Classificação Binária 42

22 Conteúdo da Apresentação Introdução Máquinas de Vetor Suporte para Classificação binária Exemplos Conclusão Máquina de Vetor Suporte (SVM) para Classificação Binária 43 Conclusão Foi feita uma apresentação de SVM para Classificação Binária. o caso mais geral, é possível construir hiperplano no espaço de características que separe as classes, de tal forma que a margem de separação entre exemplos de classes diferentes seja máxima. Máquina de Vetor Suporte (SVM) para Classificação Binária 44