Conteúdo da Apresentação

Transcrição

1 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) para Classificação em Múltiplas Classes Adriana da Costa F. Chaves Conteúdo da Apresentação Motivação Método de Extração de Regras Fuzzy Classificação binária Classificação em múltiplas classes Conclusão Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 2

2 Motivação Máquinas de vetor suporte (SVMs) são sistemas de aprendizado baseados na teoria de aprendizado estatístico. SVMs têm sido aplicadas com sucesso em uma variedade de aplicações em classificação e regressão. SVMs são "modelos caixa preta. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 3 Solução Motivação algoritmo de extração de regras para revelar o conhecimento contido em uma SVM treinada e representar a estratégia de classificação por regras lingüísticas. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 4

3 Conteúdo da Apresentação Motivação Método de Extração de Regras Fuzzy Classificação binária Classificação em múltiplas classes Conclusão Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 5 Método de Extração de Regras Fuzzy Classificação Binária O método de extração de regras fuzzy está dividido em três etapas: 1. Projeção dos vetores suporte 2. Definição dos Conjuntos Fuzzy 3. Extração de Regras Fuzzy (FREx_SVM) Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 6

4 1. Projeção dos vetores suporte Os vetores suporte são projetados nos eixos coordenados. O número de projeções é igual à dimensão do espaço de entrada. Projeção em y vetor suporte Projeção em x Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 7 2. Definição dos Conjuntos Fuzzy Um certo número de conjuntos fuzzy de mesmo tamanho é construído para cada coordenada. Os dados de entrada são associados a esses conjuntos fuzzy. Cada conjunto é rotulado e é associada uma função de pertinência triangular. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 8

5 2. Definição dos Conjuntos Fuzzy C 25 C 24 C 23 C 22 C 21 C 12 C 15 C 11 C 13 C 14 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 9 2. Definição dos Conjuntos Fuzzy O grau de pertinência de cada projeção do vetor suporte é avaliado. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 10

6 2. Definição dos Conjuntos Fuzzy C 25 C 25 C 24 Vetor suporte s C 24 C 14 C 15 C 14 C 15 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) Definição dos Conjuntos Fuzzy O grau de pertinência de cada projeção do vetor suporte é avaliado. O conjunto com grau de pertinência máximo para cada projeção do vetor suporte é identificado. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 12

7 2. Definição dos Conjuntos Fuzzy C 25 C 25 C 24 Vetor Suporte s C 24 C 14 C 15 C 14 C 15 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) Extração de Regras Fuzzy (FREx_SVM) Cada vetor suporte s gera uma regra fuzzy. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 14

8 3. Extração de Regras Fuzzy (FREx_SVM) C 25 C 24 C 25 Vetor suporte s C 14 C 15 C 24 O formato da regra gerada pelo vetor suporte s é: SE p 1 é C 14 e p 2 é C 25 ENTÃO p = (p 1,p 2 ) é da classe definida pelo vetor suporte s. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) Extração de Regras Fuzzy (FREx_SVM) O número máximo de regras é igual ao número total de vetores suporte obtidos. Duas métricas são definidas: - acurácia fuzzy - abrangência fuzzy Regras conflitantes são resolvidas pela escolha da regra com maior acurácia fuzzy. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 16

9 Acurácia Fuzzy Acurácia fuzzy da regra r associada à classe c, c {1,2,...,k}, mede quão bem ela representa os dados e é definida por: mc m r FAc = x x µ r ( i ), µ r ( j ) i = 1 j = 1 (1) µ r (x i ) é o produto dos graus de pertinência de x i a cada conjunto presente no antecedente da regra, m c é n o de padrões na classe c. m é n o total de padrões. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 17 Abrangência Fuzzy Abrangência fuzzy mede o número de padrões afetados pela regra. A definição de abrangência fuzzy da regra r é: FC r = m j = 1 µ ( x r m (2) onde µ r (x j ) e m foram anteriormente definidos. j ), Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 18

10 Exemplo Para ilustrar o funcionamento de FREx_SVM, considere o exemplo exposto na Tabela 1 6 padrões - P1, P2,..., P6 2 classes - {-1, 1} P1 é vetor suporte da classe -1 P2 e P6 são vetores suporte da classe 1 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 19 Tabela 1 Atributo 1 Atributo 2 Classe P P P P P P Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 20

11 Exemplo São construídos 2 conjuntos fuzzy: C 11 e C 12 para a 1 a coordenada C 21 e C 22 para a 2 a coordenada Os graus de pertinência estão nas Tabelas 2 e 3, onde µ ij é o grau de pertinência do conjunto C ij. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 21 Tabela 2 - Graus de pertinência Atributo 1 µ 11 µ ,8 0,2 65 0,7 0,3 70 0,6 0,4 76 0,48 0, ,4 0,6 85 0,3 0,7 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 22

12 Tabela 3 - Graus de pertinência Atributo 2 µ 21 µ ,42 0, ,67 0, ,33 0, ,25 0, ,58 0, ,54 0,46 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 23 Regras Se x 1 é C 11 e x 2 é C 22, então x = (x 1,x 2 ) é da classe -1. Se x 1 é C 11 e x 2 é C 21, então x = (x 1,x 2 ) é da classe 1. Se x 1 é C 12 e x 2 é C 21, então x = (x 1,x 2 ) é da classe 1. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 24

13 Acurácia Fuzzy Regra FA 1 = 0, 69 FA 1 = 0, 31 Regra 2 2 FA = , Regra 3 3 FA = , 2 FA = , 3 FA = , Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 25 Abrangência Fuzzy Regra 1 Regra 2 Regra 3 1 FC = 0, 30 2 FC = 0, 25 3 FC = 0, 21 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 26

14 Método de Extração de Regras Fuzzy Classificação em Múltiplas Classes Passos para se extrair regras para classificação em k classes, k > 2: 1. Escolher um dos métodos de classificação em múltiplas classes. 2. Treinar a(s) SVM(s) para obter os vetores suporte. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 27 Método de Extração de Regras Fuzzy Cada método gera um conjunto de regras. Para os métodos de separação das classes duas a duas e Crammer e Singer, todos os vetores suporte obtidos são utilizados na extração de regras ajudam a definir as classes. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 28

15 Método de Extração de Regras Fuzzy Para o método de decomposição um por classe, somente os vetores suporte da classe com rótulos positivos são considerados. Os vetores suporte de outras classes servem apenas para excluir a classe com rótulos positivos. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 29 Conteúdo da Apresentação Motivação Método de Extração de Regras Fuzzy Classificação binária Classificação em múltiplas classes Conclusão Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 30

16 Nome Bupa Liver Disorders n o de atributos n o de classes n o de padrões Wisconsin Breast Cancer Íris Vinho Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 31 O desempenho do FREx_SVM foi avaliado usando-se as seguintes medidas: Percentagem de erros de teste (Err %); Cobertura (Cb %): percentagem do conjunto de teste coberta pelas regras; Número de regras geradas (NR). Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 32

17 Bupa Liver Disorders 2 Treinamentos padrões 173 padrões Cada conjunto é usado uma vez no treinamento e uma vez no teste. FREx_SVM com 3, 5 e 7 conjuntos fuzzy Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 33 Desempenho do FREx_SVM N o de Err Cb NR Erro da SVM conjuntos (%) (%) (%) 3 47,25 95, , ,87 85, , ,52 80, ,03 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 34

18 Wisconsin Breast Cancer 2 Treinamentos padrões 341 padrões Cada conjunto é usado uma vez no treinamento e uma vez no teste. FREx_SVM com 3 e 5 conjuntos fuzzy Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 35 Desempenho do FREx_SVM N o de Err Cb NR Erro da SVM conjuntos (%) (%) (%) 3 02,49 77,90 131,5 05, ,73 63, ,56 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 36

19 Íris 2 Treinamentos - 75 padrões 75 padrões Cada conjunto é usado uma vez no treinamento e uma vez no teste. FREx_SVM com 3, 5 e 7 conjuntos fuzzy 3 métodos de classificação Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 37 Desempenho do FREx_SVM Decomposição um por classe N o de Err Cb NR Cb da SVM conjuntos (%) (%) (%) 3 11, ,5 60, , , ,67 96,67 42,5 60,67 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 38

20 Desempenho do FREx_SVM Separação das classes duas a duas N o de Err Cb NR Erro da SVM conjuntos (%) (%) (%) 3 11, ,5 12, , ,5 12, ,67 96, ,00 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 39 Desempenho do FREx_SVM Método de Crammer e Singer N o de Err Cb NR Erro da SVM conjuntos (%) (%) (%) 3 10, ,5 33, , , ,67 96,67 39,5 14,00 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 40

21 Regras - 3 conjuntos fuzzy Se x 1 é C 11 e x 2 é C 22 e x 3 é C 31 e x 4 é C 41, então Classe 1. [acurácia: 0,9990 / abrangência: 0,1623] Se x 1 é C 11 e x 2 é C 21 e x 3 é C 32 e x 4 é C 42, então Classe 2. [acurácia: 0,9629 / abrangência: 0,0525] Se x 1 é C 12 e x 2 é C 21 e x 3 é C 32 e x 4 é C 43, então Classe 3. [acurácia: 0,9645 / abrangência: 0,0235] Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 41 Regra da classe 1 Se x 1 é C 11 e x 2 é C 22 e x 3 é C 31 e x 4 é C 41, então Classe 1. x 1 x 3 x 2 x 4 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 42

22 Regra da classe 2 Se x 1 é C 11 e x 2 é C 21 e x 3 é C 32 e x 4 é C 42, então Classe 2. x 1 x 3 x 2 x 4 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 43 Regra da classe 3 Se x 1 é C 12 e x 2 é C 21 e x 3 é C 32 e x 4 é C 43, então Classe 3. x 1 x 3 x 2 x 4 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 44

23 Vinho 2 Treinamentos - 89 padrões 89 padrões Cada conjunto é usado uma vez no treinamento e uma vez no teste. FREx_SVM com 3 e 5 conjuntos fuzzy 3 métodos de classificação Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 45 Desempenho do FREx_SVM Decomposição um por classe N o de Err Cb NR Cb da SVM conjuntos (%) (%) (%) 3 07,87 92, , ,00 51, ,74 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 46

24 Desempenho do FREx_SVM Separação das classes duas a duas N o de Err Cb NR Erro da SVM conjuntos (%) (%) (%) 3 07,87 92, , ,00 51, ,04 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 47 Desempenho do FREx_SVM Método de Crammer e Singer N o de Err Cb NR Erro da SVM conjuntos (%) (%) (%) 3 07,87 92, , ,00 51,69 86,5 07,30 Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 48

25 Desempenho do FREx_SVM Aplicação do FREx_SVM nos 4 problemas anteriores é possível a construção de um conjunto de regras que classifique os dados de teste de maneira confiável com excelente cobertura. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 49 Conteúdo da Apresentação Motivação Método de Extração de Regras Fuzzy Classificação binária Classificação em múltiplas classes Conclusão Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 50

26 Conclusão Foi proposto um novo método para extração de regras fuzzy a partir de SVMs treinadas: FREx_SVM. Foram definidas duas métricas para se avaliar as regras geradas: acurácia fuzzy e abrangência fuzzy. Principal vantagem do modelo FREx_SVM: conjuntos fuzzy nos antecedentes das regras. Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 51 Conclusão As regras não são usadas para a classificação mas para o entendimento da classificação com SVM. A característica mais importante é obtenção de uma boa cobertura. A cobertura das regras mostrou-se excelente. a Extração de Regras Fuzzy para Máquina de Vetor Suporte (SVM) 52