APLICAÇÃO DA TEORIA DE OTIMIZAÇÃO CONVEXA EM PROBLEMAS DE CLASSIFICAÇÃO

Transcrição

1 APLICAÇÃO DA TEORIA DE OTIMIZAÇÃO CONVEXA EM PROBLEMAS DE CLASSIFICAÇÃO André Ricardo Gonçalves Faculdade de Engenharia Elétrica e de Computação - UNICAMP Campinas, SP, Brasil RESUMO Neste presente trabalho é apresentado um estudo sobre o método, empregado aqui em problemas de classificação de padrões, denominado Máquina de Vetores Suporte. Esta técnica utiliza a teoria de otimização convexa para modelar o problema e determinar um hiperplano separador que maximize a distância entre a casca convexa de dois conjuntos de dados, pertencentes a classes distintas. Um estudo de caso é realizado para exemplificar a aplicação desta metodologia. PALAVRAS-CHAVE: Classificação de Padrões, Otimização Convexa, Máquina de Vetores Suporte. ABSTRACT In this present paper is presented a study of method, employed here in problems of pattern classification, called Support Vectors Machine. This technique uses the theory of convex optimization to model the problem and determine a separate hyperplane that maximize the distance between the convex hulls of two sets of data, belonging to different classes. A case study is conducted to exemplify the application of this methodology. KEYWORDS: Pattern Classification, Convex Optimization, Support Vectors Machine. 1 INTRODUÇÃO Classificação de dados é um problema proveniente da ciência da computação que busca separar um conjunto de dados, em grupos ou classes, que possuem características em comum. Esse tipo de problema é corrente em diversas áreas do conhecimento como: classificação de proteínas em bioinformática, processamento digital de imagens, diagnóstico médico, entre outros. Várias abordagens foram propostas para atacar este problema, dentre elas a Máquina de Vetor Suporte, do inglês Suporte Vector Machine - SVM, que utiliza fundamentos da teoria de otimização convexa para encontrar superfícies de decisão ótima. Este trabalho busca apresentar a modelagem do problema de classificação utilizando a teoria de otimização e aplicá-la em um estudo de caso real de domínio médico. O restante deste trabalho é descrito como segue: na seção 2 aborda a definição do problema de classificação de padrões. Na seção 3 e nas subseções sequentes são apresentadas a modelagem do problema, seja para dados linearmente separáveis ou não, utilizando a teoria de otimização, já na seção 4 o estudo de caso é descrito. Alguns testes foram feitos e os resultados analisados na seção 5, juntamente com uma exploração maior por meio dos gráficos de ROC; e por fim algumas discussões do trabalho e conclusões. 2 CLASSIFICAÇÃO DE PADRÕES O problema de classificação de padrões pode ser definido como a necessidade de encontrar uma função que seja capaz de de identificar a qual classe um certo dado pertence, dentre um conjunto de classes pré-estabelecido. De acordo com (Clancey, 1984) uma classe é um estereótipo hierarquicamente organizado que constitui um grupo de dados com características em comum. Considerando uma classificação binária, onde existem duas classes possíveis, podemos formalizar um problema de classificação como (Boyd and Vandenberghe, 2004): Definição 2.1 Dado dois conjuntos de dados, x = {x 1, x 1,..., x N } e y = {y 1, y 1,..., x M }, deseja-se obter um função f : R n R que é positiva para o conjunto x e negativa para y, isto é, f(x i ) > 0, i = 1,.., N f(y i ) < 0, i = 1,..., M (1) A partir deste ponto será considerado apenas problemas de classificação binária de dados. Assim dizemos que f separa, classifica ou discrimina dois conjuntos de pontos. Sendo que f pode ser uma função linear (discriminante linear); ou não-linear, como quadrática e polinomial (Boyd and Vandenberghe, 2004). 1

2 2.1 Separabilidade dos dados e Conceito de Margem Dois conjuntos de dados são ditos linearmente separáveis se existe pelo menos uma função linear f que separa totalmente padrões (dados) de classes diferentes (Russell and Norvig, 1995), como mostra a figura 1. A partir disso, deseja-se então encontrar um hiperplano único (w T x+b) que determina a máxima distância entre os pontos mais próximos das duas classes. Este tipo de classificador é denominado na literatura como classificador de margem máxima (David and Lerner, 2005). Os pontos (vetores) mais próximos do hiperplano são chamados de vetores suporte, daí o nome Máquina de Vetores Suporte. 3.1 Classificação Linear Considerando um conjunto de dados {x k, y k } N linearmente separáveis, com x k R n e dados de resposta y k R, com classes y k {-1,+1}, definimos o classificador linear como Figura 1: Dois conjuntos linearmente separáveis. Podemos definir a função linear f como: w T x + b = 0 (2) onde w o vetor normal ao hiperplano separador f e b o termo de deslocamento do hiperplano em relação a origem. Se os dados não puderem ser separados por uma função linear, dizemos que os conjuntos são não-linearmente separáveis. A modelagem do problema apresentada neste trabalho considera ambos os casos. Dado dois conjuntos de dados linearmente separáveis, é denominada de margem a distância entre os pontos, de classes distintas, que estão mais próximos entre si. Sob a ótica de otimização, a margem pode ser descrita como a distância entre a casca convexa de dois conjuntos de dados. 3 MODELAGEM UTILIZANDO TEORIA DE OTIMIZAÇÃO CONVEXA { w T x k + b +1 se y k = +1 w T x k + b 1 se y k = 1 Esta desigualdade pode ser combinada é uma única expressão (3) y k [w T x k + b] 1, k = 1,..., N. (4) Modelagem do problema de otimização Para a formulação do problema devemos definir, em termos formais, a margem do classificador. Considerando pontos sobre as retas descritas pelas equações (3) (vetores suporte), e denotando-as como H 1 : w T x + b = +1 e H 2 : w T x+b = 1, como mostra a figura 3; e a normal w, podemos calcular a distância perpendicular de cada reta, H 1 e H 2 até a origem, que é dada por 1 b / w e 1 b / w respectivamente. Uma vez que a distância de H 1 e H 2, em relação ao hiperplano ótimo são iguais, isto é, d H1 = d H2 = 1/ w, assim a margem é 2/ w. Portanto deseja-se maximizar a margem, o que é equivalente a minimizar w 2, sujeito as restrições da Eq. (4) (Burges, 1998). Em problemas linearmente separáveis, possivelmente existirão diversos hiperplanos separadores que dissociam os dados totalmente. A figura 2 ilustra um exemplo de dados no espaço de duas dimensões. Figura 3: Vetores suporte do classificador linear. Figura 2: Problema onde hiperplano não é único. A formulação do SVM é feita dentro do contexto de teoria de otimização convexa (Suykens et al., 2002). Em geral a metodologia é iniciada formulando o problema primal como um problema de otimização restrita, posteriormente obtém- 2

3 se a função Lagrangeana, então tome as condições de otimalidade e finalmente formule e resolva o problema dual no espaço dos multiplicadores de Lagrange. O problema primal em w é formulado como segue: (P) minimizar 1 2 wt w sujeito a y k [w T x k + b] 1 k = 1,..., N. A Langrageana deste problema é minimizar 1 y k y l x T k x l α k α l + 2 k,l=1 (D) sujeito a α k y k = 0 α k 0 k = 1,..., N. As variáveis com (*) denotam valores ótimos. A solução do problema dual, αk, é agora utilizado para obter o vetor normal ótimo (w ), resultando no seguinte classificador α k L(w, b; α) = 1 2 wt w + α k (y k [w T x k + b] 1) (5) onde α k é o multiplicador de Lagrange associado a restrição referente ao dado de entrada k, sendo que α k 0 k, k = 1,..., N. A resolução do problema primal pode ser obtido pela resolução do problema dual a ele associado, maximizando o ínfimo da Lagrangeana. A minimização da Lagrangeana é um problema de programação quadrática convexa (Burges, 1998), com a função objetivo convexa e os pontos que satisfazem as restrições formam um conjunto convexo, dado que N restrições lineares definem a intersecção de N conjuntos convexos que por sua vez é um conjunto convexo. Assim é possível afirmar que minimizar o problema primal é equivalente a maximizar o problema dual a ele associado (Burges, 1998). O problema dual associado, em relação a α, é dado por (D) maximizar inf L(w, b; α) w,b f(x) = sign[ αky k x T k x + b ] (7) onde sign(x) é a função sinal definida pela Eq. 8. { +1 se w T x k + b > 0 1 se w T x k + b < 0 O valor de b pode ser obtido através das condições de complementariedade de Karush-Kuhn-Tucker (KKT) Eq. (6e), escolhendo uma restrição com α k 0, e calculando b. Outra maneira de obter b é através do cálculo da média da distância entre os vetores suporte, já que b é o deslocamento do hiperplano em relação a origem, e que o hiperplano estará no ponto médio entre os vetores suporte. Assim b = 1 2 (8) ( (w T x H1 ) + (w T x H2 ) ) (9) onde x H1 e x H2 são os vetores suporte de cada classe. De acordo com as condições de KKT, os valores de α k devem satisfazer a equação 6e, assim somente os pontos x k que satisfazem Para resolução do ínfimo da Lagrangeana um problema de minimização deve ser resolvido L N w = 0 w = α k y k x k N L b = 0 α k y k = 0 (6a) (6b) y k [w T x k + b] 1 0, k = 1,..., N (6c) α k 0, k (6d) α k {y k [w T x k + b] 1} = 0 k (6e) com isso podemos formular o problema dual, em relação aos multiplicadores de Lagrange α k, sujeito as restrições (6b) e (6d) y k (w T x k + b ) = 1 (10) terão multiplicadores de Lagrange diferentes de zero, que são os vetores suporte, pontos sobre as retas H 1 e H 2, mostrado na figura 3. Assim o hiperplano ótimo é encontrado apenas utilizando os vetores suporte, que formam um conjunto pequeno de dados. Algumas interessantes propriedades do problema dual são identificadas por (Suykens et al., 2002): Solução global e única: A matriz relacionada com o termo quadrático em α é definida positiva ou semi-definida positiva. No caso da matriz ser definida positiva a solução é global, dado o problema quadrático convexo, e única. Quando a matriz é semidefinida positiva (autovalores associados podem ser zero), a solução é global mas não necessariamente única. 3

4 No problema dual, o tamanho do vetor solução α cresce com o aumento do número de dados N, enquanto que no problema primal o tamanho de w é independente da quantidade de dados. Portanto, quando um grande conjunto de dados estão disponíveis, pode ser vantajoso resolver o problema primal, mas quando os dados forem de alta dimensionalidade é melhor resolver o problema dual. Problemas com margem ruidosas Na maioria dos problemas reais os dados são nãolinearmente separáveis, ou seja, há uma região de intersecção dos dados de classes distintas. Nesta situação deve-se tolerar algumas classificações incorretas (Suykens et al., 2002). A extensão das SVM s lineares para o caso de margem ruidosas foi desenvolvida por (Cortes and Vapnik, 1995), que adicionou algumas variáveis de folga (ξ) na formulação do problema. O problema primal é formulado em relação a w e ξ (P) minimizar 1 2 wt w + C sujeito a y k [w T x k + b] 1 k = 1,..., N. ξ k 0 k = 1,..., N. A constante C é um termo de regularização que impõe um peso à minimização dos erros dos dados de entrada (Lima, 2002). O problema dual associado é ξ k Além disso, geralmente o espaço H possui dimensão infinita, o que dificulta trabalhar diretamente com a função de mapeamento (Burges, 1998). Mercer (Mercer, 1909) demonstrou um teorema que define os produtos internos no espaço H. Teorema 1 A forma geral do produto interno no espaço H é definida pela função simétrica e definida positiva K(x, y), que satisfaz a condição K(x, y)φ(x)φ(y)dxdy 0, (12) para todas as funções Φ(x i ) e Φ(x j ) que satisfazem Φ 2 (x)dx (13) A partir disto, a obtenção do hiperplano ótimo de separação é realizado como segue : f(x) = sign[ αky k K(x i, x j ) + b] (14) Com diferentes funções kernel é possível construir diferentes classificadores com arbitrários tipos de superfície de decisão. Algumas funções kernel mais utilizadas são: (D) minimizar 1 y k y l x T k x l α k α l + 2 k,l=1 sujeito a α k y k = 0 0 α k c k = 1,..., N. 3.2 SVM s Não-Lineares A extensão da SVM linear para o caso de dados nãolinearmente separáveis foi desenvolvido por (Vapnik, 1995; Vapnik, 1998), com a introdução das funções de mapeamento dos dados de entrada em um espaço de alta dimensionalidade. Um hiperplano separador linear é então construído neste espaço de alta dimensionalidade (H), chamado de espaço de características ou ainda espaço de Hilbert. α k Φ : R d H (11) Na obtenção do hiperplano ótimo (7) é utilizado o cálculo do produto interno. No espaço de características temos Φ(x i ) Φ(x j ). Portanto utilizaremos uma função K, denominada de função kernel, tal que K(x i, x j ) = Φ(x i ) Φ(x j ). Utilizando a função kernel, não haverá a necessidade de conhecer explicitamente a função de mapeamento Φ. K(x, y) = (x y), kernel linear (15a) K(x, y) = (x y + 1) p, kernel polinomial (15b) } x y 2 K(x, y) = exp { 2σ 2, kernel RBF (15c) Uma discussão sobre o uso e valores dos parâmetros de várias funções kernel é apresentada em (Lima, 2002). As SVM s não-lineares podem ser estendidas a presença de margens ruidosas, adicionando variáveis de folga. 3.3 Métodos de resolução A escolha do método de resolução dos problemas de otimização quadrática presentes no modelo, dependerá basicamente da dimensionalidade e da quantidade de dados disponíveis. Quando o número de dados de treinamento for muito pequeno o problema pode ser resolvido analiticamente, pois haverão poucas restrições a ser consideradas. Contudo, na maioria dos problemas reais o volume de dados é grande, não sendo factíveis de resolvê-los analiticamente, para estes casos métodos numéricos são indicados. Para problemas de porte médio, pacotes de otimização de propósito geral que resolvam problemas de programação quadrática convexa com restrições lineares são suficientes. 4

5 Já para problemas de larga escala, métodos mais robustos são necessários. Um dado problema de otimização com restrições de igualdade pode ser resolvido em um único passo utilizando o método de Newton, ou em no máximo n passos utilizando método do gradiente projetado ascendente, onde n é o número de dados do problema (Burges, 1998). Ainda outros métodos podem ser utilizados, como a classe de métodos de projeção e de pontos interiores. Além do método de região de confiança, que é implementado na toolbox de otimização do MATLAB. Lembrando que em todos os algoritmos somente as partes essencias da Hessiana (colunas com α 0, os vetores suporte) devem ser considerados, no entanto alguns algoritmos precisam calcular a Hessiana por completo. Uma boa maneira de verificar se o algoritmo esta funcionando corretamente é verificar se as soluções satisfazem as condições KKT (Eq. 6a), para o problema primal, uma vez que essas soluções são necessárias e suficientes para que a solução seja ótima (Burges, 1998). 4 ESTUDO DE CASO Com o objetivo de analisar o desempenho da SVM, foi aplicado em um problema real de domínio médico, cuja tarefa é a identificação de pacientes normais ou com DPOC (Doença Pulmonar Obstrutiva Crônica), considerando cinco medidas fisiológicas em percentagem, que são elas: Capacidade Vital Forçada (CVF), Volume Expiratório Forçado no Primeiro Segundo (VEF1), Pico de Fluxo Expiratório (PFE), Fluxo Expiratório Forçado Médio (FEF25-75%) e Ventilação Voluntária Máxima (VVM). Estas variáveis expressam a relação percentual do valor obtido pelo valor normal esperado para cada padrão de indivíduo (considerando idade e sexo). Os dados foram obtidos do Laboratório de Fisioterapia Pulmonar da Universidade Estadual de Londrina. Foram utilizados exames de 222 pacientes, dos quais 142 são normais e 80 já haviam sido diagnosticados com DPOC. O software de simulação é uma adaptação do código de Anton Schwaighofer da Microsoft Research, disponível em software.html sob a licença GPL versão 2. O software é um conjunto de scripts em MATLAB e que utiliza a toolbox de otimização do MATLAB 1, para a resolução do problema dual das SVM s não-lineares. Para a resolução do problema quadrático convexo, foi utilizada a função quadprog da toolbox de otimização do MATLAB. De acordo com (Toolbox, n.d.) esta função implementa o método de regiões de confiança, do inglês trust region method (Byrd et al., 1987). Um módulo de validação cruzada do tipo k-fold (Kohavi, 1995) foi implementado. O conjunto total de dados foi dividido em 10 (10-fold) subconjuntos, 9 para treinamento e 1 para teste, sendo que o subconjunto de teste é iterado entre os 10 subconjuntos, o restante é concatenado e forma o conjunto de treinamento. 1 C Kernel RBF Polinomial Linear % % % % % % % % % % % % Tabela 1: Tabela de percentagem de predições corretas de diferentes classificadores. Todos os testes foram realizados em computador Pentium Dual Core 2.27 GHz com 2Gbytes memória RAM, sobre a plataforma Microsoft Windows XP Service Pack 3. 5 ANÁLISE DOS RESULTADOS Diferentes funções kernel foram utilizadas, com diferentes parâmetros de configuração. Para os parâmetros σ 2 e p, dos kernels RBF e polinomial respectivamente, foi utilizado valor 8 para ambos, este valor foi obtido empiricamente. A tabela 5 mostra os resultados obtidos. Lembrando que o parâmetro C é utilizado pelas variáveis de folga do problema dual no caso de margens ruidosas. Com base na tabela observa-se que todos os classificadores alcançaram bons desempenhos no problema tratado. Os diferentes valores de C mostraram que os classificadores são sensíveis as alterações deste parâmetro. A determinação de um bom valor para o parâmetro C geralmente é feita por tentativa e erro, calculando as taxas de predições corretas de classificadores com diferentes valores do parâmetro e aquele que tiver melhor desempenho é escolhido. Observa-se também que classificadores com funções kernel RBF e Polinomial, são menos suscetíveis as alterações da constante C, o que é um ponto a ser considerado na escolha de um classificador, pois fica menos dependende a forma como C é escolhido. Análise dos Gráficos de ROC Gráficos de ROC (Receiver Operating Characteristics) podem ser empregados na análise de desempenho de classificadores. Para isso são utilizadas: a taxa de True Positive (TP), valores positivos (+1) classificados como positivos e a taxa de False Positive (FP), valores negativos (-1) classificados como positivos. Para uma introdução sobre gráficos de ROC veja (Fawcett, 2006). O gráfico de ROC identifica uma relação entre a taxa FP e TP, sendo que quanto mais a noroeste do gráfico (FP é baixa ou TP é alta, ou ambos) estiver esta relação (FPxTP) de um classificador, melhor o é. Três classificadores com diferentes funções kernel foram analisados, utilizando C=100 (linha 4 da tabela 5), e o gráfico de ROC foi gerado, o qual é mostrado na figura 4. Condizente com os valores da tabela 5, o gráfico mostra que os classificadores possuem praticamente o mesmo poder classificação, pois estão bem próximos uns aos outros. Estes resultados indicam que os classificadores são conservadores, 5

6 REFERÊNCIAS Boyd, S. and Vandenberghe, L. (2004). Convex Optimization, Cambridge University Press. Burges, C. J. (1998). A tutorial on support vector machines for pattern recognition, Data Mining and Knowledge Discovery 2: Byrd, R. H., Schnabel, R. B. and Shultz, G. A. (1987). A trust region algorithm for nonlinearly constrained optimization, SIAM Journal on Numerical Analysis 24(5): Clancey, W. J. (1984). Classification problem solving, Association for the Advanced of Artificial Intelligence. Figura 4: Gráficos de ROC para os classificadores obtidos. pois só aceitam o resultado como positivo quando ocorre uma forte evidência. Lembrando ainda que o ponto (0,1) representa uma classificação perfeita. Sendo que todos estão bem próximo a este ponto. Uma outra análise possível seria a plotagem dos pontos da relação (FPxTP) dos classificadores, para cada valor de C testado, calculando a área inferior a curva que cada conjunto de pontos gera. Esta área informa o poder médio de classificação, considerando diferentes valores para C. 6 DISCUSSÕES E CONCLUSÃO Neste trabalho foi apresentada uma técnica de classificação de dados que utiliza a teoria de otimização convexa como ferramenta para identificação de superfícies de decisão, as Máquinas de Vetores Suporte. Os resultados mostram que as SVM s obtiveram bons resultados mesmo com diferentes funções kernel, com percentagem de predições corretas acima de 90%. Fazendo uma ressalva sobre a sensibilidade da SVM em relação ao parâmetro C. O gráfico de ROC apresentou ainda uma comparação entre os classificadores, buscando uma exploração maior da estrutura interna dos mesmos. Apesar dos bons resultados obtidos no estudo de caso abordado (seção 4), direções na literatura apontam que tal técnica é indicada para problemas de alta dimensionalidade dos dados, como processamento de imagem, classificação textuais e de dados de bioinformática. Considerando que neste estudo de caso a dimensionalidade dos dados é igual a 5, que é relativemente baixa. Portanto, a SVM talvez não seja a técnica mais apropriada para este tipo dados. Sendo cabível a utilização de outra técnica como as Redes Neurais (Gonçalves and Camargo-Brunetto, 2008). Uma possível melhoria ao SVM implementado seria a introdução de alguma heurística para determinar os parâmetros ideais das funções kernel, podendo assim melhorar o desempenho dos classificadores. Cortes, C. and Vapnik, V. (1995). Support-vector networks, Machine Learning, pp David, A. and Lerner, B. (2005). Support vector machinebased image classification for genetic syndrome diagnosis, Pattern Recognition Letters 26(8): Fawcett, T. (2006). An introduction to roc analysis, Pattern Recognition Letters 27(8): Gonçalves, A. R. and Camargo-Brunetto, M. A. O. (2008). Um novo modelo híbrido baseado em otimização por colônia de formigas e redes neurais para identificação de indivíduos com DPOC, Anais do XI Congresso Brasileiro de Informática em Saúde. Kohavi, R. (1995). A study of cross-validation and bootstrap for accuracy estimation and model selection, Proceedings of the Fourteenth International Joint Conference on Artificial Intelligence, Morgan Kaufmann, pp Lima, C. A. d. M. (2002). Comitê de Máquinas: Uma Abordagem Unificada Empregando Máquinas de Vetores- Suporte, PhD thesis, Faculdade de Engenharia Elétrica e de Computação, Unicamp. Mercer, J. (1909). Functions of positive and negative type, and their connection with the theory of integral equations, Philosophical Transactions of the Royal Society of London 209: Russell, S. J. and Norvig, P. (1995). Artificial Intelligence: a modern approach, Prentice Hall, New Jersey. Suykens, J. A., Gestel, T. V., Brabanter, J. D., Moor, B. D. and Vandewalle, J. (2002). Least Squares Support Vector Machines, World Scientific. Toolbox, M. O. (n.d.). Documentação do toolbox de otimização do matlab, access/helpdesk/help/toolbox/optim/ index.html. Vapnik, V. (1995). The Nature of Statistical Learning Theory, Springer-Verlang, New York. Vapnik, V. (1998). Statistical Learning Theory, John Wiley & Sons, New York. 6