Árvore Binária SVM Otimizada na Classificação de Imagem Hiperespectral. Diego Bonesso 1 Vitor Haertel 1

Transcrição

1 Árvore Binária SVM Otimizada na Classificação de Imagem Hiperespectral. Diego Bonesso 1 Vitor Haertel 1 1 Universidade Federal do Rio Grande do Sul - UFRGS/PPGSR Caixa Postal Porto Alegre - RS, Brasil. diego.bonesso@gmail.com, vitor.haertel@ufrgs.br Abstract. In this paper we investigate an optimization procedure using the binary classifier Support Vector Machines (SVM) applied to high dimensional image data (hyperspectral image data) in a multiclass problem. In this particular case, one problem that has been investigated refers to the optimal choice for the parameters in the selected kernel function. Different approaches have been proposed in the literature for global optimization of the kernel parameters in a multiclass problem. In this study we investigate the use of a binary tree with the kernel parameters estimated at every tree node, by using the global accuracy as an optimization criterion. The proposed methodology is tested by using hyperspectral image data collected over the Indian Pine test area. The global classification accuracy yielded by the proposed methodology is compared with the results of a similar procedure implementing no optimization procedure. Palavras-chave: pattern recognition, grid search, kernel methods, reconhecimento de padrões, busca em grade, método baseado em kernel. 1. Introdução O algoritmo de Support Vector Machine (SVM) apresenta várias vantagens sobre os algoritmos convencionais de classificação, dentre elas podemos destacar: boa capacidade de generalização e lidar bem com o fenômeno de Hughes. O algoritmo já foi aplicado com sucesso em diversas tarefas de classificação inclusive na classificação de imagens hiperespectrais. Apesar de o algoritmo SVM apresentar bom poder de generalização seu desempenho depende da seleção de parâmetros da função de kernel do classificador. A escolha de parâmetros incorretos pode resultar em uma acurácia inferior aos algoritmos tradicionais como o de Máxima Verossimilhança Gaussiana. Atualmente não existe um método universal para guiar a seleção de parâmetros do kernel. Um dos métodos mais utilizado é o Grid Search, no qual basicamente o algoritmo constrói uma grade discreta combinando alguns parâmetros e resolvendo o modelo para cada combinação de parâmetros. A escolha dos parâmetros ótimos baseia-se em qual combinação atinge o melhor desempenho em termos de validação, ou seja, aqueles parâmetros que produzem maior acurácia global. Apesar de sua complexidade computacional elevada e de sua natureza heurística este algoritmo vem sendo amplamente utilizado devido a sua facilidade de implementação e possibilidade de ser utilizar em conjunto com diversos solvers (Moore, Bergeron, & Bennett, 2011). Existem diversas abordagens alternativas ao Grid Search na literatura e que fazem uso de heurísticas para diminuir a complexidade computacional. Dentre essas podemos destacar os algoritmos genéticos (Huang e Wang 2006) e (Zhang, et al. 2009) que combinam Algoritmos Genéticos e Simulated Annealing. Os métodos heurísticos apresentam bons resultados (acurácia) e menor custo computacional comparado ao Grid Search, além de permitirem a otimização de maior número de parâmetros ao mesmo tempo. A abordagem heurística na abordagem multiclasses pode ser encontrada em (Lorena & Carvalho, 2008) e (Gao, Yu, Mao, & Peng, 2012). 2298

2 O objetivo do presente trabalho é investigar a implicação na acurácia global do classificador SVM aplicado a um problema de múltiplas classes, os trabalhos encontrados na literatura propõe a adoção de um conjunto fixo de parâmetros ótimos para todos os estágios do classificador. Como o classificador SVM é um classificador binário, existem diversas abordagens na literatura para contornar essa limitação dentre elas podemos destacar: Directed Acyclic Graph (Platt, Cristianini, & Shawe-Taylor, 2000), BTS Binary tree of SVM (Fei & Liu, 2006). Nesse artigo foi utilizada a implementação em árvore binária proposta por (Andreola & Haertel, 2010). Os parâmetros da função de kernel são otimizados em cada nó da árvore. 2. SUPPORT VECTOR MACHINES (SVM) O classificador SVM foi proposto por (Vapnik, 1995) é um algoritmo de aprendizagem de máquina baseado na Teoria de Aprendizagem Estatística (Statistical Learning Theory - SLT). Dentre suas características podemos destacar boa acurácia para limitados exemplos de treinamento, separação não linear e reconhecimento de padrões em alta dimensionalidade. O SVM foi originalmente projetado para lidar com problemas de classificação binária. Seja um conjunto com amostras de treinamento em um problema que consiste em duas classes linearmente separáveis. Cada amostra fica associada a um rótulo: se e se. Onde é um vetor -dimensional representando o padrão a ser classificado, também é um vetor -dimensional (pesos) e o termo independente. A forma geral de uma função linear de decisão é dada por: Devido aos dados serem linearmente separáveis, não existe exemplos de treinamento que satisfazem, considerando a seguinte desigualdade. ( 1 ) { ( 2 ) Onde, 1 e -1 do lado direito da desigualdade pode ser a constante e, respectivamente. Porém ao dividir ambos os lados da equação por, obtemos (2) que é equivalente a equação a seguir. O hiperplano de separação assume a forma ( 3 ) A distância euclidiana de um ponto a um hiperplano de separação é dado por. O hiperplano ótimo de separação pode ser obtido minimizando ( 4 ) Sujeito às restrições: ( 5 ) ( 6 ) 2299

3 O problema de encontrar um hiperplano ótimo é um problema de otimização quadrático. Esse problema de otimização quadrático pode ser convertido em um problema dual equivalente ( 7 ). ( 7 ) Sujeito às restrições ( 8 ) A solução deste problema permite expressar em termos de resultando em uma nova forma para a função de decisão ( 1 ): ( 9 ) Onde é o conjunto de índices dos support vectors, isto é, as amostras de treinamento para as quais. A formulação anterior apresenta soluções viáveis para o problema de otimização apenas quando as amostras pertencentes às duas classes serem linearmente separáveis. Para estender a formulação anterior para dados não linearmente separáveis, permite-se que alguns dados possam violar as restrições da equação ( 6 ). Neste caso, a restrição expressa na equação torna-se: A equação ( 5 ) ao realizar a relaxação com a variável o problema de maximização do hiperplano de decisão pode ser escrito como um problema de otimização com restrições na forma: ( 10 ) O dual do problema de programação quadrática pode ser escrito da seguinte forma: ( ) ( 11 ) Pelo método de multiplicadores de Lagrange, a função de classificação ótima será pela equação ( 9 ). Uma alternativa para resolver um problema de classificação não linear é mapear os dados para um espaço de dimensão mais elevado, no qual os dados se tornem linearmente separáveis. O hiperplano de separação ótimo encontra-se num espaço de características de dimensão mais elevada, após o mapeamento. A função kernel ( ), a qual é utilizada para evitar cálculos complexos, é criada para substituir a operação de produto interno em espaço de características de alta dimensão. Então, o problema de otimização pode ser reescrito da seguinte maneira: ( ) 2300

4 ( 12 ) A função de classificação ótima ( 9 ) pode ser reescrita como: ( 13 ) Diferentes funções de kernel forma diferentes SVM s. As funções de kernel mais comuns são apresentadas na Tabela 1: 3. Metodologia Tabela 1- Lista de kernel frequentemente utilizados na literatura. Linear ( ) Polinomial ( ) ( ) RBF ( ) { } Sigmoide ( ) A imagem hiperespectral utilizada nesse experimento foi coletada pelo sistema sensor AVIRIS (Airborne Visible Infrared Imaging Spectrometer) sobre uma área de teste denominada Indian Pines (AVIRIS NW. Indiana's Indian Pines 1992 data set), localizada no noroeste do Estado de Indiana, USA. Os dados hiperespectrais consistem em 145 x 145 pixels com 220 bandas que cobrem o espectro eletromagnético na região de 0.4 até 2.4. Do conjunto de 220 bandas foram removidas bandas ruidosas, bandas afetadas por absorção atmosférica e ruído, restando 190 bandas. A cena compreende culturas de soja e milho, empregado técnicas de cultivos distintos (cultivo tradicional, cultivo direto e cultivo mínimo), além de áreas de pastagens e florestais. O Indian Pines dataset se constitui em um problema de classificação desafiador, devido à similaridade espectral da maioria das classes, o que torna a separação dessas muito difíceis. A dificuldade de classificação desses dados tornou esse dataset em um benchmark amplamente aceito e utilizado para a validação da acurácia de algoritmos de classificação de imagens hiperespectrais (A Plaza, A Plaza, A Pérez, & A Martínez, 2008). Como as escalas das bandas da cena em questão são muito diferentes, decidiu-se padronizar estes dados para a escala de de acordo com a equação de (Johnson & Wichern, Prentice-Hall): ( 14 ) Onde é o vetor de média, é o espaço original, é o espaço normalizado e é dado por: ( 15 ) [ ] Das classes disponíveis na cena foram selecionadas seis classes que apresentam alta semelhança espectral e, portanto, de difícil discriminação sem o uso de sensores 2301

5 hiperespectrais. Os algoritmos para realização dos experimentos foram programados em MATLAB. Foi utilizada a biblioteca Jgraph (Jgraph) para visualização da árvore gerada. O classificador SVM foi projetado para trabalhar com problemas de classificação binária. No presente trabalho foi utilizado o algoritmo proposto por (Andreola & Haertel, 2010) Classificador de Árvore Binária Support Vector Machine (CABSVM). O algoritmo implementa uma árvore binária, composta por um conjunto de classificadores binários em cada nó da árvore. O algoritmo fluxo do algoritmo proposto Classificador de Árvore Binária Support Vector Machine Otimizada (CABSVMO). A Figura 1: ( a ) apresenta o Fluxograma do algoritmo de treinamento CABSVM. A figura 1: ( b) mostra o fluxograma do algoritmo de treinamento CABSVMO. Início ( a ) Início ( b ) Leitura das amostras de treinamento e atribuição das classes ao nó raiz. Leitura das amostras de treinamento e atribuição das classes ao nó raiz. Em cada nó, determinar as duas classes mais separáveis pelo critério da distância de Bhattacharyya, gerando cada um em um nó filho. Em cada nó, determinar as duas classes mais separáveis pelo critério da distância de Bhattacharyya, gerando cada um em um nó filho. Cálculo dos coeficientes do classificador utilizando o conjunto de N bandas. Busca os parâmetros do kernel que resultam em acurácia > 0.9 Para cada classe, classifica as amostras de treinamento em um dos dois nós filhos. Cálculo dos coeficientes do classificador utilizando o conjunto de N bandas. Sim Amostras de treinamento alocadas ao nó filho vencedor. Porcentagem das amostras de treinamento em um nó > limiar. Amostras treinamento duplicadas nós filhos. Não de nos Sim Para cada classe, classifica as amostras de treinamento em um dos dois nós filhos. Porcentagem das amostras de treinamento em um nó > limiar. Não Não Todos os nós terminais possuem apenas uma classe. Sim Fim Amostras de treinamento alocadas ao nó filho vencedor. Não Amostras de treinamento duplicadas nos nós filhos. Sim Todos os nós terminais possuem apenas uma classe. Fim Figura 1: ( a ) Fluxograma do algoritmo de treinamento CABSVM. ( b) Fluxograma do algoritimo de treinamento CABSVMO. 2302

6 4. Resultados Os resultados obtidos com o classificador SVM (CABSVM) sem a otimização dos parâmetros da função de kernel foram comparados com a implementação do classificador SVM proposto onde os parâmetros do kernel (CABSVMO) são otimizados em cada nó árvore. Para exemplificar a diferença entre os resultados produzidos pelos dois algoritmos, elaboraram-se três estudos que foram avaliados segundo a acurácia global, tempo de execução e número de nós gerados. Primeiramente, executou-se o algoritmo CABSVM sem otimização de parâmetros do kernel, os parâmetros utilizados foram aqueles que apresentaram boa acurácia conforme o trabalho de (Andreola & Haertel, 2010), a função de kenrel utilizada foi a RBF, os parâmetros a serem otimizados forma o Gama e o parâmetro C, responsável por penalizar os support vectors que estão sobre a margem de classificação. As amostras foram divididas em um conjunto de treinamento com (50) amostras e um conjunto de teste (50) amostras formadas por 20 bandas. O segundo experimento utilizou (100) amostras de treinamento e (100) amostras de teste contendo 40 bandas. O último experimento utilizou (200) amostras de treinamento e (200) amostras de teste com 160 bandas. Os resultados obtidos são apresentados na Tabela 2. Tabela 2 - Resultados obtidos pelo algoritmo CABSVM. Amostras Bandas Parâmetros Tempo de execução Nós gerados Acurácia Global = 1 = segundos 55 0, = 1 = = 1 = minutos 55 0,77 6 minutos 35 0,82 Na segundo parte do experimento foi utilizado o algoritmo proposto CABSVMO. O processo de busca exaustiva dos melhores parâmetros necessita de amostras adicionais de teste. As amostras adicionais serão utilizadas para verificar a acurácia obtida durante o processo de seleção de parâmetros do kernel. Foram utilizados os mesmos números de amostras de treinamento e teste dos experimentos anteriores, sendo incluídas amostras adicionais de teste para otimização de parâmetros, foram utilizadas respectivamente 50 amostras com 20 bandas, 100 amostras com 40 bandas e 200 amostras com 160 bandas. Os resultados obtidos são apresentados na Tabela 3. Tabela 3 - Resultados obtidos pelo algoritmo CABSVMO (otimização dos parâmetros do Kernel). Amostras Bandas Parâmetros Tempo Intervalo de Parâmetros Obtidos Nós gerados Acurácia Global minutos 55 0, minutos 55 0,

7 hora e 10 minutos 45 0,84 A comparação entre o algoritmo CABSVM e CABSVMO e apresentada na Tabela 4, foi comparada a acurácia global e o tempo de processamento. Tabela 4 - Resultado comparativo entre o algoritmo CABSVM e CABSVMO. Amostras Bandas Acurácia CABSVM Acurácia CABSVMO Tempo Execução CABSVM Tempo Execução CABSVMO ,71 0, segundos 23 minutos ,77 0,80 2 minutos 40 minutos ,82 0,84 6 minutos 1 hora e 10 minutos 5. Discussões No presente trabalho é investigado o desempenho do algoritmo CABSVMO, ao aplicar a otimização dos parâmetros do kernel em cada nó da árvore. O método utilizado é uma busca exaustiva (Grid Search). Os resultados iniciais mostram uma melhora significativa na acurácia ao se aplicar o algoritmo CABSVMO conforme se pode perceber na Tabela 4. A melhora da acurácia exige maior tempo de processamento, no pior caso onde a melhora da acurácia atingiu 2% houve um incremento no tempo de processamento em 64 minutos. Os resultados indicam a viabilidade do método implementado. O algoritmo de Grid Search é ineficiente, pois o melhor ponto encontrado na grade a partir da amostragem discreta pode não ser o ponto ótimo, refinando mais a grade podemos encontrar parâmetros melhores, no entanto, o refinamento da grade pode ter um alto custo computacional. Existem na literatura diversos trabalhos que utilizam heurísticas mais eficientes para otimização dos parâmetros da função de kernel conforme apresentado na introdução desse artigo. Se for possível aplicar um método heurístico que diminua o tempo de processamento o algoritmo torna-se interessante já que o ganho de acurácia é significativo. 6. Citações e Referências A Plaza, J., A Plaza, A., A Pérez, R., & A Martínez, P. (2008). In: M. E Graña, & R. J. E Duro, Computational Intelligence for Remote Sensing (pp ). Berlin Heidelberg: Springer. Andreola, R., & Haertel, V. (2010). Classificação de ImagensHiperespectrais Empregando Support Vector Machines. Boletim de Ciências Geodésicas, 16, AVIRIS NW. Indiana's Indian Pines 1992 data set. (s.d.). Fonte: ftp://ftp.ecn.purdue.edu/biehl/multispec/92av3c Gao, X., Yu, P., Mao, W., & Peng, D. (1-3 de June de 2012). Classification of Hyperspectral Image Based on SVM Optimized by a New Particle Swarm Optimization. Remote Sensing, Environment and Transportation Engineering, pp Huang, C.-L., & Wang, C.-J. (2006). A GA-based feature selection and parameters optimizationfor support vector machines. Expert Systems with Applications, 31(2), Jgraph. (s.d.). Acesso em 20 de Julho de 2012, disponível em Johnson, R. A., & Wichern, D. W. (Prentice-Hall). Applied Multivariate Statistical Analysis. New Jersey: Prentice-Hall. Lorena, A. C., & Carvalho, A. C. (2008). Evolutionary tuning of SVM parameter values in multiclass problems. Neurocomputing, 71(16 18),

8 Moore, G., Bergeron, C., & Bennett, K. (2011). Model selection for primal SVM. Machine Learning, 85, Platt, J., Cristianini, N., & Shawe-Taylor, a. J. (2000). Large margin DAGSVM s for multiclass classification. Advances in Neural Information Pro-cessing System, pp Vapnik, V. N. (1995). The Nature of Statical Learning Theory. New York: Springer-Verlang. Zhang, Q., Shan, G., Duan, X., & Zhang, Z. (dec. de 2009). Parameters optimization of Support Vector Machine based on Simulated Annealing and Genetic Algorithm., (pp ). 2305