Reduzindo o Custo Computacional do Algoritmo das Projeções Sucessivas para Problemas de Classificação Utilizando o Lema de Inversão de Matrizes

Transcrição

1 Anais do CNMAC v.2 ISSN X Reduzindo o Custo Computacional do Algoritmo das Projeções Sucessivas para Problemas de Classificação Utilizando o Lema de Inversão de Matrizes Anderson da Silva Soares Programa de Pós-Graduação em Engenharia Eletrônica e Computação, ITA , São José dos Campos, SP engsoares@gmail.com Roberto Kawakami Harrop Galvão Divisão de Engenharia Eletrônica, ITA , São José dos Campos, SP kawakami@ita.br Resumo: Técnicas de seleção de variáveis como o Algoritmo das Projeções Sucessivas (APS) podem ser empregadas em problemas de classificação com o objetivo de reduzir a dimensionalidade do problema. Neste trabalho é proposto o uso do lema de inversão de matrizes para reduzir o custo computacional do APS. O ganho computacional obtido pela modificação é ilustrado em um exemplo de detecção de falhas de um sistema industrial simulado. Dados do software de simulação Tennessee Eastman Process foram utilizados com o sistema operando com e sem falha. Utilizando o APS com a modificação proposta, foi possível obter uma economia de até 63% do tempo computacional sem perda de desempenho em termos de taxa de acerto de classificação. Palavras-Chave: Algoritmo das Projeções Sucessivas, classificação de padrões, seleção de variáveis, lema de inversão de matrizes, eficiência computacional. 1 Introdução A seleção de variáveis em problemas de classificação tem por objetivo obter um subconjunto de atributos não-redundantes entre si que melhor representem os objetos a serem classificados 8. O Algoritmo das Projeções Sucessivas (APS) foi proposto em 1 como uma técnica de seleção de variáveis para minimizar problemas de colinearidade em Regressão Linear Múltipla. O algoritmo foi posteriormente adaptado para tratar problemas de classificação por Análise Discriminante Linear 2, tendo proporcionado taxas de acerto superiores às obtidas por métodos baseados em análise de componentes principais ou algoritmos genéticos 2, 9. O APS compreende duas fases 2. Dada uma matriz X de dados de treinamento com N linhas (objetos) e K colunas (variáveis), a fase 1 consiste de operações de projeção envolvendo as colunas de X. Estas projeções são utilizadas para gerar K cadeias de variáveis candidatas. Na fase 2, cada uma das cadeias é usada para definir subconjuntos de variáveis a serem avaliados por meio de uma métrica baseada na distância de Mahalanobis 4. Os subconjuntos são gerados incluindo-se uma número progressivamente maior de variáveis, na ordem estabelecida dentro da cadeia. Em termos de custo computacional, a fase 2 do APS requer um tempo de execução consideravelmente maior que o da fase 1. Isso se deve à necessidade de calcular, para cada subconjunto de variáveis, a inversa da matriz de covariância conjunta a ser usada no cômputo da distância de Mahalanobis. Vale ressaltar que, em aplicações envolvendo um número elevado de variáveis, o tempo de execução pode se tornar proibitivo. Por essa razão, propõe-se neste trabalho uma técnica de atualização da inversa da matriz de covariância conjunta por meio do lema de inversão de matrizes para reduzir o custo computacional da fase 2 do APS. 994

2 Para ilustração apresenta-se um estudo de caso do problema de detecção de falhas. Uma falha é entendida como uma operação anormal do sistema em estudo. A detecção de falhas pode ser formulada como um problema de classificação no qual devem ser distinguidas duas classes: ω 0 : Operação normal e ω 1 : Falha. O restante do texto está organizado da seguinte forma. Na seção 2 é feita uma revisão sobre o algoritmo APS em sua versão para problemas de classificação. Na seção 3 é apresentada a proposta de modificação utilizando o lema de inversão de matrizes na fase 2 do APS. Na seção 4 é descrito o estudo de caso de detecção de falhas e as configurações para medida do tempo de execução antes e depois da alteração proposta. Na seção 5 são apresentados os resultados de classificação e de custo computacional. Finalmente na seção 6 são resumidas as conclusões do trabalho. 2 O Algoritmo APS para Problemas de Classificação O algoritmo APS faz uso de dois conjuntos de dados: um conjunto de treinamento com N objetos e outro conjunto de validação com N v objetos. Na fase 1, a partir de uma variável inicial x k (k = 1,...,K), cada elemento da cadeia é escolhido de modo a possuir a menor colinearidade em relação às variáveis anteriores, até que se complete um tamanho M pré-estabelecido. Como resultado, obtêm-se K cadeias de M variáveis cada uma. Detalhes desse procedimento estão descritos em 1, 2. Vale salientar que M é limitado pela seguinte restrição: M min(n c,k) (1) em que c é a quantidade de classes consideradas no problema 4. Na fase 2 o algoritmo APS utiliza o conjunto de validação para avaliar os subconjuntos extraídos das cadeias geradas na fase 1, conforme a seqüência de passos explicitada abaixo. 1 Avaliação dos subconjuntos de variáveis - Fase 2 do APS 1. Faça k = 1 2. Enquanto k < K 3. Faça m = 1 4. Enquanto m < M 5. Seja X km um subconjunto de variáveis formado pelos m primeiros elementos da k-ésima cadeia gerada na fase Calcule a inversa km da matriz de covariância conjunta com as variáveis contidas em X km. 7. Empregando as variáveis contidas em X km, calcule a distância de Mahalanobis de cada objeto do conjunto de validação ao centro de cada uma das classes consideradas, de acordo com a Equação (2): rkm(x 2 n, x j) = (x n x j) T km (xn xj); n = 1,..., Nv; j = 1,..., c (2) em que x n corresponde ao n-ésimo objeto do conjunto de validação e x j corresponde à média amostral da j-ésima classe. 8. Calcule o custo associado a cada objeto do conjunto de validação conforme a Equação (3): em que In ǫ {1,..., c} é o índice da classe do objeto x n 9. Calcule o custo médio G km conforme a Equação (4) 10. Faça m = m Fim Enquanto m < M 12. Faça k = k Fim Enquanto k < K r 2 g n,km = km(x n, x In) n = 1,..., min Ij In rkm 2 Nv (3) (xn, xij); G km = 1 N v N v n=1 g n,km (4) 995

3 A matriz de covariância conjunta S km do passo 6 é calculada como média ponderada das matrizes de covariância. O custo definido na Equação (3) é a razão das distâncias de Mahalanobis do objeto x n ao centro da classe correta e ao centro da classe incorreta mais próxima. Tal expressão pode ser interpretada como o risco de classificação incorreta do objeto em questão 2. Ao final da fase 2, a escolha do melhor sub-conjunto de variáveis dá-se pelo critério de menor custo médio dos subconjuntos analisados. Vale salientar que o cálculo da Equação (2) é efetuado M K vezes. Com os sucessivos incrementos no número de variáveis (laço Enquanto m < M ), há um acréscimo na dimensão da matriz S km. Portanto o custo computacional para se obter a inversa km, pode tornar-se elevado à medida que m é incrementado. Para efeito de comparação, nos testes utilizando os dados e configurações descritos na seção 4, a fase 2 demanda um tempo de execução dez vezes maior do que a fase 1, sendo a inversão de S km o passo de maior custo computacional dentro da fase 2 do algoritmo. 3 Técnica Proposta É possível reduzir o custo computacional da fase 2 do APS empregando-se uma abordagem seqüencial para se obter a inversa da matriz S k(m+1) com m + 1 variáveis a partir da inversa de S km. Para tanto, é proposto o uso do Lema de Inversão de Matrizes. O lema de inversão de matrizes é uma identidade matemática muito útil no cálculo da inversa de uma matriz, e que surge regularmente na área de controle de sistemas em aplicações do filtro de Kalman e do método dos mínimos quadrados recursivo 6, 7. Sejam A, C matrizes quadradas não-singulares e B, D matrizes tais que BCD tem a mesma dimensão de A. Então o chamado lema de inversão de matrizes é dado na forma 5 (A + BCD) 1 = A 1 A 1 B(DA 1 B + C 1 ) 1 DA 1 (5) Seja km a inversa da matriz de covariância conjunta para o subconjunto de variáveis {x k1,x k2,...,x km } correspondente aos m primeiros elementos da k-ésima cadeia. Ao adicionar x k(m+1), acrescenta-se um vetor s = s 1,s 2,...,s N T em S km, de modo que Sm s S k(m+1) = s T (6) r em que s = s 1,s 2,...,s N 1 T e r = s N. Conforme demostrado no apêndice A, é possível obter k(m+1) como: k(m+1) = ( m s1 r st ) 1 r s T ( m s 1 r st ) 1 1 q S 1 1 q m s 1 (7) em que q = r s T m s. Aplicando o lema de inversão de matrizes (Equação 5) para resolver ( m s1 r st ) 1, em que A = km, B = 1 r, C = s e D = st obtém-se: S 1 k(m+1) = m + 1 q S 1 m s st m 1 q st m 1 q S 1 1 q m s 1 (8) Logo, é possível obter k(m+1) a partir de S 1 km sem a necessidade de refazer todo o cálculo da inversa a medida que m é incrementado. Com isso, o custo computacional da fase 2 do algoritmo APS pode ser reduzido. 4 Materiais e Métodos Para fins de medida de tempo computacional, foi utilizado um notebook com processador AMD Athlon Dual-Core de 1.90Hz e 2GB de memória RAM. O ambiente de desenvolvimento foi o Matlab em sua versão

4 Em particular, foram utilizados os mesmos dados do trabalho apresentado em 10 gerados por meio de simulação do Tennessee Eastman process (TEP). O software é reconhecido na literatura de detecção de falhas como problema de benchmark e utiliza técnicas de controle multivariável de processos 3. O sistema em questão pode ser brevemente descrito como uma arranjo reator-separador-reciclo para geração de diferentes produtos em uma determinada proporção. O objetivo é a produção de materiais que serão referenciados como produtos PA, PC, PD e PE. O APS é empregado para escolher variáveis com atrasos de tempo a serem considerados. As medidas das grandezas da tabela 1 são realizadas com intervalos regulares de tempo, com período de amostragem T. Como entrada do classificador emprega-se os valores passados de w 1,w 2,...,w n. O objeto a ser classificado no instante de tempo t seria então x(t) = w 1 (t) w 1 (t T) w 1 (t (p 1)T)... w 2 (t) w 1 (t T) w 1 (t (p 1)T)... w n (t) w n (t T) w n (t (p 1)T) sendo p uma constante escolhida de modo a definir a janela de tempo a ser empregada. Grandeza w 1 w 2 w 3 w 4 w 5 w 6 w 7 w 8 w 9 w 10 w 11 w 12 w 13 w 14 w 15 w 16 w 17 w 18 w 19 w 20 w 21 w 22 Tabela 1: Grandezas monitoradas na simulação. Descrição Vazão de alimentação para o produto PA. Vazão de alimentação para o produto PD. Vazão de alimentação para o produto PE. Vazão de alimentação para os produtos PA e PC. Vazão de reciclo do compressor. Vazão de alimentação do reator Pressão do reator. Nível do reator. Temperatura do reator. Vazão do depurador. Temperatura do separador de produtos. Nível do separador de produtos. Pressão do separador de produtos. Vazão de líquido na saída do separador. Nível da retificadora. Pressão da retificadora. Vazão de líquido na saída da retificadora. Temperatura da retificadora. Vazão de vapor para a retificadora. Trabalho do compressor. Temperatura de saída da água de resfriamento para o reator. Temperatura de saída da água de resfriamento para o condensador. O simulador é capaz de simular condições de falha e operação normal por meio do monitoramento de 22 grandezas descritas na Tabela 1. Os dados se referem a 8 tipos de falhas no processo de produção por meio da manipulação de algumas variáveis conforme a Tabela 2. Cada caso de falha inclui 100 objetos obtidos a partir de operação normal e 100 objetos a partir de operação com falha. Os dados foram separados em três conjuntos: treinamento e validação a serem utilizados no algoritmo APS e ao final o classificador é obtido por Análise Discriminante Linear aplicado a um terceiro conjunto de teste de classificação onde será medida a acurácia do classificador. 4.1 Métricas de Avaliação No processo de detecção de falhas quatro possíveis resultados são previstos: Verdadeiro Positivo (VP) que consiste em detectar uma falha quando existe falha. Falso Positivo (FP) que consiste 997

5 Tabela 2: Falhas simuladas. Código da falha Grandeza manipulada IDV1 Razão de alimentação entre PA e PC IDV2 Composição do produto PB IDV3 Temperatura de alimentação do PD IDV4 Temperatura da água no reator IDV5 Temperatura da água no condensador IDV6 Perda de alimentação do produto PA IDV7 Perda de pressão IDV8 Composição dos produtos PA, PB, PC em detectar uma falha quando não existe falha. Verdadeiro Negativo (VN) que consiste em classificar a operação do sistema como normal quando a operação é normal, ou seja, sem falhas e Falso Negativo (FN) que consiste em classificar a operação do sistema como normal quando existe uma falha. As taxas de VP, FP, VN e FN podem ser usadas para calcular a sensibilidade do classificador V P V P+FN de falhas como a sensibilidade SEN(%) = 100% e a especificidade como ESP(%) = V N V N+FP 100%. A sensibilidade indica o quão bom é a classificação para identificar falhas, enquanto a especificidade indica a confiabilidade do classificador em detectar operação normal. Adicionalmente a taxa de acerto como TA(%) = 100% também será utilizada. 5 Resultados V P V P+FP A Tabela 3 apresenta os resultados de detecção para oito tipos de falhas utilizando o APS. Para cada tipo de falha um classificador foi treinado. Os resultados são referentes ao conjunto de teste. Para a maioria das falhas analisadas (IDV1, IDV2, IDV6, IDV7, IDV8) a detecção foi realizada com taxas de acerto, sensibilidade e especificidade elevadas. Tabela 3: Resultados da detecção de falhas utilizando o APS. APS-Classificação IDV1 IDV2 IDV3 IDV4 IDV5 IDV6 IDV7 IDV8 TA(%) SEN(%) ESP(%) Como o APS permite a escolha do número máximo de variáveis (M) a serem testadas na fase 2 do algoritmo, foi conduzido um experimento variando M de 1 ao máximo permitido conforme a Equação (1). O objetivo consiste em comparar o custo computacional da implementação original da fase 2 do APS com a implementação utilizando o lema de inversão de matrizes. A Figura 1 mostra o resultado comparativo do tempo de execução gasto na implementação original do APS e na implementação proposta na seção 3 para os dados da falha IDV1. Para o caso de M = 76 a modificação na fase 2 do APS resultou em uma redução de 63% do tempo computacional. Resultados similares foram obtidos ao se tratar as demais falhas. 998

6 600 Tempo de execução (segundos) (a) (b) M Figura 1: Custo computacional utilizando a implementação original (a) e a implementação com lema de inversão de matrizes (b) para os dados da falha IDV1. 6 Conclusões Este trabalho propôs uma nova implementação do algoritmo de seleção de variáveis APS por meio do uso do lema de inversão de matrizes. Esta implementação foi utilizada na fase 2 do algoritmo, principal limitante em termos de custo computacional. Como exemplo de aplicação, um problema de detecção de falhas em dados de um processo industrial simulado foi utilizado. Como resultado, o ganho computacional na fase 2 do APS chegou a 67%. Como continuidade do trabalho sugere-se o tratamento do custo computacional do laço Enquanto k < K no algoritmo apresentado na seção 2 eliminando subconjuntos de variáveis que já foram avaliadas. Agradecimentos Os autores agradecem o apoio financeiro da FAPESP (bolsa de doutorado 2007/ e projeto temático 2006/ ), CNPq (bolsa de produtividade em pesquisa) e CAPES/PROCAD (processo 0081/05-1). Referências 1 M. C. U. Araújo, T. C. B. Saldanha, R. K. H. Galvão, T. Yoneyama, H. C. Chame, V. Visani. The successive projections algorithm for variable selection in spectroscopic multicomponent analysis. Chemometrics and Intelligent Laboratory Systems, 57(2):65 73, M. J. C. Pontes, R. K. H. Galvão, M. C. U. Araújo, P. N. T. Nogueira, O. D. P. Neto, G. E. José, T. C. B. Saldanha. The Successive Projections Algorithm for Spectral Variable Selection in Classification Problems. Chemometrics and Intelligent Laboratory Systems, 78(1):11-18, J. J. Downs, E. F. Vogel. A plant-wide industrial-process control problem, Computers and Chemical Engineering. Computers & Chemical Engineering, 17(3): , R. O. Duda, P. E. Hart, and D. G. Stork. Pattern Classification. John Wiley, New York, 2 edition,

7 5 W. Hager. Updating the inverse of a matrix. SIAM Review, 31(2): , S. Haykin. Adaptive Filter Theory. Prentice Hall, J. S. R. Jang, C. T. Sun, E. Mizutani. Neuro-Fuzzy and Soft Computing. Prentice Hall, N. Kwak, C. Choi. Input feature selection for classification. IEEE Transaction on Neural Networks, 13(1): , F. F. G. Neto, G. Marinoa, M. C. U. Araújo, R. K. H. Galvão, M. J. C. Pontesa, E. P. de Medeiros, R. S. Lima. Classification of edible vegetable oils using square wave voltammetry with multivariate data analysis. Talanta, 77(5): , X. Pei, Y. Yamashita, M. Yoshida, and S. Matsumoto. Fault detection in chemical processes using discriminant analysis. Journal of Chemical Engineering of Japan, 41(1):25 31, A Demonstração da Equação (7) Seja S k(m+1) = A B C D (9) em que A,B,C,D tem dimensões (r r), (r s), (s r) e (s s) respectivamente. Seja ainda k(m+1) dado por E F k(m+1) = (10) G H em que E,F,G,H têm dimensões (r r), (r s), (s r) e (s s) respectivamente. Sabe-se que S k(m+1) k(m+1) = I(matriz identidade), que na forma matricial equivale a A B C D E F G H = I 0 0 I (11) que equivale a A B C D E F G H = AE + BG = I AF + BH = 0 CE + DG = 0 CF + DH = I (12) Isolando G na segunda linha da primeira coluna da Equação (12) tem-se que G = D 1 CE. Substituindo G na primeira linha da primeira coluna da Equação (12) obtém-se E = (A BD 1 C) 1. Isolando F na primeira linha da segunda coluna da Equação (12) obtém-se F = A 1 BH. Substituindo F de modo a isolar H na segunda linha da segunda coluna da Equação (12) obtém-se H = (D CA 1 B) 1. Substituindo E, F, G e H na Equação (10), segue que (A BD k(m+1) = 1 C) 1 D 1 CE ABH (D CA 1 B) 1 (13) No mesmo sentido é possível isolar H e E e substituir na Equação (13) de modo que k(m+1) = (A BD 1 C) 1 AB(D CA 1 B) 1 D 1 C(A BD 1 C) 1 (D CA 1 B) 1 (14) 1000