Método Primal-Dual Barreira Logarítmica Preditor-Corretor Aplicado à Basis Pursuit

Transcrição

1 Método Primal-Dual Barreira Logarítmica Preditor-Corretor Aplicado à Basis Pursuit Daniela Renata Cantane, Departamento de Bioestatística, Instituto de Biociências, Unesp Campus de Botucatu , Botucatu, SP Paula Aparecida Kikuchi, Aurelio Ribeiro Leite de Oliveira Departamento de Matemática Aplicada, IMECC, Unicamp, , Campinas, SP Resumo: Vários são os métodos propostos para reconstrução de sinal, nosso enfoque é o método Basis Pursuit, que busca a representação mais esparsa. Trabalhando com dicionários overcomplete, é possível determinarmos tal representação, visto que, serão inúmeras as combinações possíveis. Basis Pursuit busca esse objetivo, minimizando a soma dos módulos dos coeficientes da combinação, o que nada mais é do que a minimização da norma 1 dos coeficientes. Para tanto, é aplicado o Método Primal-Dual Barreira Logarítmica em [2]. A fim de buscar um resultado mais eficiente, iremos incluir a direção afim-escala, direção de centragem e a direção de correção no mesmo método, aplicando ao problema o Método Primal-Dual Barreira Logarítmica Preditor-Corretor. Palavras-chave: representação de sinais, esparsidade, programação linear, método de barreira, método preditor-corretor Algo que muitas vezes não percebemos, mas faz parte constante de nossas vidas, são os sinais. Seja na imagem reproduzida no televisor, fotos, a música que ouvimos de um rádio, o uso cotidiano do celular..., os sinais são os responsáveis pela reprodução e uso destes. Dado um sinal, podemos decompô-lo como combinação linear de certos elementos, para tanto, vamos definir certos conceitos. Definimos dicionário como uma coleção de waveforms parametrizadas D = (φ γ : γ Γ), sendo waveforms φ γ sinais discretos de tempo chamados átomos, que nesse trabalho será visto como um vetor pertencente a R n. Representação de sinais por meio de dicionários é uma alternativa que surge, além das representações usuais que utilizam superposição de senóides, como mencionado em [3]. Consideremos um sinal s sendo um vetor pertencente a R n, sua decomposição em um dicionário é dada por: s = γ Γ α γ φ γ. (1) Considere que temos um dicionário discreto de p waveforms e uma matriz Φ cujas colunas correspondem às p waveforms (Φ : n p), podemos reescrever (1) como: onde α = (α γ ) é o vetor dos coeficientes em (1). Φα = s, (2) 689

2 Veja que, se as waveforms são linearmente independentes, teremos uma matriz Φ não singular, o que implica que α terá representação única, ainda mais, se as waveforms forem ortonormais Φ 1 = Φ T. Dicionários são definidos como completos quando possuem exatamente n átomos, overcomplete quando possuem mais que n átomos, ou undercomplete quando possuem menos de n átomos. Exemplos de dicionários são dados em [2]: stationary wavelets, wavelet packets, cosine packets, chirples, warplets, Gabor dictionaries, wavelets e steerable wavelets. Note que, em (1), se trabalhamos com um dicionário completo, s terá uma representação única, pois todos α γ serão linearmente independentes. Já quando fazemos uso de dicionários overcomplete, sua representação não será única (teremos átomos que são combinações lineares de outros), permitindo que escolhamos a que nos for mais conveniente. Como um dos objetivos que queremos alcançar nas representações de sinais é esparsidade (obter o menor número de coeficientes significativos), já podemos ter em mente que uma boa ideia seria minimizar α γ. γ Γ Não são poucos os métodos propostos para representar sinais em dicionários overcomplete. Alguns exemplos, descritos em [2] são: método de frames (MOF), que escolhe a representação cujos coeficientes tenham a mínima norma L2, matching pursuit (MP), the best orthogonal basis (BOB) e basis pursuit (BP) que, diferente do método de frames, irá escolher a representação cujos coeficientes tenham a mínima norma L1, chamamos essa decomposição do sinal de superposição ótima de elementos do dicionário. Chen, Donoho e Saunders [3] mostram várias vantagens de BP sobre MOF, MP e BOB, dentre elas, esparsidade. Note que BP baseia-se na resolução do seguinte problema: minimizar α 1 sujeito a Φα = s Sendo que podemos reformulá-lo por meio de um programa linear na forma padrão, onde forma padrão refere-se a um problema de otimização com restrições definida em termos de uma variável x R m : minimizar c T x sujeito a Ax = b, x 0. De fato, escrevendo α em (3) como a diferença de dois vetores não-negativos u e v e sendo α 1 limitante superior de e T u + e T v, teremos Φα = Φ (u v) e e T u + e T v = α 1, esta última segue do seguinte fato: (3) (4) α γ = u γ v γ u γ + v γ = u γ +v γ = e T u+e T v α γ α γ = e T u+e T v γ=1 γ=1 γ=1 γ=1 γ=1 γ=1 γ=1 Dessa forma obtemos o seguinte problema equivalente: minimizar e T u + e T sujeito a Φ (u v) = s, (u, v) 0, que pode ser reformulado como (4) por meio de translações, como visto em [2]. Resolveremos o programa linear na forma padrão, equivalente a (3), por meio do método de pontos interiores, que é o enfoque desse trabalho. Até o momento foi discutido como representar um sinal por meio de dicionários overcomplete. Agora vamos analisar uma aplicação de processamento de sinal, como feito em [1]. Através da tomografia axial computadorizada é diagnosticada a presença de tumores e alterações celulares, isso é feito emitindo raios (sinais) em diferentes ângulos nas regiões onde tais 690

3 presenças são suspeitas, afim de produzir uma imagem em três dimensões da parte interna do corpo. O problema é descrito da seguinte forma: Sendo R R 3 a região de interesse, assuma que R i, 1 i p, corresponde a pequenas células que formam R e α i é a densidade da célula R i. Nosso objetivo é determinar o valor dos α i. Suponha que um raio (sinal) L é transmitido para nossa região de interesse R, várias células de R serão interceptadas pelo raio, definimos I (L) sendo o conjunto dessas células. Pois bem, essas células interceptadas pelo sinal acabam absorvendo energia do mesmo, sendo a energia absorvida por cada célula proporcional a densidade e o comprimento do caminho percorrido pelo raio na respectiva célula. O comprimento φ i (L) do caminho percorrido pelo raio no interior da célula é conhecido i I (L), assim a quantidade de energia absorvida é dada por: y (L) = i I(L) α i φ i (L). A energia absorvida y (L) é estimada subtraindo a energia final pela energia inicial emitida (note que não passa de uma estimativa, o valor de y não é exato). Esse processo é repetido enviando tais raios n vezes, obtendo dessa forma: y (L j ) = i I(L j ) α i φ i (L j ), 1 j n. (5) Como α i representa a densidade da célula, temos que α i 0, 1 i p. Devido o custo dos raios-x e seu perigo, n geralmente é diferente do número de células p, tendo o sistema poucas equações (n < p). Observe que podemos reescrever (5) como: Φα = y, α 0, (6) com Φ : n p, sendo que cada linha da matriz corresponde a um processo de emissão do raio (como mencionado anteriormente, tal processo é repetido n vezes), e o número de colunas correspondendo ao número de células que pertencem ao conjunto R. Sabemos que o valor de y não é exato, dessa forma consideremos y = s + σz, onde z é um ruído branco gaussiano padrão, σ é o nível de ruído, e s é o sinal puro. Assim quando resolvemos o problema: minimizar y Φα 2 2, sujeito a α 0, não estaremos determinando os valores de α que desejamos (que correspondem a representação do sinal puro s), além disso, tal problema possui infinitas soluções, considerando que a matriz em questão possui mais variáveis que equações. Em [1] é atribuido o coeficiente 1 2 a norma anterior e com a finalidade de encontrar α esparso, minimiza-se conjuntamente α 1, obtendo: minimizar 1 2 y Φα λ α 1 sujeito a α 0, (7) onde λ 0 é um parâmetro. Como podemos ver em [2], a solução desse problema refere-se a Basis Pursuit De-Noising (BPDN), que é um caso BP adaptado para s perturbado: y = s + σz onde o objetivo não é a decomposição exata de y (o que é obtido aplicando-se BP a y). Neste queremos uma representação do tipo: y = α γi φ γi + R (m), 691

4 onde R (m) é o resíduo e estamos considerando D um dicionário, com as waveforms (φ γ ) γ Γ sendo seus elementos. Utilizando a mesma notação que usamos para BP, teremos o problema equivalente a (7): minimizar y Φ( u v ) λet u + λe T v sujeito a (u, v) 0 Definindo x = (u, v), c = λ (1, 1), b=y e A= (Φ, Φ), (8) será escrito como: (8) minimizar Ax b ct x sujeito a x 0. Que, por sua vez, Michael Saunders e Shaobing Scott Chen [2] têm reconhecido ser equivalente ao problema linear perturbado: minimizar c T x p 2 2 sujeito a Ax + δp = b, x 0, δ = 1. Pois bem, os dois problemas analisados (BP e BPDN), acabam sendo reformulados de forma a tornarem lineares, sendo o segundo perturbado, mas note que tal problema linear perturbado trata-se de um problema quadrático. Nosso enfoque é trabalhar com esses problemas aplicando o Método de Pontos Interiores. Vamos analizar o método proposto em [2] para o problema BP e BPDN. No programa referente a tal método (BP Interior), que faz parte de um pacote denominado Atomizer, implementado em Matlab e que pode ser encontrado em [4], vamos fazer uso do método proposto por Gill, Murray e Saunders [5], reescrevendo o problema como o seguinte programa linear perturbado: (9) minimizar c T x γx p 2 2 sujeito a Ax + δp = b x 0, (10) considerando os valores dos parâmetros γ e δ pequenos ( 10 4) ; e resolvendo-o assim como feito em [2]. Associamos ao problema linear perturbado (10) o subproblema barreira logarítmica: minimizar c T x γx p 2 µ ln (x i ) sujeito a Ax + δp = b. A restrição de desigualdade x 0 fica implícita. Como µ 0 a solução converge para a solução do problema linear perturbado. Definimos o lagrangeano como: L (x, y, p) = c T x γx p 2 µ ln (x i ) + y T (b Ax δp) Agora vamos calcular as condições necessária de primeira ordem do problema de minimização da função Lagrangeana: obtendo, minimizar c T x γx p 2 µ ln (x i ) + y (b Ax δp) 692

5 x L = A T y γ 2 x c + µx 1 e onde e é o vetor de dimensão apropriada, cujos elementos são compostos por 1. No artigo de McShane, Monma e Shanno [6] vemos que quando µ do problema primal e dual são iguais, temos que z = µx 1 e, assim as condições necessárias de primeira ordem são dadas por: e por [6] novamente: x L = A T y γ 2 x c + z = 0 p L = δy p = 0 p = δy y L = Ax + δp b = Ax + δ 2 y b = 0 Rearranjando as expressões: F (x, y, z) = ZXe µe = 0 A T y γ 2 x c + z Ax + δ 2 y b ZXe µe = 0 onde z é um vetor dual, X e Z são as matrizes diagonais formadas pelos elementos dos vetores x e z respectivamente. Apliquemos o Método de Newton a fim de encontrar a solução do sistema linear acima. As direções de Newton ( x, y, z) devem satisfazer: o que corresponde a: F (x, y, z) x F F (x, y, z) + ( x, y, z) (x, y, z) = 0 y F (x, y, z) z γ 2 x + A T y + z A x + δ 2 y Z x + X z e fica reduzido a resolver o seguinte sistema: = c + γ 2 x z A T y b Ax δ 2 y µe Zx ( ) ( ) ADA T + δ 2 I y = r AD X 1 v t = t r v (11) ( ) x = DA T y + D X 1 v t (12) z = X 1 v X 1 Z x (13) sendo D = ( X 1 Z + γ 2 I ) 1. Para a escolha do comprimento do passo (ρp, ρ d ), vamos sempre escolher o maior possível, contanto que o ponto x (k+1) e z (k+1) sejam pontos interiores. A cada passo de Newton vamos decrescer o parâmetro de barreira µ monotonicamente e mais rapidamente se largos passos são tomados: µ (1 min (ρ p, ρ d,.99)) µ 693

6 O método converge quando b Ax δ 2 y 2, c + γ 2 x z A T y e z T x são suficientemente pequenos para alcançar uma precisão numérica. 2 Modificando o método descrito anteriormente, adicionando a direção afim-escala, a direção de centragem e a direção de correção no mesmo método, obtemos o Método Primal-Dual Barreira Logarítmica Preditor-Corretor, que foi implentado em Matlab como BP InteriorPC. Tal método convergiu com menos iterações que BP Interior. A seguir podemos visualizar isso para os sinais TwinSine-1 e WernerSorrows: TwinSine-1 Valor função objetivo Tempo Iterações BP Interior BP InteriorPC Tabela 1: Sinal TwinSine WernerSorrows Valor função objetivo Tempo Iterações BP Interior e BP InteriorPC e Tabela 2: Sinal WernerSorrows Os testes foram realizados para os sinais Carbon, TwinSine-2, FM-Cosine, Gong, Dynamic-0, Dynamic-2 e MultiGong. Quando o valor da função objetivo não foi menor que o de BP Interior, esse se mostrou extremamente próximo. Dessa forma obtemos um melhor desempenho em BP InteriorPC. Este trabalho foi parcialmente financiado pela CAPES, FAPESP e CNPq. Referências [1] Cheman K. M., Optimization techniques for solving basis pursuit problems, Ph.D. thesis, North Carolina State University, [2] Chen S., Basis pursuit, Ph.D. thesis, PhD Thesis, Stanford University, [3] Chen S., Donoho D. L., and Saunders M. A., Atomic decomposition by basis pursuit, SIAM review 43 (2001), no. 1, [4] Donoho D., Chen S. and Saunders M., Atomizer for matlab5. x, see stanford. edu/ atomizer. [5] Gill P. E., Murray W., Ponceleon D. B., and Saunders M. A., Solving reduced kkt systems in barrier methods for linear and quadratic programming, Tech. report, DTIC Document, [6] McShane K. A., Monma C. L., and Shanno D., An implementation of a primal-dual interior point method for linear programming, ORSA Journal on computing 1 (1989), no. 2,