Avanços em regularização de Tikhonov multiparamétrica para problemas discretos mal-postos.

Transcrição

1 Avanços em regularização de Tikhonov multiparamétrica para problemas discretos mal-postos. Leonardo Silveira Borges (UNICAMP) Maria Cristina C. Cunha (UNICAMP) Fermín S. V. Bazán (UFSC) UNICAMP Departamento de Matemática Aplicada 03 de setembro, 011

2 Estrutura 1 Introdução Algoritmo de ponto fixo 3 GKB-FP: problemas de grande porte 4 Extensões de GKB-FP 5 FP para Tikhonov multi-paramétrico

4 Introdução Problema discreto linear mal-posto Problema discreto linear mal-posto: A R m n, m n, mal condicionada. g = g exato + e R m. f = argmin f R n g Af (1) Consequência: Solução f LS = A g sem utilidade. Alternativa: Tikhonov propôs substituir (1) por { f λ = argmin g Af + λ Lf } f R n λ > 0: Parâmetro de regularização. L R p n : Matriz de regularização.

5 Escolha do parâmetro Métodos para escolha de λ Métodos clássicos: Princípio da Discrepância (Morozov, 1966) Validação Cruzada-Generalizada (Golub, 1979) Critério da Curva-L (Hansen, 1993) Propostas mais recentes: Ponto-Fixo (Bazán, 008, Bazán e Francisco, 009) Validação Cruzada-Generalizada com peso (Chung, 008) Comparativo entre 0 métodos para escolha de λ: F. Bauer e M. A. Lukas, Comparing parameter choice methods for regularization of ill-posed problems, 011.

6 Escolha do parâmetro Curva-L e o critério do produto mínimo Norma do resíduo: x(λ) = g Af λ, função crescente (semi-)norma da solução: y(λ) = Lf λ, função decrescente Hansen, 1993: Encontrar o ponto de máxima curvatura de L = { (a, b) R /a = log x(λ), b = log y(λ) } Regińska, 1996: Encontrar um minimizador local da função Ψ(λ) = x(λ)y(λ) µ, µ > 0 log y(λ) Curva L log Ψ(λ) Ψ(λ) log x(λ) 10 0 log λ 10 0

7 Escolha do parâmetro Justificativa do critério do produto mínimo Solução regularizada: f λ = (A T A + λ L T L) 1 A T g = R λ g Cota para o erro: f exato f λ = f exato R λ g exato R λ e f exato R λ g exato + R λ e = ξ 1 (λ) + ξ (λ) log do critério do produto: log Ψ(λ) = log x(λ) + µlog y(λ) λ min = λ min = ξ 1 (λ) ξ (λ) ξ 1 (λ)+ξ (λ) Ψ(λ)

9 Algoritmo de ponto fixo Ponto Fixo (FP) (Bazán, 008 e Bazán e Francisco, 009) Pontos críticos de Ψ(λ) estão associados aos pontos fixos de φ(λ; µ) = µ g Af λ Lf λ 10 5 Ψ(λ) 10 0 φ(λ) log λ log λ 10 0 Algoritmo FP: multi λ 0 > 0: chute inicial λ k+1 = φ(λ k ; µ), k 0

11 Problema de grande porte Bidiagonalização de Golub-Kahan e LSQR Bidiag. de Golub-Kahan: No passo k existem matrizes U k+1 e V k com colunas ortonormais e B k R (k+1) k bidiag. inferior tal que AV k = U k+1 B k A T U k+1 = V k B T k + α k+1 v k+1 e T k+1 Propriedade: span(v k ) = K k (A T A, A T b) Algoritmo LSQR: Construir soluções f k = V k y k com em que β 1 = g. y k = argmin y R k β 1 e 1 B k y

12 Problema de grande porte LSQR e Tikhonov No problema regularizado, construir soluções f k,λ = V k y k,λ com { y k,λ = argmin β1 e 1 B k y + λ y } y R k em que β 1 = g. Propriedades: para λ 0 fixo, β 1 e 1 B k y k,λ é decrescente em k y k,λ é crescente em k

13 Problema de grande porte GKB-FP (Bazán e Borges, 010) Para cada k, k, seja { y k,λ = argmin β1 e 1 B k y + λ y } y R k Ideia: aplicar algoritmo FP para selecionar λ (k) ponto fixo de φ (k) (λ; µ) = µ β 1e 1 B k y k,λ y k,λ Teorema 1: φ(λ; µ) φ (k+1) (λ; µ) φ (k) (λ; µ), k =,...,n 1, Teorema : Sequência de pontos fixos λ (k) é não-crescente

14 Problema de grande porte GKB-FP, Estabilização da solução Teorema 3 Se o maior ponto fixo convexo de φ(λ; 1) é encontrado no passso k, isto é, λ = φ (k) (λ ; 1) para algum k, então f k,λ = f k+1,λ = = f n,λ f λ e como consequência, a norma do erro f exato f j,λ permanece constante para k j n λ k Norma sol Erro rel

16 Extensões de GKB-FP GKB-FP para forma geral (Bazán e Borges, 011) Ideias gerais: 1. Transformar o problema na forma geral { f λ = argmin g Af + λ Lf }, L I f R n para a forma padrão { f λ = argmin ḡ Ā f + λ f } f R n. Aplicar GKB-FP no problema transformado na forma padrão. 3. Obtida solução f λ, calcular f λ. Obs: Transformação para forma padrão envolve cálculos com a matriz L.

17 Extensões de GKB-FP Regularizador L com estrutura especial Considerar L com estrutura em que L d R (ñ d) ñ. L = [ Iñ L d L d Iñ Propriedade 1: Estrutura especial de L permite usar a SVD de L d. L d = U d Σ d V T d e encontrar matriz L D com tal que Lf = L D f com L D = D(V d V d ) T e D = Σ T d Σ d I + I Σ T d Σ d Propriedade : Redução do custo comp. para L f e L T f L D f = (V d V d )D f e L T D f = D (V d V d ) T f ]

18 Extensões de GKB-FP PROJ-FP (Bazán e Borges, 011) Problema na forma geral { f λ = argmin g Af + λ Lf } f R n Ideia: Construir soluções f k,λ = V k y k,λ com { y k,λ = argmin β1 e 1 B k y + λ LV k y } y R k Decomposição QR de LV k, LV k = Q k R k, implica { y k,λ = argmin β1 e 1 B k y + λ R k y } y R k Propriedade: Fácil atualização da QR de LV k+1.

19 Extensões de GKB-FP G-LSQR (Bazán e Borges, 011) Ideia geral: Aplicar o algoritmo LSQR ao problema argmin f R n ḡ Ā f Critério de parada: Índice k tal que k = argmin Ψ k, k 0 em que Ψ k = ḡ Ā f k f k Obs: Obtida solução f k, calcular f k.

20 Experimento numérico Exemplo - Restauração de imagem Imagem: pixels Sistema linear: [ variáveis ] I L1 Nível ruído: 0,1% Regularizador: L = L 1 I

21 Experimento numérico Exemplo - Restauração de imagem L D PROJ-FP G-LSQR E 15,9% 1,53% 15,88% tempo 18,8s 188,4s 17,6s iterações λ 0,1377 0,0114

23 Tikhonov Multi-paramétrico Tikhonov Multi-paramétrico O problema com vários parâmetros: { f λ = argmin g Af + λ 1 L 1 f + + λ q L q f } f R n A R m n, L i R p i n e λ = (λ 1,...,λ q ) R q, λ i > 0. Dificuldade: Falta de decomposição GSVD para (A, L 1,...,L q ) do tipo A = UΣX, L i = V i M i X, em que U, V i são ortogonais, Σ e M i diagonais e X não-singular. Ideia: Tratar como f λ = argmin f R n g 0. 0 A λ 1 L 1. λ q L q f

24 Generalizações Discrepância para múltiplos parâmetros Escolher λ = (λ 1,...,λ q ) tal que a solução regularizada f λ satisfaça o Princípio da Discrepância g Af λ = cδ, c 1 em que e = g g exato δ. Interpretação geométrica usando 1 e parâmetros: g Af λ g Af λ = cδ g Af λ λ λ λ

25 Generalizações Funções modelo (Lu e Pereverzev, 011) Considerar o caso f λ = argmin { g Af + λ 1 L 1 f + λ f } A equação da discrepância pode ser reescrita como F(λ 1, λ ) λ 1 λ1 F(λ 1, λ ) λ λ F(λ 1, λ ) = c δ () Ideia: aproximar F(λ 1, λ ) por uma função mais simples, m(λ 1, λ ), chamada de função modelo, que seja mais fácil de trabalhar. m(λ 1, λ ) = g + C λ + D 1 T + λ

26 Generalizações Combinação linear (Brezinski, et al., 003) Trabalhar com q subproblemas uniparamétricos { f λi = argmin g Af + qλ i L i f } f R n Obter solução f λ como combinação linear das soluções f λi f λ = f λ (α) = q α i f λi, i=1 s. a q α i = 1 i=1

27 Generalizações Critério do produto mínimo - Ponto Fixo Sejam x(λ) = g Af λ, y i (λ) = L i f λ Escolher como parâmetro de regularização o ponto λ R q minimizador local de Ψ(λ) = x(λ)y 1 (λ) µ1 y q (λ) µq, µ i > 0 Pontos extremos de Ψ(λ) estão associados aos pontos fixos de Φ(λ) = (φ 1 (λ; µ 1 ),...,φ q (λ; µ q )) em que φ i (λ; µ i ) = µ i g Af λ L i f λ

28 Generalizações Pontos extremos de Ψ(λ) Do cálculo, λ é ponto extremo se Ψ(λ) = 0, então x(λ) µ 1 y 1 (λ) λ 1 Ψ(λ) = y µ 1 1 (λ) yµq q (λ)j. = 0 x(λ) µ q y q (λ) λ q em que J = y 1 y q λ 1 λ y 1 y q λ q λ q, não-singular

29 Generalizações Algoritmo 1. λ (0) = (λ (0) 1,...,λ(0) q ) > 0. λ (k+1) = (λ (k+1) 1,...,λ (k+1) q ) = Φ(λ (k) ), isto é, em que λ (k+1) i = φ i (λ (k) ; µ i ), i = 1,...,q φ i (λ; µ i ) = µ i g Af λ L i f λ

30 Generalizações Superfícies Ψ(λ), φ 1 (λ) e φ (λ) Exemplo de superfícies Ψ(λ), φ 1 (λ) e φ (λ) λ λ λ 1 λ λ λ1 FP

31 Experimento numérico Exemplo - Equação integral Discretização da transformada inversa de Laplace (equação integral de Fredholm de primeira espécie). 0 K(x, y)f (y)dy = g(x), 0 x < em que o Núcleo K(x, y), Solução f (y) e Lado direito g(x) são dados por K(x, y) = exp( xy) f (y) = exp( y/) 1 g(x) = x + 1/

32 Experimento numérico Exemplo - Equação integral Sistema linear: 51 variáveis Nível ruído: 1% Regularizadores: L 1 = I e L = L 1. FP L1 FP L FP Comb. Linear Discrep. E 0,4% 4,51% 1,19% 4,50% 3,17% iterações λ 1 0,081 0,5571 0,076 0,081 0,0389 λ 0,5581 0,5571 0, exata FP L FP C.L

33 Trabalhos futuros Trabalhos futuros Análise de erro Possibilidade de estender FP para o caso não-linear

34 Bibliografia F. S. V. Bazán, Fixed-point iterations in determining the Tikhonov regularization parameter, Inv. Problems, 4, 008. F. S. V. Bazán e J. B. FRANCISCO, Improved Fixed-point algorithm for determining the Tikhonov regularization parameter, Inv. Problems, 009. F. S. V. Bazán e L. S. Borges, GKB-FP: an algorithm for large-scale discrete ill-posed problems, BIT, 50, p , 010. F. S. V. Bazán e L. S. Borges, Extension of GKB-FP algorithm to general-form Tikhonov regularization, submetido. C. Brezinski, M. Redivo-Zaglia, G. Rodriguez e S. Seatzu, Multi-parameter regularization techniques for ill-conditioned linear systems, Numerische Mathematik, 94, p. 03-8, 003. S. Lu e S. V. Pereverzev, Multi-parameter regularization and its numerical realization, Numerische Mathematik, 118, p. 1-31, 011. F. Bauer e M. A. Lukas, Comparing parameter choice methods for regularization of ill-posed problems, Math. and Comp. in Simulation, 81, p , 011.

35 Bibliografia V. A. Morozov, On the solution of functional equations by the method of regularization, Soviet Math. Dokl., 7, pp , G. H. Golub, M. T. Heath e G. Wahba, Generalized cross-validation as a method for choosing a good ridge parameter, Technometrics, 1, pp. 15-3, C. C. Paige e M. A. Saunders, LSQR: An algorithm for sparse linear equations and sparse least squares, ACM Trans. Math. Softw, Vol. 8, No. 1, pp 43-71, 198. P. C. Hansen, Rank-deficient and discrete ill-posed problems, SIAM Philadelphia, PA, J. Chung, J. G. Nagy, e D. P. O Leary, A Weighted-GCV Method for Lanczos-Hybrid Regularization, Electronic Transaction on Numerical Analysis, 8, pp , 008.