Descomposição de Cholesky

Transcrição

1 Frederico Almeida & Guilherme Aguilar Universidade Federal de Minas Gerais 20 de Novembro de 2018 Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

2 Motivação Métodos de otimização numérica são uma alternativa para estimar coeficientes de modelos nas situações em que a equação da verossimilhança não é analiticamente tratável; Na prática é comum obter estimativas cuja matriz hessiana associada não inversível (indefinida ou negativa definida); Uma forma alternativa para contornar esse problema consiste em descartar as amostras que fornecem uma matriz hessiana não inversível; A decomposição de Cholesky consistirá basicamente em transformar uma matriz indefinida ou negativa definida (não inversível) em positiva semi-definida (inversível). Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

3 Introdução Foi desenvolvida pelo cartógrafo francês André-Louis Cholesky. É a decomposição de uma matriz hermitiana e positiva definida em um produto de uma matriz triangular inferior e sua matriz adjunta. Útil para soluções numéricas. Quando aplicável é duas vezes mais eficiente que a decomposição LU. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

4 Matriz Conjugada O conjugado complexo é formalmente definido por (A ) ij = A ji. O complexo conjugado de a + bi, onde a e b são reais, é a bi. Se [ ] 3 + i 5 A = 2 2i i então Ā = [ ] 3 i i i Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

5 Matriz Hermitiana Uma matriz A é hermítica se a transposta de sua conjugada for igual a própria matriz A = Ā T = A; por exemplo i i 2 i 5 5 i i 5 + i 1 Se A R, então A é hermítica se A T = A. Matriz Positiva Definida é uma matriz hermítica. Uma matriz A é positiva definida se x T Ax > 0, z vetor não nulo. Como consequência, os determinante das submatrizes principais são todos positivos e a matriz inversa de A existe e é positiva definida. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

6 Matriz Hermitiana Uma matriz A é hermítica se a transposta de sua conjugada for igual a própria matriz A = Ā T = A; por exemplo i i 2 i 5 5 i i 5 + i 1 Se A R, então A é hermítica se A T = A. Matriz Positiva Definida é uma matriz hermítica. Uma matriz A é positiva definida se x T Ax > 0, z vetor não nulo. Como consequência, os determinante das submatrizes principais são todos positivos e a matriz inversa de A existe e é positiva definida. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

7 Introdução A decomposição de Cholesky de uma matriz Hermitiana positiva definida "A" tem a seguinte forma A = LL. Teorema Seja A M n (R) uma matriz positiva definida. Então, existe uma única matriz triangular superior G, com os elementos da diagonal principal positivos, tal que A = G t G. Prova!!! Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

8 Exemplo 1 Seja a matriz A = [ ] 1 2, 2 13 Sua decomposição de Cholesky é dada por Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

9 Exemplo 1 Seja a matriz A = [ ] 1 2, 2 13 Sua decomposição de Cholesky é dada por A = G t G, onde [ ] 1 2 G =. 0 3 Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

10 Decompondo A Seja A = GG t, onde G G 11 G 21 G 31 A = GG T = G 21 G G 22 G 32 G 31 G 32 G G 33 G 2 (simétrico) 11 = G 21 G 11 G G2 22 G 31 G 11 G 31 G 21 + G 32 G 22 G G2 32 +, G2 33 Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

11 Decompondo A Seja A = GG t, onde G G 11 G 21 G 31 A = GG T = G 21 G G 22 G 32 G 31 G 32 G G 33 G 2 (simétrico) 11 = G 21 G 11 G G2 22 G 31 G 11 G 31 G 21 + G 32 G 22 G G2 32 +, G2 33 ou seja A G = A 21 /G 11 A 22 G A 31 /G 11 (A 32 G 31 G 21 ) /G 22 A 33 G 2 31 G2 32 Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

12 Exemplo 2 Escrevendo A = G t G da seguinte forma (para melhor visualização) decomposição de Cholesky de uma matriz simétrica real: então temos que: A = , Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

13 Exemplo 2 Escrevendo A = G t G da seguinte forma (para melhor visualização) decomposição de Cholesky de uma matriz simétrica real: A = , então temos que: G t G = Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

14 Exemplo Escrevendo A = G t G da seguinte forma (para melhor visualização) decomposição de Cholesky de uma matriz simétrica real: então temos que: A = , Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

15 Exemplo Escrevendo A = G t G da seguinte forma (para melhor visualização) decomposição de Cholesky de uma matriz simétrica real: A = , então temos que: G t G = Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

16 Econtrando os valores dos termos Para A = G t G, temos que G j,j = G i,j = 1 G j,j A i,j j 1 A j,j G 2 j,k, k=1 j 1 G i,k G j,k para i > j. k=1 E quando j = 1 o somatório tem valor zero. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

17 Algoritmo Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

18 Definição (autovalores e autovetores) Seja A uma matriz em R n n. Um escalar λ R é um autovalor de A se existir um vetor v R n, com v 0, tal que: Av = λv. O vetor v é chamado de autovetor associado a λ. Como calcular λ? Os autovalores são calculados através das raízes do polinômio caraterístico P(λ). n P(λ) = det (A λi) = ( 1) n λ n + a j λ n j, a subtração do fator λi em A tem por objetivo, obter uma matriz singular. j=1 Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

19 Definição (espectro) O espectro de A M n (R) é o conjunto formado pelos seus autovalores, isto é, σ(a) = {λ 1,, λ n } Algumas propriedades Para j, o produto dos λ j é igual ao determinante de A; O número de autovalores não-nulos é igual ao rank da matriz; Se j, λ j > 0, então A é positiva definida; Se j, λ j 0, i.e, j, tal que λ j = 0, então a matriz A é dita ser positiva semi-definida; tr(a) = n a ij = n λ j. i=j j=1 Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

20 Autovetores Para cada valor de λ, autovetores v são obtidos resolvendo a equação, (A λi) v = 0 No caso em que λ C, se Q for uma matriz rotação a γ = 90 o então, λ 1 = i e λ 2 = i, com tr(q)=0 e det(q) = 1. O par (λ j, v j ) ou { vj 0 v j N(A λi) } é chamado de auto-espaço. A norma de um autovetor v 1j = (v 1,, v 1n ) é dada por, v 1j = v v2 n. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

21 Autovetor unitário O autovetor padronizado é dado por: u 1j = v 1j v, 1j Dois auto(vetores) u 1j e u 2j são ditos serem ortogonais se o seu produto interno for nulo. u1j, u 1j u1j u 2j = 0. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

22 Exemplo 3 Considere a matriz apresentada a seguir: [ ] 1 2 A =, 2 4 O polinômio caraterístico é dado por P(λ) = λ(λ 5), com raízes λ 1 = 0 ou λ 2 = 5. Os autovetores são obtidos pela equação: (A λ 1 I)v 1 = 0 com v 1 = [x y] T = [ 2 1] T, (A λ 2 I)v 2 = 0 com v 2 = [1 2] T, se u 1 e u 2 são os autovetores normalizados, segue que u 1, u 2 =0. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

23 Transformação de matrizes Se a matriz A é indefinida, i.e, existe em σ(a) autovalores negativos e positivos, respectivamente. Seja Λ = diag(λ j ), Rebonato & Jackel (1999) propõem a seguinte transformação: λ Λ : λ j se λ j 0 j = 0 se λ j < 0. Se a matriz A é indefinida então ela tem pelo menos um λ j < 0. E portanto, a nova matriz A terá pelo menos um autovalor λ j = 0. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

24 Decomposição espectral Se Λ é uma matriz diagonal de autovalores modificados λ j e M é uma matriz ortogonal cujas colunas são os autovetores padronizados de A, então a matriz modificada (psd) é dada por: A = MΛ M 1, ou seja, a matriz M é dada por M = [u 1j u 2j ] Entre diferentes métodos de fatoração, à de Cholesky é considerada uma das mais estáveis numericamente (Thomas, 2017). Essa estabilidade segue o fato de que todos os elementos de L são limitados pelos elementos de A. i l 2 ik = a ii l ij a ii. k=1 Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

25 Estritamente falando essa matriz resulta em uma matriz de covariancia, se c jj obter-se c jj 1. A matriz A será normalizada usando a equação (Brissette et al, 2007): A = A diag(a )diag(a ) t É natural pensar que essa abordagem é "empírica" à primeira vista, mas deve-se perceber que autovalores negativos não podem existir em uma matriz hessiana/correlações, e que sua remoção tem um sentido físico além de permitir uma fatoração subsequente de Cholesky da matriz modificada. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

26 Algoritmo Seja A uma matriz indefinida. Então: 1 Obtenha os autovalores e os respectivos autovetores de A; 2 Iguale a zero todos os autovalores menores que zero; 3 Calcule os novos autovetores v usando λ j j ; 4 Obtenha o fator de Cholesky L e a matriz Λ para o novo sistema de autovalores; 5 Calcule a nova matriz A de A; 6 Normalize a nova matriz; 7 Por fim, calcule a inversa da matriz A usando o algoritmo de Cholesky. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

27 Modificada Apesar da eficiência e estabilidade da decomposição de Cholesky, na prática podem surgir situações que impossibilitam a transformar uma matriz indefinida em positiva semi-definida. Como foi visto, se a matriz A é positiva semi-definida, então sempre existe a decomposição da forma A = LDL t Para uma matriz diagonal D com elementos não nulos a decomposição não é única. Portanto, podemos definir a matriz permutação P tal que, PAP t tem uma única decomposição da forma, LDL t, com [ ] D1 0 D = 0 0 Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

28 Modificada onde D 1 é uma matriz diagonal quadrada com mesmo rank que amatriz A. De forma geral, existem diferentes algoritmos modificados para a decomposição de Cholesky; A ideia básica consiste em perturbar a matriz A (i.e, adicionando a matriz E) como fator de perturbação, tornando-a positiva definida; Após perturbar a matriz, o fator de Cholesky pode ser obtido para a nova matriz. Essa perturbação deve garantir que a nova matriz permaneça pertinente a aplicações originais. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

29 Modificada Dada A R n n uma matriz simétrica mas não necessariamente positiva definida, o objetivo da decomposição de Cholesky modificada baseia-se na construção do fator LL T da matriz positiva definida A + E. Sendo E uma matriz não-negativa. Se A é positiva definida, então segue que o fator de perturbação é nulo, i.e, E = 0; Se A é indefinida, então E deve ser relativamente pequena, i.e, E λ i (A), onde λ i (A) é o maior entre os autovalores negativos do espectro; A + E deve ser uma matriz razoavelmente bem condicionada. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

30 Modificada Na prática, precisamos fazer uma rotação (permutação) da matriz perturbada para garantir a estabilidade e decomposição, i.e, P(A + E)P t = LDL t, Algumas propostas para definir a matriz de perturbação são apresentadas na literatura. Uma forma obvia de escolher Econsiste em encontrar λ i (A) de tal forma que, se λ i (A) < 0 então, E = [ λ i (A) + ɛ] I n n, para algum positivo ɛ suficientemente pequeno. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

31 Modificada A ideia chave na abordagem de perturbação consiste em simplesmente em escolher um valor relativamente pequeno de e jj 0 de tal forma que l jj e d jj sejam positivos. l jj são elementos do fator de Cholesky anteriormente discutidos; e jj = (E) jj. Muitas outras abordagens como o algoritmo de Gill, Murray e Wright (GMW) e suas variantes bem como o algoritmo de Schnabel e Eskow (ES) são encontrados em Thomas (2017). Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

32 Conclusões Existem diferentes métodos de decomposição na literatura, sendo que sua aplicação depende inteiramente do problema em estudo; A decomposição de Cholesky é estável e eficiente independentemente do algoritmo usado mas, o grau de eficiência e/ou a ordem de convergência varia em cada algoritmo; A aplicação prática usando a matriz das correlações apresentadas em Rebonato e Jackel (1999) permitiu corrigir a matriz de correção de indefinida para positiva semi-definida; Em geral, essa abordagem é aplicável para outro problemas envolvendo um nível de complexidade maior. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

33 Referências Bibliográficas Brissette, F.P., Khalili M. and Leconte R. (2007). Efficient stochastic generation of multi-site synthetic precipitation data. Elsevier. Faleiros, A. C. (2009). Curso de Álgebra Linear Aplicada. Lecture Notes, UFABC. Trefethen L. N., Bau, D. III (1997). Numerical Linear Algebra. Rebonato, R. and Jackel, P. (1999). The most general methodology to create a valid correlation matrix for risk management and option pricing purposes. Quantitative Research Centre of the NatWest Group. Thomas, McS. (2017). Modified Cholesky Decomposition and Applications. The University of Manchester. Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29

34 R script Frederico A. & Guilherme A. (ICEX - UFMG) 20 de Novembro de / 29