ESTATÍSTICA COMPUTACIONAL

Transcrição

1 ESTATÍSTICA COMPUTACIONAL Ralph dos Santos Silva Departamento de Métodos Estatísticos Instituto de Matemática Universidade Federal do Rio de Janeiro

2 Sumário Introdução Solução de equações não lineares

3 Introdução Ementa Solução de sistemas lineares: métodos de decomposição de matrizes. Problemas de otimização sem restrições e maximização de funções. Geração de variáveis aleatórias. Integração por Monte Carlo. Métodos de quadratura e aproximações de Laplace. Simulação estocástica via cadeias de Markov.

4 Introdução Referências Doucet, A., de Freitas, N. e Gordon, N. (Editors) (2001). Sequential Monte Carlo in Practice. Springer. Gamerman, D. e Lopes, H. F. (2006). Markov Chain Monte Carlo - Stochastic Simulation for Bayesian Inference. 2nd Ed, Chapman & Hall; Golub, G.H. e Van Loan, C.F. (1996). Matrix computations; Liu, J. S. (2004). Monte Carlo Strategies in Scientific Computing. Springer. Robert, C.P. and Casella, G. (2004). Monte Carlo Statistical Methods. 2nd Ed., Springer. Thisted, R. A. (1986). Elements of Statistical Computing. Chapman & Hall; Yuichi Mori (Editor), J.E. Gentle and Wolfgang Hardle (Authors). Handbook of Computational Statistics;

5 Muitos métodos estatísticos exigem a solução de equações, manipulação de matrizes, etc. Por exemplo, o método de mínimos quadrados se reduz a solução de um sistema de equações lineares. y = X β + ε equação da regressão, X Xb = X y equações normais, b = (X X) 1 X y solução de mínimos quadrados. O método de componentes principais é baseado em autovalores = diag(λ 1,..., λ d ) e autovetores P (colunas), Σ = P P Para calcular função de densidade de probabilidade da normal multivariada precisamos calcular o determinante e inverter a matriz de covariâncias Σ (uma matriz positiva definida). { f X (x) = (2π) d/2 Σ 1/2 exp 1 } 2 (x µ) Σ 1 (x µ), x R d, µ R d Métodos: Decomposições, Cholesky, Inversão, etc.

6 Solução de sistemas lineares O problema de resolver o sistema linear Ax = b é central em computação. A é a matriz de coeficientes, e x representa a solução de interesse. Se n < m (número de equações menor que o número de incognitas), ou se n m, mas A não tem posto completo (algumas equações são combinações de outras) o sistema é dito inderteminado. Se n > m e A tem posto completo, então o sistema é superdeterminado e não há solução. Se m = n e A tem posto completo, então a solução é única. Iremos abordar sistemas onde m = n e posto de A é completo. Duas abordagens: 1. métodos diretos que obtém solução exata, exceto pelos erros numéricos; 2. métodos iterativos que obtém solução aproximada.

7 Sistemas triangulares Em geral, para resolver um sistema devemos transformá-lo em triangular. Substituição para frente: ( ) ( ) l11 0 x1 = l 21 l 22 x 2 ( b1 b 2 ). Se l 11 l 22 0, então as quantidades desconhecidas x 1 e x 2 são: l 11 x 1 = b 1 x 1 = b 1 l 11 e l 21 x 1 + l 22 = b 2 x 2 = b 2 l 21 x 1 l 22. (1)

8 Logo, x i é obtido sequencialmente. Para uma matriz 3 3, temos que l x 1 b 1 l 21 l 22 0 x 2 = b 2. l 31 l 32 l 33 x 3 b 3 Para l 11 l 22 l 33 0, segue-se que x 1 e x 2 são dados pela equação 1 e x 3 por l 31 x 1 + l 32 x 2 + l 33 x 3 = b 3 x 3 = b 3 l 32 x 2 + l 31 x 1 l 33. Generalizando para dimensão n 2, temos x 1 = b 1 l 11 i 1 b i l ij x j x i = j=1 l ii, i = 1, 2,..., n. (Mostrar exemplo no R: exemplo_01.r)

9 No caso de substituição para trás temos o mesmo algoritmo para uma matriz triangular superior. Isto é, resolvemos Ux = b, onde U é uma matriz triangular superior e tem zeros abaixo da diagonal. Note que os algoritmos de solução de sistemas em geral usam matrizes triangulares. Mais tarde veremos alguns métodos para decompor matrizes. Métodos iterativos Assuma que A é uma matriz n n e que o sistema de interesse, Ax = b, é bem determinado. Métodos iterativos mais comuns: Jacobi, Gauss-Seidel, relaxamento sucessivo, gradiente, etc. Ver Golub and van Loan (1996) para mais detalhes. Seja D, L e U as partes diagonal, inferior e superior da matriz A tal que A = D + L + U.

10 Ideia do método Um método iterativo para resolver Ax = b forma uma série de valores x i, para i = 1, 2,..., tal que sob certas condições, essa série converge para a solução exata do sistema. Então, precisamos escolher o ponto inicial x 0 e aplicar a regra no valor x i para obter o próximo valor x i+1. Um vetor inicial x 0 geralmente é escolhido como uma aproximação de x (mas uma má escolha não causa divergência do algoritmo). A regra a ser usada para atualizar a série é x i+1 = B i x i + C i b, sendo C i e B i matrizes n n. Diferentes escolhas de B i e C i levam a diferentes métodos. Consideraremos métodos estacionários onde B i = B e C i = C. Dessa forma a regra é x i+1 = Bx i + Cb com algumas condições impostas para convergência do método. Condição: B + CA = I. O método pode ser parado de acordo com critérios pré-especificados. Por exemplo, podemos usar x i x i+1 < ɛ. Ou podemos usar um número máximo de iterações.

11 Método de Jacobi O método de Jacobi é motivado pela seguinte observação: Seja A uma matriz com diagonal diferente de 0 (zero). Então, A pode ser reescrita como A = D + L + U. Dessa forma, o sistema pode ser reescrito como Isto implica em Dx + (L + U)x = b. x = D 1 [( L U)x + b]. Temos, então, um método iterativo para encontrar a solução do sistema Finalmente, temos que x i+1 = D 1 (L + U)x i + D 1 b. x k,i+1 = 1 A kk b k n j=1,j k A kj x j,i. (Mostrar exemplo no R: exemplo_02.r)

12 Decomposição de Cholesky Originalmente desenvolvida para resolver problemas de mínimos quadrados em topografia. Primeira publicação: Benoit (1924). Em estatística também chamamos método da raiz quadrada. Serve para decompor uma matriz positiva definida A em duas matrizes triangulares, tal que A = U U. Isto é, U pode ser vista como a raiz quadrada de A. U é conhecida como Cholesky de A e a relação A = U U é conhecida como decomposição de Cholesky. Teorema Seja A uma matriz n n simétrica e positiva definida. Então, existe uma única matriz triangular superior U com elementos positivos na diagonal tal que A = U U.

13 Decomposição de Cholesky Essa decomposição permite a solução do sistema linear Ax = b. No passo 1 resolvemos o sistema U z = b para encontrar z. No passo 2 resolvemos o sistema Ux = z para encontrar x. Algoritmo Para i = 1,..., n A 1/2 ii, se i = 1; ( i 1 1/2 U ii = A ii Uki) 2, se i > 1. k=1 Para j = i + 1,..., n ( ) i 1 U ij = A ij U ki U kj /U ii. k=1 (Mostrar exemplo no R: exemplo_03.r)

14 Decomposição LU ( lower upper ) Reduz a matriz A em A = LU, onde L é triangular inferior e U é triangular superior. Ao contrário da decomposição de Cholesky não exige que A seja positiva definida. Teorema (a) Seja A uma matriz n n que possui decomposição LU tal que A = LU se det(a(1 : k, 1 : k)) diferente de 0 para k = 1,..., n 1. (b) Se a fatorização LU existe e A é não singular, então a fatorização LU é única e det(a) = U U nn.

15 Decomposição LU ( lower upper ) Essa decomposição permite a solução do sistema linear Ax = b. No passo 1 resolvemos o sistema Lz = b para encontrar z. No passo 2 resolvemos o sistema Ux = z para encontrar x. Algoritmo Faça L = 0 e U = I. Para i = 1,..., n i 1 (a) Para j = 1,..., n, L ji = A ji L jk U ki. k=1 i 1 (b) Para j = i + 1,..., n, U ij = (A ij L ik U kj )/L ii. k=1 (Mostrar exemplo no R: exemplo_04.r)

16 Matriz inversa A matriz B é dita matriz inversa de A se AB = BA = I, onde I é a matriz identidade. Se B existe, A é dita não singular. Uma matriz quadrada é singular se, e somente, se det(a) = 0. Matrizes singulares são raras no sentido de que se escolhemos uma matriz aleatoriamente com distribuição uniforme nas entradas da matriz, então quase certamente a matriz é não singular. Consideramos matrizes quadradas (n n). Se a matriz A é de posto completo, então det(a) 0. Matriz A simétrica: A = A. Matriz A idempotente: AA = A. Exemplos práticos podem ser obtidos de Análise de Regressão: y = Xβ + ε. Temos b = (X X) 1 X y. Segue-se que P = X(X X) 1 X e M = I P tal que ŷ = Py e e = My. Temos que P e M são matrizes simétricas e idempotentes.

17 Considere o problema de inverter uma matriz positiva definida A. Podemos escrever A = U U sendo U uma matriz triangular superior que pode ser obtida pela decomposição de Cholesky. A matriz inversa X é dada por: XU = I. Neste caso, podemos usar o método da substituição para trás para resolver um sistema de equações lineares. Algoritmo Faça X = 0. Para i = 1,..., n, (a) x ii = 1/u ii. j 1 (b) Para j = i + 1,..., n, x ij = k=i x ik u kj u jj. Após obter X (a inversa de U), podemos obter a inversa de A usando a propriedade A 1 = U 1 (U ) 1. (Mostrar exemplo no R: exemplo_05.r)

18 Matriz positiva definida Em muitas aplicações importantes usamos matrizes positivas definidas. Exemplo: Da Análise de Regressão, se X tem posto completo p, então A = X X é positiva definida. Ainda temos que det(a) 0 e que A possui inversa. Uma matriz A é dita positiva definida se x Ax > 0 para qualquer vetor x diferente de 0. Uma matriz A é dita positiva semi-definida se x Ax 0 para qualquer vetor x diferente de 0. Matrizes de covariâncias (por exemplo da distribuição normal multivariada) são sempre simétricas e positivas definidas.

19 Solução de equações não lineares Solução de equações não lineares Considere o problema de resolver uma equação da forma f (x) = 0. Método de Newton-Raphson: Podemos aproximar a função f (x) por uma aproximação de primeira ordem dada por f (x) f (x 0 ) + J(x 0 )(x x 0 ), f (x) sendo J(x) = a matriz jacobiano. x No caso de solução de sistemas teremos f (x) = 0 na solução de interesse. Isso leva ao algoritmo iterativo: x (i) = x (i 1) [J(x i 1 )] 1 f (x (i 1) ).

20 Solução de equações não lineares Exemplo Suponha que deseja-se encontrar a raiz quadrada de um número b. Procuramos a solução f (x) = 0 para f (x) = x 2 b. Sabemos que f (x) = 2x. Daí, temos que x (i) = x (i 1) 1 2x [(x (i 1) ) 2 b]. (Mostrar exemplo no R: exemplo_06.r) Suponha que deseja-se encontrar x = (x 1, x 2, x 3 ) que resolve o sistema f 1 (x) = exp(x 1 ) 2 f 2 (x) = 5x 3 4 f 3 (x) = 4x 1 x 2 2x 3 6. tal que exp(x 1 ) 0 0 J(x) = x 2 4x 1 2 (Mostrar exemplo no R: exemplo_07.r)

21 Solução de equações não lineares Otimização de funções O problema de encontrar mínimos e máximos de uma função g(x) pode ser visto como a solução de um sistema de equações da forma u(x) = g(x) x = 0, sendo u(x) é o vetor de primeiras derivadas (gradiente). Dessa forma, J(x) = 2 g(x) x x = H(x) é a matriz hessiana (matriz de segundas derivadas). Isso leva ao algoritmo iterativo: x (i) = x (i 1) [H(x (i 1) )] 1 u(x (i 1) ).

22 Solução de equações não lineares Exemplo Considere o seguinte modelo de regressão Poisson com uma covariável: (y i β 1, β 2 ) Poi(exp(β 1 + β 2 x i )), i = 1,..., n. Como encontrar o estimador de máxima verossimilhança para os coeficientes de interesse? A função log-verossimilhança é dada por n l(β 1, β 2 ) = c + [y i (β 1 + β 2 x i ) exp(β 1 + β 2 x i )]. Daí, temos i=1 u 1 (β 1, β 2 ) = u 2 (β 1, β 2 ) = n [y i exp(β 1 + β 2 x i )] i=1 n [(y i exp(β 1 + β 2 x i ))x i ]. i=1 Qual a solução do sistema u(β) = 0? Isto é, quais os estimadores β 1 e β 2?

23 Solução de equações não lineares Podemos calcular a matriz de segunda derivada: H(β) = n i=1 Isso leva ao algoritmo iterativo: [ ] exp(β1 + β 2 x i ) exp(β 1 + β 2 x i )x i exp(β 1 + β 2 x i )x i exp(β 1 + β 2 x i )xi 2. β (i) = β (i 1) [H(β (i 1) )] 1 u(β (i 1) ). (Mostrar exemplo no R: exemplo_08.r) Nota: existe uma variação do algoritmo de Newton-Raphson que utiliza a matriz de informação de Fisher no lugar da matriz hessiana inversa. Procure por este algoritmo!