Matriz de Variância e Covariância e o Teorema de Gauss-Markov

Tamanho: px

Começar a partir da página:

Download "Matriz de Variância e Covariância e o Teorema de Gauss-Markov"

Rubens Faro Malheiro
6 Há anos
Visualizações:

1 Matriz de Variância e Covariância e o Teorema de Gauss-Markov Reginaldo J Santos Departamento de Matemática-ICEx Universidade Federal de Minas Gerais regi@matufmgbr 26 de setembro de 2001 Seja X = [x 1 x n ] t um vetor de variáveis aleatórias x 1,, x n A operação de tomar a esperança será denotada por E Definimos E(X) como sendo o vetor dos valores esperados de cada elemento de X, ou seja, E(X) = E x 1 x 2 x n = E(x 1 ) E(x 2 ) E(x n ) 1 Matriz de Variância e Covariância Sejam x 1,, x n variáveis aleatórias com variâncias σ 2 1,, σ 2 n e covariâncias σ 12, σ 13,, σ (k 1)k Ou seja, σ 2 i = E[(x i E(x i )) 2 ], σ ij = E[(x i E(x i ))(x j E(x j ))], para i j Reunindo as variâncias e covariâncias em uma matriz, ficamos com σ1 2 σ 12 σ 1n σ 12 σ2 2 σ 2n Var(X) = V = σ 1n σ 2n σn 2 que é chamada de matriz de variância e covariância ou matriz de dispersão das variáveis aleatórias x 1,, x n Ela é simétrica (V t = V ) e o elemento de posição i, i é a variância da variável x i e o elemento de posição i, j, para i j, é a covariância, entre as variáveis x i e x j Assim, podemos expressar V como V = Var(X) = E[(X E(X))(X E(X)) t ] (1) 1

2 Seja A uma matriz m n Então, E(AX) = AE(X), (2) pois E(AX) = E = a 11 x 1 + a 12 x a 1n x n a 21 x 1 + a 22 x a 2n x n a m1 x 1 + a m2 x a mn x n a 11 E(x 1 ) + a 12 E(x 2 ) + + a 1n E(x n ) a 21 E(x 1 ) + a 22 E(x 2 ) + + a 2n E(x n ) a m1 E(x 1 ) + a m2 E(x 2 ) + + a mn E(x n ) = AE(X) De forma análoga podemos mostrar que se B é uma matriz n m, então De (2) e (3) segue que E(XB) = E(X)B e E(AXB) = AE(X)B (3) Var(AX) = E[(AX E(AX))(AX E(AX)) t ] = E[(AX AE(X))(AX AE(X)) t ] = E[A(X E(X))(X E(X)) t A t ] = AE[(X E(X))(X E(X)) t ]A t = AVar(X)A t 2 Introdução à Análise de Regressão Vamos supor que um vetor de variáveis aleatórias Y = [y 1,, y m ] t seja tal que a sua esperança seja uma combinação linear de outros vetores, ou seja, que E(y 1 ) x 11 x 1n E(y 2 ) x 21 x 2n E(y m ) = E(Y ) = b 1X b n X n = b 1 A equação (5) pode ainda ser escrita de duas outras formas: x m1 + + b n x mn (4) (5) E(y i ) = b 1 x i1 + + b n x in, para i = 1,, m ou simplesmente onde X = x 11 x 12 x 1n x 21 x 22 x 2n x m1 x m2 x mn E(Y ) = XB, (6) 2, e B = b 1 b 2 b n

3 O problema aqui é determinar os parâmetros b i a partir de observações y i, para i = 1,, m Para cada i, a diferença y i E(y i ) é o desvio do valor observado y i em relação ao valor esperado E(y i ) e é escrito como ε i = y i E(y i ), para i = 1,, m (7) Assim, em termos das observações e dos erros, o nosso modelo pode ser escrito como y i = b 1 x i1 + + b n x in + ε i, ou de forma mais compacta, simplesmente onde Y = y 1 y 2 y m X = x 11 x 12 x 1n x 21 x 22 x 2n x m1 x m2 x mn para i = 1,, m Y = XB + ε, (8), B = b 1 b 2 b n e ε = A equação (8) é chamada de equação do modelo Ela é a base para estimar B a partir dos dados obtidos armazenados em X e Y Os erros ε i por definição, têm média zero, pois de (7) temos que E(ε) = E(Y E(Y )) = E(Y ) E(Y ) = 0 Vamos assumir também que os erros ε i têm a mesma variância σ 2 e que cada um deles é não correlacionado (tem covariância zero) com os outros Assim a matriz de variância-covariância dos ε i s é σ 2 I n Portanto, σ 2 I n = Var(ε) = E[(ε E(ε))(ε E(ε)) t ] = E(εε t ) (9) É usual se tomar como estimador do vetor de parâmetros B, a solução de quadrados mínimos, ou seja, a solução de n min ε i = min XB Y 2 Este problema é equivalente a resolver as equações normais i=1 X t XB = X t Y A solução de quadrados mínimos foi usada por Gauss em 1801 para predizer a trajetória do asteróide Ceres Dias após o asteróide ter sido descoberto, o seu rastreamento foi perdido Vários astrônomos publicaram artigos fazendo a previsão da trajetória do asteróide Entretanto, quando o asteróide foi novamente localizado, a sua posição era muito próxima daquela prevista por Gauss e diferia muito das previsões feitas pelos outros Na maioria dos casos a matriz X tem posto máximo, ou equivalentemente X t X é não singular Nestes casos temos uma fórmula para o estimador ˆB ˆB = (X t X) 1 X t Y (10) O estimador de quadrados mínimos é não viciado, ou seja, E( ˆB) = B, pois de (10) e (6), temos E( ˆB) = E[(X t X) 1 X t Y ] = (X t X) 1 X t E(Y ) = (X t X) 1 X t XB = B Este estimador, que vamos chamar de ˆB é o melhor estimador linear não viciado, como mostra o próximo teorema 3 ε 1 ε 2 ε m

4 Teorema 21 (Gauss-Markov) Considere o modelo linear Y = XB + ε, com as hipóteses E(ε) = 0 e Var(ε) = σ 2 I n Seja ˆB = (X t X) 1 X t Y o estimador de quadrados mínimos Se B é um outro estimador de B tal que B = CY, onde C é uma matriz n n, e E( B) = B (não viciado), então: Z t Var( B)Z Z t Var( ˆB)Z, para todo Z R n Demonstração Vamos demonstrar para o caso em que a matriz X tem posto máximo, ou equivalentemente X t X é não singular Por (4), temos que Mas, por (1), (6) e (9) a variância de Y é dada por Substituindo (12) em (11) obtemos Var( ˆB) = (X t X) 1 X t Var(Y )X(X t X) 1 (11) Var(Y ) = E[(Y E(Y ))(Y E(Y )) t ] = E(εε t ) = σ 2 I n (12) Por outro lado, por (4) e usando (12), obtemos Agora, como por hipótese E( B) = B, segue que Var( ˆB) = σ 2 (X t X) 1 (13) Var( B) = CVar(Y )C t = σ 2 (CC t ) (14) B = E( B) = E(CY ) = CE(Y ) = CXB, para todo B R n O que implica que I n = CX (15) Assim, usando (13), (14) e (15) segue que Var( B) Var( ˆB) = σ 2 [CC t CX(X t X) 1 X t C t ] = σ 2 C[I n X(X t X) 1 X t ]C t (16) A matriz M = I n X(X t X) 1 X t é simétrica e tal que M 2 = M (idempotente) Assim, Z t Var( B)Z Z t Var( ˆB)Z = Z t [Var( B) Var( ˆB)]Z = σ 2 Z t (CMC t )Z = σ 2 (Z t CM)(M t C t Z) = σ 2 Z t CM 2 0, o que prova o resultado 4

5 Referências [1] David C Lay Linear Algebra and its Applications Addison-Wesley, Reading, 2a edition, 1997 [2] Steven J Leon Álgebra Linear com Aplicações Livros Técnicos e Científicos Editora SA, Rio de Janeiro, 5a edition, 1998 [3] Reginaldo J Santos Geometria Analítica e UFMG, Belo Horizonte, 2000 Álgebra Linear Imprensa Universitária da [4] Shayle R Searle Matrix Algebra Useful for Statistics John Wiley and Sons, New York, 1982 [5] S D Silvey Statistical Inference Penguin, Harmondsworth,

Documentos relacionados

Matriz de Variância e Covariância e o Teorema de Gauss-Markov

1 Matriz de Variância e Covariância e o Teorema de Gauss-Markov Reginaldo J Santos Departamento de Matemática-ICEx Universidade Federal de Minas Gerais http://wwwmatufmgbr/~regi 26 de setembro de 2001