Ralph S. Silva

Transcrição

1 ANÁLISE ESTATÍSTICA MULTIVARIADA Ralph S Silva Departamento de Métodos Estatísticos Instituto de Matemática Universidade Federal do Rio de Janeiro

2 Sumário

3 Revisão: Regressão Linear (Univariada) Múltipla O caso univariado Sejam z 1, z 2,, z r r covariáveis relacionadas a uma variável resposta y O modelo de regressão linear múltiplo univariado é dado pela equação: y }{{} = β 0 + β 1 z β r z r + }{{} }{{} ε resposta média; parte estrutural erro; parte aleatória O modelo é dito linear, pois a parte estrutural é linear nos parâmetros β j, j = 1, 2,, r Se dispomos de n observações independentes, então Suposições: y i = β 0 + β 1 z 1i + + β r z ri + ε i, i = 1, 2,, n S1: E(ε i ) = 0, i = 1, 2,, n S2: Var(ε i ) = σ 2, i = 1, 2,, n (homocedasticidade) S3: Cov(ε i, ε k ) = 0, i k, i, k {1, 2,, n}

4 Revisão: Regressão Linear (Univariada) Múltipla Na notação matricial, tem-se com S1: E(ε) = 0; y = y }{{} n 1 S2 e S3: Var(ε i ) = σ 2 I n; y 1 y 2 y n β = = Z }{{} β }{{} n (r+1) (r+1) 1 + ε }{{}, n 1 1 z 11 z 12 z 1r ; Z = 1 z 21 z 22 z 2r ; 1 z n1 z n2 z nr β 0 ε 1 β 1 ε 2 β r ; e ε = Observe que ainda não fizemos nenhuma suposição a cerca da distribuição dos erros ε n

5 Revisão: Regressão Linear (Univariada) Múltipla Para efeito de obter os estimadores de mínimos quadrados, de fato, não é necessária nenhuma suposição sobre a distribuição da parte aleatória Porém, para fins de inferência, será necessário Estimadores de Mínimos Quadrados Suponha que a matriz Z seja de posto completo tal que suas colunas formam um conjunto de vetores linearmente independentes Neste caso, a matriz Z Z é não-singular e o estimador de mínimos quadrados do vetor β é dado por β = (Z Z ) 1 Z y Os valores ajustados são, então, dados por e os resíduos ŷ = Z β = Z (Z Z ) 1 Z y = Hy, where H Z (Z Z ) 1 Z, ε = y ŷ = [I H]y = Py, where P I H, satisfazendo as seguintes relações (somente quando houver a constante β 0 no modelo) Z ε = 0 e ŷ ε = 0

6 Revisão: Regressão Linear (Univariada) Múltipla Temos que H e P são matrizes idempotentes (H = HH e H = H ) A soma de quadrados de resíduos é Observe que n SQ Res = n y i 2 i=1 i=1 (y i ŷ i ) 2 = ε ε = y Py = y y y Z β = y y = (y ŷ + ŷ) (y ŷ + ŷ) = ŷ ŷ + ε ε

7 Revisão: Regressão Linear (Univariada) Múltipla O R 2 e a Geometria dos Mínimos Quadrados R 2 = 1 n ε ε i=1 (y i y) 2 = n (ŷ i y) 2 i=1 n (y i y) 2 i=1 R 2 fornece a proporção da variação total dos y i s que é explicada pelas covariáveis Por um lado, R 2 seria igual 1 se a equação do modelo se ajustasse perfeitamente aos dados Por outro lado, R 2 seria zero se β 0 = y e os demais seriam todos nulos Neste caso, as covariáveis não exerceriam nenhuma influência sobre a resposta R 2 deve ser olhado com cuidado na verificação do modelo, pois valores altos de R 2 não necessariamente implicam que o modelo ajustado é bom Além dessa medida é fundamental realizar uma análise dos resíduos Além disso, um R 2 não tão elevado, para um modelo ajustado cuja análise de resíduos foi boa, pode ser considerado

8 Revisão: Regressão Linear (Univariada) Múltipla Considere o modelo y = Z β + ε E(y) = Z β é uma combinação linear das linhas da matriz Z com coeficientes β 0, β 1,, β r A medida que β varia, Z β gera o plano modelo de todas as combinações lineares das colunas de Z Geralmente, o vetor observado y não pertencerá ao plano modelo devido ao erro aleatório Isto é, y não é uma combinação linear das colunas de Z Uma vez que as observações tornam-se disponíveis, a solução de mínimos quadrados é obtida a partir do vetor desvio dado por y }{{} Z β }{{} vetor de observação vetor no plano modelo O quadrado do módulo deste vetor é S(β) = (y Z β) (y Z β) Supondo n = 3 e r = 1 é possível fazer uma representação da geometria dos mínimos quadrados

9 Revisão: Regressão Linear (Univariada) Múltipla S( β) é tão pequeno quanto possível, quando β é selecionado tal que Z β é o ponto no plano modelo mais próximo do vetor de observação De fato, Z β é a projeção ortogonal do vetor de observação y sobre o plano modelo O vetor ε é ortogonal ao plano modelo Como ŷ = Z β = Z (Z Z ) 1 Z y = Hy, dizemos que H é a matriz de projeção ortogonal do vetor de observações sobre o plano modelo Z β Similarmente, P é a matriz de projeção de y sobre o plano perpendicular ao modelo

10 Revisão: Regressão Linear (Univariada) Múltipla Inferências sobre os parâmetros Sob o modelo y = Z β + ε com E(ε) = 0 e Var(ε) = σ 2 I, o estimador de mínimos quadrados de β é β = (Z Z ) 1 Z y Então, E( β) = β, Var( β) = σ 2 (Z Z ) 1, E( ε) = 0, e Var( ε) = σ 2 P Observe que apesar dos erros serem supostos independentes, os resíduos não o serão necessariamente, pois a matriz P = I H pode não ser diagonal Temos que tal que s 2 = E( ε ε) = (n r 1)σ 2, ε ε n r 1 = y Py n r 1 é um estimador não tendencioso de σ2 Além disso, β e ε são não correlacionados

11 Revisão: Regressão Linear (Univariada) Múltipla Para ir adiante nas inferências impõe-se a necessidade de se fazer suposições sobre a distribuição dos erros A suposição adicional aqui é ε N n(0, σ 2 I) Com esta suposição adicional, é possível provar que β é o estimador de máxima verossimilhança de β Além disso, β N r+1 (β, σ 2 (Z Z ) 1 ) e (n r 1)s 2 = ε ε σ 2 σ 2 χ2 n r 1 Podemos então construir uma região de confiança conjunta para β usando (β β) Z Z (β β) s 2 (r + 1)F r+1,n r 1

12 Revisão: Regressão Linear (Univariada) Múltipla Intervalos simultâneos de 100(1 α)% para os β i s IC 100(1 α)% (β i ) = β i ± Var( β i ) (r + 1)F r+1,n r 1,1 α, i = 0, 1,, r, sendo Var( β i ) o i-ésimo elemento da diagonal de s 2 (Z Z ) 1 É comum ignorar a simultaneidade dos intervalos trabalhando-se com os intervalos separados que são mais estreitos IC 100(1 α)% (β i ) = β i ± Var( β i )t n r 1,1 α/2 Neste caso deve-se atentar para o fato de que aqui a confiança não é simultânea para os r + 1 intervalos Uma abordagem que é interessante de ser usada aqui é a abordagem de Bonferroni

13 Revisão: Regressão Linear (Univariada) Múltipla Inferências a partir da função de regressão estimada Estimação da média de uma observação nova E(y 0 z 0 ), com z 0 = (1, z 01,, z 0r ) A média é dada por E(y 0 z 0 ) = β 0 + β 1 z β r z 0r = z 0β Logo, E(y0 z 0 ) = z 0 β Temos que z 0 β N (z 0β, σ 2 z 0(Z Z ) 1 z 0 ) O intervalo de 100(1-α)% de confiança para z 0β é dado por IC 100(1 α)% (z 0β) = z 0 β ± t n r 1,1 α/2 s 2 z 0 (Z Z ) 1 z 0

14 Revisão: Regressão Linear (Univariada) Múltipla Previsão de uma nova observação, quando z = z 0 O intervalo de previsão 100(1-α)% de confiança para y 0 é dado por IC 100(1 α)% (y 0 ) = z 0 β ± t n r 1,1 α/2 s 2 (1 + z 0 (Z Z ) 1 z 0 ) Alguns outros tópicos que devem ser revisados pelo aluno: Verificação do ajuste e outros aspectos da regressão Análise de resíduos Pontos de alavanca e de influência Seleção de covariáveis Comparação de modelos Exercícios do capítulo 7 para entregar: 1, 2, 3, 6, 8 e 9 FAÇAM TODOS OS EXERCÍCIOS!

15 Suponha que a variável resposta y é p-variada e que z 1, z 2,, z r representam r covariáveis escalares O modelo de regressão linear múltiplo multivariado é dado pelas equações: y 1,i = β 01 + β 11 z 1,i + + β r1 z r,i + ε 1,i y 2,i = β 02 + β 12 z 1,i + + β r2 z r,i + ε 2,i y p,i = β 0p + β 1p z 1,i + + β rpz r,i + ε p,i para i = 1, 2,, n, sendo ε i = (ε 1,i, ε 2,i,, ε p,i ) Suposições: E(ε) = 0; e Var(ε) = Σ, uma matriz p p simétrica e positiva definida Portanto, os termos de erro associados com diferentes componentes do vetor resposta podem ser correlacionados

16 Na notação matricial, tem-se Y }{{} n p = Z }{{} β }{{} n (r+1) (r+1) p + ε }{{} n p com Y = y 11 y 12 y 1p y 21 y 22 y 2p = [ ] y 1, y 2,, y p, Z = y n1 y n2 y np 1 z 11 z 12 z 1r 1 z 21 z 22 z 2r = [1, z 1, z 2,, z r ], 1 z n1 z n2 z nr

17 β = β 01 β 02 β 0p β 11 β 12 β 1p = [ ] β 1, β 2,, β p, e ε = β r1 β r2 β rp ε 11 ε 12 ε 1p ε 21 ε 22 ε 2p = [ε 1, ε 2,, ε p] ε n1 ε n2 ε np

18 Suposições do Modelo E(ε j ) = 0, e }{{} Y n p = Z }{{} β }{{} n (r+1) (r+1) p Cov(ε j, ε k ) = σ jk I n, para j, k = 1, 2,, p + ε }{{} : n p As p medidas sobre a i-ésima observação têm matriz de covariância dada por Σ, mas medidas provenientes observações diferentes são não correlacionadas Temos que β e Σ são desconhecidos Observe que a j-ésima coluna da matriz resposta segue o modelo linear univariado múltiplo dado por com Var(ε j ) = σ jj I n y j = Z β j + ε j, para j = 1, 2,, p

19 Estimação de Mínimos Quadrados: B β = (Z Z ) 1 Z Y Matriz de somas de quadrados e produtos cruzados: Valores ajustados: Resíduos: Propriedades: (Y Z B) (Y Z B) Ŷ = Z B = Z (Z Z ) 1 Z Y ε = Y Ŷ = Y Z B = [I Z (Z Z ) 1 Z ]Y Z ε = 0 }{{} (r+1) p Y Y = Ŷ Ŷ + ε ε; e Ŷ ε = }{{} 0 ; p p e ε ε = Y Y B (Z Z )B

20 Para o estimador de mínimos quadrados B e com a matriz Z de posto completo, tem-se B e ε são não correlacionados Estimador não tendencioso de Σ: E(B) = β, Cov( β j, β k ) = σ jk (Z Z ) 1, E( ε) = }{{} 0, e matriz nula 1 E( n r 1 ε ε) = Σ S = ε ε n r 1

21 Inferências a partir da função de regressão estimada Suponha que o modelo Y = Z β + ε, com erros normais tenha sido ajustado Se o ajuste for considerado bom, ele poderá ser usado para fins de previsão Um problema é prever a média correspondente a um vetor de covariáveis z 0 Inferências sobre a média podem ser feitas usando-se os mesmos resultados estudados no caso univariado e B z 0 N p(β z 0, z 0(Z Z ) 1 z 0 Σ) n Σ W p(n r 1, Σ), independentemente Intervalos-T 2 simultâneos de 100(1-α)% de confiança para E(y k z 0 ) = z 0β k : ( ) z p(n r 1) 0 β k ± n r p F p,n r p,1 α z 0 (Z n Z ) 1 z 0 n r 1 σ kk, para k = 1, 2,, p

22 O outro problema está voltado para a previsão de uma nova resposta y 0 dado o vetor de covariáveis z 0 Agora, y 0 N p(β z 0, (1 + z 0(Z Z ) 1 z 0 )Σ) E, assim, intervalos simultâneos de previsão de 100(1-α)% para a k-ésima componente de y 0, y 0,k, k = 1, 2,, p, são dados por ( ) z p(n r 1) 0 β k ± n r p F p,n r p,1 α (1 + z 0 (Z n Z ) 1 z 0 ) n r 1 σ kk,

23 O Conceito de Regressão Linear O modelo de regressão linear clássico diz respeito à associação entre uma variável dependente (ou resposta) y e uma coleção de covariáveis z 1, z 2,, z r O modelo que consideramos trata y como uma variável aleatória cuja média depende dos valores fixados das covariáveis A média é uma função linear dos coeficientes da regressão β 0, β 1,, β r O modelo de regressão linear também surge numa configuração diferente Suponha que todas as variáveis y, z 1, z 2,, z r são variáveis aleatórias e têm uma distribuição conjunta com média µ de dimensão (r + 1) 1 e variância Σ de dimensão (r + 1) (r + 1)

24 Particionando µ e Σ de forma apropriada temos [ ] [ µy σyy Σ yz µ = e Σ = com µ z Σ zy Σ yz = [σ yz1, σ yz2,, σ yzr ] Σ zz é suposta ser não singular Se isso não acontecer, significa que pelo menos uma das covariáveis é combinação linear das demais, de modo que esta covariável é redundante e pode ser eliminada do problema Preditor Linear: Σ zz β 0 + β 1 z β r z r = β 0 + β z, com β = ( β 1, β 1,, β r ) Para um preditor dessa forma, o erro de previsão é dado por: y β 0 β z Como este erro é aleatório, costuma-se escolher β 0 e β de modo a minimizar o erro quadrático médio ( EQM = E [y β 0 β z] 2) ],

25 O EQM depende da distribuição conjunta de y e z somente através de µ e Σ É possível expressar o preditor linear ótimo em função dessas quantidades Resultado: O preditor linear β 0 + β z com coeficientes β = Σ 1 zz Σ zy, β 0 = µ y β µ z tem EQM mínimo entre todos os preditores lineares de y Além disso, ( E [y β 0 β z] 2) = σ yy Σ yzσ 1 zz Σ zy Também β 0 + β z é o preditor linear de maior correlação com y dada por Σ yzσ 1 zz Σ zy σ yy

26 Esse coeficiente de correlação é chamado coeficiente de correlação múltiplo da população e será denotado por ρ y(z) Σ yzσ 1 zz Σ zy ρ y(z) = σ yy Observe que este coeficiente de correlação múltiplo, diferente dos outros varia entre 0 e 1 O quadrado do coeficiente de correlação múltiplo populacional é chamado coeficiente de determinação populacional O coeficiente de determinação populacional tem uma interpretação importante O EQM em usar β 0 + β z para prever y é σ yy Σ yzσ 1 zz Σ zy = σ yy σ yyρ 2 y(z) = σ yy(1 ρ 2 y(z)) Se ρ y(z) = 0, z não acrescenta nenhum poder de previsão No outro extremo, y pode ser perefeitamente explicada por z

27 Previsão de Várias Variáveis A extensão destes resultados para a previsão de várias respostas y 1, y 2,, y p é quase imediata Suponha ( y p 1 z r 1 com Vimos que µ = ( µy µ z ) ) N p+r (µ, Σ) [ Σyy Σ yz e Σ = Σ zy Σ zz ] E(y z 1, z 2,, z r ] = µ y + Σ yzσ 1 zz (z µ z ) este valor esperado condicional, considerado como uma função de z 1, z 2,, z r é chamado vetor de regressão multivariada de y em z Ele compõe-se de p regressões múltiplas univariadas

28 Por exemplo, o primeiro componente do vetor de média condicional é: µ y1 + Σ y1 zσ 1 zz (z µ z ) = E(y 1 z 1, z 2,, z r ) que minimiza o erro de previsão nesse componente A matriz β p r = Σ yzσ 1 zz O vetor de erro de previsão é: é chamada matriz de coeficientes de regressão v = y µ y Σ yzσ 1 zz (z µ z ) e E(vv ) = Σ yyz = Σ yy Σ yzσ 1 zz Σ zy Como µ e Σ costumam ser desconhecidos, eles devem ser estimados

29 Os estimadores de máxima verossimilhança da função de regressão são dados por: y + S yzs 1 zz (z z), e Σ yyz = n 1 (Syy SyzS 1 zz S zy) n Observação: a coleção y 1, y 2,, y p, z 1, z 2,, z r leva as seguintes equações de previsão: ŷ 1 = β 01 + β 11 z β r1 z r ŷ 2 = β 02 + β 12 z β r2 z r ŷ p = β 0p + β 1p z β rpz r 1 Os mesmos valores z 1, z 2,, z r são usados para prever cada y i 2 Os β jk são estimativas das entradas (j, k) da matriz β = Σ yzσ 1 zz

30 Coeficiente de Correlação Parcial Considere ( y p 1 z r 1 ) N p+r (µ, Σ) O coeficiente de correlação parcial entre y j e y k eliminando-se z é definido por σ yj y k z ρ yj y k z = σyj y j zσ yk y k z com σ yj y k z a entrada (j, k) da matriz Σ yyz = Σ yy Σ yzσ 1 zz Σ zy O coeficiente de correlação amostral correspondente é dado por r yj y k = s yj y k z syj y j zs yk y k z com s yj y k z a entrada (j, k) da matriz S yyz = S yy S yzs 1 zz S zy

31 Exercícios do capítulo 7 para entregar: 10, 12, 13, 14, 19, 21 e 22 FAÇAM TODOS OS EXERCÍCIOS!