II.2. Regressão Linear Múltipla. A nuvem de pontos - uma perspectiva. Plano em R 3. A nuvem de pontos - outra perspectiva

Transcrição

1 II2 Regressão Liear Múltipla Por vezes, é ecessário mais do que uma variável preditiva para modelar a variável resposta de iteresse Exemplo: Num estudo sobre uma população experimetal de cloes da casta Tita Fracisca, realizado o Tabuaço em 2003, foram medidos os valores das seguites variáveis para 24 videiras: teor de atociaas (variável atoci, em mg/dm 3 ); feóis totais (variável fetot); ph (variável ph) A uvem de potos - uma perspectiva As = 24 observações em três variáveis descrevem agora uma uvem de 24 potos em R 3 Neste âgulo de visão, a uvem de potos em R 3 ada tem de especial Há iteresse em estudar a relação etre o teor de atociaas (variável resposta) e o teor de feóis totais e ph J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 A uvem de potos - outra perspectiva Noutro âgulo de visão percebe-se que os potos se dispersam aproximadamete em toro de um plao Plao em R 3 Qualquer plao em R 3, o sistema x0y0z, tem equação Ax + By + Cz + D = 0 No osso cotexto, e colocado: o eixo vertical (z) a variável resposta Y ; outro eixo (x) um preditor X 1 ; o terceiro eixo (y) o outro preditor X 2, A equação fica (o caso geral, com C 0): Ax 1 + Bx 2 + Cy + D = 0 y = D C A C x 1 B C x 2 y = b 0 + b 1 x 1 + b 2 x 2 Esta equação geeraliza a equação da recta, para o caso de haver dois preditores J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Regressão Múltipla - represetação gráfica (p = 2) y x 2 Y = b 0 + b 1 x 1 + b 2 x 2 Y = b 0 + b 1 x 1 + b 2 x 2 é a equação dum plao em R 3 (x 1 0x 2 0y) Pode ser ajustado pelo mesmo critério que a RLS: miimizar a Soma de Quadrados Residual J Cadima (ISA) Estatística e Delieameto / 479 x 1 O caso geral: p preditores Caso se preteda modelar uma variável resposta, Y, com base em p variáveis preditoras, x 1, x 2,, x p, uma geeralização da equação de regressão liear simples admite que os valores de Y oscilam em toro duma combiação liear (afim) das p variáveis preditivas: y = b 0 + b 1 x 1 + b 2 x b p x p Tal como a Regressão Liear Simples, admite-se que dispomos de cojutos de observações {( )} x 1(i),x 2(i),x p(i),y i, para estudar este hiperplao em R p+1 que defie a relação de fudo etre Y e os p preditores Começamos por cosiderar o problema meramete descritivo J Cadima (ISA) Estatística e Delieameto / 479

2 O hiperplao ajustado O critério utilizado para ajustar um hiperplao à uvem de potos em R p+1 é o mesmo que a RLS: miimizar a Soma de Quadrados dos Resíduos, ou seja, escolher os valores dos p + 1 parâmetros {b j } p j=0 de tal forma que miimizem SQRE = i= e 2 i = i= (y i ŷ i ) 2 ode os y i são os valores observados da variável resposta e ŷ i = b 0 + b 1 x 1(i) + b 2 x 2(i) + + b p x p(i) os valores ajustados, resultates dos valores correspodetes dos p preditores e da equação do hiperplao Ifelizmete, ão existem fórmulas simples, como o caso da RLS, para cada um dos parâmetros b j isoladamete Mas é possível idicar uma fórmula úica matricial para o cojuto dos p + 1 parâmetros As dificuldades a represetação gráfica A represetação gráfica usual da uvem de potos observados exige p + 1 eixos: um para Y e um para cada um dos p preditores Para p > 2, seriam ecessários mais de três eixos e a visualização tora-se impossível As características fudametais dessas represetações seriam: Existem p + 1 eixos um para cada variável em questão Existem potos um para cada idivíduo (uidade experimetal) observado Tem-se uma uvem de potos um espaço (p + 1)-dimesioal Na regressão liear múltipla admite-se que os potos se dispõem em toro de um hiperplao em R p+1, de equação y = b 0 + b 1 x 1 + b 2 x b p x p J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Visualizações parciais da uvem de potos A impossibilidade de visualizar as uves de potos em R p+1 sugere a cosideração de visões parciais, como sejam as uves de potos defiidas por cada par de variáveis, que são as projecções ortogoais da uvem em cada plao coordeado de R p+1 Eg, para as = 150 observações de lírios em 4 variáveis: SepalLegth SepalWidth PetalLegth Advertêcia A projecção da uvem de potos os plaos coordeados ão é uma solução ideal Em particular, em sempre permite verificar a hipótese básica de liearidade, isto é, a hipótese de que os potos se dispersam em toro de um hiperplao Tal hipótese pode ser válida, mesmo que ão se verifique liearidade em qualquer das uves de potos de y vs um preditor idividual, x j PetalWidth J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Outra represetação gráfica A represetação gráfica em R p+1 das observações de Y e das p variáveis preditivas ão é a úica possível Há outra represetação possível dos dados, que casa coceitos geométricos e coceitos estatísticos e é útil a determiação dos parâmetros ajustados As observações de Y defiem um vector em R : A represetação em R, o espaço das variáveis cada eixo correspode a um idivíduo observado; cada vector correspode a uma variável O vector de us, represetado por 1, também é útil x 1 Id 1 R 1 y y = (y 1,y 2,y 3,,y ) Da mesma forma, as observações de cada variável preditora defiem um vector de R x 2 Id 2 x 3 Id 3 x j = (x j(1),x j(2),x j(3),,x j() ) (j = 1,2,,p) Podemos represetar todas as variáveis por vectores em R Id Id 4 J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479

3 Vatages da represetação gráfica alterativa Os valores ajustados ŷ i também defiem um vector de R, ŷ, que é uma combiação liear dos vectores 1, x 1, x 2,, x p : b b 1 x 1 + b 2 x b px p = b 0 = = ŷ b 1 x 1(1) x 1(2) x 1(3) x 1() + + b p x p(1) x p(2) x p(3) x p() b 0 + b 1 x 1(1) + b 2 x 2(1) + + b px p(1) b 0 + b 1 x 1(2) + b 2 x 2(2) + + b px p(2) b 0 + b 1 x 1(3) + b 2 x 2(3) + + b px p(3) b 0 + b 1 x 1() + b 2 x 2() + + b px p() = ŷ 1 ŷ 2 ŷ 3 ŷ A matriz X e o seu subespaço de coluas Recordemos algus coceitos dados a UC Álgebra Liear dos 1os ciclos do ISA O cojuto de todas as combiações lieares dos p+1 vectores 1, x 1,, x p chama-se o subespaço gerado por esses vectores Colocado os vectores 1, x 1,, x p as coluas duma matriz X, de dimesão (p + 1), podemos chamar a este subespaço o subespaço das coluas da matriz X, C (X) R É um subespaço de dimesão p + 1 (se os vectores forem liearmete idepedetes, isto é, ehum se pode escrever como combiação liear dos restates) Qualquer combiação liear dos vectores colua da matriz X é dada por Xa, ode a = (a 0,a 1,a 2,,a p ) é o vector dos coeficietes que defie a combiação liear J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Um produto matricial Xa O produto da matriz X por um vector a R p+1 é uma combiação liear das coluas de X: 1 x 1(1) x 2(1) x p(1) a 0 1 x 1(2) x 2(2) x p(2) a 1 Xa = 1 x 1(3) x 2(3) x p(3) a 2 1 x 1() x 2() x p() a p a 0 + a 1 x 1(1) + a 2 x 2(1) + + a p x p(1) a 0 + a 1 x 1(2) + a 2 x 2(2) + + a p x p(2) = a 0 + a 1 x 1(3) + a 2 x 2(3) + + a p x p(3) a 0 + a 1 x 1() + a 2 x 2() + + a p x p() Os parâmetros Cada escolha possível de coeficietes a = (a 0,a 1,a 2,,a p ) correspode a um poto/vector o subespaço C (X) Essa escolha de coeficietes é úica caso as coluas de X sejam liearmete idepedetes, isto é, se ão houver multicoliearidade etre as variáveis x 1,,x p,1 Um dos potos/vectores do subespaço é a combiação liear dada pelo vector de coeficietes b = (b 0,b 1,,b p ) que miimiza SQRE É a combiação liear que desejamos determiar Como idetificar esse poto/vector? = a a 1 x 1 + a 2 x a p x p J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Geometria O coceito geométrico subjacete à idetificação de b Vamos usar argumetos geométricos R y Dispomos de um vector de observações de y que está em R mas, em geral, ão está o subespaço C (X) Queremos aproximar esse vector por outro vector, ŷ = b b 1 x b p x p, que está o subespaço C (X) Vamos aproximar o vector de observações y pelo vector ŷ do subespaço C (X) que está mais próximo de y ŷ = Hy C (X) SOLUÇÃO: Tomar a projecção ortogoal de y sobre C (X) : ŷ = Hy O vector de C (X) R mais próximo dum vector y R é o vector ŷ que resulta de projectar ortogoalmete y sobre C (X) J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479

4 O critério miimiza SQRE O coceito geométrico subjacete à obteção de b O critério de escolher ŷ tal que miimize a distâcia ao vector de observações y sigifica que miimizamos o quadrado dessa distâcia, que é dado por: R y SQRE = y ŷ dist 2 (y,ŷ) = y ŷ 2 = (y i ŷ i ) 2 = SQRE, ou seja, que miimizamos a soma de quadrados dos resíduos Trata-se do critério que foi usado a Regressão Liear Simples ŷ = Hy C (X) O quadrado da distâcia de y a ŷ é SQRE, a soma dos quadrados dos resíduos J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 A projecção ortogoal A projecção ortogoal de um vector y R sobre o subespaço C (X) gerado pelas coluas (liearmete idepedetes) de X faz-se pré-multiplicado y pela matriz de projecção ortogoal sobre C (X): Logo, temos: H = X ( X t X ) 1 X t ŷ = Hy ŷ = X(X t X) 1 X t y }{{} = b A combiação liear dos vectores 1,x 1,,x p que gera o vector mais próximo de y tem coeficietes dados pelos elemetos do vector b: Os parâmetros ajustados a RL Múltipla b = (X t X) 1 X t y J Cadima (ISA) Estatística e Delieameto / 479 Pitágoras e a Regressão O Teorema de Pitágoras aplica-se em qualquer espaço euclideao R Aplicado ao triâgulo rectâgulo do acetato 206 produz a seguite relação: y 2 = ŷ 2 + y ŷ 2 y 2 i = y 2 i y 2 = ŷ 2 i + (y i ŷ i ) 2 } {{ } = SQRE ŷ 2 i y 2 + SQRE SQT = SQR + SQRE As três Somas de Quadrados Na Regressão Liear Múltipla defiem-se três Somas de Quadrados, de forma idêtica ao que se fez a Regressão Liear Simples: SQRE Soma de Quadrados dos Resíduos (já defiida): SQRE = SQT Soma de Quadrados Total: SQT = (y i y) 2 = (y i ŷ i ) 2 y 2 i y 2 SQR Soma de Quadrados associada à Regressão: SQR = (ŷ i y) 2 = ŷ 2 i y 2 Nota: Também aqui os y observados (y i ) e os y ajustados (ŷ i ) têm a mesma média (ver Exercício 4 da RLM) J Cadima (ISA) Estatística e Delieameto / 479 Revisitado Pitágoras Vimos que a relação fudametal da Regressão Liear (SQT = SQR + SQRE) resulta duma aplicação do Teorema de Pitágoras Mas foi ecessário itroduzir a subtracção de y 2 Um outro triâgulo rectâgulo é estatisticamete mais iteressate Cosidere-se o vector cetrado das observações da variável resposta, isto é, o vector cujo elemeto geérico é y i y Este vector, que será desigado y c, obtém-se subtraído a y o vector que repete vezes y: y c = y y 1 = (y 1 y,y 2 y,,y y) t A orma deste vector é y c = (y i y) 2 = SQT J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479

5 Revisitado Pitágoras (cot) A projecção ortogoal do vector y c sobre o subespaço C (X) gera o vector: Hy c = H(y y 1 ) Hy c = Hy y H1 Hy c = ŷ y 1 já que H1 = 1, pois o vector 1 já pertece ao subespaço C (X), logo fica ivariate quado projectado esse mesmo subespaço O vector Hy c tem elemeto geérico ŷ i y, e a sua orma é Hy c = (ŷ i y) 2 = SQR Revisitado Pitágoras (cot) A distâcia etre o vector y c e a sua projecção ortogoal sobre C (X) cotiua a ser SQRE: pelo que y c Hy c = (y y 1 ) (ŷ y 1 ) y c Hy c = y ŷ y c Hy c = y ŷ = (y i ŷ i ) 2 = SQRE J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Revisitado Pitágoras (cot) R Pitágoras e o Coeficiete de Determiação C (X) SQT = y c Hy c SQR = Hy c y c SQRE = y c Hy c = y Hy A fórmula fudametal da Regressão Liear, SQT = SQR + SQRE, é uma aplicação directa do Teorema de Pitágoras ao triâgulo defiido por y c e a sua projecção ortogoal sobre C (X) O acetato 213 tora evidete outra relação importate etre a geometria e a estatística da Regressão Liear: Defiido o coeficiete de determiação da forma usual, R 2 = SQR SQT, este resulta ser o cosseo ao quadrado do âgulo etre o vector cetrado das observações da variável resposta, y c, e a sua projecção ortogoal sobre o subespaço C (X): cos 2 (θ) = SQR SQT = R2, ode θ é o âgulo etre os vectores y c e Hy c J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Pitágoras e o Coeficiete de Determiação (cot) C (X) SQT = y c θ SQR = Hy c Hy c y c R SQRE = y Hy O Coeficiete de Determiação a Regressão Liear, R 2 = SQR SQT, é o cosseo ao quadrado do âgulo etre y c e Hy c Propriedades do Coeficiete de Determiação A abordagem geométrica cofirma que, também a Regressão Liear Múltipla, são válidas as propriedades (já cohecidas da Regressão Liear Simples) do Coeficiete de Determiação: R 2 toma valores etre 0 e 1 Quato mais próximo de 1 estiver R 2, meor o âgulo θ, e portato melhor será a correspodêcia etre o vector (cetrado) das observações, y c, e o seu ajustameto em C (X) Se R 2 0, o vector y c é quase perpedicular ao subespaço C (X) ode se pretede aproximá-lo, e a projecção vai quase aular todas os elemetos do vector projectado O resultado será de má qualidade J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479

6 A Regressão Múltipla o Uma Regressão Múltipla o estuda-se através do mesmo comado lm usado para a regressão liear simples A idicação de qual a variável resposta y e quais as variáveis preditivas x 1,,x p faz-se de forma semelhate à da RLS Por exemplo, se a variável resposta se chama y e existirem três preditores de ome x1, x2 e x3, a fórmula que idica a relação será: y x1 + x2 + x3 O comado correspodete o R será: > lm ( y x1 + x2 + x3, data=dados) O resultado produzido por este comado será o vector das estimativas dos p + 1 parâmetros do modelo, b 0, b 1,, b p J Cadima (ISA) Estatística e Delieameto / 479 A Regressão Múltipla o (cot) Exemplifique-se de ovo com os dados dos lírios Pretede-se prever a variável resposta largura da pétala, ão apeas a partir do comprimeto da pétala, mas também das duas medições (largura e comprimeto) das sépalas > iris2lm <- lm(petalwidth ~ PetalLegth + SepalLegth + + SepalWidth, data=iris) > iris2lm () Coefficiets: (Itercept) PetalLegth SepalLegth SepalWidth O hiperplao ajustado é: PW = PL 02073SL SW O coeficiete de determiação é R 2 =09379, só ligeiramete maior que o valor R 2 =09271 do modelo RLS (acetato 163) J Cadima (ISA) Estatística e Delieameto / 479 O cotexto iferecial Até aqui, apeas se cosiderou o problema descritivo: dados cojutos de observações {(x 1(i),x 2(i),,x p(i),y (i) )}, determiar os p + 1 coeficietes b = (b 0,b 1,b 2,,b p ) que miimizam a soma de quadrados de resíduos SQRE = (y i ŷ i ) 2 = [y i (b 0 + b 1 x 1(i) + b 2 x 2(i) + + b p x p(i) )] 2 SQRE miimo se b = ( X t X ) 1 X t y Mas, tal como a Regressão Liear Simples, coloca-se o problema iferecial quado as observações represetam uma amostra aleatória de uma população mais vasta É a relação populacioal etre Y e as p variáveis preditoras que se pretede cohecer Para esse fim, será ecessário admitir algus pressupostos adicioais O Modelo RLM Na Regressão Liear Múltipla admite-se que as observações da variável resposta Y são aleatórias e podem ser modeladas como Y i = β 0 + β 1 x 1(i) + β 2 x 2(i) + + β p x p(i) + ε i, i = 1,, Admitem-se válidos pressupostos semelhates aos do modelo RLS: Defiição (O Modelo da Regressão Liear Múltipla - RLM) 1 Y i = β 0 + β 1 x 1(i) + β 2 x 2(i) + + β p x p(i) + ε i, i = 1,, 2 ε i N (0, σ 2 ), i = 1,, 3 {ε i } va idepedetes A costate β j (j = 1,2,,p) que multiplica a variável X j pode ser iterpretada como a variação esperada em Y, associada a aumetar X j em uma uidade, matedo as restates variáveis costates J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 A otação matricial/vectorial A otação matricial (cot) As equações correspodem a uma úica equação matricial: As equações do modelo, válidas para as observações, podem ser escritas como uma úica equação, utilizado otação vectorial/matricial: Y 1 = β 0 + β 1 x 1(1) + β 2 x 2(1) + + β p x p(1) + ε 1 Y 2 = β 0 + β 1 x 1(2) + β 2 x 2(2) + + β p x p(2) + ε 2 Y 3 = β 0 + β 1 x 1(3) + β 2 x 2(3) + + β p x p(3) + ε 3 Y = β 0 + β 1 x 1() + β 2 x 2() + + β p x p() + ε ode Y 1 Y 2 Y = Y 3 Y Y = Xβ + ε, 1 x 1(1) x 2(1) x p(1) 1 x 1(2) x 2(2) x p(2), X = 1 x 1(3) x 2(3) x p(3), β = 1 x 1() x 2() x p() β 0 β 1 β 2 β p ε 1 ε 2, ε = ε 3 ε Nesta equação, Y e ε são vectores aleatórios (de dimesão 1), X é uma matriz ão aleatória (dimesão (p+1)) e β um vector ão-aleatório (dimesão (p+1) 1) J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479

7 A otação matricial (cot) Ferrametas para vectores aleatórios Na equação matricial Y = Xβ + ε, tem-se: Y vector aleatório das variáveis aleatórias resposta; X matriz do modelo (ão aleatória) de dimesões (p + 1) cujas coluas são dadas pelas observações de cada variável preditora (e por uma colua de us, associada a costate aditiva do modelo); β vector (ão aleatório) dos p + 1 parâmetros do modelo; ε vector aleatório dos erros aleatórios Represeta-se um vector de observações de Y por y Com algus coceitos adicioais podemos escrever também os pressupostos relativos aos erros aleatórios em otação vectorial/matricial O cojuto das observações de Y, tal como o cojuto dos erros aleatórios, ε, costituem vectores aleatórios Para qualquer vector aleatório W = (W 1,W 2,,W k ), defie-se: O vector esperado de W, costituído pelos valores esperados de cada compoete: E[W 1 ] E[W 2 ] E[W] = E[W k ] J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Ferrametas para vectores aleatórios (cot) Propriedades do vector esperado a matriz de variâcias-covariâcias de W é costituída pelas (co)variâcias de cada par de compoetes: V [W 1 ] C[W 1,W 2 ] C[W 1,W 3 ] C[W 1,W k ] C[W 2,W 1 ] V [W 2 ] C[W 2,W 3 ] C[W 2,W k ] V [W] = C[W 3,W 1 ] C[W 3,W 2 ] V [W 3 ] C[W 3,W k ] C[W k,w 1 ] C[W k,w 2 ] C[W k,w 3 ] V [W k ] Tal como para o caso de variáveis aleatórias, também o vector esperado de um vector aleatório W k 1 tem propriedades simples: Se b é um escalar ão aleatório, E[bW] = b E[W] Se a k 1 é um vector ão aleatório, E[W + a] = E[W] + a Se a k 1 é um vector ão aleatório, E[a t W] = a t E[W] Se B m k é uma matriz ão aleatória, E[BW] = BE[W] Também o vector esperado da soma de dois vectors aleatórios tem uma propriedade operatória simples: Se W k 1, U k 1 são vectores aleatórios, E[W + U] = E[W] + E[U] J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Propriedades da matriz de (co)variâcias A distribuição Normal Multivariada Se b é um escalar ão aleatório, V [bw] = b 2 V [W] Se a k 1 é um vector ão aleatório, V [W + a] = V [W] Se a k 1 é um vector ão aleatório, V [a t W] = a t V [W]a Se B m k é uma matriz ão aleatória, V [BW] = BV [W]B t A matriz de variâcias-covariâcias da soma de dois vectors aleatórios tem uma propriedade operatória simples se os vectores aleatórios forem idepedetes: Se W k 1 e U k 1 forem vectores aleatórios idepedetes, V [W + U] = V [W] + V [U] Vectores aleatórios têm também distribuições (multivariadas) de probabilidades A mais frequete distribuição multivariada para vectores aleatórios é a Multiormal: Defiição (Distribuição Normal Multivariada) O vector aleatório k-dimesioal W tem distribuição Multiormal, com parâmetros dados pelo vector µ e a matriz Σ se a sua fução desidade cojuta fôr: f (w) = 1 (2π) k/2 det(σ) e 1 2 (w µ)t Σ 1 (w µ) Notação: W N k (µ,σ), w R k (3) J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479

8 z y A desidade Biormal (Multiormal com k = 2) Algumas propriedades da distribuição Multiormal Teorema (Propriedades da Multiormal) Se W N k (µ,σ): 1 O vector esperado de W é E[W] = µ 2 A matriz de (co)variâcias de W é V [W] = Σ 3 Se duas compoetes de W têm covariâcia ula, são idepedetes: Cov(W i,w j ) = 0 W i, W j idepedetes Nota: Nas disciplias itrodutórias de Estatística dá-se que X,Y idepedetes cov(x,y ) = 0 Agora sabemos que, quado a distribuição cojuta de X e Y é Multiormal, tem-se também a implicação cotrária x Nota: Qualquer elemeto ulo uma matriz de (co)variâcias duma Multiormal idica que as compoetes correspodetes são idepedetes J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Propriedades da Multiormal (cot) Modelo Regressão Liear Múltipla - versão matricial Teorema (Propriedades da Multiormal) Se W N k (µ,σ): 4 Todas as distribuições margiais de W são (multi)ormais Em particular, cada compoete W i é ormal com média µ i e variâcia Σ (i,i) : W i N (µ i,σ (i,i) ) 5 Se a um vector (ão-aleatório) k 1, etão W + a N k (µ + a,σ) 6 Combiações lieares das compoetes dum vector multiormal são Normais: a t W = a 1 W 1 + a 2 W a k W k N (a t µ,a t Σa) 7 Se B é matriz m k (ão aleatória, de característica m k), etão BW N m (Bµ,BΣB t ) Defiição (O Modelo em otação matricial) 1 Y = Xβ + ε 2 ε N (0, σ 2 I ) Na seguda destas hipóteses são feitas quatro afirmações (tedo em cota as propriedades da Multiormal, referidas atrás): Cada erro aleatório idividual ε i tem distribuição Normal Cada erro aleatório idividual tem média zero: E[ε i ] = 0 Cada erro aleatório idividual tem variâcia igual: V [ε i ] = σ 2 Erros aleatórios diferetes são idepedetes, porque Cov[ε i,ε j ] = 0 se i j e, uma Multiormal, isso implica a idepedêcia J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 A distribuição das observações Y da variável resposta O seguite Teorema é cosequêcia directa de aplicar as propriedades dos acetatos 230 e 231 ao Teorema do acetato 232 Teorema (Primeiras Cosequêcias do Modelo) Dado o Modelo de Regressão Liear Múltipla, tem-se: Y N (Xβ, σ 2 I ) Tedo em cota as propriedades da Multiormal: Cada observação idividual Y i tem distribuição Normal Cada observação idividual Y i tem média E[Y i ] = β 0 + β 1 x 1(i) + β 2 x 2(i) + + β p x p(i) Cada observação idividual tem variâcia igual: V [Y i ] = σ 2 Observações diferetes de Y são idepedetes, porque Cov[Y i,y j ] = 0 se i j e, uma Multiormal, isso implica a idepedêcia J Cadima (ISA) Estatística e Delieameto / 479 O estimador dos parâmetros do Modelo Tal como a Regressão Liear Simples, os estimadores dos parâmetros β j do modelo (j = 0,1,2,,p) obtêm-se adaptado a expressão matricial resultate de miimizar SQRE (acetato 207) O vector ˆβ que estima o vector β dos parâmetros populacioais é: Defiição (Estimador dos parâmetros populacioais) ˆβ = ( X t X ) 1 X t Y, ode X e Y são a matriz e o vector defiidos o acetato 222 O vector ˆβ é de dimesão p + 1 O seu primeiro elemeto é o estimador de β 0, o seu segudo elemeto é o estimador de β 1, etc Em geral, o estimador de β j está a posição j + 1 do vector ˆβ J Cadima (ISA) Estatística e Delieameto / 479

9 A distribuição do vector de estimadores ˆβ Teorema (Distribuição do estimador ˆβ) Dado o Modelo de Regressão Liear Múltipla, tem-se: ˆβ N p+1 (β, σ 2 (X t X) 1 ) Tedo em cota as propriedades da Multiormal (acetatos 230 e 231): E[ˆβ] = β e V [ˆβ] = σ 2 (X t X) 1 Cada estimador idividual ˆβ j tem distribuição Normal Cada estimador idividual tem média E[ ˆβ j ] = β j (logo, é cetrado) Cada estimador idividual tem variâcia V [ ˆβ j ] = σ 2 ( X t X ) 1 (j+1,j+1) (Note-se o desfasameto os ídices resultates de a cotagem dos βs começar em 0) Estimadores idividuais diferetes ão são (em geral) idepedetes, porque a matriz (X t X) 1 ão é, em geral, uma matriz diagoal Cov[ ˆβ i, ˆβ j ] = σ 2 ( X t X ) 1 (i+1,j+1) J Cadima (ISA) Estatística e Delieameto / 479 O problema de σ 2 descohecido O resultado distribucioal idicado o acetato aterior permitiria costruir itervalos de cofiaça ou fazer testes a hipóteses sobre os parâmetros β, ão fosse a existêcia de um problema já familiar: o descohecimeto da variâcia σ 2 dos erros aleatórios A distribuição dum estimador idividual Como se viu o acetato aterior, tem-se, j = 0,1,,p: ˆβ j β j ˆβ j N ode = σ σˆβj 2 (X t X) 1 (j+1,j+1) σˆβj N (0,1), ( ) β j, σ 2 (X t X) 1 (j+1,j+1) Este resultado geeraliza os relativos à Regressão Liear Simples J Cadima (ISA) Estatística e Delieameto / 479 SQRE a Regressão Múltipla Teorema (Resultados distribucioais de SQRE) Dado o Modelo de Regressão Liear Múltipla (RLM), tem-se: SQRE σ 2 χ 2 (p+1) SQRE é idepedete de ˆβ Procedemos de forma aáloga ao que se fez a Regressão Liear Simples: obter um estimador para σ 2 ; e ver o que acotece à distribuição do acetato aterior quado σ 2 é substituído pelo seu estimador NOTA: Omite-se a demostração Corolário [ ] Dado o Modelo de RLM, E SQRE (p+1) = σ 2 NOTA: Os graus de liberdade associados a SQRE são o úmero de observações () meos o úmero de parâmetros do modelo (p+1) J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 O Quadrado Médio Residual a Regressão Múltipla Defiição (Quadrado Médio Residual) Defie-se o Quadrado Médio Residual (QMRE) uma Regressão Liear Múltipla como QMRE = SQRE (p + 1) O QMRE é habitualmete usado a Regressão como estimador da variâcia dos erros aleatórios, isto é, toma-se ˆσ 2 = QMRE Como se viu o acetato aterior, QMRE é um estimador cetrado Revisitado o estimador de β j Vimos (acetato 236) que cada estimador ˆβ j verifica: Temos aida: Z = ˆβ j β j N (0,1) σ 2 (X t X) 1 (j+1,j+1) W = SQRE σ 2 χ 2 (p+1) e Z,W va idepedetes Logo (ver também o acetato 127): Z W /( (p+1)) = ˆβ j β j t (p+1) QMRE (X t X) 1 (j+1,j+1) J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479

10 Quatidades fulcrais para a iferêcia sobre β j Teorema (Distribuições para a iferêcia sobre β j (j = 0,1,,p)) Dado o Modelo de Regressão Liear Múltipla, tem-se com ˆσ ˆβj = QMRE (X t X) 1 (j+1,j+1) ˆβ j β j ˆσ ˆβj t (p+1), Este Teorema dá-os os resultados que servem de base à costrução de itervalos de cofiaça e testes de hipóteses para os parâmetros β j do modelo populacioal NOTA: O resultado acima é totalmete aálogo aos resultados correspodetes a RLS Assim, os ICs e testes de hipóteses a parâmetros idividuais, a RLM, serão aálogos aos da RLS J Cadima (ISA) Estatística e Delieameto / 479 Itervalo de cofiaça para β j Teorema (Itervalo de Cofiaça a (1 α) 100% para β j ) Dado o Modelo de Regressão Liear Múltipla, um itervalo a (1 α) 100% de cofiaça para o parâmetro β j do modelo é: ] [ b j t α/2[ (p+1)] ˆσ ˆβj, b j + t α/2[ (p+1)] ˆσ ˆβj, com ˆσ ˆβ = QMRE (X t X) 1 j (j+1,j+1), e sedo t α/2[ (p+1)] o valor que a distribuição t (p+1) deixa à direita uma região de probabilidade α/2 O valor b j é o elemeto j+1 do vector das estimativas b (acetato 207) NOTA: A amplitude do IC aumeta com QMRE e o valor diagoal da matriz (X t X) 1 associado ao parâmetro β j em questão J Cadima (ISA) Estatística e Delieameto / 479 Itervalos de cofiaça para β i o A iformação básica para a costrução de itervalos de cofiaça para cada parâmetro β j obtém-se, o R, a partir das tabelas produzidas pela fução summary No exemplo do acetato 218: > summary(iris2lm) Coefficiets: Estimate Std Error t value Pr(> t ) (Itercept) PetalLegth < 2e-16 *** SepalLegth e-05 *** SepalWidth e-05 *** Assim, estima-se que em média a largura da pétala dimiui cm por cada aumeto de 1cm o comprimeto da sépala (matedo-se as outras medições costates) Como t 0025(146) = , o IC a 95% para β 2 é ] ( ) ( )(004751), ( ) + ( )(004751) [ ] 03012, [ Itervalos de cofiaça para β j o (cot) Alterativamete, é possível usar a fução cofit o objecto resultate de ajustar a regressão para obter os itervalos de cofiaça para cada β j idividual: > cofit(iris2lm) 25 % 975 % (Itercept) PetalLegth SepalLegth SepalWidth > cofit(iris2lm,level=099) 05 % 995 % (Itercept) PetalLegth SepalLegth SepalWidth J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Testes de Hipóteses sobre os parâmetros O mesmo resultado (acetato 241) usado para costruir itervalos de cofiaça serve para costruir testes a hipóteses para cada β j idividual Dado o Modelo de Regressão Liear Múltipla, Testes de Hipóteses a β j (Regressão Liear Múltipla) Hipóteses: H 0 : β j = c vs H 1 : β j < > =c {}}{ Estatística do Teste: T = ˆβ j β j H0 t (p+1) ˆσˆβj Nível de sigificâcia do teste: α Região Crítica (Região de Rejeição): Rejeitar H 0 se T calc < t α[ (p+1)] (Uilateral esquerdo) T calc > t α/2[ (p+1)] (Bilateral) T calc > t α[ (p+1)] (Uilateral direito) c Combiações lieares dos parâmetros Seja a = (a 0,a 1,,a p ) t um vector ão aleatório em R p+1 O produto itero a t β defie uma combiação liear dos parâmetros do modelo: a t β = a 0 β 0 + a 1 β 1 + a 2 β a p β p Casos particulares importates as aplicações são: Se a tem um úico elemeto ão-ulo, a posição j + 1, a t β = β j Se a tem apeas dois elemetos ão-ulos, 1 a posição i + 1 e ±1 a posição j + 1, a t β = β i ± β j Se a = (1,x 1,x 2,,x p ), ode x j idica um qualquer valor da variável preditora X j, etão a t β represeta o valor esperado de Y associado aos valores idicados das variáveis preditoras: a t β = β 0 + β 1 x 1 + β 2 x β p x p = E[Y X 1 = x 1,X 2 = x 2,,X p = x p ] J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479

11 Iferêcia sobre combiações lieares dos β j s A multiormalidade do vector de estimadores ˆβ implica a ormalidade de qualquer vector que seja combiação liear das suas compoetes (acetato 231, poto 4) Mais cocretamete, Sabemos que ˆβ N p+1 (β, σ 2 (X t X) 1 ) (acetato 235); Logo, a t ˆβ N (a t β, σ 2 a t (X t X) 1 a) (acetato 231, poto 4); Ou seja, Z = a t ˆβ a t β σ 2 a t (X t X) 1 a N (0,1); Por um raciocíio aálogo ao usado aquado dos βs idividuais, tem-se etão a t ˆβ a t β QMRE a t (X t X) 1 a t (p+1) Quatidade fulcral para a iferêcia sobre a t β Teorema (Distribuições para combiações lieares dos β s) Dado o Modelo de Regressão Liear Múltipla, tem-se a t ˆβ a t β ˆσ a t ˆβ com ˆσ a t ˆβ = QMRE a t (X t X) 1 a t (p+1), Neste Teorema temos o resultado que serve de base à costrução de itervalos de cofiaça e testes de hipóteses para quaisquer combiações lieares dos parâmetros β j do modelo NOTA: Repare-se a aalogia da estrutura desta quatidade fulcral com os resultados ateriores, relativos a β j s idividuais (acetato 241) J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Itervalo de cofiaça para a t β Testes de Hipóteses sobre os parâmetros Dado o Modelo de Regressão Liear Múltipla, Teorema (Itervalo de Cofiaça a (1 α) 100% para a t β) Dado o Modelo de Regressão Liear Múltipla, um itervalo a (1 α) 100% de cofiaça para a combiação liear dos parâmetros, a t β = a 0 β 0 + a 1 β a p β p, é: ] a t b t α/2[ (p+1)] ˆσ a t ˆβ, a t b + t α/2[ (p+1)] ˆσ a t ˆβ [, com a t b = a 0 b 0 + a 1 b a p b p e ˆσ a t ˆβ = QMRE a t (X t X) 1 a Testes de Hipóteses a a t β (Regressão Liear Múltipla) Hipóteses: H 0 : a t β = c vs H 1 : a t β =c {}}{ Estatística do Teste: T = at ˆβ a β H0 t (p+1) ˆσ a t ˆβ Nível de sigificâcia do teste: α < > Região Crítica (Região de Rejeição): Rejeitar H 0 se T calc < t α[ (p+1)] (Uilateral esquerdo) T calc > t α/2[ (p+1)] (Bilateral) T calc > t α[ (p+1)] (Uilateral direito) c J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 De ovo os casos particulares No acetato (246) viram-se três casos particulares importates de combiações lieares dos parâmetros No caso de a t β = β j, os itervalos e testes acabados de ver são idêticos aos dados os acetatos (242) e (245) No caso de a t β = β j ± β j, tem-se ˆσ a t ˆβ = ˆσˆβi ± ˆβ j, com: ˆσˆβi ± ˆβ j = ˆV [ ˆβ i ± ˆβ j ] = = ˆV[ˆβ i ] + ˆV[ˆβ j ] ± 2 Cov[ ˆ ˆβ i, ˆβ j ] [ QMRE (X t X) 1 (i+1,i+1) +(Xt X) 1 (j+1,j+1) ±2(Xt X) 1 ] (i+1,j+1) No caso de a coter os valores das variáveis preditoras usados a i-ésima observação, a será a liha i da matrix X Nesse caso, ˆσ a t ˆβ = QMRE a t (X t X) 1 a = QMRE h ii, ode h ii idica o i-ésimo elemeto diagoal da matriz de projecções ortogoal H = X(X t X) 1 X t J Cadima (ISA) Estatística e Delieameto / 479 ICs para combiações lieares o Para costruir um itervalo de cofiaça para a t β, será ecessário cohecer a matriz das (co)variâcias estimadas dos estimadores ˆβ, ˆV [ˆβ] = QMRE (X t X) 1 No, esta matriz obtém-se através da fução vcov Eg, a matriz das (co)variâcias estimadas o exemplo dos lírios é: > vcov(iris2lm) (Itercept) PetalLegth SepalLegth SepalWidth (Itercept) PetalLegth SepalLegth SepalWidth O erro padrão estimado de ˆβ 2 + ˆβ 3 é: ˆσ ˆβ2 + ˆβ 3 = ( ) = J Cadima (ISA) Estatística e Delieameto / 479

12 Itervalos de cofiaça para E[Y ] o Se a combiação liear dos βs que se deseja correspode ao valor esperado de Y, dado um cojuto de valores X 1 = x 1,,X p = x p das variáveis preditoras, é possível obter o itervalo de cofiaça referido o acetato 249 através do comado predict, tal como a RLS No exemplo dos lírios, um IC a 95% para a largura esperada de pétalas de flores com PetalLegth=2, SepalLegth=5 e SepalWidth=31 é pedido assim: > predict(iris2lm, dataframe(petallegth=c(2), SepalLegth=c(5), + SepalWidth=c(31)), it="cof") Itervalos de predição para Y Podem também obter-se, de forma aáloga ao que foi visto a RLS, itervalos de predição para uma observação idividual de Y, associada aos valores X 1 = x 1,,X p = x p das variáveis preditoras Nestes itervalos, a estimativa da variâcia associada a uma observação idividual de Y é acrescida em QMRE uidades: ] ˆµ Y x t α/2[ (p+1)] ˆσ idiv, ˆµ Y x + t α/2[ (p+1)] ˆσ idiv [ ode x = (x 1,x 2,,x p ) t idica o vector dos valores dos preditores e fit lwr upr [1,] O IC para E[Y X 1 = 2,X 2 = 5,X 3 = 31] é: ] 04169, [ e ˆσ idiv = ˆµ Y x = b 0 + b 1 x 1 + b 2 x b p x p QMRE [ 1 + a t (X t X) 1 a ] com a = (1,x 1,x 2,,x p ) J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Itervalos de predição para Y o R No, é possível obter um itervalo de predição através do comado predict com o argumeto it= pred, tal como a RLS Eis, a RLM dos lírios, o itervalo de predição para a largura da pétala, um lírio cujo comprimeto de pétala seja 2 e com sépala de comprimeto 5 e largura 31: > predict(iris2lm, dataframe(petallegth=c(2), SepalLegth=c(5), + SepalWidth=c(31)), it="pred") fit lwr upr [1,] O itervalo de predição pedido é: ] 00802, [ Avaliado a qualidade do ajustameto global Numa Regressão Liear Simples, se β 1 = 0, a equação do modelo é apeas Y = β 0 + ε Neste caso, o cohecimeto do preditor X em ada cotribui para o cohecimeto de Y (o Modelo Nulo ão tira partido da iformação dos preditores) Numa Regressão Liear Múltipla, o modelo Nulo Y i = β 0 + ε i, correspode a admitir que todas as variáveis preditoras têm coeficiete ulo As hipóteses que queremos cofrotar são: H 0 : β 1 = β 2 = = β p = 0 [MODELO INÚTIL] vs H 1 : j = 1,,p tq β j 0 [MODELO NÃO INÚTIL] NOTA: repare que β 0 ão itervém as hipóteses J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Distribuição associada a SQR A estatística do teste de ajustameto global De ovo, o poto de partida para uma estatística de teste será a Soma de Quadrados associada à Regressão, SQR = (Ŷi Y ) 2 Tem-se (sem demostração): Teorema Dado o Modelo de Regressão Liear Múltipla, SQR σ 2 χ 2 p, se β 1 = β 2 = = β p = 0 SQR e SQRE são variáveis aleatórias idepedetes Temos (veja também o acetato 159), se β j = 0, i = 1 : p W = SQR χ 2 σ 2 p V = SQRE σ 2 χ 2 (p+1) W, V idepedetes sedo QMR = SQR p e QMRE = SQRE (p+1) W /p V = QMR / (p+1) QMRE F p, (p+1) Defia-se o Quadrado Médio associado à Regressão, QMR = SQR p J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479

13 O Teste F de ajustameto global do Modelo Sedo válido o Modelo RLM, pode efectuar-se o seguite Teste F de ajustameto global do modelo RLM Hipóteses: H 0 : β 1 = β 2 = = β p = 0 vs H 1 : j = 1,,p tal que β j 0 Estatística do Teste: F = QMR QMRE F p, (p+1) se H 0 Nível de sigificâcia do teste: α Região Crítica (Região de Rejeição): Uilateral direita Expressões alterativas o teste F global A estatística do teste F de ajustameto global do modelo uma Regressão Liear Múltipla pode ser escrita a forma alterativa: F = (p + 1) p 1 R 2 Tal como a Regressão Liear Simples, a estatística F é uma fução crescete do Coeficiete de Determiação, R 2 As hipóteses do teste também se podem escrever como R 2 Rejeitar H 0 se F calc > f α[p, (p+1)] df(x, 4, 16) x H 0 : R 2 = 0 vs H 1 : R 2 > 0 A hipótese H 0 : R 2 = 0 idica ausêcia de relação liear etre Y e o cojuto dos preditores Correspode a um ajustameto péssimo do modelo A sua rejeição ão garate um bom ajustameto, mas apeas a capacidade de o distiguir do Modelo Nulo J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Outra formulação do Teste F de ajustameto global O Quadro-resumo do ajustameto global Teste F de ajustameto global do modelo RLM (alterativa) Hipóteses: H 0 : R 2 = 0 vs H 1 : R 2 > 0 Estatística do Teste: F = (p+1) R p 2 1 R 2 F (p, (p+1)) se H 0 Nível de sigificâcia do teste: α Região Crítica (Região de Rejeição): Uilateral direita Rejeitar H 0 se F calc > f α(p, (p+1)) A estatística F é uma fução crescete do coeficiete de determiação amostral, R 2 A hipótese ula H 0 : R 2 = 0 afirma que, a população, o coeficiete de determiação é ulo Frequetemete, sitetiza-se a iformação usada um teste de ajustameto global um quadro-resumo da regressão: Fote gl SQ QM f calc Regressão p (ŷ i ȳ) 2 SQR p Resíduos (p + 1) (y i ŷ i ) 2 SQRE p 1 QMR QMRE Total 1 (y i ȳ) 2 J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 O pricípio da parcimóia a RLM Modelo e Submodelos Se dispomos de um modelo de Regressão Liear Múltipla, com relação de base Recordemos o pricípio da parcimóia a modelação: queremos um modelo que descreva adequadamete a relação etre as variáveis, mas que seja o mais simples (parcimoioso) possível Caso se dispoha de um modelo de Regressão Liear Múltipla com um ajustameto cosiderado adequado, a aplicação deste pricípio traduz-se em saber se será possível obter um modelo com meos variáveis preditoras, sem perder sigificativamete em termos de qualidade de ajustameto Y = β 0 + β 1 x 1 + β 2 x 2 + β 3 x 3 + β 4 x 4 + β 5 x 5, chamamos submodelo a um modelo de regressão liear múltipla cotedo apeas algumas das variáveis preditoras, eg, Y = β 0 + β 2 x 2 + β 5 x 5, Podemos idetificar o submodelo pelo cojuto S das variáveis preditoras que pertecem ao submodelo No exemplo, S = {2, 5} O modelo e o submodelo são idêticos se β j = 0 para qualquer variável x j cujo ídice ão perteça a S J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479

14 x x Comparado modelo e submodelos Para avaliar se um dado modelo difere sigificativamete dum seu submodelo (idetificado pelo cojuto S dos ídices das suas variáveis), precisamos de optar etre as hipóteses: H 0 : β j = 0, j / S vs H 1 : j / S tal que β j 0 [SUBMODELO OK] [SUBMODELO PIOR] NOTA: Esta discussão só evolve coeficietes β j de variáveis preditoras O coeficiete β 0 faz sempre parte dos submodelos Este coeficiete β 0 ão é relevate do poto de vista da parcimóia: a sua preseça ão implica trabalho adicioal de recolha de dados, em de iterpretação do modelo (ao mesmo tempo que permite um melhor ajustameto do modelo) Uma estatística de teste para a comparação modelo/submodelo A estatística de teste evolve a comparação das Somas de Quadrados Residuais do: modelo completo (refereciado pelo ídice C); e do submodelo (refereciado pelo ídice S) Vamos admitir que o submodelo tem k preditores (k + 1 parâmetros): F = (SQRE S SQRE C )/(p k) SQRE C /[ (p + 1)] F p k, (p+1), caso β j = 0, para todas as variáveis x j que ão perteçam ao submodelo J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 O teste a um submodelo (teste F parcial) Teste F de comparação dum modelo com um seu submodelo Dado o Modelo de Regressão Liear Múltipla, Hipóteses: H 0 : β j = 0, j / S vs H 1 : j / S tal que β j 0 Estatística do Teste: F = (SQRE S SQRE C )/(p k) SQRE C /[ (p+1)] F p k, (p+1), sob H 0 Nível de sigificâcia do teste: α Região Crítica (Região de Rejeição): Uilateral direita Rejeitar H 0 se F calc > f α[p k, (p+1)] df(x, 4, 16) Expressão alterativa para a estatística do teste A estatística do teste F de comparação de um modelo completo com p preditores, e um seu submodelo com apeas k preditores pode ser escrita a forma alterativa: F = (p + 1) R2 C R2 S p k 1 RC 2 NOTA: Assiale-se que a Soma de Quadrados Total, SQT, apeas depede dos valores observados da variável resposta Y, e ão de qual o modelo ajustado Assim, SQT é igual o modelo completo e o submodelo J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Expressão alterativa para as hipóteses do teste As hipóteses do teste também se podem escrever como H 0 : R 2 C = R2 S vs H 1 : R 2 C > R2 S, A hipótese H 0 idica que o grau de relacioameto liear etre Y e o cojuto dos preditores é idêtico o modelo e o submodelo Caso ão se rejeite H 0, opta-se pelo submodelo (mais parcimoioso) Caso se rejeite H 0, opta-se pelo modelo completo (ajusta-se sigificativamete melhor) Teste F parcial: formulação alterativa Teste F de comparação dum modelo com um seu submodelo Dado o Modelo de Regressão Liear Múltipla, Hipóteses: H 0 : RC 2 = R2 S vs H 1 : RC 2 > R2 S Estatística do Teste: F = (p+1) p k R2 C R2 S 1 R 2 C Nível de sigificâcia do teste: α F p k, (p+1), sob H 0 Região Crítica (Região de Rejeição): Uilateral direita Rejeitar H 0 se F calc > f α[p k, (p+1)] df(x, 4, 16) J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479

15 O teste a submodelos o Relação etre os testes-t e o teste F parcial A iformação ecessária para um teste F parcial obtem-se o, através da fução aova, com dois argumetos: os objectos lm resultates de ajustar o modelo completo e o submodelo sob comparação Nos exemplos dos lírios (acetatos 131 e 243), temos: > aova(irislm, iris2lm) Aalysis of Variace Table Model 1: PetalWidth ~ PetalLegth Model 2: PetalWidth ~ PetalLegth + SepalLegth + SepalWidth ResDf RSS Df Sum of Sq F Pr(>F) e-06 *** --- Sigif codes: 0 *** 0001 ** 001 * Caso o modelo e submodelo difiram um úico preditor, X j, o teste F parcial descrito os acetatos ateriores é equivalete ao teste t (acetato 245) com as hipóteses H 0 : β j = 0 vs H 1 : β j 0 Nesse caso, ão apeas as hipóteses dos dois testes são iguais, como a estatística do teste F parcial é o quadrado da estatística do teste t referido Tem-se p k = 1, e como é sabido (ver os apotametos da disciplia de Estatística dos primeiros ciclos do ISA), se uma variável aleatória T tem distribuição t ν, etão o seu quadrado, T 2 tem distribuição F 1,ν J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Como escolher um submodelo? O teste F parcial (teste aos modelos ecaixados) permite-os optar etre um modelo e um seu submodelo Por vezes, um submodelo pode ser sugerido por: razões de ídole teórica, sugerido que determiadas variáveis preditoras ão sejam, a realidade, importates para iflueciar os valores de Y razões de ídole prática, como a dificuldade, custo ou volume de trabalho associado à recolha de observações para determiadas variáveis preditoras Nestes casos, pode ser claro que submodelo(s) se deseja testar Nota: Veja-sa o Exercício RLM 9e) para um exemplo Como escolher um submodelo? (cot) Mas em muitas situações ão é, à partida, evidete qual o subcojuto de variáveis preditoras que se deseja cosiderar o submodelo Pretede-se apeas ver se o modelo é simplificável Nestes casos, a opção por um submodelo ão é um problema fácil Dadas p variáveis preditoras, o úmero de subcojutos, de qualquer cardialidade, excepto 0 (cojuto vazio) e p (o modelo completo) que é possível escolher é dado por 2 p 2 A tabela seguite idica o úmero desses subcojutos para p = 5, 10, 15, 20 p 2 p J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Cuidado com exclusões simultâeas de preditores Para valores de p pequeos, é possível aalisar todos os possíveis subcojutos Mas para p médio ou grade, essa aálise completa é iviável Também ão é legítimo olhar para o ajustameto do modelo completo e, com base os testes t à sigificâcia de cada coeficiete β j, optar pela exclusão de várias variáveis preditoras em simultâeo De facto, os testes t aos coeficietes β j são feitos partido do pricípio que todas as restates variáveis pertecem ao modelo A exclusão de um qualquer preditor altera o ajustameto: altera os valores estimados b j e os respectivos erros padrão das variáveis que permaecem o submodelo Pode acotecer que um preditor seja dispesável um modelo completo, mas deixe de o ser um submodelo, ou viceversa Um exemplo Nos dados relativos ao Exercício 2 (RLM) das aulas práticas, a tabela associada à regressão da variável Brix sobre todas as restates é: Estimate Std Error t value Pr(> t ) (Itercept) *** Diametro * Altura Peso ph Acucar * Mas ão é legítimo cocluir que Altura, Peso e ph são dispesáveis > aova(brix2lm,brixlm) Aalysis of Variace Table Model 1: Brix ~ Diametro + Acucar Model 2: Brix ~ Diametro + Altura + Peso + ph + Acucar ResDf RSS Df Sum of Sq F Pr(>F) * J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479

16 Algoritmos de pesquisa sequeciais O algoritmo de exclusão sequecial Vamos cosiderar algoritmos de pesquisa que permitam simplificar um modelo de regressão liear múltipla, sem precisar de aalisar todo os possíveis submodelos Em particular, vamos cosiderar um algoritmo que, em cada passo, exclui uma variável preditora, até alcaçar uma codição de paragem cosiderada adequada Trata-se do algoritmo de exclusão sequecial (backward elimiatio) Existem variates deste algoritmo, ão estudadas aqui: algoritmo de iclusão sequecial (forward selectio) algoritmos de exclusão/iclusão alterada (stepwise selectio) 1 ajustar o modelo completo, com os p preditores; 2 existem variáveis para as quais ão se rejeita a hipótese β j = 0? Em caso egativo, passar ao poto seguite Em caso afirmativo, qualquer dessas variáveis é cadidata a sair do modelo 1 se apeas existe uma cadidata a sair, excluir essa variável; 2 se existir mais do que uma variável cadidata a sair, excluir a variável associada ao maior p-value (isto é, ao valor da estatística t mais próxima de zero) Em qualquer caso, reajustar o modelo após a exclusão da variável e repetir este poto 3 Quado ão existirem variáveis cadidatas a sair, ou quado sobrar um úico preditor, o algoritmo pára Tem-se etão o modelo fial J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Um exemplo Exercício 2 (RLM) Usado o ível de sigificâcia α = 005: > summary(lm(brix ~ Diametro + Altura + Peso + ph + Acucar, data=brix)) Estimate Std Error t value Pr(> t ) (Itercept) *** Diametro * Altura Peso ph Acucar * > summary(lm(brix ~ Diametro + Altura + ph + Acucar, data=brix)) Estimate Std Error t value Pr(> t ) (Itercept) *** Diametro * Altura * < Passou a ser sigificativo (005) ph Acucar < Deixou de ser sigificativo (005) > summary(lm(brix ~ Diametro + Altura + Acucar, data=brix)) Estimate Std Error t value Pr(> t ) (Itercept) e-06 *** Diametro * Altura ** Acucar * < Voltou a ser sigificativo (005) Algoritmos sequeciais com base o AIC O dispoibiliza fuções para automatizar pesquisas sequeciais de submodelos, semelhates à que aqui foi euciada, mas em que o critério de exclusão duma variável em cada passo se baseia o Critério de Iformação de Akaike (AIC) O AIC é uma medida geral da qualidade de ajustameto de modelos No cotexto duma Regressão Liear Múltipla com k variáveis preditoras, defie-se como ( ) SQREk AIC = l + 2(k + 1) Nota: O AIC pode tomar valores egativos O algoritmo pára aqui Pode comparar-se o submodelo fial com o modelo completo, através dum teste F parcial J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479 Iterpretado o AIC ( ) SQREk AIC = l + 2(k + 1) a primeira parcela é fução crescete de SQRE k, ie, quato melhor o ajustameto, mais pequea a primeira parcela; a seguda parcela mede a complexidade do modelo (k +1 é o úmero de parâmetros), pelo que quato mais parcimoioso o modelo, mais pequea a seguda parcela Assim, o AIC mede simultaeamete a qualidade do ajustameto e a simplicidade do modelo Um modelo para a variável resposta Y é cosiderado melhor que outro se tiver um AIC meor Algoritmos sequeciais com base o AIC (cot) Pode defiir-se um algoritmo de exclusão sequecial, com base o critério AIC: ajustar o modelo completo e calcular o respectivo AIC ajustar cada submodelo com meos uma variável e calcular o respectivo AIC Se ehum dos AICs dos submodelos cosiderados fôr iferior ao AIC do modelo aterior, o algoritmo termia sedo o modelo aterior o modelo fial Caso alguma das exclusões reduza o AIC, efectua-se a exclusão que maior redução o AIC provoca e regressa-se ao poto aterior J Cadima (ISA) Estatística e Delieameto / 479 J Cadima (ISA) Estatística e Delieameto / 479