Capítulo 9 - Regressão Linear Simples (RLS): Notas breves

Transcrição

1 Capítulo 9 - Regressão Linear Simples RLS: Notas breves Regressão Linear Simples Estrutura formal do modelo de Regressão Linear Simples RLS: Y i = β 0 + β 1 x i + ε i, 1 onde Y i : variável resposta ou variável dependente associada à i-ésima observação; aleatória. x i : constante conhecida, designada por variável explicativa independente ou regressora associada à i-ésima observação; não aleatória. β 0 : parâmetro regressor desconhecido; β 1 : parâmetro regressor desconhecido; ε i : erro aleatório associado à i-ésima observação, verificando: i E [ε i ] = 0 valor esperado nulo; ii V ar [ε i ] = σ 2 variância constante; iii Cov [ε i, ε j ] = 0, i,j i j não correlacionados; i = 1, 2,..., n. 1

2 Notas breves Cap.9 para PE Isabel M. Rodrigues 2 Como E [ε i ] = 0 então E [Y x i ] = β 0 + β 1 x i recta de regressão. Ou seja, para cada valor x i o ponto sobre a recta tem ordenada E [Y x i ] = β 0 + β 1 x i. Como consequência, β 0 é a ordenada na origem e β 1 é o declive ou coeficiente angular da recta. Estimadores pontuais de mínimos quadrados de β 0, β 1, σ 2 e E [Y x i ] = β 0 + β 1 x i : ˆβ 0 = Ȳ ˆβ 1 x; ˆβ 1 = onde x = x i xy i Ȳ = x i x 2 x i ˆσ 2 = 1 n 2 onde n e Ȳ = Y i e2 i = 1 n 2 x i Y i n xȳ ; n. [ = 1 n n 2 Y i 2 nȳ 2 Ŷi = Ê [Y x i] = ˆβ 0 + ˆβ 1 x i. Y i Ŷi 2 = ˆβ1 2 n x2 i n x 2 ], Observação: O resíduo da i-ésima observação é denotado por e i = r i = y i ŷ i. Inferências: intervalos e testes de hipóteses em RLS Para se fazerem inferências para o modelo de RLS é necessário admitir que os erros têm distribuição normal. Esta é uma das hipóteses de trabalho que deverá ser verificada a posteriori efectuando a análise dos resíduos e i. Atrás admitiu-se que E [ε i ] = 0, V ar [ε i ] = σ 2 e Cov [ε i, ε j ] = 0, i,j nova hipótese de trabalho tem-se agora que ε i N 0, σ 2. i.i.d. i j e com a

3 Notas breves Cap.9 para PE Isabel M. Rodrigues 3 Uma vez que ε i N 0, σ 2 então Yi N β 0 + β 1 x i, σ 2. Como os estimadores ˆβ0 i.i.d. i.i.d. e ˆβ 1 são combinações lineares das variáveis aleatórias Y i então também se tem: e ˆβ 0 N β 0, ˆβ 1 N β 1, 1 n + x 2 x2 i n x 2 n σ 2 x2 i n x 2 σ2. Como σ 2 é desconhecido utiliza-se ˆσ 2. Pode mostrar-se que n 2ˆσ 2 σ 2 χ 2 n 2 e ainda que ˆβ 0 e ˆβ 1 são independentes de σ 2, o que conduz a e ˆβ 0 β 0 1 n + x 2 ˆσ 2 ˆβ 1 β 1 ˆσ2 t n 2. t n 2, A Inferências relativas à ordenada na origem, β 0. Teste de hipóteses: Hipótese nula: H 0 : β 0 = β 0,0 Quando H 0 é verdadeira a estatística de teste é: T 0 = ˆβ 0 β 0,0 1 n + x 2 ˆσ 2 t n 2 Pretende-se testar H 0 : β 0 = β 0,0 contra uma das alternativas:

4 Notas breves Cap.9 para PE Isabel M. Rodrigues 4 a H 1 : β 0 β 0,0 teste bilateral b H 1 : β 0 > β 0,0 teste unilateral superior c H 1 : β 0 < β 0,0 teste unilateral inferior Região crítica ao nível de significância α: a RC α : T 0 > c, com c = F 1 t n 2 1 α/2. b RC α : T 0 > c, com c = F 1 t n 2 1 α. c RC α : T 0 < c, com c = F 1 t n 2 α. Decisão usual. Intervalo de confiança: Usando a seguinte variável aleatória fulcral: T = ˆβ 0 β 0 1 n + x 2 ˆσ 2 t n 2 obtém-se, após dedução, o seguinte intervalo para β 0 a 1 α 100% de confiança I.C. 1 α 100% β 0 = ˆβ 0 ± Ft 1 n 2 1 α/2 B Inferências relativas ao declive, β 1. Teste de hipóteses: Hipótese nula: H 0 : β 1 = β 1,0 Quando H 0 é verdadeira a estatística de teste é: T 0 = ˆβ 1 β 1,0 ˆσ2 t n 2. 1 n + x 2 x2 i n x 2 ˆσ2 Pretende-se testar H 0 : β 1 = β 1,0 contra uma das alternativas:

5 Notas breves Cap.9 para PE Isabel M. Rodrigues 5 a H 1 : β 1 β 1,0 teste bilateral b H 1 : β 1 > β 1,0 teste unilateral superior c H 1 : β 1 < β 1,0 teste unilateral inferior Região crítica ao nível de significância α: a RC α : T 0 > c, com c = F 1 t n 2 1 α/2. b RC α : T 0 > c, com c = F 1 t n 2 1 α. c RC α : T 0 < c, com c = F 1 t n 2 α. Decisão usual. Um teste importante em RLS é H 0 : β 1 = 0 vs H 1 : β 1 0 pois não rejeitar H 0 significa que há evidência para a não existência de uma associação linear entre x e y, ou seja não há associação ou a associação não é linear. A este teste costuma designar-se por teste à significância da regressão. Intervalo de confiança: Usando a seguinte variável aleatória fulcral: T = ˆβ 1 β 1 ˆσ2 t n 2 obtém-se, após dedução, o seguinte intervalo para β 1 a 1 α 100% de confiança é I.C. 1 α 100% β 1 = ˆβ 1 ± Ft 1 n 2 1 α/2 C Inferências relativas a E [Y x 0 ] = β 0 + β 1 x 0 ˆσ 2 x2 i n x 2

6 Notas breves Cap.9 para PE Isabel M. Rodrigues 6 Um estimador pontual de E [Y x 0 ] = β 0 + β 1 x 0 é Ê [Y x 0] = ˆβ 0 + ˆβ 1 x 0. Pode mostrar-se que ˆβ0 + ˆβ 1 x 0 β 0 + β 1 x 0 1 n + x x 0 2 ˆσ 2 t n 2. Testes de hipóteses e intervalos de confiança são então baseados nesta variável, e o procedimento é o habitual. Coeficiente de determinação O coeficiente de determinação é uma medida descritiva indicadora da qualidade do ajustamento da recta estimada. Mostra-se que: Yi Ȳ = Y i Ŷi + Ŷi Ȳ SST SSE SSR, onde SST corresponde à soma de quadrados total, SSE corresponde à soma dos quadrados dos resíduos e SSR é a soma dos quadrados da regressão. O coeficiente de determinação é: R 2 = SSR SST = 1 SSE = x i Y i n xȳ SST = 1 2 Y i Ŷi 2 = y i ȳ 2 n x2 = ˆβ 1 x 2 i Yi 2 nȳ 2 x i Y i n xȳ. i nȳ 2 Y 2 R 2 100% representa a percentagem de variabilidade total de Y que é explicada pelo modelo de regressão. 0 R 2 1, quando todos os pontos ŷ i = y i tem-se r 2 = 1 o que significa que existe um ajustamento perfeito. Quando ˆβ 1 = 0 tem-se r 2 = 0 então o ajustamento não é adequado, a variável x não explica nada da variabilidade de y.

7 Notas breves Cap.9 para PE Isabel M. Rodrigues 7 Análise empírica dos resíduos Os resíduos e i = y i ŷ i têm um papel importante no diagnóstico das suposições iniciais associadas ao modelo de RLS. Vários gráficos podem ser utilizados de modo informal para verificar as hipóteses de trabalho. O gráfico e i = y i ŷ i versus ŷ i é um modo informal de diagnosticar se a relação é linear se os erros podem ser considerados não correlacionados e com variância constante. Se isso acontecer este gráfico mostrará uma mancha de pontos dispersa ao acaso numa faixa horizontal, veja-se Figura 1. Figura 1: Gráfico dos resíduos e i versus valores ajustados ŷ i. O histograma dos resíduos é também um método informal para avaliar a suposição inicial de normalidade dos erros. Se esta hipótese de trabalho não for violada o histograma deve ser simétrico em torno de zero e mostrar uma forma semelhante à da distribuição normal, veja-se Figura 2. Um método formal para verificar a normalidade dos erros, quando a dimensão da amostra é suficientemente grande, é o teste de ajustamento do qui-quadrado.

8 Notas breves Cap.9 para PE Isabel M. Rodrigues ei Figura 2: Histograma dos resíduos e i. Exemplo: Para explorar a relação entre a massa muscular e a idade no sexo feminino um nutricionista seleccionou aleatoriamente 16 mulheres com idades compreendidas entre os 40 e os 79 anos. Os resultados observados encontram-se na tabela seguinte x representa a idade e y é um índice de massa muscular: i x i y i x i = 967, 16 y i = 1379, 16 x 2 i = 60409, 16 yi 2 = , 16 x i y i = Admita que o modelo de regressão linear simples Y i = β 0 + β 1 x i + ε i é adequado. a Calcule: i uma estimativa pontual da diferença entre as massas musculares médias de mulheres cujas idades diferem de um ano; ii uma estimativa pontual da massa muscular média para as mulheres de 60 anos; iii o valor do resíduo para a 8 a observação; iv uma estimativa pontual de V arε i = σ 2 ;

9 Notas breves Cap.9 para PE Isabel M. Rodrigues 9 v o coeficiente de determinação e interprete o valor obtido. b O nutricionista pensa que na gama de idades considerada a massa muscular é significativamente influenciada pela idade. Acha que as observações feitas confirmam esta hipótese? Use um nível de significância de 5% e indique as hipóteses de trabalho de que necessita para efectuar o teste. c Calcule o intervalo de confiança a 99% para o valor esperado da massa muscular para uma mulher de 45 anos. Acha legítimo usar o mesmo procedimento tratando-se de uma mulher com 20 anos em vez de 45?

10 Notas breves Cap.9 para PE Isabel M. Rodrigues 10 Resolução: Modelo de RLS: Y i = β 0 + β 1 x i + ε i, onde Y i : variável aleatória que representa o índice da massa muscular associada à i-ésima mulher; x i : variável explicativa que representa a idade da i-ésima mulher; β 0 : ordenada na origem; β 1 : parâmetro regressor; ε i : erro aleatório associado à i-ésima mulher, verificando: i E [ε i ] = 0; ii V ar [ε i ] = σ 2 ; iii Cov [ε i, ε j ] = 0, i,j i j; i = 1, 2,..., 16. Cálculos auxiliares: x iy i n xȳ = = x2 i n x 2 = /16 = y2 i nȳ 2 = /16 = a i Como E [Y x j + 1] E [Y x j ] = β 0 + β 1 x j + 1 β 0 β 1 x j = β 1, então uma estimativa dessa diferença será ˆβ 1 = x iy i n xȳ = x2 i n x

11 Notas breves Cap.9 para PE Isabel M. Rodrigues 11 ii A estimativa pretendida é Ê [Y x = 60] = ˆβ 0 + ˆβ 1 60 = , pois ˆβ 0 = ȳ ˆβ 1 x = 1379/ / iii Representando ŷ i = Ê [Y x i] sabe-se que o oitavo resíduo é dado por e 8 = y 8 ŷ 8 = , já que ŷ 8 = = iv Uma estimativa pontual de V arε i = σ 2, i, i = 1, 2,..., 16 é ˆσ 2 = 1 n 2 [ n y2 i nȳ 2 ˆβ1 2 n x2 i n x 2 = v O valor para o coeficiente de determinação é r 2 = 2 x i y i n xȳ n x2 = x 2 i yi 2 nȳ2 ] = Este valor indica que cerca de 67% da variabilidade deste índice de massa muscular é explicada pela idade da mulher. b O que o nutricionista pretende testar pode ser traduzido no seguinte teste de hipóteses: H 0 : β 1 = 0 vs H 1 : β 1 0 Para se efectuar este teste de hipóteses é necessário considerar a seguinte hipótese de trabalho: ε i Nível de significância: α = 0.05; N 0, σ 2, i, i = 1, 2,..., 16. i.i.d. Quando H 0 é verdadeira a estatística de teste é: T 0 = ˆβ 1 t 14. ˆσ2 Região Crítica para T 0 :

12 Notas breves Cap.9 para PE Isabel M. Rodrigues 12 RC 0.05 =, c c, +, onde c = P T 0 RC H 0 = Então o valor de c será dado por 1 α 2 c = F 1 t14 logo = F 1 1 t = Ft = 2.145, RC 0.05 =, , +. Valor observado da estatística de teste: t 0 = Decisão: 5.44 Como o valor observado da estatística de teste, t 0 = 5.44 RC 0.05, devemos rejeitar H 0 ao nível de significância de 5%, ou seja, parece haver evidência de que a idade da mulher influencia a sua massa muscular. c Pretende-se um intervalo de confiança a 99% para E [Y x = 45]. Observar que x = 45 minx i, maxx i. Variável aleatória fulcral: ˆβ0 + ˆβ 1 x 0 β 0 + β 1 x 0 T = t 14, com x 0 = n + x x 0 2 ˆσ 2 Como 1 α = 0.99 então α = 0.01 e a = F 1 t14 Ft = Como a distribuição da t-student é simétrica vem: P ˆβ0 + ˆβ 1 x 0 β 0 + β 1 x n + x x 0 2 ˆσ 2 1 α 2 = F 1 t = = 0.99

13 Notas breves Cap.9 para PE Isabel M. Rodrigues 13 Obtendo-se então o intervalo aleatório com 99% de confiança: ICAleat. 99% β 0 + β 1 x 0 = ˆβ0 + ˆβ 1 x 0 ± Concretização: O intervalo de confiança pretendido é dado por IC 99% β β 1 = ± = 91.34, n + x x 0 2 x2 i n x 2 ˆσ Para x = 20 anos não é correcto utilizar o mesmo procedimento pois este valor não pertence ao minx i, maxx i. Qualquer extrapolação para valores que não fizeram parte do ajuste do modelo será um abuso.