Lista Regressão múltipla Análise de Regressão Prof. Michel H. Montoril

Transcrição

1 Exercício 1. (Montgomery et al., 2013) Considere os dados da National Football League (NFL) no arquivo dados-football.xls. (a) Ajuste um modelo de regressão múltipla relacionando jogos ganhos (y), com o numero de jardas de passe (x 2 ), o percentual de jogadas corridas (x 7 ) e o número de jardas corridas pelos adversários (x 8 ); (b) Construa uma tabela de análise de variância e teste se o modelo de regressão é significativo; (c) Calcule a estatística t para testar as hipóteses H 0 : β 2 = 0, H 0 : β 7 = 0, H 0 : β 8 = 0. Quais suas conclusões a respeito do papel das variáveis x 2, x 7 e x 8 no modelo? (d) Calcule R 2 e R 2 adj para o modelo ajustado; (e) Utilizando o teste F parcial, determine a contribuição de x 7 para o modelo. Qual a relação entre o teste F parcial e o teste t que foi realizado para β 7 no item (c)? Exercício 2. (Montgomery et al., 2013) Utilizando os resultados do exercício anterior, mostre numericamente que o quadrado do coeficiente de correlação simples entre os valores observados y i e os valores ajustados ŷ i é igual a R 2. Exercício 3. (Montgomery et al., 2013) Considerando o Exercício 1. (a) Obtenha um intervalo com 95% de confiança para β 7 ; (b) Obtenha um intervalo de confiança, ao nível de 95%, para o número médio de jogos ganhos por um time quando x 2 = 2300, x 7 = 56.0 e x 8 = Exercício 4. (Montgomery et al., 2013) Reconsidere os dados da National Football League (NFL) no arquivo dados-football.xls. Ajuste um modelo de regressão múltipla para esses dados utilizando, agora, apenas as variáveis regressoras x 7 e x 8. (a) Teste se o modelo é significativo; EST Página 1 de 14

2 (b) Calcule R 2 e Radj 2. Compare esses valores com os valores calculados no Exercício 1 quando foi utilizada uma terceira covariável, x 2 ; (c) Obtenha um intervalo com 95% de confiança para β 7 e obtenha um intervalo de confiança, ao nível de 95% para o número médio de jogos ganhos por um time quando x 7 = 56.0 e x 8 = Compare com os resultados do Exercício 3. (d) Quais suas conclusões para esse problema, a respeito das consequências de se omitir uma variável regressora importante? Exercício 5. (Montgomery et al., 2013) Considere os dados sobre o desempenho de milhagem da gasolina disponível no arquivo dados-gasolina.xls. (a) Ajuste um modelo de regressão múltipla relacionando a milhagem da gasolina y (milhas por galão) com o deslocamento do motor x 1 e o numero de barris de carburador x 6 ; (b) Construa a tabela de analise de variância e teste se o modelo é significativo; (c) Calcule R 2 e Radj 2 Compare os resultados com os coeficientes de determinação e de determinação ajustado de um modelo de regressão linear simples relacionando milhagem da gasolina com o deslocamento do motor; (d) Obtenha um intervalo com 95% de confiança para β 1 ; (e) Calcule as estatísticas t para testar H 0 : β 1 = 0 e H 0 : β 6 = 0. Quais suas conclusões? (f) Obtenha um intervalo de confiança, ao nível de 95%, para a milhagem média da gasolina quando x 1 = 275 in 3 e x 6 = 2 barris; (g) Obtenha um intervalo de predição, ao nível de 95%, para uma nova observação da milhagem de gasolina quando x 1 = 275 in 3 e x 6 = 2 barris. Exercício 6. (Montgomery et al., 2013) Com o mesmo conjunto de dados do Exercício 5, ajuste um modelo de regressão linear simples relacionando a milhagem da gasolina y (milhas por galão) ao o deslocamento do motor x 1 e construa um intervalo com 95% de confiança para a milhagem média da gasolina quando x 1 = 275 in 3 e um intervalo de predição, ao nível de 95%, para uma EST Página 2 de 14

3 futura observação da milhagem da gasolina quando x 1 = 275 in 3. Compare as amplitudes dos intervalos obtidos com aqueles do Exercício 5. Há algum benefício em se adicionar a covariável x 6 ao modelo? Exercício 7. (Montgomery et al., 2013) Considere os dados sobre preços de casas disponíveis no arquivo dados-casas.xls. (a) Ajuste um modelo de regressão múltipla relacionado o preço de venda y com as outras nove variáveis. (b) Teste se o modelo é significativo. Quais suas conclusões? (c) Utilize testes t para avaliar a contribuição de cada variável regressora no modelo. Discuta os resultados. (d) Qual é a contribuição do tamanho do lote e do espaço de convivência para o modelo, dado que todas as outras variáveis regressoras já estão incluídas? (e) A multicolinearidade é um problema neste modelo? Exercício 8. O conjunto de dados disponíveis no arquivo dados-processo-quimico.xls correspondem ao desempenho de um processo químico como função de variáveis controláveis do processo. (a) Ajuste um modelo de regressão múltipla relacionando o produto de CO 2 (y) com solvente total (x 6 ) e consumo de hidrogênio (x 7 ); (b) Teste se o modelo é significativo. Calcule R 2 e R 2 adj ; (c) Utilizando testes t, avalie a contribuição de x 6 e x 7 ao modelo; (d) Obtenha intervalos com 95% de confiança para β 6 e β 7. Obtenha uma região de confiança, ao nível de 95%, para (β 6, β 7 ); (e) Reajuste o modelo utilizando apenas x 6 como variável regressora. Teste se esse modelo é significativo e calcule R 2 e Radj 2. Discuta os resultados obtidos. Com base nos resultados, você está satisfeito com esse modelo? EST Página 3 de 14

4 (f) Obtenha um intervalo com 95% de confiança para β 6 no modelo do item (e). Compare esse intervalo aquele obtido no item (d). Isso quer dizer algo importante sobre a contribuição de x 7 para o modelo? (g) Compare os valores dos quadrados médios residuais (MS Res ) obtidos para os dois modelos ajustados. Como MS Res mudou quando você removeu x 7 do modelo? Isso quer dizer algo importante sobre a contribuição de x 7 para o modelo? Exercício 9. (Montgomery et al., 2013) Considere o arquivo dados-reator-fluxo.xls, a concentração de NbOCI 3 em um reator de fluxo de pistão. (a) Ajuste um modelo de regressão linear múltipla relacionando a concentração de NbOCI 3 (y) à concentração de COCI 2 (x 1 ) e à fração molar (x 4 ); (b) Teste a significância da regressão; (c) Calcule R 2 e R 2 adj para esse modelo; (d) Realize testes marginais para avaliar a contribuição de x 1 e x 4 no modelo. Esses dois regressores são necessários? (e) Multicolinearidade é uma preocupação nesse modelo? Exercício 10. (Montgomery et al., 2013) Acredita-se que a qualidade do vinho Pinot Noir esteja relacionada às propriedades de clareza, aroma, corpo, sabor e amadeiramento. Dados de 38 vinhos são apresentados no arquivo dados-pinot.xls. (a) Ajuste um modelo de regressão linear múltipla relacionando qualidade do vinho aos regressores mencionados no enunciado; (b) Teste se o modelo é significativo. Quais suas conclusões? (c) Utilizando testes t, avalie a contribuição de cada regressor no modelo. Discuta a respeito; (d) Calcule R 2 e Radj 2 para esse modelo. Compare esses valores aos coeficientes de determinação e de determinação ajustado para um modelo de regressão linear relacionando a qualidade do vinho apenas com o aroma e o sabor. Discuta os resultados; EST Página 4 de 14

5 (e) Obtenha um intervalo com 95% de confiança para o coeficiente de regressão da covariável sabor em ambos os modelos ajustados neste exercício. Discuta a respeito de quaisquer diferenças. Exercício 11. (Montgomery et al., 2013) Um estatístico realizou um experimento para determinar o efeito da pressão de CO 2 (x 1 ), temperatura de CO 2 (x 2 ), umidade de amendoim (x 3 ), vazão de CO 2 (x 4 ) e tamanho de partícula de amendoim (x 5 ) no rendimento total de óleo por lote de amendoins (y). Resultados experimentais são apresentados no arquivo dados-amendoim.xls. (a) Ajuste um modelo de regressão linear múltipla relacionando o rendimento aos regressores mencionados no enunciado; (b) Teste se o modelo é significativo. Quais suas conclusões? (c) Utilizando testes t, avalie a contribuição de cada regressor no modelo. Discuta a respeito; (d) Calcule R 2 e Radj 2 para esse modelo. Compare esses valores aos coeficientes de determinação e de determinação ajustado para um modelo de regressão linear relacionando o rendimento com a temperatura e o tamanho da partícula. Discuta os resultados; (e) Obtenha um intervalo com 95% de confiança para o coeficiente de regressão da covariável temperatura em ambos os modelos ajustados neste exercício. Discuta a respeito de quaisquer diferenças. Exercício 12. (Montgomery et al., 2013) Um engenheiro químico estudou o efeito da quantidade de surfactante (x 1 ) e tempo (x 2 ) na formação de clatrato. Resultados experimentais são apresentados no arquivo dados-clatrato.xls. (a) Ajuste um modelo de regressão linear múltipla relacionando a formação de clatrato aos regressores apresentados no enunciado; (b) Teste se o modelo é significativo. Quais suas conclusões? (c) Utilizando testes t, avalie a contribuição de cada regressor no modelo. Discuta a respeito; EST Página 5 de 14

6 (d) Calcule R 2 e Radj 2 para esse modelo. Compare esses valores aos coeficientes de determinação e de determinação ajustado para um modelo de regressão linear simples relacionando a formação de clatrato com o tempo. Discuta os resultados; (e) Obtenha um intervalo com 95% de confiança para o coeficiente de regressão da covariável tempo em ambos os modelos ajustados neste exercício. Discuta a respeito de quaisquer diferenças. Exercício 13. (Montgomery et al., 2013) Um engenheiro estudou o efeito de quatro variáveis em um fator adimensional usado para descrever queda de pressão em uma coluna de bolha de tela. Resultados experimentais são apresentados no arquivo dados-bubble-column.xls. (a) Ajuste um modelo de regressão linear múltipla relacionando esse número adimensional aos regressores; (b) Teste se o modelo é significativo. Quais suas conclusões? (c) Utilizando testes t, avalie a contribuição de cada regressor no modelo. Discuta a respeito; (d) Calcule R 2 e Radj 2 para esse modelo. Compare esses valores aos coeficientes de determinação e de determinação ajustado para um modelo de regressão linear relacionando o número adimensional com x 2 e x 3. Discuta os resultados; (e) Obtenha um intervalo com 99% de confiança para o coeficiente de regressão da covariável x 2 em ambos os modelos ajustados neste exercício. Discuta a respeito de quaisquer diferenças. Exercício 14. (Montgomery et al., 2013) A viscosidade cinemática (y) de um determinado sistema solvente depende da razão de dois solventes (x 1 ) e da temperatura (x 2 ). Resultados experimentais são apresentados no arquivo dados-viscosidade.xls. (a) Ajuste um modelo de regressão linear múltipla relacionando viscosidade aos dois regressores; (b) Teste se o modelo é significativo. Quais suas conclusões? (c) Utilizando testes t, avalie a contribuição de cada regressor no modelo. Discuta a respeito; EST Página 6 de 14

7 (d) Calcule R 2 e Radj 2 para esse modelo. Compare esses valores aos coeficientes de determinação e de determinação ajustado para um modelo de regressão linear simples relacionando a viscosidade com a temperatura. Discuta os resultados; (e) Obtenha um intervalo com 99% de confiança para o coeficiente de regressão da covariável temperatura em ambos os modelos ajustados neste exercício. Discuta a respeito de quaisquer diferenças. Exercício 15. (Montgomery et al., 2013) McDonald and Ayers (1978) apresentam dados de um estudo prévio que examinou a possível ligação entre poluição do ar e mortalidade. O arquivo dados-poluicao.xls contém esse conjunto de dados. A resposta MORT corresponde a taxa de mortalidade total por todas as causas ajustada pela idade, em mortes por habitantes. O regressor PRECIP corresponde à precipitação média anual (em polegadas); EDUC é o tempo médio de anos escolares completos para pessoas de 25 anos ou mais; NONWHITE é o percentual de pessoas não brancas da população em 1960; NOX é o potencial de poluição relativa dos óxidos de nitrogênio; e SO 2 corresponde ao potencial de poluição relativa de dióxido de enxofre. No caso, potencial de poluição relativa é o produto entre o total de toneladas emitidas diariamente por quilômetro quadrado e um fator de correção de cada região metropolitana. (a) Ajuste um modelo de regressão linear múltipla relacionando a taxa de mortalidade aos regressores apresentados no enunciado; (b) Teste se o modelo é significativo. Quais suas conclusões? (c) Utilizando testes t, avalie a contribuição de cada regressor no modelo. Discuta a respeito; (d) Calcule R 2 e R 2 adj para esse modelo; (e) Obtenha um intervalo com 95% de confiança para o coeficiente de regressão da covariável SO 2. Exercício 16. (Montgomery et al., 2013) Rossman (1994) apresenta um estudo sobre a expectativa de vida em 40 países. Os dados podem ser obtidos no arquivo dados-vida.xls. O estudo possui três respostas: LifeExp (expectativa de vida global), LifeExpMale (expectativa de vida para EST Página 7 de 14

8 homens) e LifeExpFemale (expectativa de vida para mulheres). As covariáveis são People-per- TV (número médio de pessoas por televisão) e People-per-Dr (número médio de pessoas para cada médico). (a) Ajuste um modelo de regressão linear múltipla para cada variável resposta, considerando as covariáveis apresentadas no enunciado; (b) Teste se cada modelo é significativo. Quais suas conclusões? (c) Utilizando testes t, avalie a contribuição de cada regressor nos modelos. Discuta a respeito; (d) Calcule R 2 e R 2 adj para cada modelo; (e) Obtenha um intervalo com 95% de confiança para o coeficiente de regressão da covariável People-per-Dr em cada modelo ajustado. Exercício 17. (Montgomery et al., 2013) Considere os dados de satisfação dos pacientes no arquivo dados-sat-pac.xls. Desconsidere a variável regressora Medical-Surgical. Realize uma análise completa desses dados e discuta a respeito dos resultados. Exercício 18. (Montgomery et al., 2013) Considere os dados de consumo de combustível no arquivo dados-consumo-combu Desconsidere a variável regressora x 1. Realize uma análise completa desses dados e discuta a respeito dos resultados. Exercício 19. (Montgomery et al., 2013) Considere os dados da qualidade de vinho dos vinhos tintos jovens no arquivo dados-vinhos.xls. Desconsidere a variável regressora x 1. Realize uma análise completa desses dados e discuta a respeito dos resultados. Exercício 20. (Montgomery et al., 2013) Considere os dados da oxidação de metanol no arquivo dados-metanol.xls. Realize uma análise completa desses dados e discuta a respeito dos resultados. Exercício 21. (Montgomery et al., 2013) Um engenheiro químico está investigando como a quantidade de EST Página 8 de 14

9 conversão de um produto de um material cru (y) depende da temperatura de reação (x 1 ) e do tempo de reação (x 2 ). Ele ajustou os seguintes modelos de regressão: ŷ = x 1 + 4x 2 (1) ŷ = x 1 + 3x 2 + 1x 1 x 2. (2) Ambos os modelos foram ajustados nas amplitudes 20 x 1 50 ( o C) 0.5 x 2 10 (horas). (a) Usando ambos os modelos, qual o valor de conversão previsto quando x 2 = 2 em termos de x 1? Repita esse procedimento para x 2 = 8. Desenhe gráficos dos valores previstos como função da temperatura de reação para os dois modelos. Comente o efeito do termo de interação no modelo (2); (b) Obtenha o mudança esperada na conversão média para cada unidade que a temperatura de reação x 1 variar no modelo (1) quando x 2 = 5. Essa quantidade depende de valores específicos do tempo de reação selecionado? Justifique; (c) Obtenha o mudança esperada na conversão média para cada unidade que a temperatura de reação x 1 variar no modelo (2) quando x 2 = 5. Repita esse procedimento para x 2 = 2. Essa quantidade depende de valores específicos do tempo de reação selecionado? Justifique. Exercício 22. (Montgomery et al., 2013) Mostre que uma maneira equivalente de testar a significância de uma regressão linear múltipla é basear o teste em R 2, como segue: para testar H 0 : β 1 = β 2 =... = β k = 0 contra H 1 : pelo menos um β j 0, calcular F 0 = R2 (n p) k(1 R 2 ), e rejeitar H 0 se o valor observado de F 0 exceder F α,k,n p, em que p = k + 1. Exercício 23. (Montgomery et al., 2013) Suponha que um modelo de regressão linear com k = 2 regressores tenha sido ajustado com uma amostra de n = 25 observações, resultando R 2 = (a) Teste se o modelo de regressão é significativo, ao nível de significância α = Use os resultados do problema anterior; EST Página 9 de 14

10 (b) Qual é menor valor de R 2 que levaria à conclusão de que o modelo de regressão é significativo, ao nível de significância α = 0.05? Você está surpreso com quão pequeno pode ser esse valor de R 2? Exercício 24. (Montgomery et al., 2013) Mostre que uma fórmula alternativa para a soma dos quadrados da regressão em um modelo de regressão linear é SS R = n i=1 Ŷ 2 i nȳ 2. Exercício 25. (Montgomery et al., 2013) Considere o modelo de regressão linear múltipla y = β 0 + β 1 x 1 + β 2 x 2 + β 3 x 3 + β 4 x 4 + ɛ. Usando o procedimento para testar uma hipótese linear geral, mostre como testar (a) H 0 : β 1 = β 2 = β 3 = β 4 = b; (b) H 0 : β 1 = β 2, β 3 = β 4 ; (c) H 0 : β 1 2β 2 = 4β 3, β 1 + 2β 2 = 0; Exercício 26. (Montgomery et al., 2013) Suponha que tenhamos duas amostras independentes da forma abaixo. y x y 1 x 1 y 2 x 2 Amostra 1.. y x y n1 +1 x n1 +1 y n1 +2 x n Amostra 2 y n1 x n1 y n1 +n 2 x n1 +n 2 EST Página 10 de 14

11 Dois modelos podem ser ajustados a essas amostras, y i = β 0 + β 1 x i + ɛ i, i = 1, 2,..., n 1, y i = γ 0 + γ 1 x i + ɛ i, i = n 1 + 1, n 1 + 2,..., n 1 + n 2 (a) Mostre como esses dois modelos podem ser escritos como um modelo único; (b) Usando o resultado do item (a), mostre como a hipótese linear geral pode ser usada para testar a igualdade dos coeficientes de inclinação β 1 e γ 1 ; (c) Usando o resultado do item (a), mostre como a hipótese linear geral pode ser usada para testar a igualdade das duas retas de regressão; (d) Usando o resultado do item (a), mostre como a hipótese linear geral pode ser usada para testar se ambos os coeficientes de inclinação são iguais a uma constante c. Exercício 27. (Montgomery et al., 2013) Mostre que Var(Ŷ ) = σ2 ɛ H. Exercício 28. (Montgomery et al., 2013) Prove que as matrizes H e I H são idempotentes, isto é, HH = H e (I H)(I H) = (I H). Exercício 29. (Montgomery et al., 2013) Para o modelo de regressão linear simples, mostre que os elementos da matriz hat (chapéu) são h ij = 1 n + (x i x)(x j x) S xx e h ii = 1 n + (x i x) 2 S xx. Discuta o comportamento destas quantidades conforme x i fica mais distante de x. Exercício 30. (Montgomery et al., 2013) Considere o modelo de regressão linear múltipla y = Xβ+ɛ. Mostre que o estimador de mínimos quadrados pode ser escrito como ˆβ = β + Rɛ, R = (X X) 1 X. EST Página 11 de 14

12 Exercício 31. (Montgomery et al., 2013) Mostre que os resíduos de um modelo de regressão linear podem ser escrito da forma ˆɛ = (I H)ɛ. Exercício 32. (Montgomery et al., 2013) Para o modelo de regressão linear múltipla, mostre que SS R (β) = Y HY. Exercício 33. (Montgomery et al., 2013) Prove que R 2 é igual ao quadrado da correlação entre Y e Ŷ. Exercício 34. (Montgomery et al., 2013) Mínimos quadrados com restrição. Suponha que desejamos obter o estimador de mínimos quadrados de β no modelo Y = Xβ + ɛ sujeito a um conjunto de restrições em β, digamos T β = c. Mostre que esse estimador pode ser escrito como β = ˆβ + (X T X) 1 T T [T (X T X) 1 T ] 1 (c T ˆβ), em que ˆβ = (X T X) 1 X T Y. Discuta situações em que este estimador restrito possa ser apropriado. Encontre a soma dos quadrados dos resíduos para o estimador restrito. Esta é maior ou menor do que a soma dos quadrados dos resíduos do modelo sem restrições? Exercício 35. (Montgomery et al., 2013) Seja x j a j-ésima coluna da matriz X, e denote por X j a matriz X sem sua j-ésima coluna. Mostre que Var( ˆβ j ) = σ 2 ɛ [ x j x j x jx j (X jx j ) 1 X jx j ] 1. Exercício 36. (Montgomery et al., 2013) Considere os dois modelos seguintes, supondo que E(ɛ) = 0 e EST Página 12 de 14

13 V ar(ɛ) = σ 2 ɛ I. Modelo A: Y = X 1 β 1 + ɛ Modelo B: Y = X 1 β 1 + X 2 β 2 + ɛ Mostre que o coeficiente de determinação do modelo A é menor ou igual que o coeficiente de determinação do modelo B, ou seja, RA 2 R2 B. Exercício 37. (Montgomery et al., 2013) Suponha que ajustemos o modelo Y = X 1 β 2 +ɛ quando, na verdade, o verdadeiro modelo é dado por Y = X 1 β 1 + X 2 β 2 + ɛ. Para ambos os modelos, suponha E(ɛ) = 0 e Var(ɛ) = σɛ 2 I. Encontre o valor esperado e a variância do estimador de mínimos quadrados, ˆβ 1. Sob que condições esse estimador é não viciado? Exercício 38. (Montgomery et al., 2013) Considere um modelo de regressão corretamente especificado com p termos, incluindo o intercepto. Faça as suposições usuais sobre ɛ. Prove que n Var(Ŷi) = pσɛ 2. i=1 Exercício 39. (Montgomery et al., 2013) Seja Rj 2 o coeficiente de determinação quando ajustamos um modelo de regressão linear para explicar o j-ésimo regressor pelos demais k 1 regressores. Mostre que o j-ésimo fator de inflação da variância pode ser expresso como 1. 1 Rj 2 Exercício 40. (Montgomery et al., 2013) No caso do modelo de regressão linear múltipla, considere as hipóteses com restrições lineares da forma H 0 : Rβ = r, H 1 : Rβ r, EST Página 13 de 14

14 em que R é uma matriz s p com posto s p. Derive a estatística F apropriada sob ambas as hipóteses, nula e a alternativa. Referências Bibliográficas Montgomery, D. C., Peck, E. A., and Vining, G. G. (2013). Introduction to Linear Regression Analysis :. Wiley series in probability and statistics. John Wiley & Sons, Inc., Hoboken, New Jersey, 5th edition. EST Página 14 de 14