Instituto Tecnológico de Aeronáutica Divisão de Engenharia Mecânica-Aeronáutica MOQ-14 Projeto e Análise de Experimentos Profa. Denise Beatriz Ferrari www.mec.ita.br/ denise denise@ita.br
Regressão Linear Simples
Roteiro
abordagem alternativa para análise dos modelos de regressão. baseia-se na partição de somas de quadrados e de no.s de graus de liberdade Motivação Para qualquer dados de natureza estatística, observamos variabilidade. Em ANOVA, encontramos uma maneira conveniente de representar esta variabilidade.
Partição das Somas dos Quadrados Podemos representar convenientemente a variabilidade de Y i em termos de desvios em torno do valor médio: Y i Y (medida da variação total) NOTA: (1) SST = (Y i Y ) 2 : (total sum of squares) Se todas as observações Y i forem iguais, SST = 0. Quanto maior a variabilidade em Y i, maior SST. SST é uma medida da incerteza a respeito do valor da resposta Y sem levarmos em conta nenhuma var. explicativa.
Partição das Somas dos Quadrados Quando utilizamos uma variável explicativa X, a incerteza a respeito de Y passa a ser a variabilidade de Y i em torno da reta de regressão: Y i Ŷ i (medida da variação total que não está sendo explicada pelo modelo) NOTA: (2) SSE = (Y i Ŷ i ) 2 : (error sum of squares) Se todas as obs. Y i estiverem sobre a reta de reg. ajustada, SSE = 0. Quanto maior a dispersão de Y i em torno da reta, maior SSE. SSE é uma medida da incerteza a respeito do valor da resposta Y quando consideramos o modelo de regressão em X.
Partição das Somas dos Quadrados A diferença entre SST e SSE é outra soma de quadrados: (3) SSR = (Ŷ i Y ) 2 : (regression sum of squares) NOTA: Se a reta de regressão for horizontal (b 1 = 0), SSR = 0. SST é uma medida da variação da resposta Y que está sendo explicada pela reta de regressão ajustada.
Partição das Somas dos Quadrados Formalizando: (Y i Y ) = (Y i Ŷ i ) + (Ŷ i Y ) É interessante que a soma dos quadrados destas quantidades apresenta a mesma relação: (Yi Y ) 2 = (Y i Ŷ i ) 2 + (Ŷ i Y ) 2 SST =SSE +SSR (Demonstração)
Partição dos Graus de Liberdade (g.d.l. ou df degrees of freedom ) Correspondendo à partição das somas temos a partição dos g.d.l: (1) SST n 1 g.d.l. (2) SSE n 2 g.d.l. (3) SSR 1 g.d.l. Os graus de liberdade são aditivos: df (SST ) = df (SSE) + df (SSR) n 1 = n 2 + 1
Quadrados Médios (MS Mean Squares ) Forma geral: MS = Para cada uma das somas: soma dos quadrados g.d.l. (1) MSR = SSR 1 (2) MSE = SSE n 2 : = SSR : regression mean square error mean square OBS: Os quadrados médios não são aditivos: MSR + MSE SST n 1
Tabela ANOVA
Teste F para β 1 Normalmente, desejamos testar as hipóteses: H 0 : β 1 = 0 Estatística do Teste: H a : β 1 0 F = MSR MSE F (1, n 2), sob H 0 valores elevados de F suportam H a (β 1 0) valores de F 1 suportam H 0. Regra de Decisão: Controlando o risco de erro tipo I com nível α: Se F f α (1, n 2) n.rej.h 0 Se F > f α (1, n 2) rej.h 0
Equivalência entre Teste F e teste t Para um determinado nível de significância α, o teste F é algebricamente equivalente a um teste t bicaudal. mas, s 2 [b 1 ] = (1) SSR = b 2 1 (2) F = MSE P (Xi X ) 2. Portanto: (Xi X ) 2 SSR/1 SSE/(n 2) = b2 1 (Xi X ) 2 MSE { } 2 F = b2 1 s 2 [b1] = b1 = (t ) 2 s[b1]
Equivalência entre Teste F e teste t OBSERVAÇÕES: t é a estatística usada para testar β 1 = 0 vs. β 1 0 O teste t é teste bi-caudal, enquanto o teste F é monocaudal Para um dado nível de significância α, podemos usar tanto o teste F quanto o teste t. Ambos levam à mesma conclusão. O teste t é mais flexível, pois também permite testar alternativas unilaterais Os percentis das duas distribuições apresentam a seguinte relação: { tα/2 ; (n 2) } 2 = fα (1, n 2)
Abordagem do Teste Linear Geral Etapa 1: Modelo Completo ( Full Model ) Iniciamos o procedimento com o modelo considerado adequado para os dados. Este modelo é chamado modelo completo ou irrestrito. Em regressão linear simples: Y i = β 0 + β 1 X + ɛ i, ɛ i N(0, σ 2 ) : modelo completo O modelo é ajustado pelo método dos mínimos quadrados ou máxima verossimilhança e a soma dos erros quadráticos (SSE F ) é calculada: SSE F = [Y i (b 0 + b 1 X i )] 2 = [Y i Ŷ i ] 2 = SSE
Abordagem do Teste Linear Geral II Etapa 2: Modelo Reduzido ( Reduced Model ) Consideramos, então H 0 : β 1 = 0. Quando H 0 é verdadeira, temos o modelo é chamado modelo reduzido ou restrito. Neste caso: Y i = β 0 + ɛ i, ɛ i N(0, σ 2 ) : modelo reduzido Similarmente, este modelo é ajustado pelo método dos mínimos quadrados ou máxima verossimilhança e a soma dos erros quadráticos (SSE R ) é calculada: SSE R = [Y i b 0 ] 2 = [Y i Y i ] 2 = SST
Abordagem do Teste Linear Geral III Etapa 3: Construção do Teste Resta comparar as duas somas de quadrados para os modelos completo e reduzido. Faremos isto avaliando a diferença SSE R SSE F : É possível mostrar que SSE F SSE R. Isto ocorre pois, quanto maior o no. de parâmetros no modelo, melhor o ajuste aos dados e, portanto, menores os desvios em torno da função da regressão ajustada. Uma diferença SSE R SSE F pequena sugere H 0. Os parâmetros adicionados (β 1 ) não ajudam a reduzir a variabilidade de Y i em torno da função da regressão ajustada. Uma diferença SSE R SSE F grande sugere H a. Os parâmetros adicionais (β 1 ) ajudam a reduzir substancialmente a variabilidade de Y i em torno da função da regressão ajustada.
Abordagem do Teste Linear Geral IV Etapa 3: Construção do Teste (cont.) Estatística para o teste: F = ganho modelo completo = SSE R SSE F df R df F SSE F df F F (df R df F, df F ) sob H 0 Regra de decisão: F f α (df R df F, df F ) n.rej.h 0 F > f α (df R df F, df F ) rej.h 0
Abordagem do Teste Linear Geral V Etapa 3: Construção do Teste (cont.) Para testar β 1 = 0 no modelo de regressão linear simples, temos: SSE R = SST df R = n 1 SSE F = SSE df R = n 2 F = SST SSE (n 1) (n 2) SSE n 2 = SSR/1 SSE/(n 2) = MSR MSE, (estatística idêntica àquela da tabela ANOVA)
Medida Descritiva da Associação Linear entre X e Y Até agora discutimos os principais usos de análise de regressão: estimação de parâmetros, médias de distribuições previsão de novas observações No entanto, não avaliamos o grau de associação linear entre X e Y. Isto se deu pois a utilidade prática das estimativas ou previsões depende da largura dos intervalos e do nível de precisão especificado pelo analista. De qualquer forma, ainda assim, podemos desejar avaliar a força da associação linear entre resposta e var. explicativa. Isto pode ser feito, utilizando-se o coeficiente de determinação.
Medida Descritiva da Associação Linear entre X e Y Coeficiente de Determinação: R 2 Lembrando: SST mede a variabilidade em Y i (i.e. a incerteza na previsão de Y ) quando não consideramos X. SSE mede a variabilidade em Y i quando utilizamos X em um modelo de regressão para explicar Y. Vamos medir, então, o efeito de X em reduzir a variabilidade em Y i : variabilidade variabilidade total SST SSE = SST = SSR SST = 1 SSE SST = R2 Portanto, o coeficiente de determinação (R 2 ) mede a redução proporcional da variabilidade total associada à inclusão da variável explicativa X.
Medida Descritiva da Associação Linear entre X e Y : II Coeficiente de Determinação: R 2 Temos 0 SSE SST 0 R 2 1. Quando todas as observações estão sobre a reta de regressão: SSE = 0 R 2 = 1 Quando a reta de regressão é horizontal: SSE = SST R 2 = 0 Neste caso, não há associação linear entre X e Y na amostra e a introdução da var. explicativa X não ajuda a reduzir a variabilidade em Y.
Medida Descritiva da Associação Linear entre X e Y Limitações de R 2 Embora o R 2 seja útil para descrever uma medida do grau de associação linear entre X e Y, nenhuma medida será única para avaliar a utilidade de um modelo de regressão. Algumas falácias associadas ao R 2 : R 2 0 implica que X e Y não estão relacionados. R 2 elevado indica que boas previsões podem ser obtidas com o modelo de regressão R 2 elevado garante que a regressão é um bom modelo (representa adequadamente a natureza dos dados). Como saber se o modelo é adequado para os dados?