CAPÍTULO 10 REGRESSÃO LINEAR MÚLTIPLA REGRESSÃO LINEAR MÚLTIPLA PPGEP

Transcrição

1 CAPÍTULO REGRESSÃO LINEAR MÚLTIPLA UFRGS REGRESSÃO LINEAR MÚLTIPLA Muitos problemas de regressão envolvem mais de uma variável regressora Por exemplo a qualidade de um processo químico pode depender da temperatura pressão e taxa de agitação Nesse caso há três variáveis regressoras O Modelo da O modelo geral da regressão linear múltipla é: Y = β + βx + β X + + β X + ε O problema então é estimar o valor dos coeficientes β i a partir de um conunto de dados do tipo: () Y X X X y x x x y x x x y n x n x n x n Novamente o método dos mínimos quadrados é usado para minimizar: () L = y b + b x + + b x [ ( )] Observa-se que a aplicação do método dos mínimos quadrados fica simplificada se o modelo () é reescrito como: ( X x ) + + β ( X ) + ε x Y = β + β (3) nesse caso é fácil mostrar que: β = β + βx + + β x enquanto que os demais coeficientes β β ficam inalterados O que está sendo feito é simplesmente eliminar o valor médio das variáveis regressoras Além de simplificar a estimativa dos coeficientes o uso do modelo (3) também facilita outras tarefas associadas a inferências Usando (3) a função a ser minimizada é: [ y ( b + b ( x x ) + + b ( x x )] L = i (4) 3 4

2 Notação Matricial Para lidar com o problema de regressão linear múltipla é mais conveniente usar notação matricial pois assim tem-se uma apresentação muito compacta dos dados do modelo e dos resultados Em notação matricial o modelo (3) aparece representado como: Y = Xβ + ε Estimativa dos Coeficientes Pode ser demonstrado que a aplicação do método dos mínimos quadrados conduz à seguinte solução: Y Y = Y n ; X = ( x x )( x x ) β ; β = ; ε = ε ( ) ( ) x x x x β ε n n Genericamente tem-se que Y é o vetor n x das observações X é a matriz n x p com os níveis das variáveis regressoras β é o vetor p x com os coeficientes da regressão e ε é o vetor n x com os erros aleatórios (sendo p = + ) n b = ( X' X ) X' Y (6) onde b é o vetor p x com as estimativas dos coeficientes β A solução (6) irá existir sempre que as variáveis regressoras forem linearmente independentes (Nota: as variáveis regressoras não serão independentes quando uma coluna da matriz X for uma combinação linear de outras colunas) 5 6 Exemplos Exemplo : (ver Montgomery (984)) Um distribuidor de cervea está analisando seu sistema de distribuição Especificamente ele está interessado em prever o tempo requerido para atender um ponto de venda O engenheiro industrial acredita que os dois fatores mais importantes são o número de caixas de cervea fornecidas e a distância do depósito ao posto de venda Os dados coletados aparecem a seguir: X: N o de caixas X: Distância Y: Tempo Escolhemos austar o seguinte modelo a esses dados: ( X x) + β ( X ) + ε Y = β + β x 7 8

3 Desde que x = 8 e x = 8 esse modelo em notação matricial é: 4-8 ε ε 9-8 ε3 ε ε ε β ε 7 8 = β + ε8 3 - β ε ε ε ε ε3 4-5 ε ε5 E usando as regras para produto e inversão de matriz obtemos X' X = 54-3 ; X' Y = e ( X' X) 6667 = De forma que o vetor das estimativas dos coeficientes resulta: b b = b = b ( X' X) 387 X' Y = E o modelo de regressão é: ( ) ( ) Y$ = X X 8 ou Y$ = X X A tabela a seguir apresenta os valores observados os valores previstos pelo modelo e os respectivos resíduos: r = Y Y$ Y Y$ r = Y Y$

4 Resíduos x X Resíduos x X Para testar se o auste é adequado os resíduos poderiam ser plotados em função de Yˆ em função de X ou em função de X Os resíduos também poderiam ser plotados em papel de probabilidade para testar a suposição de normalidade Qualquer um desses gráficos iria evidenciar que a observação da linha 5 é sem dúvida um dado atípico: 3 6 Re - -6 <= ( ) X Resíduos x $ Y 6 Re - -6 <= ( ) Valor predito de Y Se houver registro de alguma causa especial que tenha afetado esta entrega em particular essa observação poderia ser eliminada do conunto e a análise poderia ser refeita possivelmente fornecendo um modelo mais preciso 6 Re - -6 <= - ( ) X Papel de Probabilidade <= ( ) Resíduos 4 Exemplo : (ver Montgomery (984)) Este exemplo ilustra o uso da Análise de Regressão em conunto com Proeto de Experimentos O ganho em um processo químico está sendo estudado O engenheiro escolheu 3 fatores (Temperatura Pressão e Concentração) e rodou um experimento fixando cada um desses fatores a dois níveis Os dados aparecem a seguir Veam que os níveis dos fatores foram codificados como - (nível baixo) e + (nível alto) Ganho % X (Temp) X (Pressão) X 3 (Concent) Escolhemos austar o seguinte modelo ( X i = ) Y = β + β X + β X + β 3 X 3 + ε As matrizes X X e X Y resultam: ' XX = = 8 I ; X ' Y = E como X X é diagonal a sua inversa (X X) - =(/8)I 4 Assim as estimativas dos coeficientes resultam: b 5 5 b b = 565 = b 65 b

5 E o modelo de regressão é: Matriz de Variâncias e Covariâncias Y$ = X + 65X + 5X 3 Nesse exemplo a matriz inversa é fácil de obter porque X X é diagonal Há várias vantagens quando X X é diagonal Os cálculos são mais fáceis e a estima dos coeficientes está livre de qualquer correlação [Cov(b i b ) = ] Se nós podemos escolher os níveis de X i é vantaoso fazer essa escolha de modo a obter X X diagonal Proetos de Experimentos que apresentam essa propriedade são chamados de proetos ortogonais Um exemplo de proetos desse tipo é a classe dos proetos Esses proetos têm sido usados com freqüência crescente no meio industrial A matriz (X X) - é chamada de matriz de variâncias e covariâncias É uma matriz simétrica de ordem p x p e seus elementos são usados na determinação das variâncias S i Usando a notação: - (X' X) = C C C C C C C C C 7 8 É possível demonstrar que: Var(b i ) = C ii S Covar(b i b ) = C i S i = i = onde S é a variância residual associada com os desvios em relação ao hiperplano do modelo de regressão: ; = n S = Y Ŷ n ( ) ( ) A partir da matriz de variâncias e covariâncias também é possível encontrar a matriz de correlação uma vez que tem-se: r = C C C ; i = i i ii onde naturalmente para i = tem-se r ii = A matriz de correlações também é simétrica de ordem p x p : r r r r K = r r A matriz de correlações R é útil para detectar problemas de multicolinearidade Se um coeficiente r i qualquer fora da diagonal tiver módulo teremos uma dependência entre as variáveis independentes i e 9

6 Nesse caso a estimativa dos coeficientes associados às variáveis i e estará comprometida Exercício (Não é possível distinguir se o efeito sobre a variável de resposta se deve à variável regressora i ou uma vez que elas estão variando sempre no mesmo sentido) O ideal é que a matriz de correlações sea diagonal com zeros ou valores próximos de zeros nas posições fora da diagonal Isso assegura estimativas não-confundidas dos diversos coeficientes β i Testes de Hipótese ) A resistência de uma cera depende da quantidade de Etil- Vinil-Acetato (EVA) e da quantidade de Parafina adicionados à cera Auste um modelo do tipo Y = β + β X + β X aos dados que aparecem a seguir: X: EVA X: Paraf Y: Resist Para construir os testes de hipótese relativos a regressão múltipla vamos supor que os resíduos ε sigam o modelo normal com média e variância S Há dois tipos de teste que podem ser feitos: testes individuais sobre a significância de cada parâmetro b e um teste global para o modelo Significância de cada parâmetro Se os resíduos seguem o modelo normal os parâmetros b também irão seguir esse modelo ou sea: b ( β σ ) N b 3 4

7 Significância do Modelo de Regressão De modo que para testar as hipóteses H : β = H : β Usamos a distribuição de Student calculando t =b /S b Como sempre a hipótese nula será reeitada se t >tα / n Para testar a significância do modelo de regressão múltipla usaremos o teste F Os desvios Y Y podem ser escritos na forma: ( ) ( Y Y) = ( Y Y$ ) + ( Y$ Y) elevando ao quadrado e somando obtemos: ( Y Y) = ( Y Y$ ) + ( Y Y) uma vez que pode ser demonstrado que o produto cruzado é nulo 5 6 Dessa forma temos: para testar a significância do modelo A hipótese inexistência de relação entre X e Y deve ser reeitada se resultar S YY = SQR + SQR eg onde os correspondentes GDL valem: F > F α/ n-- Para o cálculo das somas quadradas as seguintes fórmulas práticas podem ser usadas: (n-) = (n--) + () de forma que as médias quadradas resultam: MQR = SQR / (n--) MQR eg =SQR eg / e usamos F = MQR / MQR eg n n SYY = y y n SQR = S b S SQR = = = YY i iy i = b S eg i iy i = onde os valores S iy aparecem no vetor X Y ou sea XY ' = Y S y Sy 7 8

8 Coeficientes de Determinação para o Modelo de Regressão Múltipla A fórmula para o cálculo do coeficiente de determinação r é a mesma apresentada ao final do capítulo 9 ou sea: r = SQR S YY eg O coeficiente r indica a percentagem da variabilidade total que é explicada pelo modelo de regressão Se r = todas as observações estarão sobre o hiperplano definido pelo modelo Se r = não há nenhuma relação entre a variável de resposta e as variáveis regressoras Exemplo 3: Para o problema da distribuição das caixas de cervea pede-se: -Apresente a matriz de variâncias e covariâncias e a matriz de correlação; -Calcule a variância residual S e a variância de b S b ; -Teste de significância de b ; -Teste a significância do modelo; -Calcule o coeficiente de determinação; Solução: A matriz de variâncias e covariâncias é a matriz (X X) - enquanto que a matriz de correlações é obtida dividindo os termos da matriz X X pelos correspondentes termos da diagonal Assim 9 3 ( X' X) r = 6667 = Para calcular S e S b usamos: ( ) ( ) S = Yi Y$ n = 8 37 = 9 86 S = S C = 9 86 ( 374) = 34 ; S = 53 b b o teste de significância para b é: t = b / S b = 877 / 53 = 573 t = 573 > t 5; = 79 reeita-se a hipótese nula O teste de significância para o modelo é feito usando a tabela ANOVA S YY = Σy -(Σy ) / n = SQR eg = b S y + b S y = 3336 SQR = S YY -SQR eg = 837 Fonte SQ GDL MQ F Modelo Residual Total F = 68 > F 5;; = 389; reeita-se a hipótese nula E nesse exemplo o coeficiente de determinação vale SQR eg /S YY = 737; ou sea 737% da variabilidade total no tempo de entrega é explicada pela relação que essa variável mantém com o número de caixas e a distância do posto de vendas 3 3

9 Ainda em relação aos dados do exercício pede-se: Exercício 3 Apresente a matriz de variâncias e covariâncias e a matriz de correlações Analise a matriz de correlações e indique se há indícios de mal condicionamento; Calcule a variância residual S e a variância de b e b ; Teste de significância de b e b ; Teste de significância do modelo; Calcule o coeficiente de determinação e indique o seu significado técnico; Previsão de Valores de Y Assim como no caso da regressão simples a relação encontrada pode ser usada para a previsão de um valor médio ou individual de Y Sea: X X X = X Pode ser demonstrado que os intervalos de confiança de (-α)% para um valor médio e individual de Y são respectivamente: Valor médio: Valor indiv: Y$ = b + b X + + b X ± tα / n S X Ŷ ( X ( X' ) ) ( X ( X' X ) ) ± tα / n S + X Ŷ O fator que multiplica t α/ corresponde ao erro de previsão A divisão desse fator por $Y produz o coeficiente de variação da previsão Análise das Suposições do Modelo de Regressão Nas seções anteriores foi feita a suposição ε N(σ ) ou sea supõese normalidade na distribuição dos resíduos e homogeneidade da variância residual A suposição de normalidade dos resíduos pode ser testada por testes gráficos (papel de probabilidade) ou analíticos (teste do Chi-quadrado Kolmogorov-Smirnov etc) Para o teste de normalidade usam-se os resíduos padronizados: R = onde [ Y Ŷ ] Ŷ = b S + b X + + b X 35 36

10 Regressão Polinomial Para examinar se o erro padrão da estimativa é constante analisam-se os gráficos R Ŷ e R X i O modelo aditivo Y = Xβ + ε é um modelo geral e pode ser usado para austar qualquer relação que sea linear com referência aos parâmetros desconhecidos β Se a suposição de normalidade ou de homogeneidade não forem satisfeitas muitas vezes é possível contornar o problema aplicando certas transformações matemáticas aos dados Os resíduos também podem ser analisados para verificar a existência de dados atípicos Vea que a exigência de linearidade refere-se a β e não a X Assim o modelo pode ser usado para austar um polinômio de ordem em uma variável: Y = β + β x + β x + + β x + ε ou então para austar um polinômio de segundo grau em duas variáveis: Y = β + β x + β x + β 3 x + β 4 x + β 5 x x + ε Regressão polinomial Exemplo 4: (ver Montgomery (984)) Pede-se para austar o modelo Y = β + β x + β x + ε aos dados que aparecem a seguir: x y Em notação matricial usando X X tem-se: Y = 5 4 X = β β= β β As matrizes X X e X Y resultam: X' X = ; X' Y = 44 De modo que as estimativas de β são: b = ( X' X ) Assim o modelo de regressão fica: ou Y$ = X + X φ X' Y = φ 486 φ 4965 = φ ( ) ( ) Y$ = X X + X X 39 4

11 Esse método geral pode ser usado para austar dados que tenham um formato qualquer No entanto se os níveis das variáveis regressoras forem eqüidistantes então o uso de polinômios ortogonais simplifica bastante o esforço de cálculo O uso de polinômios ortogonais aparece descrito em Montgomery & Pec (99) e Nanni & Ribeiro (99) Comentários em relação aos modelos polinomiais: () Os polinômios são muito úteis para fornecer uma aproximação para relações não lineares complexas e desconhecidas Esse tipo de aplicação aparece com freqüência na prática () É importante manter a ordem do polinômio tão baixa quanto possível Polinômios de ordem mais alta ( > ) devem ser evitados a menos que haa ustificativas técnicas para o seu uso (3) Um modelo de ordem mais baixa usando variáveis transformadas é sempre preferível a modelos de ordem mais alta na métrica original (4) Vale lembrar que sempre pode ser obtido um polinômio de ordem n- que austa-se perfeitamente aos dados Tal modelo não audaria em nada para a compreensão do fenômeno em estudo e nem tampouco seria um bom estimador 4 4 Comentários em relação aos modelos polinomiais: (5) Extrapolações com polinômios devem ser feitas com muito cuidado Além do intervalo investigado os polinômios podem apresentar um comportamento estranho girando na direção oposta do esperado Exercício 5 (6) Na medida que cresce a ordem do polinômio a matriz X X torna-se mal condicionada e a precisão das estimativas diminui Esse problema é aliviado quando se centra as variáveis regressoras isto é quando se usa ( Xi Xi ) (7) A matriz X X também tende a tornar-se mal condicionada quando os valores de X estão limitados a um intervalo muito estreito De forma geral ampliando o intervalo de investigação melhoram as estimativas dos coeficientes 43 44

12 Exercícios: 5) Considere os dados do exercício 85 e use o modelo do tipo Y = β + β X + β X para austar a produtividade mensal em função do intervalo entre manutenções preventivas Intervalo Produtivi dade ) Calcule o valor dos resíduos para os dados do exercício e a seguir analise esses resíduos plotando os gráficos: 4) Considere os dados do exercício 8 e use um modelo do tipo Y = β + β X + β X para austar a resistência à compressão em função da adição de microssílica Adição Resistência (MPa) % % % % Os dados a seguir mostram os valores da distribuição normal acumulada para diferentes valores da variável reduzida Z Auste um modelo do tipo Y = β + Σβ i X i a esses dados Após calcule o valor da variância residual (que no caso deve-se exclusivamente à falta de auste) e indique se o auste é satisfatório para a maioria das aplicações práticas Por fim use o modelo para extrapolações ou sea calcule por exemplo F(-4) e F(+4) e indique se o modelo pode ser usado para extrapolações Z F(Z) Z F(Z) Repita o exercício acrescentando um termo β 3 X X ao modelo Teste a significância deste termo e conclua se há razões para mantê-lo no modelo 47