Cap. 11 Correlação e Regressão

Transcrição

1 Estatístca para Cursos de Engenhara e Informátca Pedro Alberto Barbetta / Marcelo Menezes Res / Antono Cezar Borna São Paulo: Atlas, 2004 Cap. 11 Correlação e Regressão APOIO: Fundação de Apoo à Pesqusa Centífca e Tecnológca do Estado de Santa Catarna (FAPESC) Departamento de Informátca e Estatístca UFSC (INE/CTC/UFSC)

2 Correlação X e Y estão postvamente correlaconadas quando elas camnham num mesmo sentdo; Estão negatvamente correlaconadas quando elas camnham em sentdos opostos.

3 Eemplo 11.1 Processo de quema de massa cerâmca para pavmento X 1 = retração lnear (%), X 2 = resstênca mecânca (MPa) e X 3 = absorção de água (%).

4 Eemplo Dados: ensao X 1 X 2 X 3 ensao X 1 X 2 X 3 1 8,70 38,42 5, ,24 60,24 0, ,68 46,93 2, ,10 40,58 3,64 3 8,30 38,05 5, ,33 41,07 5, ,00 47,04 1, ,34 41,94 3,32 5 9,50 50,90 0, ,48 35,53 6,00 6 8,58 34,10 7, ,68 38,42 0, ,68 48,23 1, ,76 45,26 4,14 8 6,32 27,74 9, ,93 40,70 5,48 9 8,20 39,20 5, ,50 29,66 8,98

5 Eemplo Dagramas de dspersão: resstênca mecânca (Mpa) retração lnear (%) Interpretar a correlação entre as duas varáves.

6 Eemplo Dagramas de dspersão: 10 absorção de água (%) retração lnear (%) Interpretar a correlação entre as duas varáves.

7 Eemplo Dagramas de dspersão: 10 absorção de água (%) resstênca mecânca (Mpa) Interpretar a correlação entre as duas varáves.

8 Idéa de construção do Coef.. de Correlação de Pearson Padronzação (, y ) (, y ) : = s y = y s y y ( = 1, 2,..., n)

9 Padronzação (E a): resstênca mecânca (Mpa) (, y) retração lnear (%)

10 Padronzação (E a): valores padronzados de retração 2 1 (0, 0) valores padronzados de resstênca

11 Idéa de construção do Coef.. de Correlação de Pearson = s y y y = ( = 1, 2,..., n) s y Consdere os produtos dos valores padronzados: y

12 Snas dos produtos dos valores padronzados: Quadrante com y negatvos y Quadrante com y postvos Quadrante com y postvos Quadrante com y negatvos

13 Snas dos produtos dos valores padronzados: Quadrante com y negatvos y Quadrante com y postvos Quadrante com y postvos Quadrante com y negatvos ' ' y > 0

14 Snas dos produtos dos valores padronzados: Quadrante com y negatvos y Quadrante com y postvos Quadrante com y postvos Quadrante com y negatvos ' ' y < 0

15 Snas dos produtos dos valores padronzados: Quadrante com y negatvos y Quadrante com y postvos Quadrante com y postvos Quadrante com y negatvos ' ' y 0

16 Idéa de construção do Coef.. de Correlação de Pearson Padronzação (, y ) (, y ) : = s y = y s y y ( = 1, 2,..., n) Coef.. de Correlação de Pearson: r = n = 1 ( y ) n 1

17 Valores possíves de r e nterpretação da correlação +1 Sentdo Força Forte Postva Moderada Valor de r 0 Ausênca Fraca Fraca Negatva Moderada -1 Forte

18 Eemplo Matrz de correlações retração lnear resstênca mecânca absorção de água retração lnear 1,00 0,75-0,88 resstênca mecânca 0,75 1,00-0,84 absorção de água -0,88-0,84 1,00 Interpretar.

19 Outra forma de calcular Outra forma de calcular r ( ) ( )( ) ( ) ( ) y y n n y.y n r =

20 Coefcente de correlação populaconal ρ = Corr( X, Y ) = E X µ σ X X Y µ Y σ Y µ X = E(X ) σ X = V (X ) µ Y = E(Y ) σ Y = V (Y )

21 Inferênca sobre ρ Dada uma amostra aleatóra smples ( 1, y 1 ), ( 2, y 2 ),..., ( n, y n ) do par de varáves aleatóras (X, Y), o coefcente r pode ser consderado uma estmatva do verdadero e desconhecdo coefcente ρ

22 Teste de sgnfcânca de ρ H 0 : ρ = 0 (as varáves X e Y são não correlaconadas) H 1 : ρ 0 (as varáves X e Y são correlaconadas) (pode também ser unlateral) Admtndo (X, Y) com dstrbução normal bvarada, a Tabela 10 apresenta o valor absoluto mínmo de r para se rejetar H 0. Ver contnuação do Eemplo 11.1 no lvro.

23 Regressão lnear smples Varável ndependente, X Temperatura do forno ( 0 C) Varável dependente, Y Resstênca mecânca da cerâmca (MPa) Quantdade de adtvo (%) Octanagem da gasolna Renda (R$) Consumo (R$) Memóra RAM do computador (Gb) Tempo de resposta do sstema (s) Área construída do móvel (m 2 ) Preço do móvel (R$)

24 Eemplo 11.2: X = % de adtvo Resultados de n = 6 ensaos epermentas: Y = Índce de octanagem da gasolna X Y 80,5 81,6 82,1 83,7 83,9 85,0

25 Eemplo 11.2: 86,0 índce de octanagem 85,0 84,0 83,0 82,0 81,0 80, quantdade de adtvo (%)

26 Regressão - Modelo Y = Predto por X, segundo uma função + Efeto aleatóro y = α + β. + e Parâmetros Regressão Lnear Smples

27 Modelo de regressão lnear smples Em termos das varáves: E{ Y} = α + βx Em termos dos dados: Y = α + β + ε Suposções: os termos de erro (ε 1, ε 2,..., ε n ) são varáves aleatóras ndependentes; E{ε } = 0; V{ε } = σ 2 ; e ε tem dstrbução normal ( = 1, 2,..., n).

28 Método dos mínmos quadrados para estmar α e β Mnmzar em relação a α e β : S = { Y ( α β )} 2 ε = + 2 S = 0 α y ε S = 0 β

29 Método dos mínmos quadrados para estmar α e β Resultado das dervadas parcas: Estmatva de β: b = n. ( y ) ( )( y ) 2 n. ( ) 2 Estmatva de α : a = y b n Reta de regressão construída com os dados: y ˆ = a + b

30 Eemplo numérco y tempo de reação Dagrama de dspersão dade

31 Eemplo numérco y 2 y reta de regressão: y = a +b. ^ b = n. ( y ) ( ) ( y ) 2 n. ( ) 2 a = y n b

32 Eemplo numérco y 2 y b = n. ( y ) ( ) ( y ) 2 n. ( ) 2 b = 5.(16975) (150).(557) 5.(4750) (150) 2 b = 1,06

33 Eemplo numérco y 2 y b = 1,06 a = 557 (1,06).(150) 5 = 79,6 reta de regressão: ^ y = a +b. ^ = 79,6 + 1,06 ŷ

34 Eemplo numérco ^ = 79,6 + 1,06 ŷ Dagrama de dspersão = 20 ŷ = 100,8 = 40 ŷ = 122,0 tempo de reação dade

35 Qualdade do ajuste Ajustou-se uma equação de regressão entre X e Y. E a qualdade do ajuste? análse de varânca do modelo análse dos resíduos

36 Reta de regressão e resíduos Valores predtos: Resíduos: y ˆ = a + b y ŷ e y ˆ = a + b e = y yˆ

37 Análse de varânca do modelo Desvo em relação à méda artmétca: d = y y Desvo em relação à reta de regressão (resíduo da regressão): e = y yˆ y y e d y ˆ = a+ b

38 Somas de quadrados ( ) 2 y y = ( ) 2 yˆ y + ( y ˆ ) y 2 SQT varação total SQR varação eplcada pela equação de regressão SQE varação não eplcada

39 Somas de quadrados SQT = ( y y) 2 2 = y ( y ) n 2 SQE 2 2 ( y yˆ ) = y a y b = y SQR = SQT SQE Coefcente de determnação: R 2 SQR = = 1 SQT SQE SQT

40 Medda da qualdade do ajuste: Coefcente de determnação (R 2 ) R 2 = Varação eplcada Varação total = Σ (y^ -y) 2 Σ (y -y) 2 0 R 2 1 Matematcamente, R 2 é o quadrado do Coef. de Correlação de Pearson.

41 Eemplo 11.2: Índce de octanagem R 2 y ˆ = 79,7 + (0,886) = 13,73 14,08 = 0,975 = 97,5% Quantdade de adtvo (%) Interpretar.

42 Análse de varânca do modelo Fonte de varação gl SQ QM Razão f Regressão 1 SQR = ( yˆ y) 2 QMR = SQR 1 f = QMR QME Erro n 2 SQE ( y y ) = ˆ 2 QME = SQE n 2 Total n 1 SQT = ( y y ) 2

43 Teste de sgnfcânca do modelo {} Y = α + β X E. H 0 : β = 0 e H 1 : β 0 Dstrbução de referênca para a razão f : dstrbução F com gl = 1 no numerador e gl = n 2 no denomnador (Tabela 6).

44 Eemplo 11.2: Fonte de varação gl SQ MQ Razão f Regressão 1 13,73 13, ,26 Erro 4 0,35 0,088 Total 5 14,08 Usar a Tabela 6 e fazer o teste de sgnfcânca do modelo.

45 Dstrbução f com gl = 1 e 4 Possíves valores de f, sob H 0

46 Valor p na dstrbução F Densdade de probabldade F 0,75 densdade de probabldade 0,50 valor p 0,25 0, possíves valores da estatístca F, sob H 0 Amostra f

47 Abordagem clássca: regra de decsão 0,75 Densdade de probabldade F densdade de probabldade 0,50 0,25 0, f possíves valores da estatístca c F, sob H 0 Nível de sgnfcânca adotado (p. e., α = 5%) (Tabela) f calculado: Aceta H 0 Rejeta H 0

48 Suposções do modelo Modelo: Y = α + β + ε os termos de erro (ε 1, ε 2,..., ε n ) são varáves aleatóras ndependentes; E{ε } = 0; V{ε } = σ 2 ; e ε tem dstrbução normal ( = 1, 2,..., n). y E{Y}=α +β

49 Análse dos resíduos: um dagnóstco das suposções do modelo Valores predtos: y ˆ = a + b y e y ˆ = a + b Resíduos: ŷ e = y yˆ

50 Análse dos resíduos y e Gráfco dos dados: (, y ) Gráfco dos resíduos: (, e ) As suposções do modelo parecem satsfetas?

51 Análse dos resíduos y resíduo 0 Gráfco dos dados: (, y ) Gráfco dos resíduos: (, e ) As suposções do modelo parecem satsfetas? O que pode ser feto? (Ver lvro)

52 Análse dos resíduos y e 0 Gráfco dos dados: (, y ) Gráfco dos resíduos: (, e ) As suposções do modelo parecem satsfetas? O que pode ser feto? (Ver lvro)

53 Análse dos resíduos resíduo 0 Gráfco dos resíduos: (, e ) As suposções do modelo parecem satsfetas? O que pode ser feto? (Ver lvro)

54 Análse dos resíduos y e 0 Gráfco dos dados: (, y ) Gráfco dos resíduos: (, e ) As suposções do modelo parecem satsfetas? O que pode ser feto? (Ver lvro)

55 Busca de um modelo adequado Suposção de lneardade entre e y: uso de transformações; Suposção de varânca constante: transformações para establzar a varânca ou uso do método dos mínmos quadrados generalzados; Suposção de ndependênca entre as observações: transformações, uso do método dos mínmos quadrados generalzados ou aplcação de técncas de séres temporas; Suposção de dstrb. normal para os erros: uso de transformações.

56 y Regressão Modelos Lnearzáves y log() y = α + β log() y = α + β.log()

57 Regressão Modelos Lnearzáves y log(y) y = α.β log(y) = log(α) + log(β).

58 Regressão Transformações para establzar a varânca y resíduo

59 Regressão Transformações para establzar a varânca: alguns resultados teórcos y com dstrb. de Posson y ' = y y com dstrb. bnomal y' = sen 1 ( ) y

60 Regressão Transformações para establzar a varânca Se o desvo padrão de y aumenta proporconalmente em relação ao y ' = log( y) valor esperado de y (σ y µ y ) y resíduo