REGRESSÃO LINEAR Parte I. Flávia F. Feitosa

Transcrição

1 REGRESSÃO LINEAR Parte I Flávia F. Feitosa BH1350 Métodos e Técnicas de Análise da Informação para o Planejamento Julho de 2015

2 Onde Estamos

3 Para onde vamos

4 Inferência Esta5s6ca se resumindo a uma equação Saída i = (Modelo i ) + erro i Ou seja, os dados que observamos podem ser previstos pelo modelo que escolhemos para ajustar os dados mais um erro

5 Média como um modelo esta5s6co Uma maneira útil de descrever um grupo como um todo: Qual é a renda média das famílias residentes na Mooca? Qual é a altura média dos edifícios em São Caetano? Qual é o PIB médio dos municípios localizados no arco do desmatamento?

6 Renda per Capita (R$) Para além de médias Modelos Lineares São modelos baseados sobre uma linha reta, utilizados para representar a relação entre variáveis Ou seja, geralmente estamos tentando resumir as RELAÇÕES observadas a partir de nossos dados observados em termos de uma linha reta. RELAÇÃO ENTRE CONSUMO DE ÁGUA E RENDA Consumo de Água per Capita (m3/dia/ano)

7 CORRELAÇÃO É uma medida do relacionamento linear entre duas variáveis Duas variáveis podem estar: (a) Positivamente relacionadas à quando maior a renda, maior o consumo de água (b) Negativamente relacionadas à quanto maior a renda, menor o consumo de água (c) Não há relação entre as variáveis

8 Correlação de Pearson Medida padronizada da correlação entre variáveis COEFICIENTE DE CORRELAÇÃO DE PEARSON Valor de r situa- se entre - 1 e +1 r = +1 à duas variáveis estão perfeitamente correlacionadas de forma positiva (se uma aumenta, a outra aumenta proporcionalmente) r = - 1 à relacionamento negativo perfeito (se uma aumenta, a outra diminui em valor proporcional r = 0 à indica ausência de relacionamento linear

9 Teste de Significância do r de Pearson Para testar a significância do r, calculamos uma estatística teste conhecida como razão t, com graus de liberdade igual a N- 2. Neste caso, os graus de liberdade indicam o quão próxima a distribuição t está da distribuição normal. Qto maior, mais póximo da dist. normal. Olhar na tabela o valor crítico de t, com graus de liberdade N- 2 e α=0,05 Se t calculado > t crítico, podemos rejeitar a hipótese nula de que ρ=0.

10 CORRELAÇÃO: Indica a força e a direção do relacionamento linear entre duas variáveis aleatórias Vamos avançar um passo: Obter uma equação matemática que descreva a relação entre duas ou mais variáveis. Esta é a essência da ANÁLISE DE REGRESSÃO (Lembrando que não estamos lidando com relações de causa- efeito)

11 ANÁLISE DE REGRESSÃO Análise de regressão é uma ferramenta estatística que permite explorar e inferir a relação de uma variável dependente (Y à variável resposta/ dependente/ saída) com variáveis independentes específicas (X à variáveis indicadoras/ previsoras/ explicativas/ independentes). Y = ax + b NETER J. et al. Applied Linear Statistical Models. Boston, MA: McGraw- Hill, 1996.

12 Exemplo Criminalidade (+) X Renda (- ), Investimentos (- ) Longevidade (+) X Escolaridade (+), Renda (+) Consumo de Água (+) X Renda per Capita (+) Outros exemplos?...

13 Obje6vos da Análise de Regressão 1. Determinar como duas ou mais variáveis se relacionam. 2. Estimar a função que determina a relação entre duas variáveis. 3. Usar a equação para projetar/estimar valores da variável dependente. Lembrete importante: A existência de uma relação estatística entre a variável resposta Y e a variável explicativa X não implica na existência de uma relação causal entre elas.

14 Diagrama de Dispersão Os dados para a análise de regressão são da forma: (x 1, y 1 ), (x 2, y 2 ),..., (x i, y i ),... (x n, y n ) Com os dados constrói- se o diagrama de dispersão. Este deve exibir uma tendência linear para que se possa usar a regressão linear. Ou seja, o diagrama permite decidir empiricamente se um relacionamento linear entre X e Y deve ser assumido.

15 Diagrama de Dispersão Sugerem uma regressão/relação linear. Assim, a relação entre as variáveis poderá ser descrita por uma equação linear.

16 Diagrama de Dispersão Sugerem uma regressão/relação não linear. Assim, a relação entre as variáveis poderá ser descrita por uma equação não linear. (ou podemos verificar a possibilidade de linearizar a relação através de transformações nas variáveis)

17 Diagrama de Dispersão Por análise do diagrama de dispersão pode- se também concluir (empiricamente) se o grau de relacionamento linear entre as variáveis é forte ou fraco, conforme o modo como se situam os pontos ao redor de uma reta imaginária que passa através da concentração de pontos.

18 Diagrama de Dispersão Existência de correlação linear positiva: em média, quanto maior o X, maior será o Y Existência de correlação linear negativa: em média, quanto maior o X, menor será o Y

19 Modelos de Regressão Um modelo de regressão contendo somente uma variável preditora (X) é denominado modelo de regressão simples. Um modelo com mais de uma variável preditora (X) é denominado modelo de regressão múltiplo.

20 Regressão Linear Simples Y i = β 0 + β 1 X i +ξ i onde: Y i é o valor da variável resposta na i-ésima observação; β 0 e β 1 são parâmetros; X i é uma constante conhecida; é o valor da variável preditora na i-ésima observação; ξ i é um termo de erro aleatório com média zero e variância constante σ 2 (E(ξ i )=0 e σ 2 (ξ i )= σ 2 ) ξ i e ξ j são não correlacionados (independentes) para i j (σ 2 (ξ i,ξ j )= 0 ) Lembrando: Saída i = (Modelo i ) + erro i

21 Regressão Linear Simples Intercepto Populacional Inclinação Populacional Variável Preditora Variável Resposta Y i =β 0 +β 1 X i +ε i Erro Aleatório Y Y i ξ i µ Y = E(Y) = β 0 + β 1 X β 0 β 1 Coeficiente angular Ŷ i =b 0 +b 1 X i ε i =Y i -Ŷ i Modelo estimado Resíduo X

22 Significado de β 0 e β 1 Os parâmetros β 0 e β 1 são denominados coeficientes de regressão: 1. β 1 é a inclinação da reta de regressão. Ela indica a mudança na média de Y quando X é acrescido de uma unidade. 2. β 0 é o intercepto em Y da equação de regressão (é o valor de Y quando X = 0.) β 0 só tem significado se o modelo incluir X = 0. Y E[Y i ] = β 0 + β 1 X i β 1 β 0 0 X

23 y i = β 0 + β 1 xi θ Δx=1 Δy β 1 = Δy Δx β 0 x x+1 β 0 (intercepto); quando a região experimental inclui X=0, β 0 é o valor da média da distribuição de Y em X=0, cc, não tem significado prático como um termo separado (isolado) no modelo; β 1 (inclinação) expressa a taxa de mudança em Y, isto é, é a mudança em Y quando ocorre a mudança de uma unidade em X. Ele indica a mudança na média da distribuição de probabilidade de Y por unidade de acréscimo em X. Fonte: Slide de Paulo José Ogliari, Informática, UFSC. Em

24 Como encontrar a linha que melhor se ajusta aos nossos dados? Ou seja: Como es6mar os valores de β 0 e β 1? Y Y i ξ i Y = β 0 + β 1 X β 1 Coeficiente angular β 0 X

25 Es6mação dos Parâmetros Em geral não se conhece os valores de β 0 e β 1. Eles podem ser estimados através de dados obtidos por amostras. O método utilizado na estimação dos parâmetros é o método dos mínimos quadrados, o qual considera os desvios dos Y i de seu valor esperado (E(Y i )): ξ i = Y i (β 0 + β 1 X i )

26 Es6mação dos Parâmetros Em particular, o método dos mínimos quadrados requer que a soma dos n desvios quadrados, denotado por Q, seja mínima: Q n [ Yi β0 β1x i i= 1 = ] 2 n Q = [ observados modelo] 2 i=1

27 Procedimento matemático para minimizar Q (soma dos desvios quadrados): (1) Q deve ser derivado em relação a β 0 e β 1: (2) Com derivadas parciais igualadas à zero, obtêm- se os valores estimados de β 0 e β 1 : = = = n i i n i i i X X Y Y X X ) ( ) )( ( ˆβ ˆβ 0 = Y ˆβ1X = = = = n i i i i Q n i i i Q X Y X X Y ) ( 2 ) ( β β β β β β Es6mação dos Parâmetros Os estimadores β 0 e β 1 possuem distribuição normal e intervalos de confiança com uma distribuição t, com n- 2 graus de liberdade

28 Correlação vs. Regressão Correlação linear Não determina causalidade, mas pode dar pistas. Identifica se duas variáveis se relacionam de forma linear. Determina o quão mais próximo de uma reta é a relação entre as variáveis. 0: não há relação linear 1: relação linear perfeita Não indica o quanto uma variável pode estar influenciando a outra. Pode ser testada estatisticamente. Regressão linear Não determina causalidade, mas pode dar pistas. Determina uma relação linear entre duas variáveis. Traz elementos que permitem fazer predições. Identifica o quanto uma variável afeta a outra. Necessita de uma análise dos resíduos para decidir sobre sua adequação. Pode ser testada estatisticamente. Slides: Marcos Pó

29 Como avaliar o quão bem nossa linha adere aos dados? Ou seja: Como avaliar a qualidade de ajuste do modelo?

30 Análise da Variância da Regressão

31 Análise da Variância da Regressão Desvio Total = Desvio Explicado Pelo Modelo + Desvio Não Explicado Pelo Modelo Desvio Total Diferença entre dados observados (Y i ) e média de Y Desvio Não Explicado Pelo Modelo Diferença entre dados observados (Y i ) e o modelo (linha de regressão) Desvio Explicado Pelo Modelo Diferença entre média de Y e Modelo (linha de regressão)

32 Análise da Variância da Regressão

33 Inferência: Análise da Variância Desvio Total Y i Y = ( Yˆ Y ) ( Y Yˆ) i + i Desvio Explicado pelo Modelo Desvio Não- explicado pelo Modelo Elevando- se ao quadrado os dois lados da igualdade e fazendo- se a soma para todas as observações de uma determinada amostra tem- se que: n n (Yi Y ) 2 = ( ˆ Yi Y ) 2 + (Yi Y ˆ ) 2 i=1 i=1 n i=1 Soma dos quadrados total (SQT) Soma dos quadrados do modelo (SQM) Soma dos quadrados residual (SQR)

34 Par6cionando a Soma dos Quadrados n n (Yi Y ) 2 = ( ˆ Yi Y ) 2 + (Yi Y ˆ ) 2 i=1 i=1 n i=1 Se SQT=0, então todas as observações Y são iguais. Quanto maior for SQT, maior será a variação entre os Y s. SQT é uma medida da variação dos Y s quando não se leva em consideração a variável independente X. Se a linha de regressão for horizontal, de modo ^ Y i que SQM = 0. Y = 0 então Se SQR = 0, então as observações caem na linha de regressão. Quanto maior SQR, maior será a variação das observações Y ao redor da linha de regressão.

35 Par6cionando a Soma dos Quadrados SQTotal = SQModelo + SQResíduos. Um modo de se saber quão útil será a linha de regressão para a predição é verificar quanto da SQT está na SQM e quanto está na SQR. Idealmente, gostaríamos que SQM fosse muito maior que SQR. SQM Gostaríamos, portanto, que fosse próximo de 1. SQT

36 Coeficiente de Determinação Uma medida do efeito de X em reduzir a variabilidade do Y é: R 2 = SQM SQT = SQT -SQR SQT = 1 SQR SQT Note que: 0 R 2 1 R 2 é denominado coeficiente de determinação. Em um modelo de regressão simples, o coeficiente de determinação é o quadrado do coeficiente de correlação de Pearson (r) entre Y e X. Note que em um modelo de regressão simples r 2 = ± R 1 r 1

37 Coeficiente de Determinação Temos dois casos extremos: R 2 = 1 todas as observações caem na linha de regressão ajustada. A variável preditora X explica toda a variação nas observações. R 2 = 0 isto ocorre quando b 1 = 0. Não existe relação linear em Y e X. A variável X não ajuda a explicar a variação dos Y i.

38 Outra maneira de avaliar o modelo u6lizando a soma dos quadrados é por meio do Teste F O Teste F tem por base a razão F, que é a razão de melhoria devida ao modelo e a diferença entre o modelo e os dados observas A razão F é uma medida do quanto o modelo melhorou na previsão de valores comparado com o nível de não precisão do modelo

39 Tabela ANOVA - F Graus de Liberdade (df) Soma dos quadrados (SQ) Quadrado médio QM=SQ/df Razão da variância Regressão(X) 1 (p- 1) SQT- SQR= SQM= (QMM odelo ) 21.33(p<0.001) Resíduo 28 (n- p) SQR= (QMR esíduo ) Total 29 (n- 1) SQT = R 2 = SQT SQR SQT = = 0.43 F = QMM QMR

40 Tabela ANOVA - F Graus de Liberdade (df) Soma dos quadrados (SQ) Quadrado médio QM=SQ/df Razão da variância Regressão(X) 1 (p- 1) SQT- SQR= SQM= (QMM odelo ) 21.33(p<0.001) Resíduo 28 (n- p) SQR= (QMR esíduo ) Total 29 (n- 1) SQT = R 2 = SQT SQR SQT = = 0.43 F = QMM QMR Importante Lembrar! A razão F é uma medida do quanto o modelo melhorou na previsão de valores comparado com o nível de não precisão do modelo Um bom modelo deverá ter uma razão F grande

41 Inferência: Teste F (Adequação Global) H ˆ β 1 = ˆ β 0 : 2 =... ˆ β k = 0 Ha : existe pelo menos um dos βj 0 F* = QMModelo QMErro onde F c ~ F p- 1, n- p Se F * > F(α; p- 1,n- p), rejeitamos a hipótese nula, caso contrário, aceitamos a hipótese.

42 Inferência: Significância de b Testando se a inclinação βˆ1 é zero. 1. Construir intervalos de confiança para ˆβ1 : 2. Teste de hipótese para ˆβ1 : H 0 : ˆ β 1 = 0 Ha : ˆ β α t n- 2 Se = 0, significa que não há correlação entre X e Y. ˆβ1 H 0 a/2 a/2 - - t 0 t + 1- a/2;n a/2;n- 2 Rejeitar, significa que o modelo que inclui X é melhor do que o modelo que não inclui X mesmo que a linha reta não seja a relação mais apropriada.

43 1. Construir intervalos de confiança βˆ1 para : ˆβ n ( X i= 1 1 = n i= 1 i ( X X )( Y i i X ) Y ) 2 Inferência Média: E( ˆβ1) = β 1 Variância Distribuição da estatística studentizada (σ é desconhecido) estimada: s 2 ( ˆβ 1 ) = QMR ( X i X) 2 QMR = SQR n p ˆβ 1 β 1 s( ˆβ 1 ) ~ t(n 2). Intervalo de confiança ˆβ 1 ± t(1 α / 2;n 2)s( ˆβ 1 )

44 Inferência 2. Teste estatístico formal: feito de maneira padrão usando a distribuição de Student H 0 : ˆ β 1 = 0 Ha : ˆ β 1 0 t* = ˆβ 1 β esperado s( ˆβ 1 ) 1 α t n-2 t* = ˆβ 1 s( ˆβ 1 ) α/2 α/2 - -t 0 t + 1-α/2;n-2 1-α/2;n-2 Qual a probabilidade de que t* tenha ocorrido por acaso se o valor de b1 fosse de fato zero? Se esse valor (significância) for menor do que 0,05 (5%), b1 é significativamente diferente de zero Se t * t(1 α / 2;n 2), não rejeita H 0 Se t * > t(1 α / 2;n 2), rejeita H 0

45 Inferência De forma semelhante testamos se βˆ 0 é zero H H 0 1 : β : β 0 0 = 0 0 Se a hipótese nula H 0 = 0 não for rejeitada, pode- se excluir a constante do modelo, já que a reta inclui a origem.

46 Executando uma Regressão Simples no SPSS

47 Regressão Simples no SPSS 1. No SPSS, abra o arquivo Agua2010_SNIS.sav 2. Vá em Analisar > Regressão > Linear (Analyze > Regression > Linear ) Selecione a variável dependente e independente Existe uma variedade de opções disponíveis, mas serão exploradas no contexto da regressão múltipla.

48 Ajuste Global do Modelo Resumo do Modelo R = 0,601 à Como temos apenas um previsor, este valor representa a correlação simples entre Y (renda) e X (consumo). R 2 = 0,362 à Coeficiente de Determinação. Nos informa que nosso modelo consegue explicar 36,2% da variação do consumo de água. Devem existir muitos fatores que podem explicar esta variação, mas nosso modelo, que inclui somente a renda per capita, pode explicar 36,2% dela. No entanto, 63,8% da variação do consumo de água não pode ser explicada pela variação da renda per capita.

49 Ajuste Global do Modelo Análise de Variância Soma dos Quadrados do Modelo (SQM), Soma dos Quadrados dos Resíduos (SQR) e Soma dos Quadrados Total (SQT) Lembrando: SQT = SQM + SQR Razão F = Quadrado Médio do Modelo / Quadrado Médio do Resíduo Razão F = 2499,709 (É um número bem grande!!! O que isso significa?)

50 Ajuste Global do Modelo Análise de Variância Para estes dados, F é , que é significativo ao nível de p<0,001 (pois o valor na coluna Sig. é menor do que 0,001) Esse resultado nos informa que existe uma probabilidade menor do que 0,1% de que um valor F tão alto tenha ocorrido apenas por acaso. Ou seja, pode- se concluir que nosso modelo de regressão representa melhor o consumo de água do que se tivéssemos usado apenas o valor médio do consumo.

51 Parâmetros do Modelo A análise de variância apresentada na tabela ANOVA nos informa se o modelo, em geral, resulta em um grau de previsão significativamente bom dos valores da variável de saída (no caso, consumo de água). No entanto, a ANOVA não nos informa sobre a contribuição individual das variáveis no modelo (embora neste caso simples exista uma única variável X no modelo e, assim, podemos inferir que esta variável é um bom previsor.) Y = β 0 + β 1 X A tabela dos coeficientes fornece detalhes dos parâmetros do modelo (os valores beta) e da significância desses valores.

52 Parâmetros do Modelo Y = β 0 + β 1 X b 0 = intercepto y (ponto onde a linha corta o eixo y) à b 0 = 4,252 (Valor que Y assume quando X=0) b 1 = inclinação reta de regressão à Mudança da variável de saída (Y) para cada alteração de uma unidade no previsor (X) b 1 = 0,041 à Em média, um aumento de R$ 1 na renda per capita, está relacionado a um aumento de 0,041 m3/ano de consumo de água (41 litros/ano) Esta variável preditora (renda) está tendo impacto?

53 Parâmetros do Modelo Y = β 0 + β 1 X Esta variável preditora (renda) está tendo impacto? Para isso, b1 deve ser diferente de zero!!! O teste t nos informa se b1 difere de zero. Em Sig. temos a probabilidade de que o valor de t ocorra se o valor de b é zero. Se esta probabilidade é menor do 0,05 (5%) aceita- se que o resultado reflete um efeito genuíno, não é fruto do acaso. Como as probabilidades são próximas de 0,000 (zero até a terceira casa), podemos dizer que a esta probabilidade é menor do que 0,001 (p<0,001). Concluímos que a renda tem uma contribuição significativa (p<0,001) na explicação da variação do consumo de água.