Regressão linear simples

Transcrição

1 Regressão linear simples Universidade Estadual de Santa Cruz Ivan Bezerra Allaman

2 Introdução Foi visto na aula anterior que o coeficiente de correlação de Pearson é utilizado para mensurar o grau de associação entre duas variáveis quantitativas. E se o nosso interesse for ir além disso, ou seja, se estivermos interessados em saber o quanto o aumento no número de horas de treinamento de um empregado irá reduzir o número de acidentes daquele empregado? Ou ainda, o aumento em uma hora de sono irá aumentar em quanto o tempo de reação de uma pessoa? E se estivéssimos interessados em prever o tempo de reação de uma pessoa para uma determinada quantidade de horas de sono. Como fazer? Para responder a estas perguntas utilizaremos a análise de regressão linear simples. 2/42

3 Objetivo Estudar a relação funcional entre duas variáveis quantitativas. Estabelecer um modelo para entender a relação funcional entre as variáveis. Fazer predições como o modelo ajustado principalmente para valores que não foram observados na amostra. 3/42

4 O modelo O modelo matemático que estabele a relação funcional entre duas variáveis é definido como: y = β 0 + β 1 x + ε em que: y= é a variável dependente β 0 = é o coeficiente linear ou intercepto da reta de regressão β 1 = é o coeficiente angular ou inclinação (declive) da reta de regressão x= é a variável independente ε= é o erro aleatório referente a variabilidade em y quem não pode ser explicada pela variável x. 4/42

5 Possíveis retas de regressão linear simples 5/42

6 Entendendo o comportamento de β 0 e β 1 Ver simulação! 6/42

7 Ajuste da regressão Agora que já entendemos como funciona os parâmetros de uma regressão, chegou a hora de ajustarmos um modelo de regressão aos dados provenientes de uma amostra. Observemos a seguinte situação - - Suponhamos que o dono de uma rede de restaurantes esteja interessado em saber a relação entre a quantidade de estudantes que almoçam em seus restaurantes com o lucro obtido trimestralmente. Uma amostra de dez restaurantes foi coletado e os dados podem ser visualizados a seguir: 7/42

8 restaurante estudantes vendas_trimestrais O primeiro passo é verificarmos qual variável é causa e qual é efeito, ou seja, quem é a variável independente (x) e quem é a variável dependente (y). 8/42

9 Logo, a variável estudante será considerada independente e vendas a variável dependente. O segundo passo, é elaborarmos um diagrama de dispersão para detectarmos o tipo de relação existente entre as variáveis. 9/42

10 Agora vem a grande pergunta. Como podemos ajustar uma regressão que explique o máximo de variabilidade possível dos dados e com um mínimo de erro? 10/42

11 Método dos mínimos quadrados A idéia é encontrar valores de b e a que faça com que a reta de regressão passe na menor distância possível entre os pontos observados, minimizando o máximo possível o erro e fazendo com que o modelo explique o máximo possível a variabilidade dos dados. As letras a e b são os estimadores dos parâmetros β 0 e β 1 respectivamente. Primeiramente vamos demonstrar o método de maneira interativa, ou seja, vamos tentar encontrar valores de b e a que minimiza a soma de quadrados do erro. Ver simulação! 11/42

12 Matematicamente o que queremos é minimizar a seguinte quantidade: ε 2 = (y β 0 β 1 x) 2 Qual é o mínimo que desejamos para ε 2? - Obviamente que a resposta é zero. Então basta substituirmos ε 2 relação a β 0 e β 1. por zero, e derivarmos a expressão em 12/42

13 Portanto, tem-se as seguintes equações para determinar os valores de a e b: a = ȳ bx e b xy = x y n x 2 ( x) 2 n 13/42

14 Aplicação 1. Os dados a seguir foram coletados para determinar a relação entre a pressão e a escala de leitura para uma determinada proposta de calibração. pressao leitura /42

15 a. Encontre a equação de regressão. Por partes temos: 10 i=1 x i = 300 = 1300 Logo, a equação de regressão ajustada é: y^ 10 i=1 10 x i j=1 = x y j 10 i=1 10 x 2 i = x i y j = ȳ i=1 10 j=1 = 52.6 x = b = = a = = /42

16 Interpretando a equação de regressão Muitos pesquisadores utilizam a regressão linear simples, mas não sabem o que fazer com ela. Com a nossa equação ajustada, podemos tirar as seguintes conclusões: - O aumento em uma unidade na variável x, provoca o aumento em 1.81 unidades a variável y. O que isso quer dizer na prática? - O aumento em uma libra/sq da pressão, aumenta em média em 1.81 a escala de leitura. Uma outra utilidade da equação de regressão, é podermos estimar y para pontos em x que não foram observados. 16/42

17 Aplicação 2. A quantidade de um composto químico y que dissolveu em 100 gramas de água em várias temperaturas foram as seguintes: temp composto temp composto /42

18 a. Encontre a equação de regressão e estime a quantidade de composto químico dissolvido em 100 gramas de água quando a temperatura for de 20 C. A equação de regressão estimada foi: y^ = x. Logo, a quantidade de composto químico estimada para uma temperatura de 20 C é: y^ = = 17.18g. 18/42

19 Coeficiente de determinação ( ) r 2 E se perguntássemos qual foi a qualidade do ajuste pelo modelo de regressão? É possível determinarmos o quanto a equação ajustada explica a variabilidade dos dados? Sim! O coeficiente de determinação representado pela letra r 2 minúsculo responde as perguntas anteriores. Em alguns livros ainda terá a notação R 2, mas já está ultrapassada, sendo este último utilizado para outros tipos de regressão. Logo, o coeficiente de determinação é calculado da seguinte forma: r 2 = 1 SQerro SQtotal 19/42

20 As quantidades SQerro e SQtotal são a soma de quadrados do erro e soma de quadrados total respectivamente. A SQerro é calculada como: SQerro = (y y^) 2 ou seja, é a soma dos desvios ao quadrado do que foi observado na amostra menos o que foi estimado pela equação de regressão. A SQtotal é calculada como: SQtotal = ( y) 2 y 2 n 20/42

21 Aplicação 3. Considerando a aplicação 2, calcule o coeficiente de determinação. Vamos calcular o y^ para os mesmos valores da variável independente com a equação de regressão estimada. Tem-se: y^0 = = = = y^15 = = y^30 = = y^45 = = y^60 = = y^75 Logo, a soma de quadrados do erro (SQerro) é: 21/42

22 y y^ y y^ y ȳ ( y y^) 2 (y ȳ) SQerro SQtotal /42

23 Portanto, o coeficiente de determinação é: r 2 SQerro = 1 = 1 = SQtotal Logo, podemos afirmar que a equação estimada explica em 97,29% a variabilidade dos dados. 23/42

24 Inferência para β 1

25 Pressupostos do modelo Para realizarmos inferência a cerca dos parâmetros da regressão, algumas suposições se faz necessário sobre o termo ε do modelo de regressão. Estas suposições são: - Os erros devem ser normalmente distribuídos com média 0 e variância igual para todo x; - Os erros são independentes, ou seja, o valor de ε para um valor particular de x, não está relacionado ao valor de ε para qualquer outro valor de x; Veremos adiante como checar estes pressupostos. 25/42

26 Teste de hipótese Iremos abordar a parte inferencial apenas para β 1, pois é ele que determina a relação funcional entre as variáveis x e y. Uma vez que a equação de regressão foi ajustada a partir de uma amostra, poderíamos nos perguntar se de fato a relação entre x e y não ocorreu por mero acaso. Repare que se β 1 for igual a zero, o valor médio de y não dependente de x e, portanto, concluiríamos que x e y não estão linearmente relacionados. Logo, o seguinte teste de hipótese se faz necessário: { : = 0 H 0 β 1 : 0 H a β 1 26/42

27 Precisamos agora estimar a variância do erro. s 2 erro SQerro = n 2 E portanto, o erro padrão residual (do erro) é = O desvio padrão de b é calculado como: s erro s 2 erro s b = s erro x 2 ( x) 2 n Logo, tem-se a seguinte estatística de teste: t = b s b t em que tem distribuição t de student com n-2 graus de liberdade. 27/42

28 Aplicação 4. Considerando ainda a aplicação 2, teste a hipótese de que β 1 0 considerando um α = Segue os cálculos. s b s 2 erro s erro SQerro = = = n = = = s erro s 2 erro = = = x 2 ( x) n t = = p valor = Logo, como o p-valor é menor que α podemos afirmar com 99% de confiabilidade que o β1 é diferente de zero /42

29 Análise de resíduos Na verdade, após ajustarmos um modelo de regressão o primeiro passo é analisarmos se o modelo é válido ou não, ou seja, se os pressupostos citados anteriormente estão sendo satisfeitos. Isto é necessário para que as inferências feitas a cerca dos parâmetros sejam válidas. Primeiro vamos avaliar se os resíduos são normalmente distribuídos. Iremos utilizar o gráfico quantil-quantil que é mais fácil de verificarmos quando uma reta se ajusta aos pontos do que se uma curva se ajusta a um histograma, principalmente com pequenas amostras. 29/42

30 Para elaborarmos o gráfico devemos seguir os seguintes passos: - - Ordenar a variável Determinar as probabilidades teóricas de acordo com a seguinte expressão: i 0.5 n em que i é a posição da variável e n é o tamanho da amostra - - Determinar os quantis teóricos. No nosso caso iremos usar a função qnorm. Fazer um gráfico de dispersão do par ordenado (variável ordenada,quantil teórico). 30/42

31 - Fazer uma reta de referência para compararmos e julgarmos se a variável tem distribuição normal ou não. - - Já sabemos que uma reta é composta por uma função do primeiro grau e portanto precisamos encontrar a e b. Como é uma reta empírica, o coeficiente b (inclinação da reta) é determinado como: b = 3ºquarti l dados 1ºquartil dados 3ºquarti l teórico 1ºquarti l teórico a = 1ºquartil dados b (1ºquarti l teórico ) - Então a linha é elaborada como: y = a + b quantil teórico 31/42

32 Para avaliar se a variância é constante, ou seja, a mesma para cada x usaremos um gráfico no qual no eixo y será colocado os erros e no eixo a variável independente (estudantes no caso). x 32/42

33 Aplicação 5. Avalie a validade da regressão ajustada na aplicação 2. Precisamos verificar se os erros são normalmente distribuídos e se a variância é constante. Vamos avaliar primeiro a normalidade dos erros. Os erros já foram calculados na aplicação 3 e portanto vamos pular esta etapa. Determinando as probabilidades, os quantils teóricos e a linha de referência temos os seguintes valores: 33/42

34 erro prob. teórica quantil teórico linha referência /42

35 Segue então o gráfico de dispersão do erro (quantis amostrais) em função do quantis teóricos. Podemos observar que os pontos se ajustam bem a reta e portanto podemos inferir que os erros são normalmente distribuídos. 35/42

36 Para avaliar se a variância é constante, ou seja, a mesma para cada x usaremos um gráfico no qual no eixo y será colocado os erros e no eixo x a variável independente (temperatura). Segundo o gráfico não há nenhuma tendência nos resíduos, o que indica variância constante. 36/42

37 Nos gráficos a seguir, seguem exemplos de resíduos que violam o pressuposto de variância constante. 37/42

38 Intervalo de Confiança do Valor Médio de y Quando utilizamos a equação de regressão para estimarmos y em função de x, estamos fazendo uma estimação pontual. No entanto, qual seria a margem de erro associado a esta estimação pontual? Para repondermos a esta pergunta, precisamos determinar a variância associado ao y estimado no ponto x desejado. 38/42

39 s 2 y^ s 2 erro 1 = [ + ] n ( x e x ) 2 ( x i x ) 2 em que: s 2 erro é a variância do erro, ou seja, é a soma de quadrados do erro dividido por n - 2. x e é o valor no qual se quer predizer y. x x i é a média da variável independente. são os valores observados da variável independente. 39/42

40 Portanto, a margem de erro associada a um valor estimado é determinada como: ME = t (α/2,n 2) s 2 y^ 40/42

41 Aplicação 6. Aproveitando os dados da aplicação 2, determine um intervalo de confiança de 95% para y^ quando a temperatura for de 30 C. Na aplicação 3 já foi determinado o valor estimado de y em todas as temperaturas. Para a temperatura igual a 30, o valor estimado é de Vamos determinar a variância do valor estimado. s 2 y^ 1 = [ + ] s 2 y^ 18 = ( ) /42

42 Logo, a margem de erro é: ME = ME = Portanto o intervalo de confiança de 95% para o valor médio quando a temperatura for de 30 C é ( ; ) = (21.554; ). 42/42