Regressão Linear. Prof. Dr. Leandro Balby Marinho. Análise de Dados II. Introdução Regressão Linear Regressão Múltipla

Transcrição

1 Regressão Linear Prof. Dr. Leandro Balby Marinho Análise de Dados II Prof. Leandro Balby Marinho 1 / 36 UFCG DSC

2 Roteiro 1. Introdução 2. Regressão Linear 3. Regressão Múltipla Prof. Leandro Balby Marinho 2 / 36 UFCG DSC

3 Aprendizagem de Máquina Exemplo: Predição de Salário Anos de Escolaridade Salário Anual Dado que eu tenho x anos de escolaridade, qual será meu salário? Prof. Leandro Balby Marinho 2 / 36 UFCG DSC

4 Componentes da Aprendizagem Entrada: x (Anos de Educação) Saída: y (salário) Função alvo: f : X Y (função ideal de predição de salário) Dados de Treino: D train := {(x 1, y 1 ),..., (x N, y N )} (registros históricos) Hipótese: g : X Y Prof. Leandro Balby Marinho 3 / 36 UFCG DSC

5 Componentes da Aprendizagem [Yaser, 2012] Prof. Leandro Balby Marinho 4 / 36 UFCG DSC

6 Anos de Educação vs. Salário Income Income Years of Education Years of Education Y = f (X ) + ɛ: ɛ é o erro que não depende de X e tem média 0. Prof. Leandro Balby Marinho 5 / 36 UFCG DSC

7 Predição e Inferência Na predição queremos predizer Ŷ = ˆf (X ), onde ˆf é um estimador para f e Ŷ as predições resultantes. A acurácia de Ŷ depende de duas quantidades: erro redutível e irredutível. Erro redutível: decorrente de ˆf, pode ser melhorado. Erro irredutível: associado a ɛ e independente de X. Na inferência queremos investigar a relação entre X e Y : Que preditores estão relacionados com a variável resposta? Qual a relação entre eles? Essa relação pode ser sumarizada usando uma equação linear? Prof. Leandro Balby Marinho 6 / 36 UFCG DSC

8 Mensurando a qualidade do modelo Dado um conjunto de treino D train, uma função de perda/custo l : Y Y R que calcula quão ruim é ŷ se o valor real é y, queremos encontrar ˆf tal que para um conjunto de teste D test (desconhecido durante o treino), o erro no teste seja mínimo. err(ˆf ; D test ) := 1 D test (x,y) D test l(ˆf (x), y) Quando l := (ˆf (x) y) 2 denominamos o erro de Mean Squared Error (MSE). Prof. Leandro Balby Marinho 7 / 36 UFCG DSC

9 Erro no Treino vs. Erro no Teste Um baixo erro no treino nem sempre é uma boa estimativa para o erro no testo. Y Mean Squared Error X Flexibility Prof. Leandro Balby Marinho 8 / 36 UFCG DSC

10 Erro no Treino vs. Erro no Teste Um baixo erro no treino nem sempre é uma boa estimativa para o erro no testo. Y Mean Squared Error X Flexibility Prof. Leandro Balby Marinho 8 / 36 UFCG DSC

11 Erro no Treino vs. Erro no Teste Um baixo erro no treino nem sempre é uma boa estimativa para o erro no testo. Y Mean Squared Error X Flexibility Prof. Leandro Balby Marinho 8 / 36 UFCG DSC

12 O Trade-O Bias-Variância Variância se refere à quantidade de mudança em ˆf caso ele fosse estimado em um conjunto de treino diferente. Bias se refere ao erro associado ao grau de simplicação do modelo em relação ao problema que pode ser muito mais complexo. Para um dado x 0 o MSE pode ser decomposto em três quantidades: ( E y 0 ˆf ) 2 ) (x 0 ) = Var (ˆf (x0 ) } {{ } } {{ } MSE Variância [ + )] 2 Bias (ˆf (x0 ) } {{ } Bias + Var(ɛ) }{{} Erro irredutível Prof. Leandro Balby Marinho 9 / 36 UFCG DSC

13 O Trade-O Bias-Variância MSE Bias Var Flexibility Flexibility Flexibility Prof. Leandro Balby Marinho 10 / 36 UFCG DSC

14 Roteiro 1. Introdução 2. Regressão Linear 3. Regressão Múltipla Prof. Leandro Balby Marinho 11 / 36 UFCG DSC

15 Vendas vs. Propaganda Há uma relação entre investimento em propaganda e vendas? Se sim, quão forte? Essa relação é linear? Que tipo de propaganda mais contribui para as vendas? Podemos predizer vendas com alta precisão? TV vendas Prof. Leandro Balby Marinho 11 / 36 UFCG DSC

16 Vendas vs. Propaganda Há uma relação entre investimento em propaganda e vendas? Se sim, quão forte? Essa relação é linear? Que tipo de propaganda mais contribui para as vendas? Podemos predizer vendas com alta precisão? TV vendas Prof. Leandro Balby Marinho 11 / 36 UFCG DSC

17 Regressão Linear Simples Na regressão linear, asume-se que a relação entre a variável de entrada e saída é linear, ou seja. Y β 0 + β 1 X onde β 0 e β 1 são chamados de parâmetros (ou coecientes) do modelo. Para que servem os parâmetros? Prof. Leandro Balby Marinho 12 / 36 UFCG DSC

18 y y Parâmetros do Modelo β 0... β 1... Coeciente linear Coeciente angular y x x x β 0 = 0, β 1 = 1.5 β 0 = 0.5, β 1 = 0 β 0 = 0.5, β 1 = 1.5 Prof. Leandro Balby Marinho 13 / 36 UFCG DSC

19 Regressão como um Problema de Otimização Sales TV Ideia: Escolha β 0, β 1 tal que ˆf (x) y nos dados de treino. Especicamente, escolha β 0, β 1 tal que o erro no treino (ˆf (x) y ) 2 err(ˆf ; D train ) := 1 n (x,y) D train seja mínimo (aka Residual Sum of Squares (RSS)). Esse método também é chamado de mínimios quadrados ou Ordinary Least Squares (OLS) Prof. Leandro Balby Marinho 14 / 36 UFCG DSC

20 Forma da Função de Erro RSS β 1 β 0 Prof. Leandro Balby Marinho 15 / 36 UFCG DSC

21 Estimativa dos Coecientes Podemos achar os parâmetros ótimos de forma fechada, igualando suas derivadas a 0. ˆβ 0 = ȳ ˆβ 1 x ˆβ 1 = n i=1 (x i x)(y i ȳ) n i=1 (x i x) 2 Também chamadas de equações normais. Prof. Leandro Balby Marinho 16 / 36 UFCG DSC

22 Algoritmo Regressão Simples RegSimples(D train ) 1 tmp x = 0 2 tmp y = 0 3 for i = 1 to n 4 tmp x = tmp x + x i 5 tmp y = tmp y + y i 6 x = tmp x /n 7 ȳ = tmp y /n 8 a = 0 9 b = 0 10 for i = 1 to n 11 a = a + (x i x)(y i ȳ i ) 12 b = b + (x i x) 2 13 β 1 = a/b 14 β 0 = ȳ β 1 x 15 return (β 0, β 1 ) Prof. Leandro Balby Marinho 17 / 36 UFCG DSC

23 Acurácia dos Coecientes Estimados Quando ˆβ 0 e ˆβ 1 são estimados através de um conjunto de dados apenas, eles podem diferir de β 0 e β 1. Se calcularmos ˆβ 0 e ˆβ 1 sob um grande número de conjuntos de dados, então a média delas seria muito próxima a β 0 e β 1. Y Y X X Prof. Leandro Balby Marinho 18 / 36 UFCG DSC

24 Acurácia dos Coecientes Estimados Alguns dos conceitos que ajudam a diagnosticar os coecientes estimados são: Desvio Padrão: Estima a diferença entre ˆβ 1 e β 1. t-statistic: Número de desvios padrão de β 1 em relação a 0. p-valor: Probabilidade da relação entre X e Y existir por chance. Coeciente Std. Error t-statistic p-valor β 0 7,0325 0, ,36 < 0, 0001 TV 0,0475 0, ,67 < 0, 0001 Sumário da regressão para vendas vs. propaganda em tv. Prof. Leandro Balby Marinho 19 / 36 UFCG DSC

25 Desvio Padrão dos Resíduos O desvio padrão dos resíduos (RSE) determina a variabilidade inerente ao modelo de regressão. Preco Peso do Cerebro Tamanho Peso do Corpo Qual conjunto de dados tem maior variabilidade em relação ao modelo? Prof. Leandro Balby Marinho 20 / 36 UFCG DSC

26 Desvio Padrão dos Resíduos A estimativa do RSE é dada por 1 n 2 (x,y) D train (ˆf (x) y) 2 onde n 2 é o número de graus de liberdade associados à estimativa. Ou seja, como β 0, β 1 devem ser estimados primeiro, há uma perda de dois graus de liberdade. Prof. Leandro Balby Marinho 21 / 36 UFCG DSC

27 Impacto da Unidade de Medida no RSE A escala de valores Y inuencia na magnitude da variância. Peso σ 2 = Preco σ 2 = Idade Tamanho Qual conjunto de dados é melhor explicado pelo modelo? Prof. Leandro Balby Marinho 22 / 36 UFCG DSC

28 Soma Total de Variação n Lembre que a soma total dos resíduos RSS = (y i ŷ i ) 2. A variação de Y antes da regressão é dada por: TSS = (y ȳ) 2 (x,y) D train Normalmente RSS < TSS. i=1 Prof. Leandro Balby Marinho 23 / 36 UFCG DSC

29 RSS vs. TSS A razão RSS/TSS é a proporção da variação total inexplicada pelo modelo. Prof. Leandro Balby Marinho 24 / 36 UFCG DSC

30 Coeciente de Determinação O coeciente de determinação, representado por R 2, é dado por R 2 = 1 RSS TSS e denota a proporção da variação de Y nos dados de treino que pode ser explicada pelo modelo. Quanto mais próximos a 1 forem os valores de R 2, mais o modelo consegue explicar a variação em Y. Prof. Leandro Balby Marinho 25 / 36 UFCG DSC

31 Correlação X e Y tem uma relação positiva se valores grandes de X estiverem pareados com valores grandes de Y, negativa se valores grandes de X estiverem pareados com valores pequenos de Y. Prof. Leandro Balby Marinho 26 / 36 UFCG DSC

32 Coeciente de Correlação Amostral O coeciente de correlação amostral entre os valores de X e Y é dado por: r = n i=1 (x i x)(y i ȳ) n i=1 (x i x) 2 n i=1 (y i ȳ) 2 r = 1 ou r = 1, se e somente se, todos os pontos estiverem na reta com coeciente angular positivo ou negativo resp. O quadrado do coeciente amostral fornece o coeciente de determinação. Prof. Leandro Balby Marinho 27 / 36 UFCG DSC

33 Acurácia da Regressão Sales TV Considerando o exemplo das vendas vs propaganda em TV, nós temos: Métrica Valor RSE 3,26 R 2 0,612 Prof. Leandro Balby Marinho 28 / 36 UFCG DSC

34 Roteiro 1. Introdução 2. Regressão Linear 3. Regressão Múltipla Prof. Leandro Balby Marinho 29 / 36 UFCG DSC

35 Regressão Múltipla Como usar as outras variáveis disponíveis no modelo de regressão? Sales Sales Sales TV Radio Newspaper Prof. Leandro Balby Marinho 29 / 36 UFCG DSC

36 Regressão Múltipla Como usar as outras variáveis disponíveis no modelo de regressão? Coeciente Std. Error t-statistic p-valor β 0 9,312 0,536 16,54 < 0, 0001 radio 0,203 0,020 9,92 < 0, 0001 Sumário da regressão para vendas vs. propaganda em radio. Coeciente Std. Error t-statistic p-valor β 0 12,351 0,621 19,88 < 0, 0001 jornal 0,055 0,017 3,30 < 0, 0001 Sumário da regressão para vendas vs. propaganda em radio. Prof. Leandro Balby Marinho 30 / 36 UFCG DSC

37 Regressão Múltipla Adicionando um coeciente a cada variável: Y = β 0 + β 1 X 1 + β 2 X β p X p + ɛ Uma vez os parâmetros estimados, fazemos predição com: ŷ = ˆβ 0 + ˆβ 1 x 1 + ˆβ 2 x ˆβ p x p Assim como na regressão simples, os parâmetros são estimados minimizando-se o RSS (via OLS). Prof. Leandro Balby Marinho 31 / 36 UFCG DSC

38 Modelo de Regressão é um Hiperplano Y X 2 X 1 Prof. Leandro Balby Marinho 32 / 36 UFCG DSC

39 Regressão Múltipla para Vendas vs Propaganda Coeciente Std. Error t-statistic p-valor β 0 2,939 0,3119 9,42 < 0, 0001 TV 0,046 0, ,81 < 0, 0001 radio 0,189 0, ,89 < 0, 0001 jornal -0,001 0,0059-0,18 0,8599 Por que jornal parece não estar relacionado com vendas na regressão múltipla, mas está na simples? Prof. Leandro Balby Marinho 33 / 36 UFCG DSC

40 Matriz de Correlação TV radio jornal vendas TV 1,000 0,0548 0,0567 0,7822 radio 1,000 0,3541 0,5762 jornal 1,000 0,2283 vendas 1,000 Como jornal está correlacionado com radio, ele ganha crédito pelo efeito de radio nas vendas. Prof. Leandro Balby Marinho 34 / 36 UFCG DSC

41 F-statistic Pelo menos um dos preditores X 1, X 2,..., X p é útil em predizer a variável alvo? A estatística F responde essa pergunta. Normalmente valores maiores que 1 indica que sim. Valores próximos a 1 são mais precisos quanto maior for n. O p-valor nesse caso indica a probabilidade de nenhum predito estar associado à variável alvo. Métrica Valor RSE 1,69 R 2 0,897 F-statistic 570 Diagnóstico do modelo para vendas vs propaganda. Prof. Leandro Balby Marinho 35 / 36 UFCG DSC

42 Referências Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani. An Introduction to Statistical Learning with Applications in R. Springer, Yaser S. Abu-Mostafa, Malik Magdon-Ismail. Learning from Data. AMLBook, Prof. Leandro Balby Marinho 36 / 36 UFCG DSC