Roteiro. PCC142 / BCC444 - Mineração de Dados Regressão. Modelos de Regressão. Introdução

Transcrição

1 Roteiro PCC142 / BCC444 - Mineração de Dados Regressão Introdução Luiz Henrique de Campos Merschmann Departamento de Computação Universidade Federal de Ouro Preto luizhenrique@iceb.ufop.br Considerações Finais Introdução Modelos de Regressão A regressão é considerada uma tarefa preditiva. Seu objetivo é prever um valor numérico desconhecido a partir de alguns atributos conhecidos. Exemplo: a partir de um banco de dados de imóveis, podemos prever o valor do aluguel de um novo imóvel. Modelos de regressão modelam o relacionamento entre diversas variáveis preditoras e uma variável resposta. Este relacionamento pode ser modelado por uma função linear ou não linear. Regressão linear simples. Regressão múltipla. Regressão não linear.

2 É a forma mais simples de regressão. Constitui uma tentativa de estabelecer uma equação matemática linear (reta) que descreva o relacionamento entre duas variáveis (x e y). y = a + bx + e onde: y = variável resposta. x = variável preditora. a = constante. b = coeciente da variável x. e = erro (representa a variação de y que não é explicada pelo modelo). Como obter os valores dos coecientes a e b da reta de regressão? Método dos mínimos quadrados. Método dos mínimos quadrados: o objetivo é encontrar os coecientes a e b da reta de regressão que minimizem a soma dos quadrados dos desvios (erros). Temos uma base de dados com n valores observados de y e de x. Ao estimar o modelo usando a base de dados, estamos estimando, na verdade: yi = a + bxi + ei onde i indica cada uma das n observações da base de dados e e corresponde ao erro. O método dos mínimos quadrados minimiza a soma dos erros ao quadrado, ou seja, minimiza (ei)2. Idéia: ao minimizarmos (ei)2, encontraremos a e b que proporcionarão a menor diferença entre o y observado e o y previsto. Substituindo ei por yi a bxi, temos: S(a, b) = (ei) 2 = (yi a bxi) 2

3 A minimização se dá ao derivar S(a, b) em relação a a e b e igualar a zero: a = 2 (yi a bxi) = 0 (1) b = 2 xi(yi a bxi) = 0 (2) Distribuindo e dividindo a Equação 1 por, temos: 2 yi yi + n + 2 n a + 2 bxi a n n y + a + bx = 0 + bxi = 0 = 0 a = y bx (3) onde y é a média amostral de y e x é a média amostral de x. Substituindo a Equação 3 na Equação 2, temos: 2 xi(yi y + bx bxi) = 0 [xi(yi y) + bxi(x xi)] = 0 xi(yi y) + b xi(x xi) = 0 xi(yi y) b = xi(xi x) (4) Portanto: a = y bx e b = xi(yi y) n xi(xi x)

4 Exemplo: Na tabela a seguir X corresponde ao número de anos de experiência de um engenheiro e Y corresponde ao seu salário. X Y Anos de experiência Salário (em R$1000) O gráco dos dados da tabela anterior sugere um relacionamento linear entre as variáveis X e Y. Exemplo: Adotando o modelo de regressão linear simples, temos: y = a + bx A partir dos dados da tabela anterior, calculamos x = 9, 1 e y = 55, 4. Calculando os coecientes: b = 3(30 55,4)+8(57 55,4)+9(64 55,4)+13(72 55,4)+3(36 55,4)+6(43 55,4) 3(3 9,1)+8(8 9,1)+9(9 9,1)+13(13 9,1)+3(3 9,1)+6(6 9,1) +11(59 55,4)+21(90 55,4)+1(20 55,4)+16(83 55,4) +11(11 9,1)+21(21 9,1)+1(1 9,1)+16(16 9,1) = 3, 54. a = y bx = 55, 4 (3, 54).(9, 1) = 23, 19. Portanto: y = 23, , 54x Utilizando esta equação, podemos predizer que o salário de um engenheiro com 10 anos de experiência é R$58.590, 00 É uma extensão da regressão linear envolvendo mais do que uma variável preditora. Portanto, temos diversas variáveis preditoras x inuenciando y ao mesmo tempo: y = b0 + b1x1 + b2x bkxk + e O método dos mínimos quadrados também pode ser utilizado para encontrarmos b0, b1,..., bk. Considerando uma base de dados com k variáveis preditoras e n instâncias, o modelo pode ser escrito da seguinte forma: 1 x11 x21... xk1 e1 y1 y2 1 x12 x22... xk2 b0 y3... = 1 x13 x23... b1 e2 xk3 1 x14 x24... b2 xk e3 e4... yn bk 1 x1n x... xkn en onde xji representa o valor da j-ésima variável da i-ésima instância. Ou em notação matricial: y = Xb + e

5 A solução é alcançada por meio da minimização da soma do quadrado dos erros (ei)2, que pode ser reescrito em notação matricial como e T e. Como y = Xb + e, podemos substituir e por y Xb. Então: S(b) = e T e = (y Xb) T (y Xb) A minimização se dá ao derivar S(b) em relação à b e igualar a zero. b = 2XT y + 2X T Xb = 0 Resolvendo a equação anterior, temos: Considerações Finais Nem todas as situações são bem aproximadas por uma equação linear. Quando os dados não podem ser aproximados por um modelo linear, as alternativas são procurar um modelo não-linear conveniente, ou transformar os dados para a forma linear. b = (X T X) 1 X T y Perguntas?