Regressão Linear Multivariada

Transcrição

1 Regressão Linear Multivariada Prof. Dr. Leandro Balby Marinho Inteligência Artificial Prof. Leandro Balby Marinho / 37 UFCG DSC

2 Roteiro. Introdução 2. Modelo de Regressão Multivariada 3. Equações Normais 4. Regressão Polinomial 5. Regularização Prof. Leandro Balby Marinho 2 / 37 UFCG DSC

3 Dados Multivariados Qual o colesterol de um indivíduo de 37 anos pesando 70 Kg? Colesterol Idade Peso Ideia: Ajuste uma linha aos dados e use essa linha para predição. Prof. Leandro Balby Marinho 2 / 37 UFCG DSC

4 Dados Multivariados Qual o colesterol de um indivíduo de 37 anos pesando 70 Kg? Colesterol Idade Peso Ideia: Ajuste um hyperplano aos dados e use-o para predição. Prof. Leandro Balby Marinho 3 / 37 UFCG DSC

5 Notação Peso (X ) Idade (X 2 ) Colesterol (Y) Dados de treino. X := (X, X 2,..., X m )... Variáveis explicativas. ( ) x (i)... Vetor de entrada da forma x (i), x (i) 2,..., x m (i). x (i) j... valor da j-ésima variável no i-ésimo exemplo. (x (i), y (i) )... i-ésimo exemplo de treino (linha da tabela). Prof. Leandro Balby Marinho 4 / 37 UFCG DSC

6 Roteiro. Introdução 2. Modelo de Regressão Multivariada 3. Equações Normais 4. Regressão Polinomial 5. Regularização Prof. Leandro Balby Marinho 5 / 37 UFCG DSC

7 Regressão Multivariada e Vetor Resposta Na regressão simples uma variável: h(x) := Θ 0 + Θ x Prof. Leandro Balby Marinho 5 / 37 UFCG DSC

8 Regressão Multivariada e Vetor Resposta Na regressão simples uma variável: h(x) := Θ 0 + Θ x Na regressão multivariada muitas variáveis: h(x) := Θ 0 + Θ x + Θ 2 x Θ m x m Prof. Leandro Balby Marinho 5 / 37 UFCG DSC

9 Regressão Multivariada e Vetor Resposta Na regressão simples uma variável: h(x) := Θ 0 + Θ x Na regressão multivariada muitas variáveis: h(x) := Θ 0 + Θ x + Θ 2 x Θ m x m Por conveniência, usamos a constante x 0 = de forma que h(x) := Θ 0 x 0 + Θ x + Θ 2 x Θ m x m Prof. Leandro Balby Marinho 5 / 37 UFCG DSC

10 Representação Vetorial Podemos representar variáveis e parâmetros como vetores: x 0 Θ 0 x Θ x 2 R m+, Θ = Θ 2 R m+ x =. x m. Θ m E a hipótese como um produto escalar da forma: h(x) = Θ T x Prof. Leandro Balby Marinho 6 / 37 UFCG DSC

11 Matriz de Design x (0) x () x (2)... x (m) x (0) X = 2 x () 2 x (2) 2... x (m) , Y = x n (0) x n () x n (2)... x n (m) y () y (2). y (n) Prof. Leandro Balby Marinho 7 / 37 UFCG DSC

12 Gradiente Descendente A função de erro: err(h; D train ) := 2n n (h(x (i) ) y (i) ) 2 Prof. Leandro Balby Marinho 8 / 37 UFCG DSC

13 Gradiente Descendente A função de erro: err(h; D train ) := 2n n (h(x (i) ) y (i) ) 2 Derivadas parciais: Θ 0 err(h; D train ) := n Θ err(h; D train ) := n Θ 2 err(h; D train ) := n n n n ( h(x (i) ) y (i)) x (i) 0 ( h(x (i) ) y (i)) x (i) ( h(x (i) ) y (i)) x (i) 2. Prof. Leandro Balby Marinho 8 / 37 UFCG DSC

14 Gradiente Descendente para Regressão Multivariada GradientDescent(α, precision) initialize Θ 2 e new = err(h; D train ) 3 repeat 4 e old = e new 5 for i = 0 to m 6 tmp i = Θ i α Θ i err(h; D train ) 7 for i = 0 to m 8 Θ i = tmp i 9 e new = err(h; D train ) 0 until e new e old precision Prof. Leandro Balby Marinho 9 / 37 UFCG DSC

15 Roteiro. Introdução 2. Modelo de Regressão Multivariada 3. Equações Normais 4. Regressão Polinomial 5. Regularização Prof. Leandro Balby Marinho 0 / 37 UFCG DSC

16 Equações Normais Para achar as equações normais, precisamos igualar todas as derivadas parciais a 0 e resolver para Θ 0, Θ, Θ 2,...: Θ 0 err(h; D train ) = 0 Θ err(h; D train ) = 0 Θ 2 err(h; D train ) = 0. Prof. Leandro Balby Marinho 0 / 37 UFCG DSC

17 Equações Normais As equação normais são dadas por cap. 07.: X T XΘ = X T Y A equação acima pode ser representada por um sistema de equações lineares da forma: X} {{ T X} }{{} Θ A x Vários métodos de resolução: = X T Y } {{ } b Eliminação Gaussiana Fatoração de Cholesky Fatoração QR Um prova é dada em [Poole, 2009] Prof. Leandro Balby Marinho / 37 UFCG DSC

18 Exemplo Estime o valor para x = 3 e x 2 = 4 para os dados abaixo. x x 2 y Prof. Leandro Balby Marinho 2 / 37 UFCG DSC

19 y y Exemplo cont. Usando regressão simles: h(x ) = x h(x 2 ) = x dados modelo dados modelo x x h(3) = 3.25 h(4) =.57 Prof. Leandro Balby Marinho 3 / 37 UFCG DSC

20 Exemplo cont. Modelo regressão múltipla: h(x) = Θ 0 x 0 + Θ x + Θ 2 x 2 2 X = 2 3 4, Y = X T X = , X T Y = Prof. Leandro Balby Marinho 4 / 37 UFCG DSC

21 Exemplo cont. Estimando os parâmetros por Eliminação Gaussiana: Θ Prof. Leandro Balby Marinho 5 / 37 UFCG DSC

22 Exemplo cont. h(x = 3, x 2 = 4) = x.699x 2 =.24 y x2 x Prof. Leandro Balby Marinho 6 / 37 UFCG DSC

23 Gradiente Descendente vs. Equações Normais Gradiente Descendente Precisa escolher α. Pode precisar de muitas iterações. Relativamente eficiente para m grande. Equações Normais Não precisa escolher α. Não precisa iterar. Métodos de resolução de sistemas de equações lineare podem ser caros (e.g. fatoração de Cholesky O(m 3 )). Lento para m muito grande. Prof. Leandro Balby Marinho 7 / 37 UFCG DSC

24 Roteiro. Introdução 2. Modelo de Regressão Multivariada 3. Equações Normais 4. Regressão Polinomial 5. Regularização Prof. Leandro Balby Marinho 8 / 37 UFCG DSC

25 Relação Polinomial Em muitos casos o grafo de dispersão sugere uma relação não linear entre X e Y. y x Prof. Leandro Balby Marinho 8 / 37 UFCG DSC

26 Relação Polinomial Em muitos casos o grafo de dispersão sugere uma relação não linear entre X e Y. y x Prof. Leandro Balby Marinho 8 / 37 UFCG DSC

27 Regressão Polinomial A equação do modelo de k-ésimo grau é h(x) = Θ 0 + Θ x + Θ 2 x Θ k x k Erro no treino: err(h; D train ) := 2n n (Θ 0 + Θ x + Θ 2 x Θ k x k y) 2 Prof. Leandro Balby Marinho 9 / 37 UFCG DSC

28 Interpretação Probabiĺıstica A interpretação probabiĺıstistica do modelo é basicamente a mesma regressão linear: Y = Θ 0 + Θ x + Θ 2 x Θ k x k + ɛ E(Y X ) = h(x) E(ɛ X ) = E(ɛ) = 0 V (ɛ X ) = σ 2 Prof. Leandro Balby Marinho 20 / 37 UFCG DSC

29 Derivadas Parciais Derivadas parciais: Θ 0 err := n Θ err := n Θ 2 err := n. Θ k err := n (h(x) y) (x,y) D train (h(x) y) x (x,y) D train (h(x) y) x 2 (x,y) D train (x,y) D train (h(x) y) x k Prof. Leandro Balby Marinho 2 / 37 UFCG DSC

30 Equações Normais Igualando as derivadas parciais a zero, temos o seguinte sistema de equações lineares: Θ 0 s 0 + Θ s Θ m s m = t 0 Θ 0 s + Θ s Θ m s m+ = t Θ 0 s 2 + Θ s Θ m s m+2 = t 2. Θ 0 s m + Θ s m Θ m s 2m = t m onde s k = n xi k, t k = i= n y i xi k i= Prof. Leandro Balby Marinho 22 / 37 UFCG DSC

31 Estimativa de σ 2 A estimativa de σ 2 é dada por ˆσ 2 := n (k + ) (x,y) D train (h(x) y) 2 onde n (k + ) é o número de graus de liberdade associados à estimativa. Ou seja, como Θ 0, Θ,..., Θ k devem ser estimados primeiro, há uma perda de k + graus de liberdade. Prof. Leandro Balby Marinho 23 / 37 UFCG DSC

32 Coeficiente de Determinação Ajustado Nem sempre o aumento de complexidade é acompanhado de melhoria real do modelo. O coeficiente de determinação ajustado ( R 2 ) aumenta apenas se o novo termo melhora o modelo mais do que seria esperado de uma melhora ao acaso. R 2 n SQE = n (k + ) SQT = (n )R2 k n k Prof. Leandro Balby Marinho 24 / 37 UFCG DSC

33 Exemplo 2 Considere um modelo de regressão cúbico com R2 2 = 0, 66, um modelo de regressão quadrático com R3 2 = 0, 70 e uma amostra com n = 0. Então, ˆR 2 2 = 9(0, 66) = 0, 563 ˆR 2 3 = 9(0, 70) = 0, 550 Note que nesse caso o aumento de complexidade não compensa, já que não há aumento do R 2. Prof. Leandro Balby Marinho 25 / 37 UFCG DSC

34 Roteiro. Introdução 2. Modelo de Regressão Multivariada 3. Equações Normais 4. Regressão Polinomial 5. Regularização Prof. Leandro Balby Marinho 26 / 37 UFCG DSC

35 Overfitting Considere os dados abaixo gerados pela função sen(2πx) com ruído aleatório adicionado. t 0 0 x Normalmente, não sabemos o formato da função geradora, e então tentamos achar uma aproximação coerente. Prof. Leandro Balby Marinho 26 / 37 UFCG DSC

36 Escolha do Modelo Para M = grau do polinômio: M = 0 M = t t x 0 x M = 3 M = 9 t t x 0 x Prof. Leandro Balby Marinho 27 / 37 UFCG DSC

37 Overfitting Se tivermos muitos atributos (variáveis explicativas), a hipótese aprendida pode se ajustar muito bem aos dados de treino, mas falhar na generalização para novas observações. Prof. Leandro Balby Marinho 28 / 37 UFCG DSC

38 Erro no Treino vs. Erro no Teste Training Test ERMS M 6 9 Prof. Leandro Balby Marinho 29 / 37 UFCG DSC

39 Tamanho dos Parâmetros Na regressão linear, overfitting é caracterizado por grandes valores dos parâmetros: M = 0 M = M = 3 M = 9 Θ Θ Θ Θ Θ Θ Θ Θ Θ Θ Prof. Leandro Balby Marinho 30 / 37 UFCG DSC

40 Regularização Ideia: Encolher os valores dos parâmetros. Gera hipóteses mais simples. Menos suscetível a overfitting. Prof. Leandro Balby Marinho 3 / 37 UFCG DSC

41 Função de Erro A função de erro com regularização é dada por: [ n err(h; D train ) := m (h(x (i) ) y (i) ) 2 + λ 2n i= λ controla a importância relativa do termo de regularização. i= Por convenção, Θ 0 é omitido do termo de regularização. Θ 2 i ] Prof. Leandro Balby Marinho 32 / 37 UFCG DSC

42 Magnitude dos Parâmetros ln λ = ln λ = 8 ln λ = 0 Θ Θ Θ Θ Θ Θ Θ Θ Θ Θ Prof. Leandro Balby Marinho 33 / 37 UFCG DSC

43 Impacto da Regularização t ln λ = x Prof. Leandro Balby Marinho 34 / 37 UFCG DSC

44 Impacto da Regularização no Teste Training Test ERMS ln λ Prof. Leandro Balby Marinho 35 / 37 UFCG DSC

45 Exercício Derive um algoritmo baseado em gradiente descendente para regressão linear multivariada regularizada. Por conveniência, considere a função de erro como: err(h; D train ) := 2n [ n (h(x (i) ) y (i) ) 2 + λ 2 i= m i= Θ 2 i ] Prof. Leandro Balby Marinho 36 / 37 UFCG DSC

46 Referências Jay L. Devore. Probabilidade e Estatística para Engenharia e Ciências. Cengage Learning, Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, David Poole. Álgebra Linear. Cengage Learning, Lars Schmidt-Thieme. Notas de aula em aprendizagem de máquina. Disponível em: uni-hildesheim.de/lehre/ml-w/index_en.html Andrew Ng. Notas de aula em aprendizagem de máquina. Disponível em: Prof. Leandro Balby Marinho 37 / 37 UFCG DSC