Regressão Logística. Prof. Dr. Leandro Balby Marinho. Inteligência Artificial. Introdução Hipótese Estimativa de Parâmetros Classificação Multiclasse

Tamanho: px

Começar a partir da página:

Download "Regressão Logística. Prof. Dr. Leandro Balby Marinho. Inteligência Artificial. Introdução Hipótese Estimativa de Parâmetros Classificação Multiclasse"

Wagner de Mendonça Lencastre
8 Há anos
Visualizações:

1 Regressão Logística Prof. Dr. Leandro Balby Marinho Inteligência Artificial Prof. Leandro Balby Marinho 1 / 19 UFCG DSC

2 Roteiro 1. Introdução 2. Representação da Hipótese 3. Estimativa de Parâmetros 4. Classificação Multiclasse Prof. Leandro Balby Marinho 2 / 19 UFCG DSC

3 Classificação Classificação Binária: y {0, 1} Tweet: Positivo/Negativo. Spam/Não Spam. Empréstimo em Banco: Aprovado/Não aprovado. Tumor: Maligno/Benigno. Classificação Multiclasse: y {0, 1, 2, 3,...} Detecção de dígitos manuscritos: {0, 1, 2,..., 9}. Categorização de Páginas Web: {poĺıtica, esporte,...}. Prof. Leandro Balby Marinho 2 / 19 UFCG DSC

Classificação Multiclasse: y {0, 1, 2, 3,...} Detecção de dígitos manuscritos: {0, 1, 2,.

4 Exemplo 1 Dado o tamanho de um tumor, classificá-lo como maligno ou benigno. Prof. Leandro Balby Marinho 3 / 19 UFCG DSC

5 Regressão Linear para Classificação Ideia: Ajusde uma linha aos dados e use um limiar de classificação. ŷ := { 1, h(x) > 0.5 0, h(x) < 0.5 Prof. Leandro Balby Marinho 4 / 19 UFCG DSC

6 Roteiro 1. Introdução 2. Representação da Hipótese 3. Estimativa de Parâmetros 4. Classificação Multiclasse Prof. Leandro Balby Marinho 5 / 19 UFCG DSC

7 Representação da Hipótese Na classificação binária y = 0 ou y = 1. Prof. Leandro Balby Marinho 5 / 19 UFCG DSC

8 Representação da Hipótese Na classificação binária y = 0 ou y = 1. Na regressão linear h(x) pode ser > 1 ou < 0. Prof. Leandro Balby Marinho 5 / 19 UFCG DSC

9 Representação da Hipótese Na classificação binária y = 0 ou y = 1. Na regressão linear h(x) pode ser > 1 ou < 0. Na regressão logística queremos 0 h(x) 1. Prof. Leandro Balby Marinho 5 / 19 UFCG DSC

10 Representação da Hipótese Na classificação binária y = 0 ou y = 1. Na regressão linear h(x) pode ser > 1 ou < 0. Na regressão logística queremos 0 h(x) 1. Hipótese regressão linear: h(x) = Θ T x Prof. Leandro Balby Marinho 5 / 19 UFCG DSC

11 Representação da Hipótese Na classificação binária y = 0 ou y = 1. Na regressão linear h(x) pode ser > 1 ou < 0. Na regressão logística queremos 0 h(x) 1. Hipótese regressão linear: Na regressão logística: onde s(z) = h(x) = Θ T x h(x) = s(θ T x) 1 é a função sigmóide. 1 + e z Prof. Leandro Balby Marinho 5 / 19 UFCG DSC

12 Função Sigmóide lim s(z) = 0, lim z s(z) = 1 z Prof. Leandro Balby Marinho 6 / 19 UFCG DSC

13 Interpretação Probabiĺıstica Y é uma variável aleatória para um valor fixo de X = x. Portanto: Y X = x Bernoulli(p) 1 1 p = p(y = 1 X = x) Prof. Leandro Balby Marinho 7 / 19 UFCG DSC

14 Interpretação Probabiĺıstica Y é uma variável aleatória para um valor fixo de X = x. Portanto: Y X = x Bernoulli(p) 1 E(Y X = x) = p 1 p = p(y = 1 X = x) Prof. Leandro Balby Marinho 7 / 19 UFCG DSC

15 Interpretação Probabiĺıstica Y é uma variável aleatória para um valor fixo de X = x. Portanto: Y X = x Bernoulli(p) 1 E(Y X = x) = p P(Y X = x) := { p, se Y = 1 1 p, se Y = 0 1 p = p(y = 1 X = x) Prof. Leandro Balby Marinho 7 / 19 UFCG DSC

16 Interpretação Probabiĺıstica Y é uma variável aleatória para um valor fixo de X = x. Portanto: Y X = x Bernoulli(p) 1 E(Y X = x) = p P(Y X = x) := { p, se Y = 1 1 p, se Y = 0 A hipótese pode ser interpretada como o valor p, i.e., h(x) = e ΘT x = p(y = 1 X = x; Θ) 1 p = p(y = 1 X = x) Prof. Leandro Balby Marinho 7 / 19 UFCG DSC

Y = 0 A hipótese pode ser interpretada como o valor p, i.e., h(x) = 1 1 + e ΘT x = p(y = 1 X = x; Θ) 1 p = p(y = 1 X = x) Prof.

17 Regra de Classificação de Bayes Para prever a classe de uma dada instância, usamos a regra de classificação de Bayes: { 1, h(x) > 0.5 ŷ := 0, caso contrário O conjunto {x : p(y = 1 X = x) = p(y = 0 X = x)} é chamado de fronteira de decisão Prof. Leandro Balby Marinho 8 / 19 UFCG DSC

5 ŷ := 0, caso contrário O conjunto {x : p(y = 1 X = x) = p(y = 0 X =

18 Fronteira de Decisão Assumindo Θ = h(x) = s(θ 0 + Θ 1 x 1 + Θ 2 x 2 ) Prof. Leandro Balby Marinho 9 / 19 UFCG DSC

19 Fronteira de Decisão Assumindo Θ = Temos que ŷ = 1 quando 3 + x 1 + x 2 0 x 1 + x 2 3 e quando ŷ = 0 x 1 + x 2 < 3 h(x) = s(θ 0 + Θ 1 x 1 + Θ 2 x 2 ) Prof. Leandro Balby Marinho 9 / 19 UFCG DSC

20 Roteiro 1. Introdução 2. Representação da Hipótese 3. Estimativa de Parâmetros 4. Classificação Multiclasse Prof. Leandro Balby Marinho 10 / 19 UFCG DSC

21 Função de Custo A função de custo pode ser definida como: l (h(x), y) := { log (h(x)), se y = 1 log(1 h(x)), se y = 0 fun1(x) fun2(x) x x Prof. Leandro Balby Marinho 10 / 19 UFCG DSC

22 Função de Custo Simplificada A função de custo pode ser simplificada como: l(h(x), y) := y log h(x) + (1 y) log (1 h(x)) ou seja, quando y = 1 l(h(x), y) := log h(x) e quando y = 0 l(h(x), y) := log (1 h(x)) Prof. Leandro Balby Marinho 11 / 19 UFCG DSC

23 Formulação do Problema Revisitado Dado um conjunto de treino D train, Prof. Leandro Balby Marinho 12 / 19 UFCG DSC

24 Formulação do Problema Revisitado Dado um conjunto de treino D train, uma função de perda/custo l : Y Y R que calcula quão ruim é prever h(x) se o valor real é y, Prof. Leandro Balby Marinho 12 / 19 UFCG DSC

25 Formulação do Problema Revisitado Dado um conjunto de treino D train, uma função de perda/custo l : Y Y R que calcula quão ruim é prever h(x) se o valor real é y, encontre uma hipótese h : X Y tal que para um conjunto de teste D test X Y (desconhecido durante o treino), o erro no teste seja mínimo. err(h; D test ) := 1 D test (x,y) D test l(h(x), y) Prof. Leandro Balby Marinho 12 / 19 UFCG DSC

26 Mais um Problema de Otimização Hipótese: h(x) := s(θ T x) Erro no treino: err(h; D train ) := 1 y log h(x)+(1 y) log (1 h(x)) n (x,y) D train Objetivo: argmin Θ err(h; D train ) Prof. Leandro Balby Marinho 13 / 19 UFCG DSC

27 Gradiente da Função Erro Derivadas parciais: Θ 0 err(h; D train ) := 1 n Θ 1 err(h; D train ) := 1 n Θ 2 err(h; D train ) := 1 n n 1 n 1 n 1 (h(x (i) ) y i ) x (i) 0 (h(x (i) ) y i ) x (i) 1 (h(x (i) ) y i ) x (i) 2. Mesmas derivadas da regressão linear! Prof. Leandro Balby Marinho 14 / 19 UFCG DSC

28 Gradiente Descendente para Regressão Logística GradientDescent(α, precision) 1 initialize Θ 2 e new = err(h; D train ) 3 repeat 4 e old = e new 5 for i = 0 to m 6 tmp i = Θ i α Θ i err(h; D train ) 7 for i = 0 to m 8 Θ i = tmp i 9 e new = err(h; D train ) 10 until e new e old precision Prof. Leandro Balby Marinho 15 / 19 UFCG DSC

29 Roteiro 1. Introdução 2. Representação da Hipótese 3. Estimativa de Parâmetros 4. Classificação Multiclasse Prof. Leandro Balby Marinho 16 / 19 UFCG DSC

30 Classificação Multiclasse Suponha a tarefa de classificar automaticamente webpages nas classes {poĺıtica, esporte, economia}. A variável alvo não é mais binária Y = {1, 2, 3}. Prof. Leandro Balby Marinho 16 / 19 UFCG DSC

31 One vs. All Ideia: Transforme o problema original em vários problemas de classificação binária. Prof. Leandro Balby Marinho 17 / 19 UFCG DSC

32 One vs. All Ideia: Transforme o problema original em vários problemas de classificação binária. h (1) (x) = p(y = 1 X = x; Θ) Prof. Leandro Balby Marinho 17 / 19 UFCG DSC

33 One vs. All Ideia: Transforme o problema original em vários problemas de classificação binária. h (2) (x) = p(y = 2 X = x; Θ) Prof. Leandro Balby Marinho 17 / 19 UFCG DSC

34 One vs. All Ideia: Transforme o problema original em vários problemas de classificação binária. h (3) (x) = p(y = 3 X = x; Θ) Prof. Leandro Balby Marinho 17 / 19 UFCG DSC

35 One vs. All Treine um classificador h (i) (x) para cada classe i. Para classificar uma nova instância x, escolha a classe com a maior probabilidade, i.e., argmax h (i) (x) i Prof. Leandro Balby Marinho 18 / 19 UFCG DSC

36 Referências Jay L. Devore. Probabilidade e Estatística para Engenharia e Ciências. Cengage Learning, Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, Lars Schmidt-Thieme. Notas de aula em aprendizagem de máquina. Disponível em: uni-hildesheim.de/lehre/ml-11w/index_en.html Andrew Ng. Notas de aula em aprendizagem de máquina. Disponível em: Prof. Leandro Balby Marinho 19 / 19 UFCG DSC

Documentos relacionados

Regressão Linear Multivariada

Regressão Linear Multivariada Prof. Dr. Leandro Balby Marinho Inteligência Artificial Prof. Leandro Balby Marinho / 37 UFCG DSC Roteiro. Introdução 2. Modelo de Regressão Multivariada 3. Equações Normais