CC-226 Aula 05 - Teoria da Decisão Bayesiana

Transcrição

1 CC-226 Aula 05 - Teoria da Decisão Bayesiana Carlos Henrique Q. Forster - Instituto Tecnológico de Aeronáutica 2008 Classificador Bayesiano Considerando M classes C 1... C M. N observações x j. L atributos x j = (x 1j,..., x kj,..., x Lj ). Considere um padrão representado pelo vetor de características x. M probabilidades condicionais P (C i x), i = 1... M (probabilidades posteriores). Escolhemos para um dado x a classe C i mais provável. O problema agora é estimar as funções de densidade de probabilidades (dado um conjunto de observações). Caso para 2 classes Supor P (C 1 ) e P (C 2 ) as probabilidades a priori conhecidas de duas classes. É fácil de estimar a partir de observações: Se C 1 C 2 = N, C 1 = N 1 e C 2 = N 2, estima-se P (C 1 ) = N 1 N P (C 2 ) = N 2 N Supor conhecida a pdf p(x C i ), i = 1, 2 Esta é a função de verossimilhança de C i com respeito a x. Aplicando a regra de Bayes: P (C i x) = p(x C i)p (C i ) p(x) = p(x C i )P (C i ) p(x C 1 )P (C 1 ) + p(x C 2 )P (C 2 ) Regra de classificação de Bayes: Se P (C 1 x) > P (C 2 x), x é classificado como C 1. Se P (C 1 x) < P (C 2 x), x é classificado como C 2. No caso de igualdade, o resultado é arbitrado. É equivalente à comparação de p(x C 1 )P (C 1 ) < / > p(x C 2 )P (C 2 ). Ou então, se P (C 1 ) = P (C 2 ), p(x C 1 ) < / > p(x C 2 ) (razão de verossimilhanças). 1

2 Visualizando a classificação em 1D 2

3 No caso de uma única feição x: x 0 é um limiar particionando o espaço de características em duas regiões R 1 e R 2. A regra de decisão de Bayes decide C 1 para x 1 R 1 e C 2 para x 2 R 2. Há probabilidade de decidir incorretamente (área hachurada). P e = p(x C 2 )dx + R 1 p(x C 1 )dx R 2 Teorema O classificador bayesiano é ótimo com respeito a minimizar a probabilidade de erro de classificação. P e = P (x R 2, C 1 ) + P (x R 1, C 2 ) P e = P (x R 2 C 1 )P (C 1 ) + P (x R 1 C 2 )P (C 2 ) Pela regra de Bayes: P e = P (C 1 x)p(x)dx + R 2 P (C 2 x)p(x)dx R 1 Escolhemos por hipótese R 1 e R 2 tais que R 1 : P (C 1 x) > P (C 2 x) R 2 : P (C 2 x) > P (C 1 x) P (C 1 ) = P (C 1 x)p(x)dx + R 1 P (C 1 x)p(x) R 2 3

4 porque R 1 R 2 cobre todo o espaço R 1 R 2 =. Substituindo no P e : P e = P (C 1 ) (P (C 1 x) P (C 2 x))p(x)dx R 1 É mínima se R 1 é tal que P (C 1 x) > P (C 2 x). Conversamente, a afirmação é válida para R 2. A extensão para múltiplas classes é trivial. Minimização do risco médio Riscos diferentes para falsos-positivos e falsos-negativos: Diagnóstico classifica uma pessoa sã como necessitando de intervenção cirúrgica versus classificar pessoa doente como sã. Fornecer empréstimo para uma pessoa com grande risco de estar aplicando um golpe versus deixar de fornecer empréstimo a uma pessoa idônea. Permitir acesso a um impostor versus impedir acesso de uma pessoa cadastrada. Colocar "corbinas" nas latas de salmão versus colocar salmão nas latas de corbina. Classificador com R j, j = 1... M regiões correpondentes a decisões pelas classes C j. Se x C k, mas está na região R i, i k (misclassification), a perda será λ ki (era para ser k, mas classifiquei como i). Com os valores de perda, montamos uma matriz de perda L. Risco ou perda associado à classe C k : r k = M λ ki p(x C k )dx R i i=1 Risco médio M = i=1 R i k=1 M r = r k P (C k ) k=1 ( m ) λ ki p(x C k )P (C k ) dx 4

5 Minimizar o risco médio corresponde a escolher regiões R i particionando o espaço de forma que x R i se l i = M λ ki p(x C k )P (C k ) < l j, j i k=1 A matriz L que contém zeros na diagonal principal e uns nas demais células corresponde a minimizar a probabilidade de erro da classificação. No caso de duas classes. l 1 = λ 11 p(x C 1 )P (C 1 ) + λ 21 p(x C 2 )P (C 2 ) l 2 = λ 12 p(x C 1 )P (C 1 ) + λ 22 p(x C 2 )P (C 2 ) Associamos x a C 1 se l 1 < l 2, ou seja, (λ 21 λ 22 )p(x C 2 )P (C 2 ) < (λ 12 λ 11 )p(x C 1 )P (C 1 ) Naturalmente, de forma geral, A regra de decisão fica da forma: λ ij > λ ii x C 1 se l 12 p(x C 1) p(x C 2 ) > P (C 2) λ 21 λ 22 P (C 1 ) λ 12 λ 11 l 12 é uma razão de verossimilhanças. No caso que [ ] 0 λ12 L = λ 21 0 Associar a C 2 se p(x C 2 ) > p(x C 1 ) λ12 λ 21 supondo P (C 1 ) = P (C 2 ). Exemplo (2.1 Theodoridis) Única feição x com pdfs gaussianas com σ 2 = 1/2 e médias 0 e 1 respectivamente. p(x C 1 ) = 1 π exp ( x 2 ) p(x C 2 ) = 1 π exp ( (x 1) 2 ) Se P (C 1 ) = P (C 2 ) = 1/2, calcular o limiar x 0 para a a) probabilidade de erro mínima b) risco mínimo para matriz de perda [ ] 0 0, 5 L = 1 0 5

6 Solução a) exp( x 2 ) = exp( (x 1) 2 ) x 2 = (x 1) 2 b) x 0 = 1/2 exp( x 2 ) = 2exp( (x 1) 2 ) x 0 = 1 ln 2 2 Superfícies de Decisão Se duas regiões R i e R j de um problema de lcassificação são vizinhas, são separadas pela superfície definida pela equação P (C i x) P (C j x) = 0 (no caso de minimização do erro de classificação) De um lado da superfície, o valor é positivo. Do outro, é negativo. Definimos g i (x) = f(p (C i x)), onde f é monotonicamente crescente, g i (x) é função discriminante e seu teste de decisão decorrente é: Classificar x C i se g i (x) > g j (x), j i Superfícies de decisão para regiões contíguas são descritas por g ij (x) = g i (x) g j (x) = 0 com i, j = 1... M, i j Desvantagens da classificação Bayesiana Torna-se difícil no caso de pdfs complicadas com estimação difícil. Função de discriminação complica com a quantidade de classes. No caso de dependência, o custo computacional é elevado para muitos atributos. 6

7 Classificação Bayesiana para Distribuições Normais Caso particular de distribuições normais permite tratabilidade computacional. Modelos complexos em que uma variável aleatória corresponde à soma de várias variáveis aleatórias podem ser modelados por uma distribuição normal. ( 1 p(x C i ) = exp 1 ) (2π) 1/2 2 (x µ i) T Σ 1 i (x µ i ) onde i = 1... M µ i = E[x] é o valor médio de x da classe C i e Σ é a matriz covariância. Σ é seu determinante. Σ i = E[(x µ i )(x µ i ) T ] g i (x) = ln (p(x C i )P (C i )) = ln p(x C i ) + ln P (C i ) g i (x) = 1 2 (x µ i) T Σ 1 i (x µ i ) + ln P (C i ) + K i Obtemos a forma quadrática da superfície de decisão g i (x) = 1 2 xt Σ 1 i Exemplo x xt Σ 1 µ i 1 2 µt i Σ 1 µ i µt i Σ 1 x + ln P (C i ) + K i i i i e l = 2 [ σ 2 Σ i = i 0 0 σi 2 ] g i (X) = 1 2σi 2 (x x 2 2 ) + 1 σi 2 (µ i1 x 1 + µ i2 x 2 ) 1 2σi 2 (µ 2 i1 + µ 2 i2) + ln P (C i ) + K i Logo g i (x) g j (x) = 0 são superfícies de separação que são quádricas: elipsóides, parábolas, hipérboles, pares de linhas. Para l > 2, são hiperquádricas. 7

8 Gráficos para diferentes Σ Hiperplanos decisórios Supondo que todas as matrizes de covariância são iguais Σ i = Σ O termo quadrático se cancela em comparações. g i (x) = wi T x + w i0 Onde e w i = Σ 1 µ i w i0 = ln P (C i ) 1 2 µt i Σ 1 µ i g i (x) g j (x) = 0 define um hiperplano de separação. Caso da matriz de covariância diagonal ou E[(x i µ i )(x j µ j )] = σ 2 δ ij Σ = σ 2 I Os atributos são icorrelatos mutuamente e de mesma variância g i (x) = 1 σ 2 µt i x + w i0 com w = µ i µ j e g ij (x) = g i (x) g j (x) = w T (x x 0 ) = 0 x 0 = 1 2 (µ i + µ j ) σ 2 ln ( ) P (Ci ) µi µ j P (C j ) µ i µ j 2 onde x = x 12 + x x l2 é a norma euclidiana de x Hiperplano passando por x 0 8

9 Caso da matriz de covariância não-diagonal onde w = Σ 1 (µ i µ j ) e onde g ij (x) = w T (x x 0 ) = 0 x 0 = 1 2 (µ i + µ j ) ln ( ) P (Ci ) µi µ j P (C j ) µ i µ j 2 Σ 1 x Σ 1 (x T Σ 1 x) 1/2 é a norma Σ 1 de x. O plano não é mais ortogonal a µ i µ j, mas a Σ 1 (µ i µ j ). Classificadores de mínima distância Supomos classes equiprováveis com mesma matriz de covariância g i (x) = 1 2 (x µ i) T Σ 1 (x µ i ) Foram desconsideradas as constantes desnecessárias à comparação das funções discriminantes. Para Σ = σ 2 I, máximo g i (x) implica mínima distância euclidiana d E = x µ i As superfícies de nível são circunferências ou cascas hiper-esféricas. Para Σ não-diagonal, minimização da norma Σ 1 para maximizar g i (x) minimizase a distância de Mahalanobis d m = ( (x µ i ) T Σ 1 (x µ i ) ) 1/2 Propriedade: A matriz de covariância é simétrica. Decomposição em auto-valores: onde Σ = ΦΛΦ T Φ T = Φ 1 ou seja, Φ é matriz ortogonal, e Λ é uma matriz diagonal cujos elementos são autovalores λ i de Σ e, se Φ = [v 1 _v 2... v l ] então os vetores v i são autovalores correspondentes a λ i. λ λ Λ = λ l 9

10 Substituindo na expressão da distância de Mahalanobis: Fazendo que Temos (x µ i ) T ΦΛ 1 Φ T (x µ i ) = c 2 x = v k T x, k = 1... l (x 1 µ i1 )2 λ (x l µ il )2 λ l = c 2 Assim, as superfícies de nível formadas são hiper-elipsóides. Exemplo 2.2 Theodoridis Classificação 2 classes e 2 dimensões (atributos) Dadas distribuições normais com a mesma matriz de covariância [ ] 1, 1 0, 3 Σ = 0, 3 1, 9 e os vetores média são µ 1 = [00] T e µ 2 = [33] T respectivamente. a) classificar o vetor [1, 02, 2] T de acordo com o classificador Bayesiano. b) computar os eixos principais da elipse centrada em [00] T que corresponde à distância de Mahalanobis constante d m = 2, 952 ao centro. Solução a) Basta computar a distância de Mahalanobis a [1, 02, 2] T aos vetores de média d m 2 (µ 1, x) = (x µ 1 ) T Σ 1 (x µ 1 ) [ 0, 95 0, 15 = [1, 02, 2] 0, 15 0, 55 ] [ 1, 0 2, 2 d m 2 (µ 2, x) = (x µ 2 ) T Σ 1 (x µ 2 ) [ 0, 95 0, 15 = [ 2, 0 0, 8] 0, 15 0, 55 ] [ 2, 0 0, 8 ] = 2, 952 ] = 3, 672 Assim, associa-se o ponto dado à classe C 1 correspondente à menor distância de Mahalanobis. b) Obter os autovalores de Σ ([ ]) 1, 1 λ 0, 3 det = λ 2 3λ + 2 = 0 0, 3 1, 9 λ λ 1 = 1 e λ 2 = 2 10

11 Substituindo em (Σ λi)v = 0 Encontrado o espaço nulo, isto é, determinar vetores normalizados que formam uma base para a solução da equação. v 1 = [ ] v 1 = [ ] Os eixos principais são paralelos a v 1 e v 2 respectivamente com comprimentos 3,436 e 4,

12 12

13 13

14 14

15 15

16 16

17 17

18 18