Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação

Transcrição

1 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Francisco A. Rodrigues Departamento de Matemática Aplicada e Estatística - SME

2 Objetivo Dada M classes ω 1, ω 2,..., ω M e um padrão desconhecido x, determinar a probabilidade condicional p(ω i x) do padrão pertencer a cada classe i. Classificar de acordo com a classe mais provável.

3 Conceitos básicos Probabilidade condicional Partição do espaço amostral Teorema de Bayes

4 Teorema de Bayes

5 Teorema de Bayes

6 Teorema de Bayes Exemplo: Considere duas urnas. A primeira contém duas bolas brancas e sete bolas pretas e a segunda contém cinco bolas brancas e seis pretas. Nós lançamos uma moeda e retiramos uma bola da primeira ou da segunda urna, dependendo do resultado do lançamento, isto é, cara (urna 1) ou coroa (urna 2). Qual é a probabilidade condicional de que o resultado do lançamento da moeda foi cara, dado que uma bola branca foi retirada?

7 Distribuição normal

8 Teoria da decisão Bayesiana Vamos começar tratando do caso de duas classes: Padrão desconhecido é representado por: [ x x ] T x =,..., 1, 2 Sejam ω 1 e ω 2 duas classes nas quais um dado padrão devem pertencer. Assumimos que conhecemos as probabilidades à priori: P(ω 1 ) e P(ω 2 ). Estas probabilidades podem ser estimadas do conjunto de treinamento. x l

9 Teoria da decisão Bayesiana Se N é o número total de padrões disponíveis para treinamento, onde N 1 é da classe ω 1 e N 2 da classe ω 2, então: P(ω 1 )~N 1 /N P(ω 2 ) ~ N 2 /N

10 Teoria da decisão Bayesiana Também assumimos que conhecemos as funções densidades condicionais de probabilidades de cada classe: p(x ω i ), i=1,2, Que descreve a distribuição de probabilidades das características de cada classe.

11 Teoria da decisão Bayesiana

12 Teoria da decisão Bayesiana Se p(x ω i ), i=1,2, não são conhecidas, elas podem ser estimadas. p(x ω i ) é chamada também: função de máxima verossimilhanca de ω i com respeito a x.

13 Teoria da decisão Bayesiana Como conhecemos p(x ω i ) e P(ω i ), i=1,2, podemos usar o teorema de Bayes para determinar: Ou seja a probabilidade condicional do padrão descrito por x pertencer à classe ω i.

14 Teoria da decisão Bayesiana Pela lei da probabilidade total: Logo, podemos calcular para cada classe:

15 Teoria da decisão Bayesiana A regra de classificação Bayesiana será então: Ou seja:

16 Teoria da decisão Bayesiana Para duas classes equiprováveis: l = 1d R1 ( ω1) e R2( ω2)

17 Teoria da decisão Bayesiana Erro associado à classificação: Para duas classes: área indicada sob as curvas l = 1d

18 Teoria da decisão Bayesiana Erro associado à classificação: Região de erro l = 1d

19 Teoria da decisão Bayesiana Erro associado à classificação: Se movermos x 0 para a esquerda, há um aumento do erro, indicado pela área em cinza l = 1d

20 Minimização da probabilidade de erro Podemos mostrar que o classificador Bayesiana é ótimo com respeito à minimização da probabilidade de erro na classificação. Prova: O padrão dado por x pertence à R2 e é da classe ω 1

21 Minimização da probabilidade de erro Usando a regra de Bayes: Obtemos:

22 Minimização da probabilidade de erro Assim, vemos que o erro é minimizado se as regiões R1 e R2 são escolhidas de tal modo que: Ou seja, podemos escrever:

23 Minimização da probabilidade de erro Combinando: Obtemos:

24 Minimização da probabilidade de erro Assim, a probabilidade de erro é minimizada se R1 é a região do espaço na qual P(ω 1 x) > P(ω 2 x). R2 se torna a região onde o caso contrário é verdadeiro.

25 Minimização da probabilidade de erro Esse raciocínio pode ser usado para um número qualquer de classes, sendo o padrão representado por x classificado com pertence à classe ω i se Tal escolha minimiza o erro de classificação, conforme verificamos para duas classes.

26 Minimização do risco médio A minimização da probabilidade de erro nem sempre é a melhor escolha para minimização. Em alguns casos, pode ser associada uma penalidade para cada erro, de modo que algumas decisões são mais importantes do que outras. Por exemplo, é muito mais sério para um doutor diagnosticar um tumor maligno como sendo benigno do que o caso contrário.

27 Minimização do risco médio Assim, podemos minimizar uma versão modificada da probabilidade de erro, isto é: pesos Classificação de padrões da classe w1 como sendo da classe w2 tem um efeito maior na função custo do que o erro associado ao segundo termo na soma acima.

28 Minimização do risco médio Para o caso geral de M classes: Assuma que o vetor de características x que pertence à classe ω k caia na região R i, com k diferente de i. Logo, este vetor é classificado como pertencente à classe ω i e um erro é cometido. Uma penalidade λ ki (conhecida como perda) é associada com esta decisão errada.

29 Minimização do risco médio A função de risco associada com ω k é dada por: que representa a probabilidade de um vetor de características da classe ω k ser classificado como sendo da classe ω i ponderado por λ ki.

30 Minimização do risco médio O objetivo agora é escolher a partição das regiões de classificação onde o risco médio seja minimizado: Isto é obtido se cada integral ser minimizada, o que é equivalente à selecionar as regiões de partição de tal modo que:

31 Minimização do risco médio Tal minimização é obtida se: Assim, a minimização do risco médio é equivalente à minimização da probabilidade de erro na classificação.

32 Minimização do risco médio Para o caso de duas classes: M=2 Classificamos x como sendo da classe ω 1 se l 1 < l 2 : De maneira geral: Razão de verossimilhança

33 Minimização do risco médio Exemplo: = = = = = ) ( ) ( ) 1) ( exp( 1 ) ( ) exp( 1 ) ( L P P x x p x x p ω ω π ω π ω

34 2 1 ) 1) ( exp( ) exp( : = = x x x x Minimização do risco médio Limiar para mínimo Pe: Limiar para mínimo r: ) (1 ˆ ) 1) ( 2exp( ) exp( : ˆ < = = n x x x x l

35 Minimização do risco médio L =

36 Superfícies de decisão

37 Superfícies de decisão 0 ) ( ) ( ) ( = x P x P x g j ω i ω Se R i e R j são regiões vizinhas, a superfície de decisão é dada pela equação: ) ( ) ( : ) ( ) ( : x P x P R x P x P R i j j j i i ω ω ω ω > > + 0 ) ( = x g -

38 Classificação Bayesiana para distribuições normais

39 Função densidade de prob. Gaussiana Teorema do limite central: Seja X 1, X 2,... X n uma seqüência de variáveis aleatórias independentes com E[X i ] =µ i e var[x i ] = σ 2, i i =1, 2,... Façamos X = X 1 + X X n, então, X Zn = tem aproximadamente a distribuição N(0,1). n i = 1 n i = 1 σ µ 2 i i

40 Função densidade de prob. Gaussiana A gaussiana unidimensional:

41 Função densidade de prob. Gaussiana A gaussiana unidimensional:

42 Função densidade de prob. Gaussiana A gaussiana em l-dimensões: Determinante de Σ Vetor de médias (l X 1) Matriz de covariância (l X l)

43 Função densidade de prob. Gaussiana No caso bi-dimensional: l=2 Covariância entre as variáveis x1 e x2.

44 Função densidade de prob. Gaussiana No caso bi-dimensional: l=2 Covariância diagonal:

45 Função densidade de prob. Gaussiana No caso bi-dimensional: l=2 Covariância diagonal:

46 Função densidade de prob. Gaussiana No caso bi-dimensional: l=2 Covariância diagonal:

47 Função densidade de prob. Gaussiana No caso bi-dimensional: l=2 Covariância não-diagonal:

48 Classes normalmente distribuídas Devido à forma exponencial das densidades é preferível trabalhar com funções logarítmicas: Função discriminante: ) ( ln ) ( ln )) ( ) ( ln( ) ( i i i i i P x p P x p x g ω ω ω ω + = = i i i i i i T i i C C P x x x g Σ = + + Σ = )ln 2 1 ( )ln 2 2 ( ) ( ln ) ( ) ( 2 1 ) ( 1 π ω µ µ l mas:

49 Classes normalmente distribuídas Exemplo: l = 2 = Σ σ σ i i i i i i i i C P x x x x x g = ) ln( ) ( 2 1 ) ( 1 ) ( 2 1 ) ( ω µ µ σ µ µ σ σ Assim, g i (x) se torna:

50 Classes normalmente distribuídas E as regiões de separação: g i ( x) g ( x) = j 0 São superfícies quádricas: Elipses, hipérboles, pares de linhas, etc.

51 Classes normalmente distribuídas

52 Classes normalmente distribuídas

53 Classificadores de distância mínima Vamos assumir que as classes são equiprováveis e com mesma matriz de covariância: 1 P( ω i ) = M A função discriminante se torna: 1 T 1 g i ( x) = ( x µ i ) Σ ( x µ i ) 2

54 Classificadores de distância mínima Σ = σ 2 I : Matriz de covariância diagonal: Classifique x como sendo da classe ω i se a distância euclidiana do vetor característica ao vetor média da classe ω i é mínima: d x µ E i

55 Classificadores de distância mínima Σ σ 2 I : Matriz de covariância não-diagonal: Classifique x como sendo da classe ω i se a distância de Mahalanobis do vetor característica ao vetor média da classe ω i é mínima: 1 d = ((x µ ) Σ ( x µ )) m i T i 1 2 Minimização da norma de Σ -1

56 Classificadores de distância mínima Exemplo: Para duas classes, os vetores de características são gerados por duas distribuições normais com mesma matriz de covariância: E médias: Classifique o padrão dado por: Σ = , 0 0 ),, ( ) ( ),, ( ) ( e ) ( ) ( = = = = = µ µ µ ω µ ω ω ω Σ N x p Σ N x p P P = x

57 Classificadores de distância mínima Solução: Vamos calcular a distância de Mahalanobis para as duas classes: ω 1 ω 2 Logo, o padrão pertence à classe ω 1 OBS: Note que o vetor está mais próximo da classe 2 em termos da distância euclidiana (verifique).

58 Estimação de funções densidade de probabilidade desconhecidas

59 Estimação Em muitos casos fdp deve ser estimada dos dados disponíveis. Muitas vezes é conhecido o tipo da fdp (gaussiana, exponencial, etc), mas não seus parâmetros (média, desvio padrão, etc). Em outros casos, não se sabe a forma da fdp, mas sim seus parâmetros (média, desvio padrão, etc).

60 Estimação: máxima verossimilhança Estimação de parâmetros via máxima verossimilhança Objetivo: Estimar os parâmetros da fdp usando um conjunto de vetores de características de cada classe. Sejam x1, x2,..., x N amostras aleatórias da fdp: θ : p( x) p( x; θ ) vetores

61 Assuma independência entre as amostras. Então: { } ) ; ( ) ;,..., ( ) ; (,..., θ θ θ k N k N N x p x x x p X p x x x X = = Π = Estimação: máxima verossimilhança

62 0 ) ( ) ( ) ( 1 ) ( ) ( : ˆ ) ; ( ln ) ; ( ln ) ( ) ; ( arg max : ˆ ; ; ML = Σ = Σ = Π = = = θ θ θ θ θ θ θ θ θ θ θ θ k k N k ML k N k k Ν k x p x p L x p X p L x p O estimador de máxima verossimilhança de θ: Estima θ de tal modo que a função de verossimilhança tome seu valor máximo. Estimação: máxima verossimilhança

63 Estimação: máxima verossimilhança Propriedade do estimador de máxima verossimilhança de θ: Assintoticamente não viesado: Na média, converge para o valor real quando o número de amostras é grande. Vetor:

64 Estimação: máxima verossimilhança Propriedade do estimador de máxima verossimilhança de θ: Assintoticamente consistente: A variância do estimador tende a zero quando N é grande.

65 Estimação: máxima verossimilhança Propriedade do estimador de máxima verossimilhança de θ: O estimador é assintoticamente eficiente, isto é, ele obedece à desigualdade de Cramer-Rao. Logo, o estimador com menor variância dentre todos os estimadores possíveis.

66 Estimação: máxima verossimilhança Exemplo 1: Assuma que N pontos x 1, x 2,..., x N foram gerados por uma gaussiana unidimensional com média conhecida µ, mas variância desconhecida. Determine o estimador de máxima verossimilhança para a variância.

67 Estimação: máxima verossimilhança Solução: A função (log) de máxima verossimilhança: Tomando a derivada em ambos os lados com respeito a σ 2, obtemos:

68 Estimação: máxima verossimilhança Solução: Assim: Esse estimador é não viesado pois: Para N grande:

69 Estimação: máxima verossimilhança Exemplo 2: Assuma que N vetores x 1, x 2,..., x N foram providos por uma distribuição normal com matriz de covariância conhecida, mas média desconhecida: Determine o estimador de máxima verossimilhança para o vetor média.

70 Estimação: máxima verossimilhança Solução: A função (log) de máxima verossimilhança: Tomando o gradiente com relação à µ e igualando a zero: Obtemos:

71 Estimação: máxima verossimilhança Solução: Assim: Esse estimador é não viesado pois: Para N grande:

72 Estimação: inferência Bayesiana Inferência Bayesiana: Dado o conjunto X de N vetores de treinamento e uma informação a priori da fdp p(θ), o objetivo é calcular a fdp condicional p(x X). Temos: onde

73 Estimação: inferência Bayesiana Inferência Bayesiana: Ou seja: Como p(q X) considera integrais que muitas vezes não possuem solução exata, é necessária a utilização de métodos numéricos: Markov Chain Monte Carlo (MCMC), tais como Gibbs Sampler e Metropolis Hastings.

74 Estimação: inferência Bayesiana Exemplo: Seja p(x µ) uma gaussiana univariada N(µ,σ 2 ) com parâmetro média desconhecido que também segue uma gaussiana N(µ 0,σ 02 ). Usando a metodologia de inferência Bayesiana:

75 Estimação: inferência Bayesiana Observação: Os métodos de estimação por máxima verossimilhança e estimação Bayesiana resultam no mesmo estimador quando o número de conjuntos de treinamentos N é grande, mas levam a resultados diferentes para N pequeno.

76 Estimação: Outros métodos Mistura de gaussianas: Expectation maximization Estimação máxima à posteriori.

77 Classificação Bayesiana não paramétrica

78 Estimação não-paramétrica Métodos não paramétricos são variações da aproximação de fdps por histogramas. Caixas de tamanhos diferentes.

79 Estimação não-paramétrica No caso do histograma: Número de pontos dentro da caixa Largura da caixa Ponto médio da caixa

80 Estimação não-paramétrica Janelas de Parzen No espaço l-dimensional, ao invés de caixas de tamanho h, temos hipercubos de lado h e volume h l. Seja x i, i=1, 2,..., N os vetores de características disponíveis. Definamos a função: onde x ij, i=1,2,.., l são as componentes de x i.

81 Estimação não-paramétrica Janelas de Parzen Ou seja, a função é igual a um para todos os pontos dentro do hipercubo de dimensão unitária e igual a zero, caso contrário.

82 Estimação não-paramétrica Janelas de Parzen Assim:

83 Estimação não-paramétrica Janelas de Parzen Parzen em 1962 generalizou a aproximação por histograma usando uma função mais suave: Janela de Parzen

84 Estimação não-paramétrica Janelas de Parzen Para o caso de uma janela gaussiana N(0,I) A fdp aproximada como uma média de N gaussianas, cada uma centrada em diferentes pontos do conjunto de treinamento. O parâmetro h controla a largura da gaussiana.

85 Estimação não-paramétrica Janelas de Parzen

86 Estimação não-paramétrica Janelas de Parzen

87 Estimação não-paramétrica Janelas de Parzen h = 0,1 e N= 1,000 h = 0,1 e N=

88 Estimação não-paramétrica Janelas de Parzen % generate synthetic data X1 = [randn(500,1) randn(500,1)+2]; X2 = [randn(500,1)+5 randn(500,1)]; data=[x1; X2]; N = 5; [bandwidth,density,x,y]=kde2d(data,n); % plot the data and the density estimate contour3(x,y,density,50), hold on plot(data(:,1),data(:,2),'r.','markersize',5)

89 Estimação não-paramétrica Janelas de Parzen: N = 5

90 Estimação não-paramétrica Janelas de Parzen: N = 10

91 Estimação não-paramétrica Janelas de Parzen: N = 50

92 Estimação não-paramétrica Janelas de Parzen: N = 500

93 Estimação não-paramétrica Janelas de Parzen No caso em que h tende a zero, é um estimador não viesado de p(x). Note que esse fato é independente do tamanho da amostra N.

94 Estimação não-paramétrica Janelas de Parzen Classificação:

95 Estimação não-paramétrica Projeto Usando os features do projeto anterior. Implemente os classificadores de distância mínima (euclidiana e Mahalanobis). Classifique as imagens usando a metodologia bayesiana paramétrica. Escolha duas características e faça a classificação usando janelas de Parzen.

96 Referências C. Bishop, Pattern Recognition and Machine Learning, Springer (2006) Sergios Theodoridis, Konstantinos Koutroumbas, Pattern Recognition. Elsevier (2006).