Reconhecimento de Padrões. Reconhecimento de Padrões

Transcrição

1 Reconhecimento de Padrões Escola Superior de Tecnologia Engenharia Informática Reconhecimento de Padrões Prof. João Ascenso e Prof. Ana Fred

2 Sumário: Teoria de decisão Reconhecimento estatístico de padrões Teoria de decisão de Bayes Regra de Bayes Classificador MAP Função de risco Classificador de Bayes Classificação em 2 categorias Funções discriminantes e superfície de decisão

3 Reconhecimento estatístico de padrões Cada padrão é um vector de características: = 1, 2,, d 1... d 2 = Cada padrão deve ser classificado em uma de C categorias, w 1, w 2,, w C, a partir do seu vector de características: Ω =,,, 1 2 C

4 Reconhecimento estatístico de padrões O vector de características possui uma função de distribuição de probabilidade f.d.p. da sua classe. Um vector pertencente à classe w i é considerado uma observação gerada aleatoriamente de acordo com a f.d.p. condicionada à classe p i O objectivo é determinar as fronteiras de decisão entre as classes

5 Reconhecimento estatístico de padrões Classes Vectores de características Regiões de decisão 1 2 Padrão 1 2 d Classificador Classe de decisão j R 1 R d R 1 R 2 C Ω=,,, 1 2 C f.d.p. condicionadas às classes p, p,, p 1 2 C

6 Regiões de decisão e superfícies de separação Um classificador divide o espaço de características em regiões de decisão. Os vectores de características que estejam contidos na mesma região de decisão têm a mesma categoria. As regiões de decisão podem ter qualquer forma: Simplesmente coneas. Duas ou mais sub-regiões não adjacentes. As regiões de decisão encontram-se separadas por superfícies designadas superfícies de separação ou superfícies de decisão. R 1 R d R 2 R

7 Teoria de decisão de Bayes contínua O eemplo sea bass/salmon: Conhecimento à priori: Probabilidades à priori da classe, i.e. probabilidade da ocorrência de salmon e de sea bass. A ocorrência de um tipo de peie é aleatório A captura do salmon e do sea bass é equiprovável: P 1 = P 2 priors uniformes P 1 + P 2 = 1 eclusividade

8 Teoria de decisão de Bayes contínua Regra de decisão com apenas as probabilidades de ocorrência de cada classe: Decidir 1 se P 1 > P 2 de outra forma decidir 2 Mas assim fazemos sempre a mesma decisão!!!! Uso da distribuição à priori da classe probabilidade condicionada. P 1 e P 2 descrevem a diferença de luminância entre as populações de sea bass e de salmon

9 Probabilidades condicionadas

10 Regra de Bayes Dado dois acontecimentos A, B é necessário conhecer a probabilidade de A se B ocorreu: PAB = PAB, PB função densidade de probabilidade conjunta Se e y forem duas variáveis aleatórias contínuas, define-se a função densidade de probabilidade condicionada por: P y = P y, P y função densidade de probabilidade conjunta

11 Regra de Bayes Uma vez que: PAB, = PB APA = PABPB e: Py, = P y P = P y P y

12 Regra de Bayes Deriva-se uma regra muito útil que permite relacionar a probabilidade condicional PA B com PB A: Lei de Bayes: PAB = PB APA PB A lei de Bayes também se aplica a funções de densidade de probabilidade condicionais: P y = P y P Py

13 Regra de Bayes Formula de bayes para o vector de características e as classes : Pw = para o caso de duas categorias: e que pode ser epresso como: j 2 j= 1 p w Pw j p p = p wj P wj j probabilidade a posterior = verosimilhança probabilidade a priori factor de escala

14 Probabilidades a posteriori Pw1 = 2/3 Pw2 = 1/

15 Regra de decisão Decisão dada as probabilidades a posteriori Dada uma observação : se P 1 > P 2 escolhemos a classe 1 se P 1 < P 2 escolhemos a classe 2 Desta forma, a probabilidade de erro é: Perro Pw se escolhermos a classe w = Pw se escolhermos a classe w

16 Regra de decisão Minimização da probabilidade de erro simplificação: Escolher 1 se P 1 > P 2 ; Caso contrário escolher 2 Deste modo: Perro = min [P 1, P 2 ] decisão de Bayes

17 Regra de decisão Regra de decisão equivalente: Escolher w se p w P w > p w P w ; c.c. escolher w Casos especiais: 2 Se p w 1 = p w 2 apenas as probabilidades à priori interessam. Se pw 1 = pw 2 apenas as funções de verosimilhança interessam. A regra de Bayes combina estes dois factores

18 Classificador MAP O classificador estudado, baseado na maimização da distribuição a posteriori das classes, é designado por classificador de máimo a posteriori MAP A regra de decisão obtida, é óptima no sentido em que, para uma dada distribuição à priori, não eiste uma regra de decisão com menor probabilidade de erro de classificação

19 Teoria de decisão de Bayes Espaço das características: Em geral, uma entrada pode ser representada por um vector, i.e. um ponto num espaço euclideano R d com d dimensões Função de risco A função de risco atribui um custo a cada decisão e projecta-se o classificador de forma a minimizar o erro médio: Escrita como: λ α i j

20 Teoria de decisão de Bayes Suponha que eistem c categorias: {w 1, w 2,..., w c } Suponha que {α 1, α 2,, α a } é o conjunto de acções possíveis. Seja λ α i j o risco associado ao tomar a acção α i quando a categoria é w j

21 Teoria de decisão de Teoria de decisão de Bayes Bayes O risco condicionado é dado por: E o risco de classificação total é dado por: 1 P R j c j j i i α α λ = = = d p a R R

22 Regra de decisão de bayes Regra de decisão de Bayes: Para um dado, seleccionar a acção α i para a qual o risco condicional Rα i é mínimo: i* = min R α i O risco de classificação total é referido como Bayes risk, e utiliza-se a notação R* para o representar. A minimização deste critério resulta no melhor desempenho que se pode alcançar. i

23 Classificação em duas categorias Classificação em duas categorias Seja λ ij = λα i j O risco condicional é dado por: A regra de decisão de Bayes é: Se Rα 1 < Rα 2 Decidir 1, caso contrário decidir P P R P P R λ λ α λ λ α + = + =

24 Classificação em duas categorias Classificação em duas categorias A regra de decisão pode ser escrita de diversas formas. Decidir 1 se uma das seguintes condições for verdadeira: Estas regras são equivalentes!!! λ λ λ λ λ λ λ λ λ λ λ λ P P p p P p P p P P > > > Razão de verosimilhança comparação c/limiar

25 Classificação em duas categorias Propriedade de decisão óptima: Se a razão de verosimilhança ecede um valor de limiar independente do padrão de entrada, podemos efectuar decisões óptimas

26 Classificação com o mínimo de erro Eiste um caso especial na regra de decisão de Bayes com a seguinte função de risco, referida como zeroone loss function: 0 if i = j λ α i j = 1 if i j Esta função atribui nenhum risco a uma decisão correcta e o máimo de risco 1 a qualquer tipo de erro; todos os erros têm o mesmo custo. Resulta no critério MAP, previamente estudado!

27 Funções discriminantes e superfície de decisão A noção de função discriminante e superfície de decisão são muito importantes no RP estatístico. Funções discriminantes e classe de decisão: Cada classe w i, têm associada uma função discriminante, g i. Eemplo: g i = pw i Regra de decisão usando funções discriminantes: Atribua à classe w i se g i g j j i Outra forma de escrever a regra é: w i : arg ma g j com i = 1,...,c A superfície de separação no espaço d-dimensional de características entre a classe w i e w j é definida pela equação: g i - g j =

28 Classificador Bayes com funções discriminantes { : g g, } Região de decisão: R = j j i i

29 Funções discriminantes em d=1, C=3 g 2 g 1 g

30 Funções discriminantes em d=1, C=3 g 2 g 1 g 3 R1 R2 R3 R

31 Funções discriminantes Eistem muitas funções discriminantes equivalentes, Os resultados da classificação irão ser os mesmos, apesar das funções discriminantes sejam diferentes. Por eemplo, se f é uma função monótona e crescente então: g i f g i

32 Funções discriminantes Algumas funções discriminantes são fáceis de calcular, e.g

33 Regiões de Decisão O efeito de qualquer regra de decisão é dividir o espaço das características em c regiões de decisão, R 1,..., R c Se g > g para todo o j i, entao R i j i Estas regiões são separadas por superfícies de decisão, onde ocorre um empate entre as funções de discriminação adjacentes

34 Duas categorias Duas categorias A divisão em duas categorias é um caso especial: Em vez de duas funções discriminantes, uma única pode ser utilizada: ln ln P P p p g P P g g g g + = = =

35 Regiões de Decisão

36 Projecto de um classificador de Bayes

37 Projecto do classificador O classificador é projectado usando a distribuição conjunta dos dados e das classes ou eemplos de decisões anteriores conjunto de treino. A estimação do classificador a partir de decisões conhecidas designa-se por treino supervisionado

38 Duas categorias eemplo altura peso A decisão neste caso é simples!

39 Regiões de decisão eemplo altura R 1 R 2 peso

40 Regiões de decisão eemplo R 3 R 2 R 1 R 1 Um classificador determina uma partição do espaço de características em c regiões disjuntas, designadas por regiões de decisão: R 1,, R c. A região de decisão R i é o conjunto de todos os padrões classificados na classe i

41 Avaliação matriz de confusão Para avaliar um classificador usa-se a matriz de confusão P=P ij : P ij = P{ ˆ = j / = i} Pij = p y / i dy R j i.e. probabilidade de uma observação ser classificada na classe j tendo sido gerada pela classe i. erros Eemplo: erros 0.85 P = os erros mais frequentes consistem em classificar na classe 3 observações associadas à classe 1 Quando o integral não se pode calcular o que é frequente a matriz de confusão é estimada aplicando o classificador a um conjunto de dados dos quais se conhece a classe correcta conjunto de teste e determinando o tipo de erros do classificador e as suas frequências relativas

42 Avaliação probabilidade de erro A probabilidade de erro de classificação é dada por em que P e = 1 c i=1 P ii P P ii - elemento da diagonal da matriz de confusão P i - probabilidade a priori da classe i i Eemplo P = π =.7 P e =