Reconhecimento de Padrões. Reconhecimento de Padrões

Transcrição

1 Recohecmeto de Padrões Escola Superor de Tecologa Egehara Iformátca Recohecmeto de Padrões Prof. João Asceso e Prof. Aa Fred

2 Sumáro: Apredzagem Supervsoada Selecção e extracção de característcas Apredzagem Supervsoada vs. Não Supervsoada Métodos Paramétrcos e Não Paramétrcos Estmatva de Máxma Verosmlhaça Estmador de Bayes

3 Relação etre dmesoaldade e cojutos amostra Questão: Quatas característcas devem ser usadas o classfcador? f1 f1 f1 f2 f2 f

4 Relação etre dmesoaldade e cojutos amostra Questão: Quatas característcas devem ser usadas o classfcador? Idea errada: quatas mas melhor Na prátca: o desempeho começa por melhorar mas va se deterorado à medda que mas característcas são cosderadas Os erros ocorrem devdo ao uso ão óptmo da formação adcoal, que supera a vatagem da formação extra. É portato ecessáro lmtar o.º de característcas para uma dada dmesão do cojuto de treo. Regra empírca: # caracterstcas # amostras _ de _ treo baxo

5 Relação etre dmesoaldade e cojutos amostra

6 Selecção ou extracção de característcas Problema: como represetar um objecto ou padrão em termos de um cojuto reduzdo de atrbutos Selecção de característcas: processo de escolha de um sub-cojuto das característcas orgas. Extracção de característcas: defção de ovas característcas que podem ser fução das característcas orgas Ambas fluecam o desempeho e a smplcdade do classfcador!

7 Selecção de característcas Objectvo: ecotrar o melhor subcojuto de dmesão d das D característcas exstetes ou potecas. O crtéro geralmete usado é a probabldade de classfcação errada. A melhor solução só pode ser ecotrada através de uma procura exaustva em todos os cojutos possíves de dmesão d: Computacoalmete mpratcável! Uso de heurístcas em detrmeto da optmaldade: Escolher as d característcas que produzem dvdualmete melhores resultados => Errada! Técca de selecção sequecal: Supohamos que seleccoamos k característcas. Etão, a (k+1ésma característca é aquela que, em combação com as k exstetes, proporcoa o melhor desempeho. Outras soluções: Algortmos geétcos. Algortmos de procura em grafos

8 Extracção de característcas Objectvo: Aplcar algum tpo de trasformação sobre o cojuto orgal de característcas, de forma a que as classes estejam mas separadas o ovo espaço. Vatagem adcoal: O problema de selecção de característcas o ovo espaço é mas smples Téccas mas usadas: Trasformações leares, dervadas dos vectores própros das matrzes de dspersão Exemplos de téccas: PCA ou trasformada de Karhue-Loeve: Usa os vectores própros e valores própros da matrz de covarâca de todos os dados de forma a reduzr a sua dmesoaldade

9 Estmação da probabldade de erro A probabldade de classfcação errada é útl para prever o desempeho do classfcador em padrões futuros, comparar classfcadores e como crtéro para selecção de característcas Na maora das aplcações é muto dfícl obter uma expressão aalítca para a probabldade de erro em fução dos parâmetros do projecto (.º de característcas,.º de amostras de treo, f.d.p., etc. A probabldade de erro é estmada expermetalmete

10 Apredzagem Apredzagem supervsoada: Cohece-se a classe que gerou cada padrão de treo. O classfcador é treado a replcar a decsão correcta para todos os padrões de treo. O que é ecessáro para efectuar uma decsão segudo a teora de Bayes? Podemos desehar um classfcador óptmo se cohecermos: P(ω (prors P(x ω (fuções de verosmlhaça Ifelzmete, raramete temos esta formação!!!

11 Apredzagem O desempeho é óptmo para a mesma classe de classfcadores se: As probabldades à pror e a verosmlhaça são exactas. O desempeho ão é óptmo quado: As probabldades a pror ão são exactas. As fuções de verosmlhaça ão são exactas. Comparação com outros métodos!

12 Apredzagem

13 Abordagem estatístca de Recohecmeto de Padrões

14 Abordagem paramétrca Abordagem Paramétrca: Cohece-se a expressão aalítca para a dstrbução de probabldade ou para as fuções dscrmates. Exemplo: Mutas vezes assume-se que estas desdades são Gaussaas multvaradas: Esta hpótese coduz a superfíces de decsão com formas smples: lear ou quadrátca. A hpótese de gaussadade tem a vatagem adcoal que a regra de decsão resultate é robusta,.e. se a hpótese for volada a degradação do desempeho do classfcador é gradual. No etato, é dfícl verfcar se os dados multvarável têm uma dstrbução Gaussaa. Estma-se os dos parâmetros que caracterzam uma fução gaussaa méda e covarâca a partr dos dados de treo

15 Abordagem ão paramétrca Abordagem ão paramétrca: Não exste formação a pror sobre a dstrbução de probabldade ou as fuções dscrmates. Estratégas para deseho de um classfcador ão paramétrco Estmar as dstrbuções p(x w através de Jaelas de Parze. Evtar a estmação das desdades usado a regra de decsão k-nn (k- vzhos mas próxmos. Nesta abordagem procura-se, o cojuto de treo, os k- vzhos mas próxmos da amostra de teste

16 Abordagem paramétrca vs ão paramétrca Embora a escolha etre as abordages paramétrca ou ão paramétrca depeda da credbldade do modelo paramétrco, estudos recetes mostram que, se o úmero de amostras de treo é baxo, etão as téccas ão paramétrcas coduzem a melhores desempehos do que as téccas paramétrcas, mesmo quado o modelo é correcto

17 Estmação paramétrca Que famíla de modelos de probabldades se deve escolher? Dstrbução ormal Dstrbução tragular Dstrbução expoecal Dada uma forma de dstrbução, quas são os melhores valores para os parâmetros?

18 Estmação paramétrca Assume-se que se cohece a forma da dstrbução. Descohece-se apeas o valor de algus dos seus parâmetros: Vector dos parâmetros descohecdos: ε IR m Cojuto de observações depedetes e detcamete dstrbuídas com desdades de probabldade p(x : X Objectvo: Estmar p(x a partr do cojuto de observações X

19 Modelos de probabldade Para utlzar a teora de decsão de Bayes é ecessáro: Probabldades à pror. Fuções de verosmlhaça

20 Probabldades à Pror As probabldades à pror são as mas fáces de estmar: Como temos amostras já classfcadas: P(ω = ode é o úmero de amostras classfcadas em ω No etato, as probabldades à pror ão são tão mportates como os modelos de probabldade Como se cohecem os dados de treo gerados por cada uma das classes, cada dstrbução pode ser estmada de forma depedete

21 Estmação de Parâmetros Supoham que temos c cojutos de amostras D 1, D 2,..., D c que foram obtdos depedete de acordo com a dstrbução p(x ω j Assume-se que p(x ω j têm uma forma paramétrca cohecda. O objectvo é estmar os parâmetros que defem: p(x ω j Para smplfcar os problemas, assume-se que: As amostras em D ão dão ehuma formação em p(x ω j se j

22 Estmação de Parâmetros Deste modo, defmos o problema da segute forma: Dado um cojuto de treo D={x 1, x 2,..., x }. p(x ω é determado por, que pode ser um vector. Pretede-se ecotrar o melhor através do cojuto de treo. Problema clássco em estatístca. Exstem duas abordages: Estmação de máxma verosmlhaça. Estmação de bayes

23 Estmação de Máxma Verosmlhaça Uma vez que as amostras em D são depedetes: p( D = p( k = 1 A estmatva de máxma verosmlhaça de é, por defção, o valor ˆ que maxmza p(d. Assume-se que o valor de é fxo mas descohecdo. A dstrbução mas provável (.e. com maor probabldade que gerou os dados. x k

24 Estmação de Máxma Verosmlhaça Estmação de Máxma Verosmlhaça A fução de verosmlhaça logarítmca: 0 ( ( l ( ( arg max ˆ ( l ( l ( 1 1 = = = = = = l x p l l x p D p l k k k k

25 Estmação de Máxma Verosmlhaça Rgorosamete, é ecessáro verfcar se a solução é um máxmo global absoluto, um máxmo local, um mímo ou um poto de flexão. l ( = 0 Também pode ser ecessáro verfcar se exstem extremos a frotera do espaço de parâmetros

26 Estmação de Máxma Verosmlhaça

27 Estmação de Máxma Verosmlhaça Dstrbução gaussaa Que méda???

28 O caso Gaussao Uvarado: A varâca é dada e a méda é descohecda: ˆµ = 1 k = 1 A varâca e a méda são descohecdas: ˆ µ = ˆ σ 2 = 1 k = 1 1 x k = 1 x k k ( x k ˆ µ

29 Estmatva de máxma verosmlhaça Estmatva de máxma verosmlhaça Dstrbução expoecal Dstrbução uforme = Otherwse. 0 0 ( x e x p x = Otherwse / ( x x p

30 Estmatva de máxma verosmlhaça Seja = ( 1, 2,..., p e seja o segute operador de gradete: Defe-se l( como a fução de verosmlhaça logarítmca e determa-se o que maxmza a fução

31 Estmatva de máxma verosmlhaça Cojuto de codções para um máxmo:

32 Caso Gaussao (Uvarado

33 Caso Gaussao (Uvarado

34 Caso Gaussao (Uvarado

35 Caso Gaussao (Uvarado

36 Caso Gaussao (Multvarado O caso multvarado é muto semelhate: µ = 1 k = 1 1 Σ= ( x µ ( x µ k k k = 1 x k t

37 Caso Gaussao

38 Erro a estmatva de máxma verosmlhaça Em geral, se os modelos paramétrcos são de cofaça, o classfcador MAP pode dar resultados exceletes. No etato, se os modelos paramétrcos estão errados, o classfcador MAP pode duzr um erro grade: De uma forma geral, o erro ão é o mas pequeo mesmo para uma dada famíla paramétrca

39 Outras cosderações... Para utlzar a estmatva de máxma verosmlhaça, todos os dados de treo devem estar dspoíves Se se desejar ovos dados de treo, é ecessáro repetr a estmatva de máxma verosmlhaça. Na estmatva de máxma verosmlhaça, o verdadero vector de parâmetros é fxo mas descohecdo: Não exste ehuma formação sobre o quato fável é a ossa estmatva

40 Estmação Bayesaa Coceptualmete, a estmação Bayesaa é o tópco mas dfícl de compreeder da dscpla de RP Ao cotráro da estmatva de máxma verosmlhaça, a estmação Bayesaa cosdera o vector de parâmetros como uma varável aleatóra: Probabldade à pror do vector de parâmetros Probabldade à posteror do vector de parâmetros

41 Estmação Bayesaa Uma vez que o parâmetro de vectores é uma varável aleatóra: Utlza-se a teora de decsão de Bayes a estmação Bayesaa Por outras palavras, assume-se que o vector de parâmetros têm uma probabldade à pror p( e que os dados de treo os permtem coverter as probabldades à pror uma probabldade a posteror p( D

42 Estmação Bayesaa Para smplfcar os problemas, assume-se que as amostras em D j ão dão ehuma formação sobre os parâmetros em p(x ω se j tal como a estmatva de máxma verosmlhaça Dvde-se D em D 1, D 2,..., D c

43 Estmação Bayesaa Na estmatva de máxma verosmlhaça é fxo Na estmatva de bayes é uma varável aleatóra O cálculo das probabldades à posteror P(ω x é o coração da classfcação de bayes Objectvo: Cálculo do P(ω x, D dado um cojuto de amostras D, aplcado a fórmula de bayes: P( ω x, D = c j= 1 Px ( ω, D. P( ω D P( x ω, D. P( ω D j j

44 Estmação Bayesaa Para demostrar a equação ateror utlze: Px (,D ω = Px ( D, ω. P(D ω Px ( D = Px (, ω D P( ω = P( ω D (a partr das amostras de treo! Logo: P( ω x,d j = j c Px ( ω,d. P( ω j= 1 Px ( ω,d. P( ω j j

45 Estmação Bayesaa: caso Gaussao Estmar utlzado a probabldade a posteror: P( D Caso uvarado com o µ como o úco parâmetro descohecdo: P(x µ ~ N( µ, σ 2 P( µ ~ N( µ 0, σ

46 Estmação Bayesaa: caso Gaussao P( µ D = P( D µ.p( µ P( D µ.p( µ dµ (1 = k= α P(x µ.p( µ k= 1 k P( µ D 2 ~ N( µ, σ (2 µ = ad σ 2 0 σ σ = σ σ + σ σ µ ˆ 2 + σ 2 + σ σ σ 2. µ

47 Estmação Bayesaa: caso Gaussao

48 Estmação Bayesaa: caso Gaussao O caso uvarado P(x D P(µ D calculado. Resta calcular P(x D Px ( D = Px ( µ. P( µ Dd µ e gaussaa O que dá: P(x D ~ N( µ, σ 2 + σ

49 Classfcação MAP com estmação Bayesaa O classfcador de mímo erro é: Decdr ω se P(ω x P(ω j x, para j=1,...,c P(x D j, ω j em cojuto com P(ω j permte utlzar a regra de decsão de Bayes, de forma a obter: Max P( ω x, D Max P( x ω, D. P( ω j j j j ω j ω j

50 Estmatva Bayesaa de parâmetros A abordagem Bayesaa fo aplcada para calcular P(x D. Pode ser aplcada a qualquer stuação se a desdade for parametrzável. O que se assumu fo: Cohece-se a forma de P(x, o etato descohecese o valor de. O osso cohecmeto sobre está cotdo uma probabldade à pror p( O resto do osso cohecmeto sobre está cotdo um cojuto D de varáves aleatóras x1, x2,, x de acordo com P(x

51 Estmatva Bayesaa de parâmetros O osso problema resume-se a: Compute the posteror desty P( D the derve P(x D Utlzado a fórmula de bayes temos P( D.P( P( D =, P( D.P( d Como são depedetes: P( D = k= k= 1 P(x k

52 Estmação Estmação Bayesaa Bayesaa: Caso geral : Caso geral Utlzamos a fórmula de Bayes Solução formal para o problema! = = = = ω ω ω ω ω ω ω d p x p p x p d p D p p D p D p k k k k ( ( ( ( (, ( (, (, ( 1, 1,

53 Apredzagem Icremetal e recursva de Apredzagem Icremetal e recursva de Bayes Bayes Apredzagem cremetal e recursva de Bayes Seja D ={x,1,..., x, } = = = = ω ω ω ω ω ω ω d D p x p D p x p d p x p p x p D p k k k k, ( (, ( ( (, ( (, (, ( 1, 1, 1, 1,

54 Estmação Bayesaa: Caso Uforme Exemplo p( x = 1/ 0 0 x otherwse D={4, 7, 2, 8} p( 0 1/10 0 < 10 D = 0 otherwse

55 Estmação Bayesaa: Caso Uforme

56 Estmação Bayesaa: Caso Uforme

57 Estmação Bayesaa vs Máxma Verosmlhaça São equvaletes o lmte,.e. para um cojuto de dados de treo fto. Na prátca, são dferetes de váras formas: Complexdade computacoal Iterpretação dos dados Robustez sobre a formação à pror Troca etre polarzação e varâca