Aprendizagem de Máquina

Transcrição

1 Plano de Aula Aprendzagem de Máquna Aprendzagem Baseada em Instâncas Alessandro L. Koerch Introdução Espaço Eucldano Aprendzagem Baseada em Instâncas (ou Modelos Baseados em Dstânca) Regra knn (k vznhos mas próxmos) Exemplos Resumo Racocíno Baseado em Casos (CBR) Mestrado em Informátca Aplcada Pontfíca Unversdade Católca do Paraná (PUCPR) Mestrado em Informátca Aplcada Aprendzagem de Máquna 2 Introdução Introdução O problema central de aprendzagem é nduzr funções geras a partr de exemplos de trenamento específcos. Mutos métodos de aprendzagem constroem uma descrção geral e explcta da função alvo a partr de exemplos de trenamento. Exemplo: Aprendendo a jogar damas. Os métodos de aprendzagem baseados em nstâncas smplesmente armazenam os exemplos de trenamento. A generalzação é feta somente quando uma nova nstânca deve ser classfcada. Mestrado em Informátca Aplcada Aprendzagem de Máquna 3 Mestrado em Informátca Aplcada Aprendzagem de Máquna 4

2 Introdução: Aprendzagem Introdução: Classfcação D (exemplos de trenamento) H (conjunto de hpóteses) trenamento Árvore de Decsão Árvore h h 2 h 4 Hpóteses P(h ), P(D h ) P(h 2 ), P(D h 2 ) P(h 3 ), P(D h 3 ) Bayes x (exemplo de teste) h h 2 h 4 Hpóteses P(h ), P(D h ) P(h 2 ), P(D h 2 ) P(h 3 ), P(D h 3 ) Bayes Valor do Conceto Alvo Mestrado em Informátca Aplcada Aprendzagem de Máquna 5 Mestrado em Informátca Aplcada Aprendzagem de Máquna 6 Introdução Introdução Comparação (dstânca) D (exemplos de trenamento) Métodos de aprendzagem baseados em nstâncas assumem que as nstâncas podem ser representadas como pontos em um espaço Eucldano. x (exemplo de teste) Valor do Conceto Alvo (exemplo de trenamento mas próxmo Mestrado em Informátca Aplcada Aprendzagem de Máquna 7 Mestrado em Informátca Aplcada Aprendzagem de Máquna 8

3 Espaço Eucldano Espaço Eucldano x 2 Vetores de Característcas ou Atrbutos x x 2 2-dmensonal? Vetores de Característcas ou Atrbutos x x 2 x 3 x 4 4-dmensonal x 2 x... x x x 2 x 3 3-dmensonal? x x 2 x 3 x 4... x n n-dmensonal x 3 Mestrado em Informátca Aplcada Aprendzagem de Máquna 9 Mestrado em Informátca Aplcada Aprendzagem de Máquna 0 Espaço de Hpóteses Introdução Vetores de Característcas ou Atrbutos sunny hgh sunny hgh strong sunny hgh strong cool 2-dmensonal 3-dmensonal 4-dmensonal Os métodos de aprendzagem baseados em nstâncas são métodos não paramétrcos. Métodos não paramétrcos: podem ser usados com dstrbuções arbtráras e sem a suposção de que a forma das densdades são conhecdas. Mestrado em Informátca Aplcada Aprendzagem de Máquna Mestrado em Informátca Aplcada Aprendzagem de Máquna 2

4 Aprendzagem Baseada em Instâncas Aprendzagem Baseada em Instâncas A aprendzagem consste somente em armazenar os exemplos de trenamento <x,c >, <x 2,c 2 >... <x n,c n >. vetor de atrbutos ou característcas valor do conceto alvo ou classe Após a aprendzagem, para encontrar o valor do conceto alvo assocado a uma nstânca de testes <x t,? >, um conjunto de nstâncas smlares são buscadas na memóra e utlzadas para classfcar a nova nstânca. Exemplos de Trenamento <atrbutos,conceto alvo> <x,c > <x 2,c 2 > <x 3,c 3 >... <x n,c n > Quão smlar são x e x t? d t = dstânca Eucldana Quão smlar são x 2 e x t? d 2t = dstânca Eucldana Quão smlar são x 3 e x t? d 3t = dstânca Eucldana Quão smlar são x n e x t? d nt = dstânca Eucldana Exemplo a Classfcar <atrbutos,????? > <x t,?> d t d 2t d 3t... d nt Mestrado em Informátca Aplcada Aprendzagem de Máquna 3 Mestrado em Informátca Aplcada Aprendzagem de Máquna 4 Aprendzagem Baseada em Instâncas Aprendzagem Baseada em Instâncas No fnal teremos um conjunto de dstâncas (medda de smlardade) entre a nstânca de teste x t e todos os exemplos de trenamento x, x 2,..., x n Qual valor de conceto alvo (classe) atrbuímos ao exemplo x t? O conceto alvo assocado ao exemplo de trenamento mas smlar!! Isto é, pegamos o exemplo de trenamento cuja dstânca seja a menor e verfcamos o valor do conceto alvo assocado a este exemplo. Suponha que a dstânca d 9t seja a menor entre as n dstâncas avaladas, logo, o exemplo mas próxmo do exemplo de teste x t é < x 9, c 9 >. Assm, atrbuímos a x t o conceto alvo c 9!!! Mestrado em Informátca Aplcada Aprendzagem de Máquna 5 Mestrado em Informátca Aplcada Aprendzagem de Máquna 6

5 Aprendzagem Baseada em Instâncas Aprendzagem k NN Observações mportantes: Constroem uma aproxmações para a função alvo para cada nstânca de teste dferente. Constroe uma aproxmação local da função alvo. Podem utlzar representações mas complexas e smbólcas para as nstâncas Uma desvantagem é o alto custo para classfcação. Toda a computação ocorre no momento da classfcação!!! Aumenta com a quantdade de exemplo de trenamento. k-nn = k Nearest Neghbor = k Vznhos mas Próxmos O algortmo k NN é o método de aprendzagem baseado em nstâncas mas elementar. O algortmo k NN assume que todas as nstâncas correspondem a pontos em um espaço n dmensonal. R n Os vznhos mas próxmos de uma nstânca são defndos em termos da dstânca Eucldana. Mestrado em Informátca Aplcada Aprendzagem de Máquna 7 Mestrado em Informátca Aplcada Aprendzagem de Máquna 8 Regra k NN Aprendzagem k NN A regra dos vznhos mas próxmos: Meta: Classfcar x t atrbundo a ele o rótulo representado mas freqüentemente dentre as k amostras mas próxmas e utlzando um esquema de votação. Vamos consderar uma nstânca arbtrára x que é descrta pelo vetor de característcas (vetor de atrbutos ou feature vector): <a (x), a 2 (x),..., a n (x)> onde a r (x) representa o valor do r ésmo atrbuto da nstânca x. Mestrado em Informátca Aplcada Aprendzagem de Máquna 9 Mestrado em Informátca Aplcada Aprendzagem de Máquna 20

6 Aprendzagem k NN Dstânca Eucldana Então a dstânca entre duas nstâncas x e x j é defnda como d(x, x j ), onde: Exemplo: Calcule a dstânca entre o vetor de teste x t = [0.68, 0.60] e os exemplos de trenamento: d( x, x ) j n ( ar ( x ) ar ( x j )) r= 2 Exemplos de Trenamento x = [0.50, 0.30] Conceto Alvo ω Dstânca Eucldana d(x, x t ) = x 2 =[0.70, 0.65] ω 2 d(x 2, x t ) = Decsão: o rótulo (classe, valor do conceto alvo) atrbuído a x t é Mestrado em Informátca Aplcada Aprendzagem de Máquna 2 Mestrado em Informátca Aplcada Aprendzagem de Máquna 22 Algortmo k NN Aprendzagem k NN Algortmo de trenamento Para cada exemplo de trenamento <x, f(x)>, adcone o exemplo à lsta tranng_examples Algortmo de classfcação Dada uma nstânca x t a ser classfcada, Faça x,...,x k representar as k nstâncas de tranng_examples que estão mas próxmas de x t Retorne v V f ( x ) arg max δ t = ( v, f ( x )) onde δ(a,b)= se a=b e δ(a,b)=0 caso contráro. k Mestrado em Informátca Aplcada Aprendzagem de Máquna 23 Mestrado em Informátca Aplcada Aprendzagem de Máquna 24

7 Regra k NN Algortmo k NN Mestrado em Informátca Aplcada Aprendzagem de Máquna 25 Mestrado em Informátca Aplcada Aprendzagem de Máquna 26 Algortmo k NN Algortmo k NN Mestrado em Informátca Aplcada Aprendzagem de Máquna 27 Mestrado em Informátca Aplcada Aprendzagem de Máquna 28

8 Algortmo k NN Algortmo k NN Mestrado em Informátca Aplcada Aprendzagem de Máquna 29 Mestrado em Informátca Aplcada Aprendzagem de Máquna 30 Exemplo k NN Aprendzagem k NN k=3 (valor ímpar) e x t =(0.0, 0.25) Protótpos (0.5, 0.35) (0.0, 0.28) (0.09, 0.30) (0.2, 0.20) Rótulos Os vetores mas próxmos a x t, com suas etquetas, são: {(0.0, 0.28, ω 2 ); (0.2, 0.20, ω 2 ); (0.5, 0.35, ω )} ω ω 2 ω 5 ω 2 Uma votação atrbu o rótulo ω 2 a x t pos ω 2 é a classe representada com mas freqüênca. Supondo: n exemplos de trenamento rotulados; d dmensões; buscamos o exemplo mas próxmo de um ponto de teste x t (k=). A efcênca do algortmo k NN = O (dn 2 ): nspecona cada exemplo armazenado, um após o outro; calcula a dstânca Eucldana até x t [O (d)]; Retém a dentdade somente do mas próxmo; Mestrado em Informátca Aplcada Aprendzagem de Máquna 3 Mestrado em Informátca Aplcada Aprendzagem de Máquna 32

9 Aprendzagem k NN k NN com Dstânca Ponderada Exstem técncas para reduzr a computação do algortmo k NN: dstânca parcal; pré estruturação; edção dos protótpos armazenados; Consultar pgs 85 e 86, R. O. Duda, P. E. Hart e D. G. Stork, Pattern Classfcaton, Wley Interscence, 200. Refnamento do k NN: Ponderar a contrbução de cada um dos k vznhos de acordo com suas dstâncas até o ponto x t que queremos classfcar, dando maor peso aos vznhos mas próxmos. Exemplo: No algortmo anteror, podemos ponderar o voto de cada vznho, de acordo com o quadrado do nverso de sua dstânca de x t. Mestrado em Informátca Aplcada Aprendzagem de Máquna 33 Mestrado em Informátca Aplcada Aprendzagem de Máquna 34 k NN com Dstânca Ponderada k NN com Dstânca Ponderada Isso pode ser feto pela substtução da lnha fnal do algortmo por: onde f ˆ ( x ) arg max t v V v V t f ( x ) arg max δ t = k = w δ w d( x, x ) k ( v, f ( x )) 2 ( v, f ( x )) Porém, se x t = x, o denomnador d(x t,x ) 2 torna se zero. Neste caso fazemos f(x t ) = f(x ). f ˆ ( x ) arg max t v V k = w d( x, x t w δ ) 2 ( v, f ( x )) Mestrado em Informátca Aplcada Aprendzagem de Máquna 35 Mestrado em Informátca Aplcada Aprendzagem de Máquna 36

10 k NN com Dstânca Ponderada Regra k NN Todas as varações do algortmo k NN consderam somente os k vznhos mas próxmos para classfcar o ponto desconhecdo. Uma vez ncluída a ponderação pela dstânca, não há problemas em consderar todos os exemplos de trenamento: Exemplos muto dstantes terão pouco efeto em f(x ^ t ). Desvantagem: mas lento A regra dos vznhos mas próxmos leva a uma taxa de erro maor do que a mínma taxa de erro possível: a taxa de Bayes Se o número de protótpos for grande (lmtado), a taxa de erro do classfcador k NN não será nunca por do que o dobro da taxa de Bayes (pode ser demonstrado!) Mestrado em Informátca Aplcada Aprendzagem de Máquna 37 Mestrado em Informátca Aplcada Aprendzagem de Máquna 38 Resumo Resumo Métodos de aprendzagem baseados em nstâncas não necesstam formar uma hpótese explícta da função alvo sobre o espaço das nstâncas. Eles formam uma aproxmação local da função alvo para cada nova nstânca a classfcar. O k NN é um algortmo baseado em nstâncas para aproxmar funções alvo de valor real ou de valor dscreto, assumndo que as nstâncas correspondem a pontos em um espaço d dmensonal. O valor da função alvo para um novo ponto é estmada a partr dos valores conhecdos dos k exemplos de trenamento mas próxmos. Mestrado em Informátca Aplcada Aprendzagem de Máquna 39 Mestrado em Informátca Aplcada Aprendzagem de Máquna 40

11 Resumo Racocíno Baseado em Casos Vantagens: habldade para modelar funções alvo complexas por uma coleção de aproxmações locas menos complexas. A nformação presente nos exemplos de trenamento nunca é perdda. Dfculdades: Tempo? Determnação de uma métrca. Propredades chaves dos métodos baseados em nstâncas: Métodos de aprendzagem preguçosos, pos, somente generalzam quando uma nova nstânca tver que ser classfcada. Classfcam nova nstâncas analsando nstâncas smlares e gnorando nstâncas bem dferentes Representam nstâncas como pontos de valor real em um espaço Eucldano n dmensonal. Mestrado em Informátca Aplcada Aprendzagem de Máquna 4 Mestrado em Informátca Aplcada Aprendzagem de Máquna 42 Racocíno Baseado em Casos Racocíno Baseado em Casos Racocíno baseado em casos é um método de aprendzagem baseado nos dos prmeros prncípos. As nstâncas são representadas por descrtores smbólcos mas rcos. Os métodos utlzados para recuperar as nstâncas mas smlares são mas elaborados que o k NN. RBC ou CBR (Case-Based Reasonng). Exemplo: Sstema CADET Utlza RBC para auxlar no desgn concetual de dspostvos mecâncos smples como torneras. Utlza uma bbloteca com 75 desgnes prévos e fragmentos de desgnes para sugerr desgnes concetuas que cumpram as especfcações dos novos problemas de desgn. Cada nstânca armazenada na memóra é representada pela sua estrutura e função qualtatva. Mestrado em Informátca Aplcada Aprendzagem de Máquna 43 Mestrado em Informátca Aplcada Aprendzagem de Máquna 44

12 Racocíno Baseado em Casos Racocíno Baseado em Casos Exemplo: Sstema CADET Exemplo: Sstema CADET Novos problemas de desgn correspondem a: Apresentar a especfcação da função desejada Obter a estrutura correspondente Mestrado em Informátca Aplcada Aprendzagem de Máquna 45 Mestrado em Informátca Aplcada Aprendzagem de Máquna 46 Racocíno Baseado em Casos Racocíno Baseado em Casos A parte nferor da fgura mostra um novo problema de desgn descrto pela função desejada. Q c : fluxo de água fra Q h : fluxo de água quente Q m : fluxo de água msturado T c : temperatura da água fra T h : temperatura da água quente T m : temperatura da água msturada C t : controle de temperatura C f : controle de fluxo Dado a especfcação funconal para o novo problema de desgn, o sstema busca em sua bbloteca por casos arquvados cuja descrção funconal concda com o problema de desgn. Se for encontrado um caso exato este é retornado Se NÃO for encontrado um caso exato o sstema retorna casos que concdam parcalmente com partes do problema de desgn. Mestrado em Informátca Aplcada Aprendzagem de Máquna 47 Mestrado em Informátca Aplcada Aprendzagem de Máquna 48