Aprendizagem de Máquina

Transcrição

1 Aprendzagem de Máquna Aprendzado baseado em nstâncas Aprendzado não-paramétrco Quando as suposções fetas por métodos paramétrcos não são váldas para todo o espaço de entrada, provocando erros predtvos grandes, podemos usar métodos que fazem suposções locas, que não assumem a pror uma forma paramétrca para as dstrbuções, os chamados métodos não-paramétrcos. De uma forma geral, um modelo não-paramétrco não é fxo e sua complexdade depende do tamanho do arquvo de trenamento, mas também da complexdade do problema relaconado aos dados. Em aprendzagem de máquna, métodos não-paramétrcos são chamados de algortmos de aprendzagem baseados em nstânca, ou em memóra, pos eles armazenam as nstâncas de trenamento e generalzam por nterpolação a partr das nstâncas mas smlares ao dado de teste. O armazenamento das nstâncas de trenamento requer memóra de O(N) e computação de O(N) para encontrar as nstâncas mas smlares a uma entrada. Métodos paramétrcos tem um número pequeno de parâmetros, da ordem da dmensonaldade dos dados, O(d) ou O(d ), e uma vez austados, eles não precsam mas dos dados de trenamento para calcular a saída. A maor necessdade de memóra e computação é a desvantagem dos métodos não-paramétrcos.

2 3 Aprendzado baseado em nstâncas Métodos de aprendzado baseado em nstâncas não constróem modelos globas, a partr de um conunto de dados, mas utlzam apenas nformação local para nduzr o valor da função de saída deseada. A nformação local é determnada dnamcamente para um certo dado de entrada (consulta) a partr de um subconunto dos dados de trenamento que estabelecem a sua vznhança. Assm, a função alvo é estmada localmente, para cada nova nstânca a ser classfcada. A vznhança pode ser determnada a partr de cálculos de dstânca entre atrbutos descrtores, ou podem ser utlzados métodos smbólcos de descrção dos casos. 4 Representação baseada em nstâncas Forma mas smples de aprendzado: memorzar Dentre os exemplos de trenamento se busca aquele que é mas smlar à nova amostra apresentada Os própros exemplos representam o conhecmento Também chamado de aprendzado baseado em casos Função de smlardade defne o que é aprenddo Aprendzado baseado em casos é aprendzagem preguçosa: ada os cálculos até o momento da consulta Métodos: vznho mas próxmo, k vznhos mas próxmos,...

3 5 A função de dstânca Caso mas smples : um atrbuto numérco Dstânca é a dferença entre os dos valores de atrbuto envolvdos (ou, alternatvamente, uma outra função) Város atrbutos numércos: normalmente, dstânca eucldana é usada e os atrbutos são normalzados Atrbutos nomnas: dstânca é defnda como 1 se os valores são dferentes, ou 0 se eles são guas Todos os atrbutos são gualmente mportantes? Pode ser necessáro ponderar os atrbutos 6 Aprendendo protótpos Só precsam ser armazenados os exemplos envolvdos numa decsão Exemplos rudosos devem ser retrados Idéa: usar apenas exemplos protótpos

4 7 Algortmo k-nn O algortmo dos k vznhos mas próxmos (k-nn) é usado para estmar o valor de uma função alvo num determnado ponto do espaço de característcas (correspondente à posção da amostra consultada), a partr do valor desta função nos k pontos mas próxmos da amostra consultada. A função alvo pode ser dscreta (correspondente a um modelo de classfcação, por exemplo), ou contínua (correspondendo a um modelo de regressão). O algortmo k-nn não forma uma hpótese geral explícta para a função alvo, ele apenas calcula a classfcação (ou valor da função contínua) para uma amostra específca consultada. O valor da função é estmado no momento da consulta. 8 Algortmo dos k vznhos mas próxmos k-nn Assume que as amostras correspondam a pontos no espaço de característcas R n Os vznhos mas próxmos (NN nearest neghbors) de uma amostra são defndos em termos da dstânca eucldana. Dada uma amostra x descrta por um vetor de característcas <a 1 (, a (,..., a n (> onde a r ( representa o valor do r-ésmo atrbuto da amostra x. A dstânca de duas amostras x e x é defnda como d(x, x ): d( x, x ) n ar ( ar ( x ) r1

5 9 Algortmo k-nn para valores dscretos Consdere a função dscreta (por ex., classfcação) f: R n V, com V = {v 1,..., v s } (rótulos de classe) Trenamento: Para cada exemplo de trenamento <x, f(>, acrescente o exemplo à lsta exemplos_trenamento. Classfcação Dada uma amostra de consulta x q para ser classfcada, sendo x 1... x k os k exemplos de trenamento mas próxmos a x q, Retornar f ˆ ( x q ) arg max vv 1 onde (a, b) = 1 se a = b, ou (a, b) = 0, caso contráro k v, f ( x ) 10 Exemplo do algortmo k-nn para valores dscretos x q O algortmo 1-NN classfca x q como postvo O algortmo 5-NN classfca x q como negatvo

6 11 Superfíce de decsão nduzda pelo algortmo 1-NN Dagrama de Vorono: poledros convexos em torno dos exemplos de trenamento 1 Algortmo k-nn para função alvo de valor contínuo O aprendzado de uma função contínua é feto de forma análoga ao caso de função dscreta. O algortmo calcula a méda dos valores da função para os k exemplos de trenamento mas próxmos. Para aproxmar uma função alvo de valor real f: R n R, substtuímos a últma lnha do algortmo k-nn dscreto por: fˆ( x q k f ( x ) ) 1 k

7 13 Algortmo k-nn ponderado dscreto Pode-se ponderar a contrbução de cada um dos k vznhos de acordo com a sua dstânca à amostra consultada. Quanto mas próxmo o vznho, maor o peso atrbuído a ele. Pode-se ponderar o voto de cada vznho de acordo com o nverso do quadrado da sua dstânca a x q ; substtundo a estmação (para valor dscreto) por: onde f ˆ ( x q ) arg max vv k 1 q w v, 1 w d( x, x ) f ( x ) 14 Algortmo k-nn ponderado contínuo Podemos também ponderar pela dstânca os exemplos para funções alvo de valor real, substtundo a fórmula da estmação do valor por: fˆ( x q ) k 1 w f ( x ) k 1 w onde w 1 d( x, x q )

8 15 Ponderação de atrbutos para o algortmo k-nn Dferentemente de outros métodos, como árvores de decsão e regras de produção, o algortmo dos k vznhos mas próxmos leva em consderação todos os atrbutos dos exemplos para calcular as dstâncas. Isto pode não ser nteressante quando, por ex., de 0 atrbutos, apenas são relevantes para determnar a classfcação. Assm, duas amostras com os valores relevantes concdentes podem, apesar dsso, fcar dstantes entre s no espaço de 0 dmensões, levando a erros de classfcação. A solução usual para sso é atrbur pesos dferentes para cada atrbuto, no momento do cálculo da dstânca. A determnação dos pesos pode ser obtda por métodos como cross-valdaton e árvores de decsão. 16 Cálculo da dstânca ponderada A ponderação dos atrbutos é equvalente a escalar os exos de cada atrbuto correspondentemente à sua mportânca relatva para a estmação da função deseada. A dstânca de duas amostras x e x, levando em consderação pesos dferentes para cada atrbuto, é defnda como d(x, x ): d( x, x ) n r1 w r a r ( x ) a r ( x ) onde w r é o peso do r-ésmo atrbuto de uma amostra.

9 17 Algortmos no Weka Métodos de classfcação Lazy IB1 Classfcador pelo vznho mas próxmo Usa dstânca eucldana para encontrar a nstânca mas próxma à nstânca testada e predz a mesma classe que a nstânca de trenamento. Se váras nstâncas tverem a mesma menor dstânca, escolhe a prmera. IBk Classfcador pelos k vznhos mas próxmos Normalza atrbutos (default, mas pode ser desabltado) Pode seleconar o valor de k por CV (leave-one-out) ou permte a escolha de k CV: utlza erro médo absoluto (default) ou erro médo quadrado Pode ponderar a escolha levando em consderação as dstâncas 18 Estmador de densdade por k-nn Os estmadores de densdade por k-nn realzam uma aproxmação local da densdade de probabldade dos dados, p(, em torno de uma nstânca de teste x. Neste caso, a densdade em x, p(, é estmada pelo volume ocupado pelos k vznhos mas próxmos de x, ou sea: k p( NV onde N é o número total de nstâncas e V é o volume (da esfera) que contém os k vznhos mas próxmos a x. O volume V é aproxmado a partr da dstânca entre x e o seu k-ésmo vznho: k pˆ( Nd k ( com: d 1 ( mn t x x t e sucessvamente: d ( 1 mn x x

10 19 Estmador de densdade por k-nn Regressão não paramétrca Na regressão não paramétrca, não se assume conhecmento a pror sobre a forma da função que se quer estmar. A função é estmada usando uma equação contendo parâmetros lvres mas numa forma que permte ao modelo representar uma classe muto ampla de funções. Tpcamente a regressão não paramétrca envolve um grande número de parâmetros sem sgnfcado físco em relação ao problema. As redes neuras, e partcularmente as redes de função de base radal (RBF) são modelos não paramétrcos e seus pesos não têm um sgnfcado partcular em relação aos problemas aos quas elas estão sendo aplcadas. Neste caso, o obetvo prncpal não é estmar os valores dos parâmetros (pesos) e sm estmar a função subacente, ou no mínmo as suas saídas para certos valores deseados de entrada. A rede RBF mplementa uma combnação lnear de funções de base radas, elas mesmo não lneares: N h( = w ( =1 0

11 Topologa da Rede RBF A rede RBF típca tem uma camada de entrada para dstrbur o snal de entrada, uma camada oculta, composta de nós de funções radas, e uma camada de saída com um nó lnear. x 1 x 1 ( ( w +1 w 1 w N w 0 h( N h( = w ( =0 x p N ( Tpcamente, numa rede RBF, a forma das funções de base é escolhda a pror, de modo que ela tenha um comportamento adequado ao problema de regressão: a sua resposta deve decrescer (ou crescer) monotonamente com a dstânca em relação a um ponto central. O problema consste então em localzar os centros e outros parâmetros das funções de base e austar os pesos em relação ao arquvo de trenamento. 1 Funções Radas As funções radas são uma classe especal de funções. A sua característca prncpal é que sua resposta dmnu (ou aumenta) monotonamente com a dstânca de um ponto central. O centro, a escala de dstânca e a forma da função radal são parâmetros do modelo. Uma função radal típca é a gaussana, que no caso esférco tem a forma: exp[ (x c ) ( = ] onde c corresponde ao centro da função e controla a suavdade da nterpolação.

12 Gaussana multvarada A função radal gaussana pode ser generalzada para permtr matrzes de covarâncas arbtráras. 1 T 1 ( exp ( x μ ) ( x μ ) Funconamento da rede A rede RBF é proetada para realzar um mapeamento não lnear do espaço de entrada para o espaço oculto, segudo de um mapeamento lnear do espaço oculto para o espaço de saída. Consderando que a rede tenha p entradas, N undades ocultas e uma saída, podemos pensar que a rede represente um mapeamento s de um espaço p para um espaço undmensonal: s: R p R 1 O mapeamento s representa uma hper-superfíce (gráfco) R p+1 A rede opera em duas fases: trenamento e generalzação: Fase de trenamento: procedmento de auste otmzado da superfíce, de mapeamento da entrada para a saída, baseado nos pontos de dados apresentados à rede na forma de exemplos de padrões entrada-saída. Fase de generalzação: nterpolação entre dados, sendo realzada ao longo da superfíce gerada pelo processo de auste. 4

13 O Problema de Interpolação exata Os métodos de funções de base radas têm orgem em técncas para realzar nterpolação exata de um conunto de dados num espaço multdmensonal. O problema da nterpolação exata requer que cada vetor de entrada sea mapeado exatamente para o seu vetor de saída correspondente. Consdere um mapeamento do espaço de entrada x de dmensão d para um espaço de saída t undmensonal. O conunto de dados consste de N vetores de entrada x n, com os seus alvos t n. O obetvo é encontrar uma função h( tal que h(x n ) = t n, n = 1,..., N A abordagem RBF para nterpolação exata ntroduz um conunto de N funções de base, uma para cada dado, da forma ( x x n ), onde (.) é uma função não lnear. A saída do mapeamento é uma combnação lnear das funções de base: h( x x n w n n 5 Solução do problema de nterpolação exata A condção de nterpolação, h(x n ) = t n, pode ser então escrta na forma matrcal: w = t onde t (t n ), w (w n ) e a matrz quadrada tem elementos nn = ( x n x n ) N x x x x x x 1 N x x x x x x w w 1 t t N 1 N N N N x x x x x x wn t 1 Desde que exsta a matrz nversa 1, pode-se resolver para w: w = 1 t Pode-se mostrar que para uma ampla classe de funções (.), a matrz é nãosngular, desde que os pontos de dados seam dstntos. A função h( resultante é uma superfíce contínua dferencável passando pelos dados. 6

14 Interpolação exata A nterpolação passando exatamente por todos os pontos do arquvo de dados tende a gerar uma função de nterpolação osclatóra para dados rudosos. No MATLAB, a função newrbe(x,d,spread) gera uma rede RBF com um neurôno para cada vetor de entrada, com uma largura das funções de base determnada por spread. RBF: 31 neurônos 7 RBF ncremental No MATLAB, a função newrb(x,d,goal,spread) gera uma rede RBF de manera ncremental, acrescentando um neurôno por vez, até que o erro da rede satsfaça o EMQ dado por goal. RBF fnal: 4 neurônos 8

15 A Rede GRNN Generalzed Regresson Network A rede GRNN (do MATLAB), é uma alternatva à rede RBF exata, onde a camada oculta se conecta à de saída por meo de pesos de valor gual aos valores deseados: w = t x 1 1 ( 1 w 1 x ( w y w x p N ( N N O valor de saída é dado pela méda ponderada das atvações ntermedáras. A rede responde com a méda ponderada dos vetores alvo mas próxmos ao vetor de entrada: y w 9 Interpolação por GRNN A nterpolação por GRNN tende a ser mas suave. No MATLAB, a função newgrnn(x,d,spread) gera uma rede GRNN com um neurôno para cada vetor de entrada, com uma largura das funções de base determnada por spread. 30

16 Estratégas de Aprendzado 1. Seleção das funções radas: 1.1 Assumr M funções fxas gaussanas esfércas, centradas em pontos c escolhdos aleatoramente do arquvo de trenamento. Sendo d a dstânca máxma entre os centros, cada gaussana terá a forma: M(xc ) ( = exp ( ) d Com sso, o desvo padrão de todas as gaussanas é dado por: d = M 1. Os centros podem ser escolhdos por clusterzação dos vetores de trenamento.. Cálculo dos pesos:.1 Inversão da matrz de nterpolação;. Aplcação do algortmo LMS como regra de correção do erro na saída da rede Locally Weghted Regresson Generalza a abordagem NN, construndo uma aproxmação da função alvo f(, na vznhança de x q. fˆ( w0 w1a 1( wnan ( a ( representa o -ésmo atrbuto da nstânca x. Os coefcentes w 0... w n são determnados por auste desta função lnear a um conunto de trenamento, mnmzando o erro quadrátco sobre os k vznhos mas próxmos: E( x ) q 1 f ( fˆ( xk NN O que leva à regra da descda do gradente: f ( fˆ( w a ( xk NN onde é uma taxa de aprendzado constante.

17 33 Locally Weghted Regresson Uma função de custo alternatva consdera cada exemplo de trenamento ponderado por uma função K decrescente com a dstânca de x q : xk NN f ( fˆ( Kd x x 1 E ( xq ) q, O que leva à regra da descda do gradente modfcada: xk NN d x, x f ( fˆ( w K a ( q 34 Estmador de densdade por núcleo Os estmadores de densdade por núcleo aproxmam p( a partr de N funções de núcleo, cada qual representando o volume de nfluênca de cada nstânca de trenamento. O volume de nfluênca de cada nstânca é austado por um parâmetro de suavzação (smoothng parameter). O estmador de Parzen utlza gaussanas centradas em cada nstânca de trenamento como funções de núcleo p( 1 N N n1 1 h exp x x 1 h n onde h representa o desvo padrão da gaussana, correspondendo ao parâmetro de suavzação.

18 35 Estmador de densdade por núcleo