Echo State Networks. Universidade de São Paulo São Carlos / SP. Instituto de Ciências Matemáticas e de Computação

Transcrição

1 Unversdade de São Paulo São Carlos / SP Insttuto de Cêncas Matemátcas e de Computação Echo State Networks Sstemas Intelgentes Prof. Dra. Rosel A. Franceln Romero Fabríco Breve João R. Bertn Jr.

2 Sumáro Resumo 1 1.Introdução 1 2.A Propredade de Echo State 2 3.Estrutura de uma rede ESN 3 4.Trenamento das ESN Amostragem Computação dos pesos Utlzação 9 Referencas 10

3 Echo State Networks Resumo O modelo de rede neural Echo State Network (ESN) fo recentemente proposto como um modelo alternatvo de rede neural recorrente. O modelo é motvado pela nefcáca dos algortmos atualmente exstentes para trenamento de redes neuras recorrentes. Uma ESN é composta, bascamente, por uma camada de entrada, um reservatóro de neurônos arranjados de manera recorrente, e uma camada de saída. Como somente os pesos da camada de saída são atualzados durante o trenamento, a tarefa de aprendzado da rede torna-se lnear. A prncpal vantagem do modelo ESN é a habldade de modelar sstemas sem a necessdade trenar os pesos recorrentes. 1. Introdução Echo State Networks, proposto em [Jaeger 2001], é um modelo de rede neural artfcal recorrente (RNR). RNRs caracterzam-se pela presença de ao menos um laço de realmentação ( recorrênca ) em seus neurônos. Como descrto em [Haykn 1999], RNRs podem ser defndas como rede neuras que usam saídas de ao menos um neurôno da rede no tempo t, como entrada para outros neurônos no tempo t + 1. RNRs podem manter a atvação mesmo na ausênca da entrada e assm exbr memóra dnâmca. As redes neuras bológcas são tpcamente recorrentes. Como redes neuras bológcas, uma RNR artfcal pode aprender a mtar um sstema alvo. As RNRs geralmente apresentam um comportamento dnâmco não-lnear, o que as torna mecansmos útes na predção de valores nerentemente temporas (e.g. séres temporas). O atraso no fornecmento de entradas à rede neural ntroduz memóra na rede, proporconando aos neurônos valores de entrada atuas e valores temporalmente anterores a eles. Dversos algortmos de aprendzagem conhecdos (ver [Wllan & Zpser 1989], [Werbos 1990], por exemplo) adaptam de manera ncremental os pesos snáptcos de um RNR. Estes algortmos, no entanto, têm uso lmtado devdo a problemas do tpo: 1) convergênca para uma solução é lenta; 2) as soluções encontradas, mutas vezes são soluções sub-ótmas e 3) a 1

4 maora dos modelos recorrentes requerem convergênca a pontos estáves [Hertz et al. 1991], fato que lmta a capacdade de aprendzado da rede. Uma das prncpas dferenças entre a abordagem ESN e outros métodos de RNR estão no fato da prmera permtr o uso de grande número de neurônos (da ordem de 50 a 1000 neurônos, técncas precedentes usam tpcamente 5 a 30 neurônos) e dessa forma proporconar maor dnâmca à rede. Outra dferença sgnfcante em relação a outros modelos de redes neuras recorrentes é que em uma rede ESN somente as conexões do reservatóro para a saída são trenadas. Fato este responsável por tornar este modelo de rede atratvo, uma vez que a ausênca de dependênca cíclca entre as conexões trenadas da camada de saída (readout) permte que o trenamento transforme-se em uma tarefa smples da regressão lnear. No que segue será apresentado, de forma smplsta, o modelo de rede neural ESN segudo por um exemplo pratco retrado de [Jaeger 2002]. A teora completa sobre ESN, referenca e exemplos podem ser encontrados em [Jaeger 2001] e [Jaeger 2002]. Um modelo smlar ao de ESN com embasamento mas bológco fo recentemente proposto em [Maass et al. 2002] [Maass et al. 2002a] e é chamado de redes de estado lqudo (lqud state networks). 2. A Propredade de Echo State A propredade de echo state é crucal para que o modelo ESN funcone. Intutvamente, uma RNR exposta a snas externos u(n) tem a propredade de echo state se as atvações dos neurônos x(n) forem varações sstemátcas dos snas de entrada u(n). De uma manera mas formal, sso sgnfca que para cada neurôno nterno x exste uma função de eco (echo functon) e, tal que, se a rede fo executada por um tempo ndefndamente longo no passado, o estado corrente poderá ser escrto como na equação (1). x ( n) e ( u( n), u( n 1 ),u( n 2),...) = (1) Para ESN de tempo dscreto exstem dversas defnções alternatvas não-trvas e caracterzações algébrcas de que as matrzes de pesos W da rede conduzem às redes que têm a propredade de echo state [Jaeger 2001]. Para fnaldades prátcas, entretanto, basta ajustar o rao espectral ρ(w) de W a um valor abaxo da undade para garantr a propredade de echo state. É também mportante que a dnâmca dos neurônos do reservatóro seja bastante 2

5 varada. Para sso é necessáro que os neurônos do reservatóro apresentem um padrão de nterconexão esparsa (cerca de 1-20%). 3. Estrutura de uma rede ESN Consdere uma rede neural de tempo dscreto com K entradas, N neurônos ocultos e L neurônos na camada de saída. Como menconado anterormente, as entradas no tempo n são representadas por u(n) = (u 1 (n),..., u K (n)) e o estado de atvação dos neurônos ocultos (pertencentes ao reservatóro) por x(n) = (x 1 (n),..., x N (n)) e dos neurônos de saída y(n) = (y 1 (n),..., y L (n)). As conexões são dadas por pesos reas e podem ser representadas de forma matrcal. Os pesos da entrada para o reservatóro são armazenados em uma matrz de pesos N x K, notada por W n. Os pesos do reservatóro consttuem uma matrz N x N, notados por W, e os pesos do reservatóro para os neurônos de saída consttuem a matrz L x (K + N + L) chamada W out. Note, na Fgura 1 que algumas conexões estão marcadas em pontlhado, essas conexões são opconas no modelo orgnal. As conexões da entrada, dretamente para a saída, quando exstente, são armazenadas em W out e as conexões da saída para o reservatóro bem como as conexões entre os neurônos de saída consttuem a matrz W back. Os pesos em toda a rede possuem valores reas, e são gerados aleatoramente no nco do trenamento. Os úncos pesos que são trenados são os pesos do reservatóro para a saída (W out ), os pesos do reservatóro W, devem ser defndos como menconado na seção anteror e os pesos de W n são obtdos, na maora das vezes de manera aleatóra. A Fgura 1 resume a arqutetura de uma rede ESN consderada aqu. Fgura 1. Esquema geral de uma rede ESN 3

6 O estado de atvação defndo para os neurônos pertencentes ao reservatóro é lustrado na equação (2). x ( n 1) = f( W u( n+ 1) + Wx( n) W y( n) ) + (2) n + back Na qual x(n+1) representa o estado de atvação de um neurôno do reservatóro no tempo n+1; a função f é a função tangente hperbólca (embora em prncpo, qualquer função dferencável possa ser utlzada). As matrzes W n W e W back correspondem, aos pesos de entrada, pesos do reservatóro e pesos da saída para o reservatóro 1, respectvamente. Já o estado de atvação dos neurônos de saída no tempo n + 1, y(n+1) é defndo de acordo com a equação (3), o símbolo representa, neste caso, concatenação de matrzes. y ( n 1) = f ( W ( u( n+ 1) x( n 1) y( n) )) + (3) out out + Na equação (3), a função f out é, também a função tangente hperbólca e a matrz W out é a matrz de pesos dos neurônos do reservatóro para a saída, esta é a únca matrz modfcada durante o trenamento. 4. Trenamento das ESN Em [Jaeger 2002] é apresentado nformalmente os prncípos das ESN mostrando como trenar uma rede neural para gerar uma onda senodal: A onda desejada é dada por ( ) d n = 1 sn n. Esta tarefa não envolve entrada, portanto 2 4 teremos uma rede sem nenhuma entrada, e com uma únca saída que após o trenamento produzrá d ( n). O snal professor é uma seqüênca de 300 passos de ( n) d. Incalmente é construída uma rede recorrente com 20 neurônos, cujos pesos das conexões nternas W são ncalzados com valores aleatóros e não muda durante o trenamento. Esta rede é chamada de reservatóro dnâmco. Os neurônos são sgmodas com função de atvação f = tanh. Essa construção usando valores aleatóros para W podera fazer com que a rede apresentasse um comportamento osclatóro ou mesmo caótco, e sso não é o desejado. A solução é usar valores baxos para W, quanto mas baxos esses pesos, mas a rede tende a 1 Os peso da saída para o reservatóro (W back ) são opconas. 4

7 converger para um estado zero ncando a partr de qualquer estado arbtráro. Assummos então uma ncalzação de W com valores baxos, a Fgura 2 mostra o gráfco da saída dos 20 neurônos quando ncados com um valor aleatóro x(0). Fgura 2. Dnâmca dos neurônos no reservatóro dnâmco. Adconamos um únco neurôno de saída para este reservatóro. Esta saída tem conexões que projetam de volta para o reservatóro. A estas retroprojeções são atrbuídos pesos aleatóros W back, que também são fxos e não mudam durante o trenamento. O neurôno de saída é lnear. As úncas conexões que são modfcadas durante o aprendzado são as do reservatóro para o neurôno de saída, cujos pesos são dados por W out. Esses pesos não são defndos nem usados durante o trenamento. A Fgura 3 mostra a rede preparada para o trenamento. 5

8 Fgura 3. Confguração da ESN para trenar o gerador de ondas senodas O trenamento é feto em duas etapas: amostragem e computação de pesos. Veremos estas duas etapas a segur. 4.1 Amostragem Durante a fase de amostragem, o snal professor é na undade de saída para os tempos n = 1,...,300. A rede é ncada no passo n = 1 com um estado arbtráro (aqu usaremos o estado zero). O snal professor d ( n) é bombeado no reservatóro através das conexões de retroprojeção W back e, portanto estmula uma dnâmca de atvação dentro do reservatóro. A Fgura 4 mostra o que acontece dentro do reservatóro nos passos n = 100,...,

9 Fgura 4. As saídas de cada um dos 20 neurônos do reservatóro nduzdas por um snal d n no neurôno de saída (últmo gráfco). professor ( ) Neste ponto é mportante observar que os padrões de atvação dentro do reservatóro são peródcos, cujos períodos têm a mesma freqüênca do snal professor, e que estes padrões dferem um dos outros dentro do reservatóro. Durante o período de amostragem, os snas nternos x(n) = (x 1 (n),...,x 20 (n)) para n = 101,...,300 são coletados nas lnhas de uma matrz M de tamanho 200x20. Ao mesmo tempo, as saídas do professor d ( n) são coletadas nas lnhas de uma matrz T de tamanho 200x1. Não são coletados dados de n = 1,..., 100, porque nesses passos ncas a dnâmca da rede é parcalmente determnada pelos estados ncas arbtráros. No passo n = 100 é seguro afrmar que os efetos da ncalzação arbtrára já desapareceram e que os estados da rede são determnados apenas por d ( n) como mostrado na Fgura 3. 7

10 4.2 Computação de pesos Agora chegou a hora de computar os 20 pesos de saída lnear de saída y ( n) tas que a saída do professor ( n) out w para nosso neurôno d seja aproxmada como uma combnação lnear das séres de atvação nternas x ( n), de acordo com a equação (4). 20 out ( n) y( n) = w x ( n) d (4) = 1 De manera mas específca, computamos os pesos quadrátco médo é mnmzado, como mostra a equação (5). out w tas que o erro de trenamento MSE tran = n= out ( d ( n) y( n) ) = d( n) w x ( n) 20 n= 101 = 1 2 (5) Do ponto de vsta matemátco esta é uma tarefa de regressão lnear, que consste em computar os pesos de regressão com n = 101,..., 300 out w para uma regressão de d ( n) nos estados da rede ( n) De um ponto de vsta ntutvo-geométrco, sto sgnfca combnar os 20 estados nternos vstos na Fgura 3 de forma que a combnação resultante melhor aproxme o snal do professor vsto na mesma fgura (o últmo). E fnalmente do ponto de vsta algorítmco, a computação offlne dos pesos de regressão equvalem a computar uma pseudo-nversa: os pesos desejados que mnmzam MSE tran são obtdos multplcando a pseudo-nversa de M com T (equação 6). 1 Wout = M T (6) x Computar a pseudo-nversa de uma matrz é uma operação padrão na álgebra lnear. Neste exemplo, o erro de trenamento com os pesos ótmo fo MSE calculados os pesos, estes são nclusos na rede, a qual estará pronta para uso. tran = 1,2 13. Uma vez 8

11 4.3 Utlzação Após os pesos de saída serem escrtos nas conexões de saída, a rede fo executada por mas 50 passos, contnuando do últmo estado de trenamento x ( 300), porém agora a saída do professor não será mas utlzada. Dessa forma a saída da rede y ( n) passa a ser gerada pela própra rede trenada. O erro de teste é dado pela equação (7). MSE test = ( d ( n) y( n) ) n= (7) Da equação (7) fo encontrado MSE test = 5,6 12, que é maor que o erro de trenamento, mas anda bastante pequeno, mostrando que a rede aprendeu a gerar a onda senodal de forma precsa. x ( n). É possível afrmar, portanto, que o snal y ( n) é obtdo através de seus própros ecos Para mostrar que a establdade obtda não está no fato de os passos avalados começarem em n = 301, que é gerado pela saída do professor [Jaeger 2002] ncalza a rede trenada a partr de um estado arbtráro, e mesmo assm após alguns passos ela se establza no snal desejado, conforme mostrado na Fgura 5. Fgura 5. Incando a rede trenada a partr de um estado aleatóro. O gráfco mostra as prmeras 50 saídas. 9

12 Referêncas [Haykn 1999] Haykn, S. Neural Networks: A Comprehensve Foundaton, Prentce Hall, 2nd Edton, [Hertz et al. 1991] Hertz, J., Krogh, A., Palmer, R. Introducton to the theory of neural computaton, Addson-Wesley (1991) [Jaeger 2001] Jaeger, H. The echo state approach to analyzng and tranng recurrent neural networks. GMD Report 148, GMD German Natonal Research Insttute for Computer Scence, [ [Jaeger 2002] Jaeger, H. Tutoral on tranng recurrent neural networks, coverng BPPT, RTRL, EKT and the echo state networks approach (revsed verson). GMD Report 159, Fraunhofer Insttute AIS, [Jaeger 2003] Jaeger, H. Adaptatve nonlnear system dentfcaton wth echo state networks, In: Advances n Neural Informaton Processng Systems, MIT-Press, Cambrdge, M.A., pp , [Maass et al. 2002] Maass, W., Natschlaeger, T., Markram, H. Real-tme computng wthout stable states: A new framework for neural computaton based on permutatons. [ [Maass et al. 2002a] Maass, W., Natschlaeger, T., Markram, H. A model for real-tme computng n generc neural mcrocrcuts. Advances n Neural Informaton Processng System 15 (Proc. NIPS). MIT Press, [Werbos 1990] Werbos, P. J. Back propagaton through tme: What t does and how to do t, Proc. IEEE, vol. 78 No. 10, pp , [Wllan & Zpser 1989] Wllams, R. J., Zpser, D. A learnng algorthm for contnually runnng fully recurrent neural networks, Neural Computaton, vol. 1, pp ,