Processamento Temporal por redes neurais feedforward. Teorema do mapeamento míope universal

Transcrição

1 Redes Neas Pocessamento Tempoal po edes neas feedfoad Teoema do mapeamento míope nvesal O so de memóas na entada de m MLP paa modela mapeamentos dnâmcos, vem do teoema do mapeamento míope nvesal: Qalqe mapeamento dnâmco míope (com decamento nfome) nvaante a deslocamentos pode se apoxmado po ma estta consttída de dos blocos fnconas, m banco de fltos lneaes qe almenta ma ede neal estátca. Invaante a deslocamento: Se x(n) y(n), então x(n n 0 ) y(n n 0 ), n 0 nteo. A ede TLFN (tme lagged feedfoad neto) focada é a ealzação desta estta. h 1 (n) Entada x 1 (n) h 2 (n) N Saída y(n) h 2 (n) Banco de núcleos de convolção (fltos lneaes) Rede não-lnea estátca 2

2 Redes feedfoad focadas no tempo neal focado: a estta de memóa está na entada É eqvalente ao flto FIR: flto de esposta a mplso de dação fnta (de odem p). Eqvale à convolção do snal de entada com os paâmetos do flto (pesos). Entada x(n) x(n 1) x(n 2) x(n p+1) x(n p) (1) (2) (p 1) (p) (0) Pesos snáptcos (bas) b Jnção adtva y v (n) Fnção de atvação ( ) p l0 ( l) x( n l) b Saída y TLFN focada focsed TLFN: focsed tme lagged feedfoad neto RN almentada adante focada atasada no tempo Implementa m banco de fltos almentando ma ede não-lnea. Entada x(n) x(n 1) x(n 2) x(n p+1) x(n p) 1 (0) m1 (p) 1 (p) y 1 (n) y m1 1 (n) m1 (0) y 2 (n) y m1 (n) 2 m1 1 m1 1 y( n) 1 y( n) m 1 1 m 1 Saída y(n) p l0 y b ( l) x( n l) b 0 b 0

3 Pevsão de sée tempoal n TLFN como pevso de m passo: x(n + 1) x( l) l0 Snal de feqüênca modlada: x(n) = sen(n + sen(n 2 )), n = 0,1,... Dados de tenamento: 500 padões com seqêncas de 21 nstâncas (a entada atal e 20 atasadas ) paa peve a póxma (saída deseada). p x( n l) 0 x( n 1) l p 5 Melhoes esltados com ealy stop LM, 26 ndades ocltas teno: 550, valdação: 50, teste: 100 EMQ: 0,087 6

4 neal como flto FIR não-lnea x(n) x(n 1) x(n 2) x(n p+1) (1) (2) (p 1) (p) (0) b v (n) ( ) y x (n) FIR s (n) b v (n) ( ) y x(n p) FIR: snapse pmáa x (n) x (n 1) x (n 2) x (n p+1) x (n p) (0) (1) (2) (p 1) (p) Snapses secndáas s p 0 x ( n ) 7 Pocessamento Espaço-Tempoal neal de múltplas entadas: tem m 0 snapses pmáas, esponsáves pela dmensão espacal Cada snapse pmáa tem (p + 1) snapses secndáas, qe mplementam m flto FIR de odem p x 1 (n) FIR 1 s 1 (n) (bas) b x 2 (n) FIR 2 s 2 (n) v (n) Fnção de atvação ( ) Saída y x m0 (n) FIR m 0 s m0 (n) snapses (pmáas) y ( ) n v ( t) m 1 m p 0 1 l0 t 0 h ( l) x ( n l) b apoxmação de tempo dsceto de: ( ) x ( t ) d b 8

5 Pocessamento snáptco Cada snapse pmáa mplementa (apoxm.) a convolção do snal de entada x (t) e a esposta ao mplso h (t) caactezando m flto lnea de tempo contíno epesentando a snapse x 1 (n) FIR 1 s 1 (n) b x 2 (n) FIR 2 s 2 (n) v (n) ( ) y s (n) h (t)x (t) x (n) x m0 (n) Snapse pmáa FIR m 0 x (n 1) s m0 (n) Snapses secndáas x (n 2) x (n p+1) x (n p) t h ( ) x ( t ) d (0) (1) (2) (p 1) (p) s p 0 x ( n ) 9 Redes atasadas no tempo dstbídas Uma ede TLFN dstbída pode se sada em ambentes nãoestaconáos (vaam no tempo) A nflênca mplícta do tempo é dstbída em toda a ede É baseada no flto neal de múltplas entadas. Defnndo o veto de estado e o veto de pesos nma snapse: x ( n ) x, x ( n 1),..., x ( n p) (0), (1),..., ( p) A soma convoltva da snapse coesponde ao podto nteno: s (n) = T x (n) s T p l0 T ( l) x ( n l) 10

6 x 1 (n) x 2 (n) x (n) o 11 o 12 o 21 o 22 s o 11(n) s o 12(n) s o 21(n) Exemplo de TLFN dstbída s o 22(n) b o 1 b o 2 x (n 1) v o 1(n) v o 2(n) ( ) ( ) x (n 2) y o 1 y o 2 (0) (1) (2) s 11 s 12 s 21 s 22 s s 11(n) s s 12(n) s s 21(n) s s 22(n) b s 1 b s 2 v s 1(n) v s 2(n) ( ) ( ) x ( n ) x, x ( n 1), x ( n 2) (0), (1), (2) T T y 1 y 2 s, (n) Snapse 11 Leta de atgos Tme-Delay Neal Neto (TDNN): abel89_tdnn.pdf 12

7 TDNN 1 TDNN 1

8 Algotmo de etopopagação tempoal Uma ede TLFN dstbída pode se tenada com m algotmo BP tempoal, pelo qal a esposta eal de cada neôno de saída é compaada com a esposta deseada a cada nstante de tempo. Se a esposta do neôno de saída é y (n) e a esposta deseada paa ele é d (n), ambas meddas no tempo n, o valo nstantâneo da soma dos eos qadátcos podzdos pela ede é: 1 2 E e 2 com e (n) = d (n) y (n) A fnção de csto a se mnmzada é defnda paa todos os tempos: E total E( n) n 15 Descda do gadente Abodagem pelo gadente do potencal de atvação : E total n Etotal v v Sepaa a vaação da fnção de csto podzda po ma vaação (nstantânea) no potencal de atvação, do gadente do potencal de atvação. Reslta na expessão ecsva (postlada) paa atalza o veto de pesos: ( n 1) E v total v Da defnção do potencal de atvação v (n), obtemos o gadente nstantâneo do potencal de atvação: v x ) T ( n b ( n) x v 16

9 Gadente local Defnmos o gadente local da fnção de csto (em elação ao potencal de atvação nstantâneo) do neôno no tempo n, como: Etotal v Com sso, o aste do veto de pesos é calclado pela expessão famla: ( n 1) x O poblema do aste dos pesos se edz ao cálclo dos gadentes locas nos neônos em cada camada. As fómlas dependem se o neôno é ma ndade de saída o oclta. Caso 1. O neôno é ma ndade de saída: A modfcação do potencal afeta apenas o eo nstantâneo nma únca saída Etotal E( n) e '( v ) v v 17 Etotal v Gadente local Caso 2. O neôno é ma ndade oclta: A modfcação do potencal afeta dvesos temos de eo e a sa nflênca se estende no tempo devdo às lnhas de ataso nas camadas segntes. Se somam as pacelas do gadente local v () paa cada neôno almentado po, nos nstantes nas posções coespondentes. A Etotal v v v onde A é o connto de todos os neônos almentados po, é o índce de m neôno genéco em A e é o tempo nas posções de nteesse. Entando com a defnção de () da camada de saída e sando a ega da cadea paa explcta as devadas pacas: A v v A v y y v 18

10 Exemplo de TLFN dstbída A Etotal v v v A v v A v y y v x 1 (n) y o (n) o b o s o (n) v o (n) ( ) (n) y (n 1) y (n 2) y o 1, (0) 1, (1) 1, (2) s 1, s 2, s s 1,(n) s s 2,(n) b s 1 b s 2 v s 1(n) 1 (n) v s 2(n) ( ) ( ) y 1 y 2 s s 1,(n) 2 (n) 19 Exemplo de TLFN dstbída A Etotal v v v A v v A v y y v x 1 (n) o s o (n) (n) b o v o (n) ( ) y o s 1, s s 1,(n) 1 (n) b s 1 v s 1(n) ( ) y 1 = n = n + 1 y o (n) y (n 1) y (n 2) y o (n+1) y (n) y (n 1) 1, (0) 1, (1) 1, (2) 1, (0) 1, (1) 1, (2) s s 1,(n) s s 1,(n+1) v s 1(n) v s 1(n+1) 20

11 Gadente local Defnndo m veto (tempoal) de gadentes locas: Δ obtemos, ( n ), ( n 1),..., ( n p) '( v ) A T Δ A atalzação dos pesos é dada então po: ( n 1) x T e '( v '( v ) ), A Δ T, está na camada de saída está na camada oclta 21 Restções de casaldade A defnção do veto de gadentes locas é não-casal, pos eqe o conhecmento dos valoes ftos dos s e s. Paa tona a comptação casal é necessáo faze ma toca de efeênca tempoal, baseando-se apenas nos valoes coente e passados: Δ ( n p) ( n p), ( n 1 p),..., ( n p) '( v ( n p)) A T Δ ( n p) A atalzação dos pesos na camada oclta é dada então po: ( n 1) ( n lp) x ( n lp) ( n lp) '( v ( n lp)) A T Δ ( n lp) onde l = 1 coesponde à pmea camada oclta, atás da camada de saída, l = 2, coesponde a das camadas atás da camada de saída. T 22

12 Aste dos pesos na camada oclta s 1 Δ 1 (n) δ o (n) φ (v o (n)) s 2 s Δ 2 (n) Δ (n) Neônos no connto A o ( n lp) '( v o o o ( n 1) ( n lp) x ( n lp) ( n lp)) A T Δ ( n lp) onde l = 1 coesponde a pmea camada oclta antes da camada de saída, l = 2, à segnda camada oclta, e assm po dante. s 2 Resmo do algotmo BP Tempoal 1. Popage o snal de entada atavés da ede. Detemne o snal de eo e (n) paa o neôno da camada de saída sbtando sa saída eal da esposta deseada coespondente. Amazene o veto de estado paa cada snapse da ede, x (n). 2. Paa o neôno da camada de saída, calcle: e '( v ) ( n 1) x onde x (n) é o estado da snapse de m neôno oclto conectado a.. Paa o neôno em ma camada oclta, calcle: o ( n lp) '( v o ( n lp)) A Δ ( n lp) o o ( n 1) ( n lp) x ( n lp) onde l = 1 coesponde a pmea camada oclta antes da camada de saída, l = 2, à segnda camada oclta, e assm po dante. s 2

13 Leta de atgo TDNN1.pdf: Caacteza e contasta as capacdades da classe geal de RN TDNN, o aqteta neal neto fnte mplse esponse (NNFIR), dstngndo ente IDNN, npt delayed NN, e HDNN, hdden delayed NN. Aboda o poblema de ndção de lngagem: dado m connto de cadeas bnáas, otladas como nclída nma lngagem patcla L o não, a ede deve apende a classfca coetamente novas cadeas qe não fzeam pate do aqvo de tenamento. O poblema é de domíno dsceto: as entadas são tomadas de m alfabeto dsceto, p.ex {0, 1}, e as saídas são ntepetadas como dscetas. O connto de lngagens qe podem se epesentadas po ma TDNN são aqelas epesentadas po ma máqna de memóa defnda (DMM, defnte memoy machne). 25 Relação da aqteta TDNN com atômatos Uma máqna de memóa defnda (DMM) de odem d é ma máqna de estados fntos (FSM, fnte state machne) co estado pesente pode sempe se detemnado ncamente pelo conhecmento das sas d últmas entadas. Uma DMM de odem d é ma FSM co compotamento de aceta/eeta entadas é ma fnção apenas das d entadas mas ecentes. Como qalqe fnção booleana pode se epesentada po ma ede MLP, exste ma IDNN com ma únca ndade de saída e d 1 atasos na sa únca entada capaz de ealza o mapeamento ente a hstóa ecente da entada paa qalqe fnção de dscmnação booleana. Note qe TDNN e IDNN são fnconalmente eqvalentes. Os atoes demonstaam a capacdade de apende ma DMM com mtos estados sando m peqeno sbconnto de exemplos de tenamento possíves. A máqna apendda é ma DMM de odem 11qe mapea entadas ecentes paa aceta (1) o eeta (0), coespondente à fnção: y ( )

14 Apendendo ma DMM gande A fnção booleana escolhda eqe 2 11 (208) estados paa se epesentada. Paa ca os conntos de tenamento e teste foam geadas todas as cadeas bnáas de compmento de 1 a 11, 09 no total, otladas de acodo com a lngagem da DMM escolhda. A IDNN tem 10 atasos na entada, sete nós ocltos e m nó sgmóde de saída. Dante o tenamento (e teste), antes da ntodção de ma nova cadea, os valoes de todos os atasos foam zeados. Tenamento: BP, com aste de pesos apenas qando a amosta de tenamento casava eo absolto mao qe 0,2. O tenamento paava qando o eo absolto paa todos os exemplos ea meno qe 0,2. Isto é eqvalente a mnmza a segnte fnção de csto: g( t y ) 2 x se x 0,2 onde g( x) 0 caso contáo 27 Genealzação como fnção do tamanho do aqvo de tenamento A saída ea consdeada 1 se fosse mao qe 0,5. Gáfco médo de 20 odadas com pesos ncas aleatóos dstntos e conntos de tenamento escolhdos aleatoamente. As baas de eo ndcam m desvo padão de cada lado da méda. 28

15 Vés de apendzado Apesa de podeem epesenta a mesma classe de fnções, a IDNN e a HDNN não têm capacdade eqvalente de apende o mesmo connto de fnções. A HDNN é melho paa apende poblemas de DMM nos qas a fnção lógca qe defne o DMM contém temos dêntcos qe se epetem no tempo. Cada nó na pmea camada oclta da HDNN ata como detecto de caacteístcas qe examna m temo específco na sa anela de entada. Se m temo se epete, m únco detecto de caacteístcas pode se sado paa econhece a cada tempo. As póxmas camadas, com atasos, têm acesso a essas caacteístcas em váos passos de tempo e podem combná-las paa foma a saída. Como a IDNN não tem lnhas de ataso ntenas, é mas dfícl paa ela detecta este tpo de egladade nas entadas. A HDNN tem vantagens paa apende poblemas com temos epetdos em anelas estetas de tempo. Esta vantagem desapaece qando os temos são mas lagos qe os detectoes de caacteístcas o qando há poca epetção dos temos. 29 Expementos Fo mplementada ma IDNN com 8 atasos na únca entada, 5 ndades na pmea camada oclta, ndades na segnda camada oclta e ma de saída. A HDNN tem atasos na entada e 2 camadas ocltas, cada ma com nós. Cada saída da pmea camada oclta passa po 5 atasos. Assm, em cada aqteta, o nó de saída compta ma fnção da entada coente ntamente com 8 entadas atasadas. Cada aqteta tem camadas e apoxmadamente o mesmo númeo de pesos: 76 na HDNN e 79 na IDNN, contando os veses. Foam especfcados dfeentes classes de poblemas: anela esteta com epetção, anela esteta sem epetção, anela laga com epetção, anela laga sem epetção. Cada poblema fo especfcado po ma fnção de mapeamento específca. 0

16 1 Fnções de mapeamento Poblema: anela esteta com epetção: ( 7 ) y Poblema: anela esteta sem epetção: ( 7 ) y Poblema: anela laga com epetção: ( 7) y Poblema: anela laga sem epetção: ( 7 ) y 2 Resltados