MULTI-LAYER PERCEPTRON

Transcrição

1 MULTI-LAYER PERCEPTRON Rds d anas uma camada só rrsntam funçõs linarmnt sarávis Rds d múltilas camadas solucionam ssa rstrição O dsnvolvimnto do algoritmo Bac-Proagation foi um dos motivos ara o rssurgimnto da ára d rds nurais MULTI-LAYER PERCEPTRON O grand dsafio foi achar um algoritmo d arndizado ara atualizar dos sos das camadas intrmdiarias Idéia Cntral os rros dos lmntos rocssadors da camada d saída (conhcidos lo trinamnto survisionado) são rtro-roagados ara as camadas intrmdiarias

2 MODELO BÁSICO DO NEURÔNIO ARTIFICIAL Padrão d ntrada vtor X i i MULTI-LAYER PERCEPTRON Rd d 3 camadas 5/5/3/4 Entrada Camada Escondida Camada Escondida Saída

3 CARACTERISTICAS BASICAS - Rgra d roagação w + - Função d ativação: Função não-linar difrnciávl m todos os ontos; - Toologia: Múltilas camadas; - Algoritmo d Arndizado: Survisionado; - Valor d Entrada/Saída: Binários /ou Contínuos i i i θ i Procsso d minimização do rro quadrático lo método do Gradint Dscndnt w i E η w Cada so sinático i do lmnto rocssador é atualizado roorcionalmnt ao ngativo da drivada arcial do rro dst rocssador com rlação ao so i 3

4 Ond o rro quadrático do rocssador é dfinido como: E ( t ) t valor dsado d saída ara o rocssador da camada d saída stado d ativação do rocssador da camada d saída Na vrdad, dv-s minimizar o rro d todos os rocssadors da camada d saída, ara adrõs E N ( ) t t valor dsado d saída do adrão ara o rocssador da camada d saída stado d ativação do rocssador da camada d saída quando arsntado o adrão 4

5 Calcula w i w i E η w i E η w i E w + θ i i w η i i Calcula Dnd da camada à qual o rocssador rtnc E E F( ) S Camada d Saída S Camada d Saída F ( ) 5

6 Calcula, Camada d Saída E E E ( t ) F( ) ( t )( ) F ( ) [ ( t )] F ( ) ( t ) F ( ) Calcula, Camada Escondida E E E? F( ) F ( ) 6

7 Calcula, Camada Escondida Plo arndizado survisionado, só s conhc o rro na camada d saída; Erro na saída é função do otncial intrno do rocssador ( ) O dnd dos stados d ativação dos rocssadors da camada antrior ( ) dos sos das conõs (w i ); Portanto, d uma camada scondida afta, m maior ou mnor grau, o rro d todos os rocssadors da camada subsqunt Calcula d, Camada Escondida w PE w PE w Procssador da Camada scondida PE 7

8 8 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) w F w F d F d F d F d F F d E E ' ' ' ' ' ' ' Obs: d t - Em rsumo, aós o cálculo da drivada, tm-s i i w η Ond i valor d ntrada rcbido la conão i valor calculado do rro do rocssador

9 Procssador rtnc à Camada d Saída: Valor dsado d saída t i w i PE Saída ( t ) F ( ) Procssador rtnc à Camada Escondida: w PE w PE Procssador da Camada scondida w PE F' ( ) ( w ) 9

10 O algoritmo Bac-Proagation tm ortanto duas fass, ara cada adrão arsntado - Fdforward - as ntradas s roagam, la rd, da camada d ntrada ara a camada d saída - Fdbac - os rros s roagam, na dirção contraria ao fluo d dados, indo da camada d saída até a rimira camada scondida Ilustração Fas : Fd-Forward Fluo d Dados Entrada Camadas Escondidas Saída 0

11 Ilustração Fas : Fd-Forward Fluo d Dados Entrada Camadas Escondidas Saída Ilustração Fas : Fd-Forward Fluo d Dados Entrada Camadas Escondidas Saída

12 Ilustração Fas : Fd-Forward Fluo d Dados Entrada Camadas Escondidas Saída Ilustração Fas : Fd-Bacward Cálculo do rro da camada d saída Fluo d Erros t t t 3 3 Entrada Camadas Escondidas Saída t F m ( ) ( ) m m m t m m

13 Ilustração Fas : Fd-Bacward Atualização dos sos da camada d saída Fluo d Erros t t Entrada Camadas Escondidas Saída w η P w m m m m m m P m t 3 3 t m m Ilustração Fas : Fd-Bacward Cálculo do rro da o camada scondida Fluo d Erros t t Entrada Camadas Escondidas Saída F w P w m m m ( ) m i i P m t 3 3 t m m 3

14 Ilustração Fas : Fd-Bacward Atualização dos sos da o camada scondida Fluo d Erros t Entrada Camadas Escondidas Saída w η P w m P P m t t 3 3 t m m Ilustração Fas : Fd-Bacward Cálculo do rro da o camada scondida Fluo d Erros t t w P t 3 3 P P m Entrada Camadas Escondidas Saída F w ( ) i i t m m 4

15 Ilustração Fas : Fd-Bacward Atualização dos sos da o camada scondida Fluo d Erros t t Entrada Camadas Escondidas Saída w η n P P P m n w m t 3 3 t m m ALGORITMO Est rocdimnto d arndizado é rtido divrsas vzs, até qu ara todos rocssadors d camada d saída ara todos adrõs d trinamnto, o rro sa mnor do qu o scificado 5

16 Inicialização ALGORITMO sos iniciados com valors alatórios qunos ( w i < 0) Trinamnto loo até qu o rro d cada rocssador d saída sa < tolrância ara todos os adrõs d conunto d trinamnto ) Alica s um adrão d ntrada i su rsctivo vtor d saída t i dsado; ) calcul s as saídas dos rocssadors, comçando da rimira camada scondida até a camada d saída; 3) calcul s o rro ara cada rocssador da camada d saída, s rro < tolrância, ara todos os rocssadors, volta ara ) 4) atualiza os sos d cada rocssador, comçando la camada d saída, até a camada d ntrada; 5) volta ao asso ) DICAS PARA BP O uso da função d ativação simétrica gralmnt aclra o trinamnto 6

17 DICAS PARA BP Os sos dvm sr inicializados com valors uniformmnt distribuídos A ordm d arsntação dos adrõs d trinamnto dv sr altrada a cada éoca - ordm alatória Todos os nurônios dvm arndr na msma taa DICAS PARA BP O rocsso d arndizado od sr visto como um roblma d curv fitting ou introração 7

18 EXEMPLO + + w 0 b 0 b w w 0 PE w 03 w 3 w w w PE w 3 PE 3 Camada d Entrada Camada Escondida Camada d Saída Entrada: (, 0) Saída Dsada: t 3 Psos iniciais: w i (0) 0 Taa d Arndizagm: η 05 Função d Ativação: F ( ) i + Drivada da Função d Ativação: F' ( ) i EXEMPLO ( ) ( i ) [ + ( )] i i 8

19 Algoritmo d Arndizado: EXEMPLO w i w i + η i ( t ) F' ( ) F' ( ) w Camada d Saída Camada Escondida EXEMPLO Primiro Circulo d Trinamnto: b Então, t w w w

20 EXEMPLO Primiro Circulo d Trinamnto (cont): w w w w w w PROBLEMA XOR PE - + PE PE Camada d Entrada Camada Escondida Camada d Saída 0

21 PROBLEMA XOR (0, ) (, ) (0, ) (, ) Saída Saída 0 Saída (0, 0) (, 0) Borda d dcisão construída lo a nurônio scondido Saída 0 (0, 0) (, 0) Borda d dcisão construída lo a nurônio scondido PROBLEMA XOR (0, ) (, ) Saída 0 Saída Saída 0 (0, 0) (, 0) Borda d dcisão construída la rd comlta