Universidade Federal do Rio de Janeiro GRADUAÇÃO /2. Modelo MLP. MLP Multi Layers Perceptron

Transcrição

1 Unversdade Federal do Ro de Janero GRADUAÇÃO - 8/ Modelo MLP Antono G. Thomé thome@nce.ufrj.br Sala MLP Mult Laers Perceptron. Redes Neuras RN de múltplas camadas resolvem problemas não lnearmente separáves.. Uma função contínua sempre pode ser aproxmada por uma rede de uma camada oculta, desde que a camada de saída seja lnear e a camada oculta utlze uma função de propagação contínua não-constante, lmtada e monotoncamente crescente. Teorema da Aproxmação Unversal. 3. Uma função qualquer sempre pode ser aproxmada por uma rede de duas camadas ocultas. 4. Toda classfcação pode ser feta com uma rede com uma camada oculta e uma de saída, ambas não lneares.

2 O Modelo MLP W - W W x x ^ ^ a camada de pesos ajustáves K- a camada escondda a camada de pesos ajustáves camada de saída a camada de pesos ajustáves a camada escondda váras camadas de pesos ajustáves; conexão completa; tpo acíclca feedforward 3 Esquema de Trenamento - A Regra Delta Generalzada o modelo do neurôno Bacpropagaton x w d x m w m Σ + w net f net w erro x X esquema aprendzagem a função degrau é substtuída pela sgmod ou tangente hperbólca 4

3 Problema do XOR OU Exclusvo Camada oculta: neurônos Camada de saída: neurôno Função de propagação: sgmódes 5 Defnção do problema 6 3

4 Retas defndas pelos Perceptrons da camada oculta. Reta Reta 7 x.x + x.x Net Net O valor dos net s dos neurônos da camada oculta para cada uma das 4 entradas. 8 4

5 n n O valor das saídas dos neurônos da camada oculta para cada uma das 4 entradas. Observe que agora o problema é lnearmente separável. 9 Reta 3 A reta traçada pelo neurôno da camada de saída. 5

6 A reta traçada pelo neurôno da camada de saída projetada no domíno orgnal de x e x. Observe que a reta dexou de ser reta, sso só é possível porque a transformação exercda pela camada escondda é não lnear. A Regra Delta Generalzada métrca de aprendzagem - erro quadrátco e E regra de aprendzagem W o mesmo da regra delta ˆ d + λ E 6

7 7 3 o ajuste dos pesos da camada de saída W j j ^ ^ j E W + λ ˆ E d A Regra Delta Generalzada A Regra Delta Generalzada 4 / ˆ ˆ todo w net net E w E E ˆ ˆ ˆ ˆ e E d d E W + λ j j ^ w d e A Regra Delta Generalzada A Regra Delta Generalzada

8 ˆ ' f net f net net net A Regra Delta Generalzada net wh h w w w + λe f ' net entrada Dervada da propagação erro na camada de saída 5 A Regra Delta Generalzada o ajuste dos pesos da a camada escondda j h j j w h 6 W h + λ E E E 8

9 W h A Regra Delta Generalzada + λ E E w E E ˆ net h neth w ˆ net net w h h h h h + λ erro na camada de saída dervada da propagação peso da conexão e f ' net w f ' net h retropropagação ponderada do erro de cada neurôno da camada de saída entrada dervada da propagação 7 Estratégas de Trenamento Quanto ao período de ajustes dos pesos por padrão ncremental - os pesos são ajustados após a apresentação de cada exemplo do conjunto de trenamento - é estável se a taxa de aprendzado é pequena - é rápda se o conjunto de trenamento é grande e redundante - requer menos memóra 8 9

10 Estratégas de Trenamento Quanto ao período de ajustes dos pesos por cclo batch/epoch - os pesos são ajustados após a apresentação de todos os exemplos do conjunto de trenamento - geralmente é mas estável - é lenta se o conjunto de trenamento é grande e redundante - requer mas memóra 9 Estratégas de Trenamento Quanto ao período de ajustes dos pesos por bloco - combna as abordagens de ajuste por padrão e por cclo - os pesos são ajustados após a apresentação de exemplos do conjunto de trenamento

11 Estratégas de Trenamento Quanto ao crtéro de parada pelo número de cclos de trenamento - pára após a execução de cclos de trenamento pelo valor do erro ou métrca usada - pára quando valor do erro é menor ou gual a α pelo crtéro de valdação - pára quando o erro no conjunto de valdação pára de decrescer Estratégas de Trenamento Quanto a seleção dos conjuntos de dados trenamento e teste separados - razão 7% e 3% trenamento, teste e valdação 5%, 3% e % - razão 5%, 3% e % trenamento e teste juntos - poucos dados

12 Estratégas de Trenamento Quanto a arqutetura da rede número de camadas esconddas - uma, duas ou mas? número de elementos por camada - menor / maor que o número de entradas? funções de propagação - lnear, sgmod ou tangente hperbólco? nfelzmente não exste uma regra que dz qual a melhor confguração de rede para um determnado problema 3 Dfculdades e Soluções no Trenamento Velocdade de convergênca, mínmos locas e platôs taxa de aprendzado adaptatva termo de momento algortmos alternatvos Demos: Steepest descent Varable learnng rate Momentum Too large a learnng rate 4 sem momento com momento

13 Dfculdades e Soluções no Trenamento Capacdade de aprendzagem aumentar o número de elementos na camada escondda aumentar o número de camadas esconddas trocar / combnar dferentes funções de propagação rever a representação usada para o problema população 5 Dfculdades e Soluções no Trenamento Perda de generalzação overfttng generalzação rum boa generalzação Demo: Generalzaton 6 3

14 Dfculdades e Soluções no Trenamento Como evtar perda de generalzação? pelo crtéro da valdação reduzr podar a arqutetura da rede adconar ruído aos dados erro na valdação erro no trenamento 7 ponto de parada Dfculdades e Soluções no Trenamento Corte e Saturação fnet saturação f net corte net 8 4

15 Dfculdades e Soluções no Trenamento Corte e Saturação ncar com pesos muto próxmos de zero normalzar e reduzr o valor absoluto das entradas adconar uma constante à dervada usar métrca que ao nfnto quando a dervada a f ' net dervada da sgmod f ' net dervada da tang. hperb. 9 Algortmos alternatvos Gradent descent wth momentum and adaptve learn rule bacprop. Reslent bacprop. Powell-Beale conjugate gradent bacpropagaton Fletcher-Powell conjugate gradent bacpropagaton Gradent descent bacpropagaton BFGS quas-newton bacpropagaton Levenberg-Marquardt bacpropagaton One-step secant bacpropagaton Scaled conjugate gradent bacpropagaton Pola-Rbere conjugate gradent bacpropagaton 3 5