Variações do BP. Variações do BP. Variações do BP. Taxa de Aprendizado Adaptativa. Taxa de Aprendizado Adaptativa

Tamanho: px

Começar a partir da página:

Download "Variações do BP. Variações do BP. Variações do BP. Taxa de Aprendizado Adaptativa. Taxa de Aprendizado Adaptativa"

Elza de Almeida
5 Há anos
Visualizações:

1 A principal crítica ao algoritmo Back Propagation é o longo tempo de treinamento proposta de variações simples para acelerar o processo de aprendizado Taxa de Aprendizado Adaptativa Inicia-se com um valor de η mais elevado (por exemplo η = 0.7) e, caso o erro aumente, deve-se diminuir o valor de η; Inicia-se com um valor de η mais elevado (por exemplo η = 0.7) e, a cada x (arbitrário) iterações, diminui-se o valor de η. 1

2 Método de Vogl Taxa de aprendizado adaptativa, onde η( (global) no tempo t é determinada por: φη η( = βη η( se E( < E( se E( > 1.05E( caso contrário onde φ>1 e β<1 são constantes φ = 1.05 e β = 0.7 Método de Vogl Além de atualizar a taxa de aprendizado quando o erro cresce: a atualização anterior nos pesos é desfeita e a taxa de momento é colocada em zero para a próxima iteração; evita que a atualização do peso vá para a mesma direção da iteração anterior; após uma iteração bem sucedida (o valor do erro diminui), a taxa de momento volta ao valor anterior. ajustes na taxa de aprendizado (η) e no delta para a mudança nos pesos ( w) dependem somente dos sinais dos termos do gradiente e não da sua magnitude. Método batch de atualização, i.e. os pesos são atualizados uma vez por ciclo. Procura eliminar a influência negativa do valor da derivada parcial utiliza sós o sinal para valores desejados próximos de 0 ou 1, o erro pode ser grande mas a derivada é 0. 2

3 cada peso w possui o seu próprio passo, que varia no tempo de acordo com: Valor de atualização ( = + η η caso onde 0 < η - < 1 < η + = o = 0.1; mín = 10-6 e máx = 50 valores típicos: η + = 1.2 e η - = 0.5 se ( se ( contrário cada peso w é portanto atualizado segundo: Valor de atualização w ( ( = + ( se ( se ( caso contrário exceção: w ( = w desfaz atualização e não é atualizado se ( Erro aumenta Erro diminui uma mudança de sinal indica que a última atualização foi muito grande, devendo a atualização ser reduzida de um fator η - ; derivadas consecutivas de mesmo sinal indicam que o sistema está se movendo na mesma direção, portanto a atualização pode ser aumentada de um fator η + para acelerar a convergência. Resilient Propagation pode-se ainda utilizar o termo de momento; parece ser um dos métodos heurísticos mais rápidos e confiáveis para uma grande faixa de problemas; no gradiente decrescente, o gradiente tende a ficar muito pequeno perto do mínimo (o erro decresce exponencialmente) como o RPROP independe da magnitude do gradiente, não fica lento no final do treinamento. Nas redes de múltiplas camadas, os termos derivativos tendem a ser atenuados conforme se propagam para as camadas intermediárias cada camada insere um termo proporcional à derivada da função de ativação (<1) RPROP só depende do sinal dos termos derivativos. Geralmente converge 4-5 vezes mais rápido que o BP padrão. 3

4 Baseado nas seguintes 4 heurísticas: 1 - cada parâmetro deve ter a sua própria taxa de aprendizado (η); 2 - cada taxa de aprendizado deve poder variar ao longo do tempo; As propriedades da superfície de erro mudam conforme o vetor de pesos se desloca. 3-ηpode ser aumentada quando a derivada parcial do erro possui o mesmo sinal por vários passos; 4-ηdeve ser reduzida quando a derivada parcial muda de sinal várias vezes. Tende a significar que o vetor de pesos está oscilando de um lado para o outro Essas heurísticas são na verdade deduções de: η ( = (. cada peso w possui sua própria η( que é ajustada após cada ciclo da seguinte forma: κ se δ δ ( η( = φη ( se δ δ ( 0 caso contrário onde δ ( = δ ( = (1 θ ) δ ( + θδ média exponencial dos valores passados de δ linear exponencial 4

5 Valores típicos obtidos através de simulações: η o = 0.8 a 1.0 κ = 0.03 a 0.1 φ = 0.1 a 0.3 θ = < θ < 1 em problemas mais complexos usa-se: κ menor e φ maior mostrou-se ser mais sensível à parametrização que o pode ser mais lento do que BP com ajuste correto não é o gradiente decrescente pois cada peso tem a sua própria taxa de aprendizado 5

Documentos relacionados

Algoritmos de Aprendizado. Formas de Aprendizado. Aprendizado Batch x Incremental. Aprendizado Batch x Incremental

Algoritmos de Aprendizado. Formas de Aprendizado. Aprendizado Batch x Incremental. Aprendizado Batch x Incremental Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square Back Propagation Formas de Aprendizado Existe dois métodos básicos de aplicação do algoritmo Back Propagation: Aprendizado