Perceptron de Múltiplas Camadas (MultiLayer Perceptron-MLP) com algoritmo de treinamento por RetroPropagação de Erros (Error BackPropagation)

Transcrição

1 Perceptron e Múltiplas Camaas (MultiLayer Perceptron-MLP) com algoritmo e treinamento por RetroPropagação e Erros (Error BackPropagation) IF67D Sistemas Inteligentes 1 UTFPR Prof. João Alberto Fabro

2 Perceptron e Múltiplas Camaas (MultiLayer Perceptron-MLP) Entraas... Saías

3 Perceptron e Múltiplas Camaas (MultiLayer Perceptron-MLP) Características a Arquitetura MLP: A camaa e entraa apenas reprouz as entraas para toos os neurônios a camaa intermeiária - NÃO possui processamento!!! Deve existir pelo menos uma camaa intermeiária (enominaa camaa esconia-hidden LAYER), e uma camaa e saía (OUTPUT LAYER) Foi provao matematicamente que TODO mapeamento entraa/saía, linearmente separável ou não, poe ser treinao em um MLP com apenas uma camaa esconia, com a aequaa função e transferência

4 Perceptron e Múltiplas Camaas (MultiLayer Perceptron-MLP) e 1 Pesos v ki w ij s e n s m Camaa e Entraa Camaa Intermeiária Camaa e Saía

5 Perceptron e Múltiplas Camaas (MultiLayer Perceptron-MLP) n y= f i=1 x i w i = f xt w vetor e entraa peso a conexão x1 w1 somaor função e ativação saía x2 w y xn wn

6 Perceptron e Múltiplas Camaas (MultiLayer Perceptron-MLP) Função e Ativação: Não Linear e Diferenciável

7 Perceptron e Múltiplas Camaas (MultiLayer Perceptron-MLP) Função e Ativação: Não Linear e Diferenciável (a) função tangente hiperbólica

8 BackPropagation O Perceptron e uma camaa possui um algoritmo e treinamento bem efinio(elta) Entretanto, com apenas uma camaa, só é possível treinar para reconhecimento parões que sejam linearmente separáveis Isto é uma grave limitação (prova matemática) Concluiu-se que somente uma ree com mais e uma camaa poeria ser treinaa para problemas não-linearmente-separáveis... (Cybenko, 1989)

9 BackPropagation Solução: A generalização a regra Delta para rees com múltiplas camaas!(mlp) Várias erivações o algoritmo básico: Bryson e Ho (69), Werbos (74), Parker e Le Cun (85) Iéia básica: 1. Propagam-se as entraas, obteno as saías 2. Encontram-se os erros (saías obtias-esejaas) 3. Retropropagam-se os erros (via regra elta GENERALIZADA) 4. Atualizam-se os pesos as conexões a ree!

10 BackPropagation Primeira Fase: Propagação as Entraas Apresentar a entraa à primeira camaa a ree Calcular a saía e caa neurônio- n moelo matemático o Perceptron: y= f x i w i = f xt w i=1 Subtrair as saías obtias com as saías esejaas=erro! Seguna Fase: Retropropagação os Erros Calcular a atualização os pesos a camaa e saía, proporcionalmente ao erro obtio (regra D-gen) Atualizar os pesos a camaa intermeiária, proporcionalmente à estimativa a contribuição e caa neurônio com o erro na saía! (regra D-gen) Após isto, basta atualizar os pesos, fazeno isto até que o erro global seja pequeno o suficiente.

11 BackPropagation - Derivação A proposta e Wirow(Aaline) é utilizaa, porém e forma generalizaa, para obter um conjunto e pesos que forneça um erro(e) mínimo, para um conjunto e parões e treinamento {x l, y l } l=1..l Para isto, foi calculao o erro quarático global E para um conjunto e pesos E w = 1 L k 2 y i y i 2 l=1 i=1 Poemos simplificar isto para um único neurônio: L E w = 1 2 l=1 L y l y l 2 = 1 2 l=1 f w t x l y l 2

12 BackPropagation - Derivação Agora precisamos achar o graiente esta função em relação ao vetor e pesos, para poermos aplicar a fórmula e atualização: w k 1 =w k E w E w E w = 1 L 2 2 l=1 L = l=1 f w t x l y l L E w = 1 2 l=1 f w t x l y l f wt x l f w t x l y l 2

13 BackPropagation - Derivação Isolano apenas o seguno termo, e continuano a erivação pela regra a caeia, temos: f w t x l = f v v Simplificano, temos: Montano a equação: Fazeno = y y f v l l l v v,e com v=wt x l v w =t x l w L E w = l=1, temos =x l y l y l f v x v l E w L = l=1 l x l

14 BackPropagation - Derivação Agora poemos montar a regra e atualização e pesos: w t 1 =w t E w L =w t l x l l=1 L w t 1 =w t l x l, com l=1 Agora, basta efinir a função e ativação: f v = 1 1 e 2v = 1 e 2 v 1 f v =2 1 f v f v v, e erivar = y y f v l l l v, teno a fórmula completa!

15 BackPropagation - Derivação Assim, temos a fórmula completa: w k 1 =w k E w L =w k l x l l=1 Com e f v = y y f v l l l v v Fazeno = 1/2, temos a fórmula final =2 1 f v f v L w k 1 =w k l=1 y l y l 1 y l y l x l

16 BackPropagation - Derivação E para o caso em que a ree possui mais neurônios???? Se os neurônios formarem apenas uma camaa, a generalização é trivial!!!(óbvia!) Basta aplicar a regra para caa neurônio iniviualmente! Mas e se houver mais e uma camaa???? (este é o caso interessante, que poe ser treinao com qualquer conjunto e parões, linearmente separáveis ou não! )

17 BackPropagation - Derivação Neste caso, precisamos moificar a regra e aprenizao(regra Delta Generalizaa!) Supono um conjunto e parões com: L parões caa parão com N entraas e M saías e uma camaa intermeiária com H noos teremos uma ree neural como a seguir:

18 BackPropagation Derivação x 1 Pesos w ij Pesos w jk y 1... x n y m Camaa e Entraa h Intermeiária Saía

19 BackPropagation - Derivação Dao o cjto e parões e treinamento {x l, y l } l=1..l Deve-se calcular o erro quarático global E E w = 1 2 l=1 Especificano para caa neurônio a camaa e saía: E w = 1 2 l=1 L m k=1 L m k=1 y l y l 2 y 3, k,l y 3, k,l Mas sabemos que a saía e um neurônio é aa por: numinput y= f i=1 x i w i 2

20 BackPropagation Derivação Deste moo, poemos reescrever a equação o erro: E w = 1 2 l=1 L m k=1 f De maneira similar, as saías os neurônios a primeira camaa (y 1,j,l ) poem ser calculaas: Assim, temos a equação completa o Erro a Ree: E w = 1 2 l=1 L m k=1 n y 1 j,l =f i=1 f h j=1 h j=1 n f i=1 2 w y 1 j,l 2 jk 2 k,l y x i, l w 1 ij x i, l w w 1 ij 2 y 2 jk 2 k,l

21 BackPropagation Derivação Com a equação o erro: Poemos achar os graientes para minimizar esta função e erro! Para a camaa e saía, erivamos em relação ao vetor e pesos w 2,kj : Assim, obtemos o graiente: E w E w = 1 2 l=1 L 2 kj =2 1 2 l=1 L m k=1 f h f j=1 h j=1 w 2 kj t 1 =w 2 kj t E w w 2 kj y y 1 j,l w 1 k,l 2 y 2 kj 2 k,l y 2 k,l f v k v k y 1 j, l 2 kj

22 BackPropagation Derivação Obtemos: E w L = 2 jk l=1 y 2 k,l y 2 k, l f v k v k y 1 j,l Que é exatamente a mesma equação já obtia anteriormente(a famosa regra elta!). Fazeno: k, l = y 2 k,l y 2 k, l f v k v k e com w 2 kj t 1 =w 2 kj t k,l y 1 j, l obtemos a fórmula final e atualização e pesos: w t 1 =w t y 2 kj 2 kj 2 k,l y 2 k, l f v k v k y 1 j,l

23 BackPropagation Derivação Mas e para a camaa intermeiária? Fazemos a mesma erivação, porém em relação aos pesos esta camaa. Partino a equação global o erro: E w = 1 2 l=1 L m k=1 Fazemos o cálculo o graiente: A seguna parte é simples: f h j=1 n f i=1 y 1 j,l 1 ji = x i, l w w 1 ij E w 1 ji = f w 1 ji x i 2 y 2 jk 2 k,l E w y 1 ji = 1 j, l y 1 j,l 1 ji f g j g j x i,l

24 BackPropagation Derivação Mas a primeira parte é mais elicaa E w = y 1 j, l y 1 j,l 1 2 l=1 L m k=1 Fazeno para caa parão e treinamento L temos E w = y 1 j, l y 1 j,l m E w 1 =2 y 1 j, l 2 k=1 1 m 2 k=1 f h j=1 f f h j=1 h j=1 y 1 j,l w 2 kj y y 1 j,l w 2 kj y y 1 j, l w 2 kj y 2 k,l 2 k,l 2 f v k v k 2 k,l 2 v k y 1 j,l

25 BackPropagation Derivação Continuano, temos que h y k,l =f j=1 y 1 j,l w 2 kj e também temos que Então E w m = y 1 j, l k=1 y 2 k,l y v k =w y 1 j,l 2 kj 2 k, l f v k v k w 2 kj Agora temos que: m E w = y 1 j, l k=1 k, l w 2 kj

26 BackPropagation Derivação Agora poemos obter a fórmula completa o graiente: E w E w = 1 ji y 1 j, l Fazeno: j,l = Ficamos com y 1 j,l Ou para caa parão: = 2 1 ji l=1 m k=1 L m k=1 k,l w 2 kj f g j g j w 1 ji t 1 =w 1 ji t l=1 k,l w 2 kj f g j g j L j,l x i, l x i,l w t 1 =w t 1 ji 1 ji j, l x i,l