Rede MLP: Perceptron de Múltiplas Camadas

Transcrição

1 Rede MLP: Perceptron de Múltiplas Camadas Conteúdo. Neurônio artificial.... Eemplos mais usuais de funções de ativação Produto interno e projeção Função de epansão ortogonal Redes neurais e perceptron com uma camada intermediária Contribuição de cada neurônio em uma rede MLP O papel dos pesos sinápticos Superfície de erro Aprendizado a partir de dados amostrados O problema do OU-eclusivo em MLP Otimização não-linear e capacidade de generalização Gradiente, hessiana e algoritmos de otimização Mínimos locais Condição inicial para os pesos da rede neural Processo Iterativo para MLP Método Padrão-a-Padrão Processo Iterativo para MLP Método em Lote ou Batelada Referências... 5 Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte )

2 . Neurônio artificial Modelo matemático: Simplificações da realidade com o propósito de representar aspectos relevantes de um sistema em estudo, sendo que detalhes de menor significância são descartados para viabilizar a modelagem. Entradas m Pesos das coneões w k w k w km b k Limiar(bias) Σ Junção somadora Função de ativação u k y k f(u k ) Saída Figura Modelo matemático de um neurônio artificial m A saída do neurônio k pode ser descrita por: y k = f ( uk ) = f wkj j + bk j= É possível simplificar a notação acima de forma a incluir o bias simplesmente definindo um sinal de entrada de valor = com peso associado w k = b k : m y ( ) ( w T k = f uk = f wkj j = f ) j = Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte )

3 . Eemplos mais usuais de funções de ativação IA353 Prof. Fernando J. Von Zuben y = f pu k e ( u k ) = = y puk pu = pu k k ( u k ) > e + + e u k p=3 p=.5 p= p=3 p=.5.4 p= a) b) Figura Função logística (a) e sua derivada em relação à entrada interna (b) Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 3

4 y = f u ) = tanh( pu ) = k k e e pu pu k k e + e pu pu k k IA353 Prof. Fernando J. Von Zuben ( p( u ) > y u k = k.5.5 p= p=.6 p=. p=..5 p= p= a) b) Figura 3 Função tangente hiperbólica (a) e sua derivada em relação à entrada interna (b) Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 4

5 3. Produto interno e projeção IA353 Prof. Fernando J. Von Zuben v v - av av v Figura 4 Projeção realizada pelo produto interno no R Sejam v, v R elementos não-nulos. Considere um escalar a tal que av corresponda à projeção de v na direção de v. Então, pode-se afirmar que conduzindo a av v av, av, v av =. Logo, Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 5

6 permitindo obter a na forma a v, v a v, v =, a = v v, v, v. IA353 Prof. Fernando J. Von Zuben Isto significa que a projeção de v na direção de v (v ) assume a forma: proj v ( v ) = v v, v, v v Mantendo constante o módulo de v, a sua projeção na direção de v é tão maior quanto mais colineares forem esses dois vetores. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 6

7 4. Função de epansão ortogonal IA353 Prof. Fernando J. Von Zuben.8.8 f ( ) j.6.4 T f ( v ) j (a) f j ( ) e, = 5 (b) f j 5, [ ] T v = e ( ) T Figura 5 Função de epansão ortogonal em que v = [ ] e = [ ] T A função de epansão ortogonal é conhecida na literatura em língua inglesa como ridge function. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 7

8 5. Redes neurais e perceptron com uma camada intermediária O processo de coneão entre neurônios artificiais leva à geração de sinapses e à construção de redes neurais artificiais. g y j w i w ui y g i ij w ij w Figura 6 Estabelecimento de coneão entre dois neurônios artificiais As estruturas mais conhecidas são em camadas, onde a saída de cada neurônio de uma camada precedente é entrada para todos os neurônios da camada seguinte. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 8

9 v v + f y w v m v w w + ^ s v + f y w n m v m w r v n w r w r + ^ s r v n + f y n w rn v nm Figura 7 Rede neural perceptron com uma camada intermediária Do inglês Multilayer Perceptron (MLP) n m n sˆ k = wkj f v jii = wkj f j k j= i= j= ( T v ) = gˆ (, θ ), k =,..., r Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 9

10 6. Contribuição de cada neurônio em uma rede MLP IA353 Prof. Fernando J. Von Zuben O mapeamento não-linear realizado por uma rede neural do tipo perceptron de uma camada intermediária é uma combinação linear de funções de epansão ortogonal, ou seja, funções que têm a forma de tangente hiperbólica em uma direção e são constantes nas demais direções ortogonais a esta única direção em que a forma da função se manifesta. Como um eemplo, vamos tomar amostras de um mapeamento do R para o R, e utilizar uma rede neural com 5 neurônios na camada intermediária para buscar aproimar este mapeamento, o qual pode ser visualizado no R 3. Os pesos sinápticos resultantes do processo de treinamento estão apresentados na sequência, sendo que a rede neural tem ao todo = pesos ajustáveis. São entradas, 5 neurônios na camada intermediária e saída, mais as entradas constantes (entradas de polarização) de todos os 6 neurônios da rede neural. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte )

11 Pesos sinápticos da camada intermediária (cada coluna representa os pesos de um neurônio): Pesos sinápticos da camada de saída: Obs: O peso de polarização é o primeiro peso de cada neurônio. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte )

12 Figura 8 Mapeamento a ser aproimado Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte )

13 Figura 9 Contribuição do neurônio Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 3

14 Figura Contribuição do neurônio Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 4

15 Figura Contribuição do neurônio 3 Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 5

16 Figura Contribuição do neurônio 4 Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 6

17 Figura 3 Contribuição do neurônio 5 Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 7

18 Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 8 7. O papel dos pesos sinápticos ( ) = + + = p n n n n a b g c c y a b g u y g u y c c c y a b ( ) ( ) = c : amplitude da sigmóide b : inclinação da sigmóide a : deslocamento no eio a b g c a b g c c y

19 Eemplo: Forma construtiva de aproimação de um mapeamento não-linear empregando neurônios com função de ativação do tipo tangente hiperbólica. Eemplo considerando um único estímulo de entrada. a b c d e ( w ) = c g( b + a ) + c g( b + a ) + c g( b + a ) + c g( b + a ) + c g( b + a ) f c a b Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 9 c d e { bias

20 b a.4. e a+b+c+d bias. -. c a+b a+b+c+d+e d a+b+c a+b+c+d+e+bias Figura 4 Composição aditiva de ativações na reprodução de um mapeamento não-linear O mapeamento a ser aproimado encontra-se na última figura à direita. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte )

21 8. Superfície de erro IA353 Prof. Fernando J. Von Zuben Seja X uma região compacta do R m e seja g: X R m R a função a ser aproimada (formulação para uma única saída, r = ); l l m O conjunto de dados de aproimação {(, s ) R R } = é gerado considerandose que os vetores de entrada l estão distribuídos na região compacta X R m de acordo com uma função densidade de probabilidade fia d P : X R m [,] e que os vetores de saída s l são produzidos pelo mapeamento definido pela função g na forma: s = g( ) + ε, l =,..., N, l l l onde ε l R é uma variável aleatória de média zero e variância fia. A função g que associa a cada vetor de entrada X uma saída escalar s R pode ser aproimada com base no conjunto de dados de aproimação m N {( l, s l ) R R } l = por uma composição aditiva de funções de epansão ortogonal na forma: N l Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte )

22 sˆ l = gˆ n m ( ) ( T, θ = w f v = w f v ) l j j= i= ji li n j= IA353 Prof. Fernando J. Von Zuben j j l onde θ é o vetor contendo todos os pesos da rede neural. Logo, o erro quadrático médio produzido na saída da rede neural, considerando as N amostras, assume a forma: J ( θ ) = ( sˆ s ) = ( gˆ (, θ ) s ) = N N N l= n N m wj f l= j= i= l l v ji N li N l= s l l = N N l = n l= j= w j f T ( v ) j l s l Sendo P a dimensão do vetor θ, então tem-se que: A superfície de erro definida por J ( θ ) reside no espaço buscar em P R um ponto que minimiza J ( θ ) Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) J : R. R P erro entre a saída produzida pelo rede neural e a saída desejada. + R P, sendo que deve-se, supondo que se queira minimizar o

23 9. Aprendizado a partir de dados amostrados IA353 Prof. Fernando J. Von Zuben O aprendizado supervisionado visto como um problema de otimização não-linear A função objetivo (critério de desempenho a ser otimizado) e os parâmetros ajustáveis: min θ J ( θ) Formalização matemática do que se quer otimizar + método de solução Solução na forma fechada busca iterativa Os dados de entrada/saída e a questão dos 3 mapeamentos envolvidos no processo:. O mapeamento a ser aproimado (do qual se conhece apenas dados amostrados);. O mapeamento resultante do processo de aproimação; 3. O mapeamento entre cada vetor de pesos e o erro: superfície de erro. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 3

24 Figura 5 Mapeamento desconhecido a ser aproimado Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 4

25 Figura 6 Eemplo de região de operação. É uma região compacta (fechada e limitada). Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 5

26 Figura 7 Amostras epressando o comportamento da função para pontos específicos da região de operação. Essas amostras comporão os conjuntos de treinamento e validação (sendo que os dois conjuntos são independentes entre si) Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 6

27 (a) (b) (c) (d) Figura 8 (a) Função a ser aproimada (agora considerando apenas uma entrada); (b) Amostras disponíveis; (c) Resultado de um processo de aproimação com sobretreinamento; (d) Resultado de um processo de aproimação sem sobretreinamento. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 7

28 (a) (b) Figura 9 Comparação de desempenho para dados de treinamento e validação, de modo a medir a capacidade de generalização dos mapeamentos produzidos. O mapeamento da esquerda apresenta um erro de treinamento muito baio, mas um erro de validação bastante elevado, quando comparado ao mapeamento da direita. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 8

29 . O problema do OU-eclusivo em MLP IA353 Prof. Fernando J. Von Zuben Considere os pontos (,),(,),(,) e (,) no plano R, conforme apresentado na Figura. O objetivo é determinar uma rede com duas entradas i {,} (i=,), e uma saída y {,} de maneira que: (, ) = (,) ou (,) y = (, ) = (,) ou (,) y = (,) (,) y = y = (,) (,) Figura O problema do OU-eclusivo Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 9

30 Inicialmente será analisado o comportamento de um neurônio tipo perceptron (veja Figura ) no processo de solução do problema eposto acima. A saída y pode ser representada na forma: y = g(w + w + w ) onde g( u) = se u g( u) = se u < w w u g y w Figura Neurônio tipo perceptron, com duas entradas (mais a polarização) Para qualquer valor dos parâmetros w, w e w, a função g(u) separa o espaço de entradas em duas regiões, sendo que a curva de separação é uma linha reta. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 3

31 Figura Mapeamento de entrada-saída para o perceptron da Figura, com w = 6, w = 4 e w = 3 Aqui tomou-se a função g( ) como sendo a função sinal, pois as saídas são binárias. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 3 5

32 No problema do OU-eclusivo (Figura ), pode-se constatar que não eiste uma única linha reta divisória de forma que os pontos (,) e (,) se posicionem de um lado enquanto que (,) e (,) permaneçam do outro lado da linha. Logo, pode-se imediatamente concluir que um neurônio tipo perceptron não apresenta grau de liberdade suficiente para resolver o problema proposto, o que foi corretamente constatado por Minsky & Papert, em 969. No entanto, esses autores também acreditavam que não havia razão para supor que redes multicamadas pudessem conduzir a uma solução para o problema proposto. Esta hipótese só foi definitivamente rejeitada com o desenvolvimento do algoritmo de retro-propagação (back-propagation), já nos anos 8, o qual permite o ajuste automático de pesos para redes neurais multicamadas, arquitetura necessária para a realização de mapeamentos não-lineares. Considere o problema de mapeamento de uma rede neural tipo perceptron, com uma camada intermediária (Figura 3), aplicada ao problema do OU-eclusivo. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 3

33 w w w w w g g z z w w g y w w Figura 3 Perceptron de três camadas (uma camada intermediária) A camada de entrada fornece um vetor de entrada (, ) para a camada intermediária, enquanto que a camada intermediária produz duas saídas z =sgn(w +w +w ) e z =sgn(w +w +w ). Na camada de saída, o sinal de saída da rede neural é dado por y=sgn(w +w z +w z ). Surge uma questão: eistem parâmetros w ij (i=,; j=,,) e w k (k =,,) tais que y = para as entradas (,) e (,) e y = para as entradas (,) e (,)? Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 33

34 As saídas da primeira camada (z e z ) podem ser consideradas como variáveis intermediárias utilizadas na geração da saída y. Do que já foi visto a respeito de um neurônio tipo perceptron, sabe-se que eistem pesos w j (j=,,) tais que (veja curva de separação L na Figura 4(a)): (,) produza z = (,),(,),(,) produza z =. De forma similar, eistem pesos w j (j=,,) tais que (veja curva de separação L na Figura 4(a)): (,),(,),(,) produza z = (,) produza z = Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 34

35 L L 3 z IA353 Prof. Fernando J. Von Zuben (,) (,) (,) (,) L (,) (,) (,) z (a) (b) Figura 4 Realização da função OU-eclusivo A discussão acima mostra que eistem pesos w ij (i=,; j=,,) de maneira que a entrada (,) resulte em z =, z =, e a entrada (,) resulte em z =, z =, enquanto que (,) e (,) produzam z =, z =. Já que (,) e (,) podem ser separados linearmente de (,), como mostrado na Figura 4(b) pela curva de separação L 3, pode-se concluir que a função booleana desejada pode ser obtida utilizando-se perceptrons em cascata, ou seja, 3 neurônios do tipo perceptron. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 35

36 . Otimização não-linear e capacidade de generalização Diversos tipos de parâmetros da rede neural poderiam ser submetidos a processos de ajuste durante o treinamento, como (i) pesos sinápticos; (ii) parâmetros da função de ativação de cada neurônio; (iii) número de neurônios na camada intermediária; (iv) número de camadas intermediárias. Iremos nos restringir aqui ao ajuste dos pesos sinápticos. Neste caso, o processo de treinamento supervisionado de redes neurais artificiais multicamadas é equivalente a um problema de otimização não-linear irrestrita, em que a superfície de erro é minimizada a partir do ajuste dos pesos sinápticos. Iremos nos restringir também a perceptrons com uma única camada intermediária, visto que com apenas uma camada intermediária a rede neural já apresenta capacidade de aproimação universal (CYBENKO, 989; HORNIK et al., 989; HORNIK et al., 99; HORNIK et al., 994). Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 36

37 Um problema comum a todos os modelos de aproimação de funções que possuem capacidade de aproimação universal, não apenas redes neurais artificiais do tipo MLP, é a necessidade de controlar adequadamente o seu grau de fleibilidade. Como o conjunto de amostras disponível para treinamento supervisionado é finito, infinitos mapeamentos podem produzir o mesmo desempenho de aproimação, independente do critério de desempenho adotado. Esses mapeamentos alternativos vão diferir justamente onde não há amostras disponíveis para diferenciá-los. Visando maimizar a capacidade de generalização do modelo de aproimação (no caso, uma rede neural MLP), ou seja, buscando encontrar o grau de fleibilidade adequado para o modelo de aproimação (dada a demanda da aplicação), um procedimento recomendado é dividir o conjunto de amostras disponível para treinamento em dois: um conjunto que será efetivamente empregado no ajuste dos pesos (conjunto de treinamento) e um conjunto que será Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 37

38 empregado para definir o momento de interromper o treinamento (conjunto de validação). Deve-se assegurar que ambos os conjuntos sejam suficientemente representativos do mapeamento que se pretende aproimar. Assim, minimizar o erro junto ao conjunto de validação implica em maimizar a capacidade de generalização. Logo, espera-se que a rede neural que minimiza o erro junto ao conjunto de validação (não usado para o ajuste dos pesos) tenha o melhor desempenho possível junto a novas amostras. A figura alto/esquerda a seguir mostra um mapeamento unidimensional a ser aproimado (desconhecido pela rede neural) e amostras sujeitas a ruído de média zero (única informação disponível para o treinamento da rede neural). A figura alto/direita mostra o resultado da aproimação produzida por uma rede neural com muito poucos neurônios, a qual foi incapaz de realizar a aproimação (tem baia fleibilidade). Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 38

39 Figura 5 Dados amostrados, função a ser aproimada e modelos de aproimação com diferentes capacidades de generalização Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 39

40 Já as figuras baio/esquerda e baio/direita mostram o resultado de uma mesma rede neural (com número suficiente de neurônios), mas à esquerda ocorreu sobretreinamento, enquanto que à direita o treinamento foi interrompido quando minimizou-se o erro junto a dados de validação (não apresentados). Curvas típicas de erro de treinamento e validação são apresentadas a seguir..8 _ Erro de treinamento, Erro de Validação.4 _ Erro de treinamento, Erro de Validação Épocas Épocas Figura 6 Ilustrações típicas da evolução, ao longo das épocas de treinamento, dos erros de treinamento e de validação em treinamento supervisionado de redes MLP. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 4

41 No entanto, nem sempre o erro de validação apresenta este comportamento, e cada caso deve ser analisado isoladamente. Como a curva do erro de validação oscila bastante e esboça um comportamento pouco previsível, não é indicado desenvolver detectores automáticos de mínimos e encerrar o treinamento ali. O mais indicado é sobre-treinar a rede e armazenar os pesos associados ao mínimo do erro de validação. Não eiste um consenso sobre como fazer o melhor particionamento do conjunto de dados, ou seja, sobre como dividi-lo de forma que possamos encontrar uma rede com a melhor capacidade de generalização em todos os casos. Uma sugestão de partida pode ser 8% das amostras para treinamento e % para validação. Quando as amostras correspondem a dados rotulados em problemas de classificação de padrões, procure respeitar a distribuição junto a cada classe. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 4

42 Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 4. Gradiente, hessiana e algoritmos de otimização Considere uma função contínua e diferenciável até a. ordem em todos os pontos do domínio de interesse, tal que: f: R n R e R n Epansão em série de Taylor em torno do ponto * R n : ( ) ( ) ( ) ) (3 * *) ( * * *) ( *) ( ) ( O f f f f T T = = n f f f f *) ( *) ( *) ( *) ( M = *) ( *) ( *) ( *) ( *) ( *) ( *) ( *) ( n n n f f f f f f f f L O M L Vetor gradiente Matriz hessiana

43 O algoritmo de retropopagação do erro (do inglês backpropagation) é empregado para obter o vetor gradiente, onde cada elemento do vetor gradiente está associado a um peso da rede neural e indica o quanto a saída é influenciada por uma variação incremental neste peso. Na função cos() a seguir, observam-se as aproimações de primeira, segunda e quarta ordem em torno do ponto =. cos() F 4 () F () - - F () Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 43

44 Eistem várias técnicas para obter eatamente ou aproimadamente a informação de a. ordem em redes neurais MLP (BATTITI, 99; BISHOP, 99). O processo de otimização não-linear envolvido no ajuste de pesos de uma rede neural vai realizar aproimações locais de primeira ordem ou de primeira e segunda ordem junto à superfície de erro e realizar ajustes incrementais e recursivos na forma: θ = θ + passo * direção k + k Parte-se de uma condição inicial θ e aplica-se iterativamente a fórmula acima, sendo que a direção depende da informação local de primeira e segunda ordem. Cada proposta de algoritmo de otimização vai diferir na forma de computar o passo e a direção de ajuste, a cada iteração. A figura a seguir apresenta uma classificação dos principais algoritmos empregados para o treinamento supervisionado de redes neurais artificiais. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 44

45 ESTRATÉGIAS DE TREINAMENTO SEM DIFERENCIAÇÃO a ORDEM a ORDEM EMPÍRICOS BE GA SA BP GRAD CG N-LM OSS QN QP MOD. SCG FR PR DFP BFGS Figura 7 Taonomia de algoritmos de otimização para treinamento supervisionado de redes neurais MLP. Aquele que é utilizado no toolbo fornecido pelo professor é o gradiente conjungado escalonado (do inglês Scaled Conjugate Gradient SCG). Uma vantagem deste algoritmo é que ele apresenta um custo computacional (memória e processamento por iteração) linear com o número de pesos e não quadrático, como a maioria dos algoritmos de a. ordem. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 45

46 . Mínimos locais IA353 Prof. Fernando J. Von Zuben Como o processo de ajuste é iterativo e baseado apenas em informações locais, os algoritmos de otimização geralmente convergem para o mínimo local mais próimo, que pode representar uma solução inadequada (com nível de erro acima do aceitável) Mínimo local -5 - Mínimo global Figura 8 Eemplo ilustrativo de mínimos local e global (considerando uma única variável). Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 46

47 Note que algoritmos de a. ordem tendem a convergir mais rápido para os mínimos locais, mas não se pode afirmar que eles convergem para mínimos de melhor qualidade que aqueles produzidos pelos algoritmos de primeira ordem..3 Condição inicial para os pesos da rede neural Embora eistam técnicas mais elaboradas, os pesos da rede neural podem ser inicializados com valores pequenos e aleatoriamente distribuídos em torno de zero. Esta inicialização tende a promover as seguintes propriedades da rede neural inicial: o O mapeamento realizado pela MLP tende a se aproimar de um hiperplano, não apresentando, assim, nenhuma tendência definida, em termos de comportamento não-linear; o A ativação de todos os neurônios se encontram fora da região de saturação, facilitando o processo de ajuste de pesos, a ser iniciado. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 47

48 . Processo Iterativo para MLP Método Padrão-a-Padrão Defina uma condição inicial para o vetor de pesos w e escolha um passo α pequeno; Faça k = e calcule J ( w (k)); Enquanto o critério de parada não for atendido, faça: Ordene aleatoriamente os padrões de entrada-saída; Para l variando de até N, faça: k = k + ; Apresente o padrão l de entrada à rede; Calcule J l ( w (k)) e J l ( w(k) ) ; w( k + ) = w( k) α J ( ( k) ); Calcule J ( w (k)); l w Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 48

49 3. Processo Iterativo para MLP Método em Lote ou Batelada Defina uma condição inicial para o vetor de pesos w e escolha um passo α pequeno; Faça k = e calcule J ( w (k)); Enquanto o critério de parada não for atendido, faça: Para l variando de até N, faça: Apresente o padrão l de entrada à rede; Calcule J l ( w (k)) e J l ( w(k) ) ; N α w( k + ) = w( k) J l ( w( k) ); N k = k + ; Calcule J ( w (k)); l = Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 49

50 4. Referências IA353 Prof. Fernando J. Von Zuben BATTITI, R. First- and Second-Order Methods for Learning: Between Steepest Descent and Newton's Method. Neural Computation, vol. 4, no., pp. 4-66, 99. BISHOP, C. Eact Calculation of the Hessian Matri for the Multilayer Perceptron. Neural Computation, vol. 4, no. 4, pp , 99. CYBENKO, G. Approimation by superposition of sigmoidal functions. Mathematics of Control, Signals and Systems, vol., no. 4, pp , 989. HAYKIN, S. Neural Networks: A Comprehensive Foundation, nd edition, Prentice-Hall, 999. HAYKIN, S. Neural Networks and Learning Machines, 3rd edition, Prentice-Hall, 8. HEBB, D. O. The Organization of Behavior, Wiley, 949. HORNIK, K., STINCHCOMBE, M., WHITE, H. Multi-layer feedforward networks are universal approimators. Neural Networks, vol., no. 5, pp , 989. HORNIK, K., STINCHCOMBE, M., WHITE, H. Universal approimation of an unknown function and its derivatives using multilayer feedforward networks. Neural Networks, vol. 3, no. 5, pp , 99. HORNIK, K., STINCHCOMBE, M., WHITE, H., AUER, P. Degree of Approimation Results for Feedforward Networks Approimating Unknown Mappings and Their Derivatives. Neural Computation, vol. 6, no. 6, pp. 6-75, 994. NERRAND, O., ROUSSEL-RAGOT, P., PERSONNAZ, L., DREYFUS, G. Neural Networks and Nonlinear Adaptive Filtering: Unifying Concepts and New Algorithms. Neural Computation, vol. 5, no., pp , 993. Tópico 4: Redes Neurais Não-recorrentes: Redes MLP, RBF e ELM (Parte ) 5