Redes Neurais Pulsadas. João Fausto Lorenzato Robson David Montenegro Tarcísio Lucas

Transcrição

1 Redes Neurais Pulsadas João Fausto Lorenzato Robson David Montenegro Tarcísio Lucas

2 Introdução Modelos de redes neurais podem ser classificados em gerações. Primeira Geração Neurônios de McCulloch-Pitts Segunda Geração Neurônios com funções de ativação. Terceira Geração Neurônios Pulsados

3 Primeira Geração Formadas pelos neurônios de McCulloch-Pitts, como unidades computacionais. Também Conhecidos como Perceptrons. Apenas fornecem saídas digitais.

4 Primeira Geração Limitação: Aplicabilidade em problemas linearmente separáveis. Deram origem a vários modelos conhecidos: Redes de Hopfield Multilayer Perceptron

5 Segunda Geração As unidades computacionais são providas de uma função de ativação que fornecem valores de saída contínuos. Exemplos de funções de ativação funções de ativação : Sigmóide Tangente Hiperbólica Linear

6 Segunda Geração Possuem maior complexidade que os modelos da primeira geração. Suportam algoritmos de aprendizado baseados em gradiente descendente como o backpropagation. Modelos com uma camada escondida podem aproximar qualquer função contínua.

7 Segunda Geração

8 Fundamentação Biológica Saídas da função de ativação = Taxa média de disparo de um neurônio biológico. Limiar de ativação. Os modelos da segunda geração são mais realísticos.

9 Conceitos Biológicos Sinapse. Neurônio Pré- Sináptico e Pós- Sináptico.

10 Conceitos Biológicos Propagação do impulso nervoso. Bainha de Mielina. Axônio Neurotransmissores

11 Conceitos Biológicos Despolarização. Períodos Refratários. Pulsos.

12 Conceitos Biológicos. Funções de resposta. Potencias excitatórios e inibitórios.

13 Terceira Geração Modelos mais próximos do real. Experimentos realizados nos últimos anos indicam que muitos sistemas neurais biológicos utilizam o tempo de potenciais de ação para codificar informações. Investigação da terceira geração de modelos de redes neurais, que utilizam neurônios pulsados como unidade funcional.

14 Vantagens da Terceira Geração Velocidade na transmissão e recebimento de informação. Boa usabilidade em sistemas de tempo real. Baixa complexidade. Proximidade Biológica.

15 Terceira Geração Spiking Neural Network

16 Neurônio spiking Deve simular o seguinte comportamento 1. Codificação da informação em pulsos. 2. Excitação 3. Inibição 4. Threshold

17 Representação da informação Disparos médio Informação qtddisparos período Codificação por sincronismo

18 Representação da informação Tempo do disparo Instante em que o pulso dispara, para uma determinada janela de tempo: delay coding. w1 w2 w3 w4

19 Threshold-fire model Integrate and Fire Model Spiking Response 1. Codificação da informação em pulsos. 2. Excitação 3. Inibição 4. Threshold

20 Threshold-fire model Integrate and Fire Model Spiking Response 1. Codificação da informação em pulsos. 2. Excitação 3. Inibição 4. Threshold

21 Codificação tempo do disparo Variável => Pulso T input c. x j 1ms 1ms s ( t s)...

22 Threshold-fire model Integrate and Fire Model Spiking Response 1. Codificação da informação em pulsos. 2. Excitação 3. Inibição 4. Threshold

23 Potencial de disparo P v ( t) ~ ( t s), u v Tempo disparos t: tempo v: neurônios pós-sináptico u: neurônios pré-sináptico s: tempo do sinal

24 Potencial de disparo P v ( t) w ( t s) u, v u, v Tempo disparo s t: tempo v: neurônios pós-sináptico u: neurônios pré-sináptico s: tempo do sinal w:peso w

25 Potencial de disparo P ) ( t s) ( t w v u, v u, v s F u Tempos disparos s t: tempo v: neurônios pós-sináptico u: neurônios pré-sináptico s: tempo do sinal w: peso Fu:tempos de disparo do neurônio u w

26 Potencial de disparo P v ( t) u: u, v E s F u w ( t s) u, v u, v Tempos disparos s t: tempo w v: neurônios pós-sinápticos u: neurônios pré-sinápticos w s: tempo do sinal w: peso Fu:tempos de disparo do neurônio u E: neurônios u que tem conexão com o neurônio v

27 Threshold-fire model Integrate and Fire Model Spiking Response 1. Codificação da informação em pulsos. 2. Excitação 3. Inibição 4. Threshold

28 Threshold

29 Threshold-fire model Duas principais abordagens Integrate and Fire Model Spiking Response 1. Codificação da informação em pulsos. 2. Excitação 3. Inibição 4. Threshold

30 Potencial de disparo

31 Potencial de disparo u i ( t) t ( f i ) F i ( t t ( f i ) ) j i w i, j t ( f j ) F i ( t t ( j f ) )

32 Potencial de disparo u i ( t) t ( f i ) F i ( t t ( f i ) ) j i w i, j t ( f j ) F i ( t t ( j f ) )

33 Algoritmos de treinamento Hebbian w ( t 0) u, v v t Taxa de aprendizagem t v t 0 Tempo que o pulso pos-sináptico disparou Tempo que o segundo pulso pre-sináptico disparou

34 Algoritmos de treinamento Hebbian supervisionado Mudança de peso feita apenas nos pesos dos neurônios que representa a classe correta. A B C D Secretário 1 Secretário 2 w ( t 0) u, v v t

35 Sistemas Híbridos Inteligentes Fuzzificação de Redes Spike

36 Fuzzificação de Redes Spiking Reid e Muyeba (2008) Regra de aprendizagem Fuzzy Fuzzificação por entidade Interval Type-2 Fuzzy Set

37 Fuzzificação de Redes Spiking Regra de aprendizagem Fuzzy

38 Fuzzificação de Redes Spiking Type-2 Fuzzy Set

39 Fuzzificação de Redes Spiking

40 Fuzzificação de Redes Spiking Fuzzificação da Sinapse

41 Fuzzificação de Redes Spiking Fuzzificação do Neurônio

42 Fuzzificação de Redes Spiking Fuzzificação do Treinamento Time to First Spike Encoding Spike Interval and Phase Encoding Correlation and Synchronous Encoding Observados biologicamente

43 Fuzzificação de Redes Spiking Time to First Spike Encoding

44 Fuzzificação de Redes Spiking Spike Interval and Phase Encoding

45 Fuzzificação de Redes Spiking Correlation and Synchronous Encoding

46 Referências Maass, W. Networks of Spiking Neurons: The Third Generation of Neural Network Models Neural Networks,10(0): , Maass, W. Analog Computatuibs ib betworks of spiking neurons. Proceedings of the 7th Italian workshop on neural nets. World Scientific Press , Ruf, B., Schmitt, M. Learning Temporally Encoded Patterns in networks of spiking neurons Neural Processing Letters, vol. 5, no. 1,pp.9-18, Hopfield, J.J., Pattern Recognition computattion using action potential timing for stimulus representations. Nature, 376,33-36, David Reid, Maybin Muyeba, "Fuzzification of Spiked Neural Networks," Computer Modeling and Simulation, UKSIM European Symposium on, pp , 2008 Second UKSIM European Symposium on Computer Modeling and Simulation, 2008

47 Dúvidas

48 Anexo I - Neurônio Fuzzy Type-2