Processos de salto com memória de alcance. e aplicações em redes neuronais

Transcrição

1 Processos de salto com memória de alcance variável e aplicações em redes neuronais Douglas Rodrigues Pinto Universidade Federal Fluminense 18 de outubro de / 22

2 Problema Como modelar a comunicação de um conjunto de neurônios? 2 / 22

3 Comportamento neuronal Potencial de membrana: diferença entra a voltagem entre a parte interna e externa da membrana celular. O potencial de membrana pode ser alterado por Interação do neurônio com o meio. Interação com outros neurônios. 3 / 22

4 Comportamento neuronal Quanto maior o potencial de membrana de um neurônio, maior a sua probabilidade de disparo. Quando um neurônio dispara, seu potencial de membrana zera. Quando um neurônio dispara, ele interage com outros neurônios. Essa interação pode ser excitatória, inibitória ou neutra. 4 / 22

5 Cadeia de Markov de ordem k O processo estocástico (X n ) n Z, assumindo valores num alfabeto enumerável A, é uma cadeia de Markov de ordem k se, para cada a A, P(X n+1 = a X n = x n ) = P(X n+1 = a X n n k = xn n k ), ou seja, apenas os últimos k passos importam para calcular as probabilidades de transição. 5 / 22

6 Exemplo (Cadeia de Markov de ordem 1) Um equipamento possui dois estados: funcionando (1) ou estragado (). Quando em funcionamento, a máquina tem probabilidade p de continuar funcionando no dia seguinte 1 p de estragar. Uma vez estragada, a máquina tem probabilidade q de ser consertada até o dia seguinte 1 q de permanecer estragada. 6 / 22

7 Supondo X = 1, definimos, para cada n N,, se a máquina está estragada no início do dia n; X n = 1, se a máquina está funcionando no início do dia n. Observe que a probabilidade de transição da cadeia depende apenas do estado último estado observado, isto é, para todo n N, a {, 1}, P(X n+1 = a X = 1,, X n 1 = x n 1, X n = x n ) = P(X n+1 = a X n = x n ). 7 / 22

8 Assim, temos definido, para todo n N, P(X n+1 = X n = ) = 1 q P(X n+1 = X n = 1) = 1 p P(X n+1 = 1 X n = ) = q P(X n+1 = 1 X n = 1) = p Conseguimos, assim, associar ao modelo uma matriz de transição P, dada por P = 1 1 q q 1 1 p p 8 / 22

9 Pergunta É possível modelar a comunicação neuronal através de cadeias de Markov de ordem k? 9 / 22

10 Não Vamos lembrar que Quanto maior o potencial de membrana de um neurônio, maior a sua probabilidade de disparo. Quando um neurônio dispara, seu potencial de membrana zera. Ou seja, a probabilidade de disparo de um neurônio depende da quantidade de energia acumulada desde seu último disparo. 1 / 22

11 Modelo de Galves-Locherbach (213) Supomos que obtemos os gráficos do comportamento de m neurônios. Os dados são discretizados, em janelas entre 3 e 5 milissegundos, que é o tempo aproximado de duração de um disparo. Definimos X n como sendo o vetor m-dimensional de estados de cada neurônio, na n-ésima janela, onde 1, se ouve disparo do neurônio i na janela n, X n [i] =, caso contrário. 11 / 22

12 Exemplo Sistema com 4 neurônios 12 / 22

13 Exemplo Sistema com 4 neurônios 13 / 22

14 Exemplo Sistema com 4 neurônios 14 / 22

15 Exemplo Sistema com 4 neurônios 15 / 22

16 Exemplo Sistema com 4 neurônios x = 1 1 x 1 = 1 1 x 2 = 1 x 3 = 1 x 4 = 1 x 5 = x 6 = 1 x 7 = 1 16 / 22

17 Pergunta Como calcular a probabilidade de disparo cada neurônio no instante seguinte? Ou seja, para cada i = 1, 2, 3, 4, queremos calcular P(X 8 [i] = 1 X = x, X 1 = x 1,, X 7 = x 7 ) 17 / 22

18 Probabilidade de Transição A cada disparo, o neurônio retorna seu potencial de membrana a seu estado inicial. Como cada disparo dos outros neurônios pode influenciar seu potencial de membrana, basta voltar até o instante de seu último disparo para calcular a probabilidade de transição. Ou seja, a quantidade de passos que devemos voltar para definir as probabilidades de transição é variável. Galves e Locherbach propõem modelar a comunicação neuronal como uma cadeia com memória de alcance variável. 18 / 22

19 Trabalhos em andamento A comunicação neuronal possui modelagens a tempo contínuo T 1 T 2 T 3 T 4 T 5 t Figura: Evolução do processo (Y t ) t R para um conjunto de 5 neurônios. 19 / 22

20 Trabalhos em andamento Através desses modelos, buscamos compreender melhor a comunicação entre neurônios e entre diversas regiões do cérebro. Realiza-se diversos experimentos, buscando verificar se o cérebro preserva as estruturas probabilistas dos estímulos recebidos, através da leitura de EEG. Random Source 2 / 22

21 Trabalhos em andamento Trabalhamos atualmente com uma generalização dos processos com memória de alcance variável à tempo contínuo, chamada Processo de salto com memória de alcance variável. Realizamos trabalhos de estimação, para compreender como funciona a dependência do processo com o passado. Buscamos compreender a relação entre as partículas envolvidas. Realizamos estudos de comportamentos assintóticos dos processos. Diversos estudos de implementação computacional. 21 / 22

22 Referências Bibliográficas 1 A. Galves, C. Galves, J. García, N. L. Garcia e F. Leonardi. Context tree selection and linguistic rhythm retrieval from written texts. Ann. Appl. Stat., 6(1):186-29, A. Galves e E. Löcherbach. Stochastic chains with memory of variable length. ArXiv e-prints, Abril, A. Galves e E. Löcherbach. Infinite systems of interacting chains with memory of variable length - a stochastic model for biological neural nets. Journal of Statistical Physics, 151(5): , A. Galves e F. Leonardi. Exponential inequalities for empirical unbounded context trees. Em Vladas Sidoravicius e MariaEulália Vares, editors, In and Out of Equilibrium 2, volume 6 of Progress in Probability, páginas Birkhäuser Basel, A. De Masi, A. Galves, E. Löcherbach, E. Presutti, Hydrodynamic limit for interacting neurons. Journal of Statistical Physics, 158(4), , J. Rissanen. A universal data compression system. IEEE Transactions on Information Theory, 29(5): , A. Duarte, G. Ost, A model for neural activity in the absence of external stimuli, arxiv preprint arxiv: , I. Csiszar e Z. Talata. Context tree estimation for not necessarily finite memory processes, via bic and mdl. Information Theory, IEEE Transactions on, 52(3):17-116, K. Yaginuma, A stochastic system with infinite interacting components to model the time evolution of the membrane potentials of a population of neurons, Journal of Statistical Physics, V. 163, Issue 3, pp , Rodrigues, D. Processos de salto com memória de alcance variável. Tese (Doutorado) - Instituto de Matemática e Estatística, Universidade de São Paulo, São Paulo, / 22