Modelos de neurônios baseados na taxa de disparos

Transcrição

1 Modelos de neurônios baseados na taxa de disparos Devido à complexidade dos chamados modelos realistas de neurônios e redes neurais, baseados no formalismo de Hodgkin-Huxley, muitos autores preferem usar modelos simplificados de neurônios para estudar redes neurais e suas propriedades. Dentre os modelos simplificados de neurônios, uma classe bastante popular e com uso extensivo, principalmente na modelagem de processos cognitivos, é a dos modelos baseados na taxa de disparos: modelos de neurônios cujas saídas não são potenciais de ação, mas freqüências de disparos. Vários estudos experimentais com células nervosas se dedicam à determinação da chamada curva F-I da célula, que dá a freqüência de disparos (F) de um neurônio em função da intensidade de uma corrente injetada (I). Em geral, as curvas F-I de neurônios são funções não-lineares com saturação do tipo sigmoidal (veja abaixo). Modelando um neurônio como um elemento que recebe uma entrada (a corrente) e fornece uma saída (a freqüência de disparos), a função F-I pode ser vista como a função de transferência ou ganho do neurônio, que dá a sua relação entrada-saída. 1

2 Numa situação experimental, in vitro, é fácil injetar corrente em um neurônio para medir sua resposta. Porém, numa situação real, in vivo, um neurônio está recebendo estímulos de um grande número de outros neurônios (e, às vezes, até dele mesmo). Como fazer para interpretar a noção de função de transferência de um neurônio numa situação em que ele está inserido em uma rede? Para isto, é conveniente darmos uma olhada mais detalhada na maneira como as sinapses recebidas por um neurônio em seus dendritos (entradas) afetam a sua frequência de disparos (saída). Um neurônio típico recebe um grande número de sinapses de outros neurônios, algumas excitatórias e outras inibitórias, através da sua arborização dendrítica. Cada uma delas gera um potencial pós-sináptico excitatório ou inibitório. É muito raro encontrar um potencial de ação gerado em um dendrito. Em geral, eles são produzidos em uma estrutura denominada cone axônico, que é onde o axônio se conecta ao corpo celular. A cada instante de tempo, os diversos potenciais pós-sinápticos produzidos nos diferentes pontos da ramificação dendrítica de um neurônio, causados pelas sinapses que ele recebe de outros neurônios, propagam-se através da arborização dendrítica em direção ao corpo celular. Como eles não são potenciais de ação, eles sofrem atenuações ao longo da sua propagação. Porém, quando dois potenciais pós-sinápticos excitatórios ou dois potenciais póssinápticos inibitórios se encontram, eles podem se amplificar; já quando um potencial póssináptico excitatório se encontra com um inibitório, eles podem se cancelar. 2

3 A figura a seguir ilustra o processo de somação espaço-temporal que ocorre na arborização dendrítica de um neurônio típico. Ao se propagar em direção ao soma, os potenciais pós-sinápticos se combinam de diversas maneiras, gerando um potencial resultante no soma que pode ser visto como um potencial filtrado a partir dos vários potenciais pós-sinápticos recebidos num dado instante de tempo. Esse potencial resultante no soma é chamado em neurociência de potencial gerador. Para a modelagem de neurônios baseada na taxa de disparos, o potencial gerador representa a entrada que um neurônio recebe dos neurônios pré-sinápticos a ele. Na terminologia dos modelos baseados em taxas de disparos, o potencial gerador é chamado de nível de ativação u(. Para sermos mais concretos, vamos supor que um dado neurônio receba sinapses de N neurônios (veja a figura abaixo). 3

4 Vamos representar as freqüências de disparos, ou saídas, ou, ainda, atividades desses N neurônios pré-sinápticos por s i ( e, correspondentemente, os pesos das sinapses feitas por eles no neurônio de w i (. Note que, em princípio, tanto as atividades s i como os pesos w i podem variar no tempo. Os pesos sinápticos são números, positivos ou negativos, dando a força, ou eficácia, do acoplamento sináptico entre um neurônio que envia o sinal e o neurônio que o recebe. Quando o peso w de uma sinapse é positivo, ela é dita excitatória; quando ele é negativo, ela é dita inibitória. Pode-se modelar a maneira como o nível de ativação u( varia no tempo pela equação: du( τ = u( + E( wi (, si ( ). (1) dt Nesta equação, τ é a constante de tempo para a variação de u(. Caso o termo que descreve a entrada vinda dos N neurônios pré-sinápticos, E(w i,s i ), seja constante, a constante de tempo τ determina quão rapidamente o nível de ativação u( se aproxima exponencialmente do estado estacionário. Pode-se modelar a função E(w i,s i ) de diferentes maneiras. A mais comumente usada assume que E(w i,s i ) é dada pela combinação linear das N atividades s i tendo os pesos w i como coeficientes: N du( τ = u( + ωi ( si (. (2) dt i= 1 4

5 A saída, ou atividade, do neurônio é dada pela aplicação da função de transferência f(.) ao nível de ativação u: s ( = f ( u( ). (3) As equações (2) e (3) acima descrevem como um neurônio é modelado segundo a maioria das abordagens baseadas na freqüência de disparos. Há três tipos básicos de função de transferência f(u) usados em modelos de redes neurais. São eles: - Função degrau (função de Heaviside): - Função linear por partes: - Função sigmoidal (o exemplo usa a chamada função logística): 5

6 Estes três tipos de função de ativação capturam detalhes observados em diferentes tipos de curvas F-I de neurônios biológicos. Dependendo do tipo de problema ou aplicação, uma ou outra delas pode ser mais conveniente para ser usada. Em geral, as curvas F-I dos neurônios são funções não-lineares com saturação (como a da figura da página 1) e o uso de uma função de transferência sigmoidal é o mais recomendado. Do ponto de vista das aplicações, o uso de unidades cujas saídas sejam funções não-lineares das suas entradas (e diferenciáveis, como no caso da função logística) traz algumas vantagens. O popular algoritmo de aprendizagem de redes neurais artificiais denominado backpropagation está baseado no uso de funções de transferência nãolineares e diferenciáveis. Porém, para muitas faixas de valores experimentais a resposta em freqüência F de um neurônio é aproximadamente uma função linear do estímulo I. Nestes casos, uma função linear por partes pode ser usada. Ademais, em muitas aplicações práticas as unidades lineares funcionam muito bem e são mais simples de ser tratadas matematicamente. Já uma função do tipo degrau, embora seja a menos realista das três, enfatiza o fato de que a função de transferência de um neurônio é não-linear. Ela é a mais radical das funções não-lineares, levando a freqüência de disparos de um neurônio instantaneamente do valor zero para o valor máximo. O seu uso assume que um neurônio só possui dois regimes de disparo possíveis: (1) ausência de disparos, ou (2) disparos com a freqüência máxima. Por motivos históricos, um neurônio cuja função de ativação é do tipo degrau é chamado de neurônio de McCulloch-Pitts. O uso de uma função de transferência binária facilita bastante a análise matemática do sistema e permite muitas analogias entre as redes neurais artificiais e sistemas físicos. Um exemplo disso é dado pelo modelo de rede neural de Hopfield, que faz uma analogia entre redes de neurônios binários e redes de spins. 6

7 Quando se modela uma rede de neurônios conforme as equações acima, é conveniente usar uma notação matricial. Por exemplo, suponha uma rede composta por N neurônios como a da figura a seguir (tal rede pode modelar uma coluna cortical ou qualquer outra área do cérebro). Preste atenção na notação usada para os pesos w ij : o índice i indica o neurônio pós-sináptico e o índice j indica o neurônio pré-sináptico. O nível de ativação de um neurônio i qualquer dessa rede obedece à equação (2): N dui ( τ = ui ( + ωij( s j (. (5) dt j= 1 Define-se a matriz de conectividade sináptica W por: w11 w12 w13... w1 N w21 w22 w23... w2n W = w w w w N wn1 wn 2 wn 3... wnn Note que os neurônios da rede acima foram desenhados em um arranjo linear apenas para facilitar sua visualização e enumeração. O que realmente define a topologia das conexões entre os neurônios é a matriz W. Define-se o vetor dos níveis de ativação u e o vetor das atividades s dos neurônios da rede por: 7

8 u = u u u u e s1 s2 s = s N s N Em termos desses vetores e matrizes as equações para os níveis de ativação dos N neurônios da rede podem ser escritas como: du τ = u + W s. (6) dt A maneira com os neurônios de uma rede neural estão conectados entre si é chamada de arquitetura da rede neural. De maneira geral, há dois tipos de arquitetura para uma rede neural. 1. Com alimentação para frente (feedforward): a característica básica desse tipo de rede é que ela não apresenta realimentação (feedback). Começando a partir de qualquer unidade da rede e seguindo as direções das conexões sinápticas chega-se a uma unidade que não está conectada a qualquer outra unidade da rede. Tal unidade é chamada de unidade de saída da rede. As duas primeiras redes da figura abaixo ilustram exemplos de redes neurais com arquitetura feedforward. 2. Recorrente: a característica básica deste tipo de rede é que pelo menos um dos neurônios tem um laço de realimentação em que um dos caminhos sinápticos a partir da sua saída leva de volta a ele. Um exemplo de rede recorrente é dado pela terceira rede da figura abaixo. 8

9 Dada uma rede neural, com certa arquitetura e formada por neurônios lineares ou nãolineares, o seu objetivo está em executar uma determinada função, como, por exemplo, reconhecer padrões, modelar uma ação, etc. Uma rede neural biológica (o nosso cérebro, por exemplo) não nasce sabendo executar todas as funções que ela tem potencial para executar. É necessário que ela possua mecanismos de aprendizagem para que possa executar suas funções e se adequar às necessidades impostas pelo meio-ambiente. Em geral, as redes neurais biológicas aprendem a partir de exemplos: vários exemplos vão sendo apresentados à rede biológica até que, em algum momento, ela consegue generalizar e aprender a regra que está por trás deles. Acredita-se que um dos mecanismos responsáveis pelo aprendizado biológico esteja associado a modificações nas eficácias das sinapses. Essas modificações se manifestariam, por exemplo, em termos de um número maior ou menor de vesículas que se fundiriam com a membrana neuronal pré-sináptica, ou em termos de um aumento ou diminuição no número de canais iônicos na membrana pós-sináptica. O nome que se dá às modificações na eficácia das sinapses é plasticidade sináptica. No caso dos modelos de redes neurais, as eficácias sinápticas são representadas pelos pesos w ij conectando os neurônios entre si. Portanto, para que um modelo de rede neural possa capturar o fenômeno de plasticidade sináptica, é necessário que ele inclua mecanismos de modificação dos pesos sinápticos w ij. Em geral, esses mecanismos são expressos por equações para a variação dos pesos sinápticos do tipo: dwij( s = wij( + dt F( w (, s (, s ( ), τ ij i j (7) onde τ w é a constante de tempo que controla a taxa de mudança do peso sináptico. 9

10 Em geral, os processos de plasticidade sináptica são muito mais lentos que os processos responsáveis pela variação do nível de um neurônio, descrito pela equação (1). Portanto, costuma-se assumir que: τ >> τ s. A equação (7) também assume que a variação do peso sináptico w ij é um processo local, dependente, em princípio, apenas do próprio valor de w ij e das atividades dos neurônios pré- e pós-sinápticos envolvidos. Das várias regras de plasticidade sináptica possíveis, a mais famosa é a chamada regra de Hebb. Em seu famoso livro de 1949, The Organization of Behavior, o psicólogo Donald Hebb formulou uma teoria para o problema do aprendizado e da memória que tentava unificar a psicologia e a neurofisiologia. Para Hebb, uma memória de longa duração estável deveria depender de alguma mudança estrutural nas conexões (sinapses) entre os neurônios. Numa passagem famosa do seu livro, Hebb descreveu uma hipótese para essa mudança estrutural associada à memória de longa duração: Quando um axônio de uma célula A está próximo o suficiente de uma célula B para excitá-la e, repetida e persistentemente, toma parte em fazê-la disparar, algum processo de crescimento ou mudança metabólica ocorre em uma ou ambas as células de maneira que a eficiência de A, como uma das células que fazem B disparar, é aumentada. Hebb não propôs uma formulação matemática para esta hipótese. Em seu livro, ele apenas descreve um possível mecanismo de reforço da eficiência sináptica entre dois neurônios em que os botões sinápticos cresceriam, aumentando a área de contato sináptico entre as células (ver figura a seguir). 10

11 Um processo como o proposto por Hebb, de crescimento dos botões sinápticos, ainda não foi observado em animais adultos. Porém, outro mecanismo fisiológico foi observado no cérebro que parece ser uma evidência da existência de um processo de aumento da eficiência sináptica do tipo proposto por Hebb. Este mecanismo, conhecido como potencialização de longa duração (ou LTP, da sigla em inglês para long-term potentiation), foi observado inicialmente no hipocampo em Para uma revisão sobre LTP e também sobre depressão de longa duração (LTD, do inglês para long-term depression) veja as referências no fim desta aula. Independentemente do mecanismo fisiológico causador do aumento da eficiência sináptica proposta por Hebb, e até mesmo da existência de tal mecanismo, a hipótese de Hebb pode ser escrita em termos matemáticos. A maneira mais simples de expressar a hipótese de Hebb matematicamente é supor que o peso sináptico w BA entre dois neurônios A e B aumenta quando os dois neurônios estão ativos ao mesmo tempo. Uma expressão matemática que implementa este processo é: dwij τ w = wij( + si ( s j ( = wij( + f ( ui) f ( u j ). (8) dt 11

12 A equação (8), que podemos chamar de regra de Hebb básica, implica que atividades pré- e pós-sinápticas simultâneas (correlacionadas) provocam um aumento no peso sináptico. A regra de Hebb constitui a base da maioria das pesquisas teóricas sobre o papel da plasticidade sináptica sobre o aprendizado e a memória. Por exemplo, considere neurônios conectados sinapticamente e que disparem conjuntamente durante um período de treinamento em um experimento de associação entre um estímulo e uma resposta. A aplicação da regra de Hebb às sinapses entre esses neurônios fará com que elas se fortaleçam com o tempo (quanto mais experimentos de associação forem feitos, mais fortes elas se tornarão). Após o período de treinamento, devido à força entre essas conexões, a ativação de alguns desses neurônios por um estímulo pode provocar níveis de ativação tão grandes nos neurônios a eles conectados que estes também se tornem ativos, gerando a resposta associada. Este processo esta ilustrado pela figura abaixo, que esquematiza o mecanismo de plasticidade sináptica (hebbiano) subjacente ao fenômeno de condicionamento clássico, observado por Pavlov. 12

13 Na figura acima, a seqüência de (a) a (d) ilustra os passos do experimento de condicionamento clássico de Pavlov. O peso da conexão entre o estímulo nãocondicionado (comida) e a resposta não-condicionada (salivação) é muito grande, provocando a resposta quando ocorre o estímulo. Já o peso da conexão entre o estímulo condicionado (sino) e a unidade de salivação é pequeno, de maneira que o toque do sino não provoca resposta. A repetição do pareamento entre os estímulos não-condicionado e o condicionado cria uma correlação entre as unidades do sino e da salivação, que eleva o peso da sinapse entre elas. Após certo número de repetições, o peso é tão grande que apenas o toque do sino é suficiente para provocar a salivação. Referências: 1. Abbott, L.F. and Nelson, S.B., Synaptic plasticity: taming the beast. Nature Neuroscience, 3(suppl.): , Brown, T.H., Kairiss, E.W. and Keenan, C.L., Hebbian synapses: biophysical mechanisms and algorithms. Annual Review of Neuroscience, 13: , Malenka, R.C. and Bear, M.F., LTP and LTD: an embarrassment of riches. Neuron, 44:5-21, Sejnowski, T.J., The book of Hebb. Neuron, 24: ,