Redes Neurais. Modelos de neurônios artificiais Fundamentos da lógica de limiar. Computação por portas lógicas binárias. Prof. Paulo Martins Engel

Transcrição

1 Redes Nerais Modelos de nerônios artificiais Fndaentos da lógica de liiar Coptação por portas lógicas binárias coptação digital te sido realizada fndaentalente co base e portas lógicas ipleentadas e diersas tecnologias de circitos integrados. pesar da eolção da tecnologia dos CI, o odo coo as fnções booleanas são ipleentadas peranece essencialente o eso. discretização dos sinais elétricos analógicos dos coponentes eletrônicos obedece à chaada lógica de chaes binária lâpada acende, se e fore acionadas lâpada acende, se o fore acionadas Coptação inspirada e odelos biológicos coptação por lógica de chaes não é plasíel biologicaente. O odelo de Hodgkin e Hxle de geração e propagação de potencial de ação ao longo da ebrana de nerônio se asseelha ao chaado nerônio artificial da lógica de liiar. O disparo de potencial de ação é processo tdo-o-nada reglado pela aclação de excitações indas de nerônios aferentes e ediadas pelos respectios contatos sinápticos. Os sinais aferentes pode agir sobre a ebrana despolarizando-a, atraés de sinapses excitatórias, o então hiperpolarizando-a, atraés de sinapses inibitórias. Qando a despolarização da ebrana atinge deterinado liiar, ocorre a rptra no eqilíbrio eletroqíico entre o interior e o exterior do nerônio, gerando o potencial de ação. O potencial de ação se propaga então pelo filaento axonal. 3 fncionalidade básica de nerônio artificial binário é a de a porta lógica genérica da lógica de liiar (LTU, Logic Threshold Unit). Fncionalente, este odelo é eqialente ao perceptron eleentar, odelo histórico de rede neral de caada única. No odelo de nerônio artificial o alor de saída depende do alor () da soa ponderada entre as entradas do nerônio e os ses pesos (sinápticos). No odelo binário, o alor de saída corresponde ao resltado da coparação de co liiar z. operação de coparação é odelada por a fnção de atiação, ϕ(; z). Cada nerônio artificial te a entrada extra tilizada para ajstar o se liiar, z. Modelo binário de nerônio artificial w w z > z = = w j x j j = se > z se z 4

2 Ipleentação de fnções booleanas por perceptrons U nerônio artificial binário, o perceptron eleentar, é a porta lógica configráel qe pode ipleentar as diersas fnções booleanas eleentares, qe fora a base da lógica booleana, apenas alterando o se conjnto de pesos e liiar. Ex. de f. b. ipleentadas co perceptron de entradas = f(, ; z, w, w ) > z > z Modelo de nerônio artificial co bias O liiar da fnção de atiação pode ser sbstitído por peso extra, qe recebe o noe de bias, antendo a esa fncionalidade do odelo co liiar. Neste odelo, só existe pesos e a fnção de atiação não te parâetro ajstáel. z w w w w > z w > = w j x j j = = se > z se z Fnção de atiação φ(; z) > z > z z > definindo z > z > Definios w = z coo o bias do odelo = j= w j x = se > se Fnção de atiação φ() > co = + w (potencial de atiação) 6 fnção de atiação de liiar abrpto Modelo estático de nerônio φ() ϕ (; z) = z = Fnção degra co liiar ariáel, se z,, se < z φ() co = z Fnção degra co liiar fixo ϕ() =, se,, se < Entrada extra Fontes de sinais de entrada x = x k w w k O nerônio pode ser descrito ateaticaente pelas segintes eqações Potencial de atiação Sinal de saída do nerônio Pesos sinápticos w bias Cobinador linear (CL) Jnção aditia Potencial de atiação Fnção de atiação ϕ( ) Saída = Σ w k. x k x k = f(,,..., ) = ϕ( ) 7 8

3 U nerônio de das entradas externas Representação etorial de alores de entrada entrada extra x = f(, ) entradas externas x w U apeaento de das entradas para a saída é ipleentado por nerônio de três entradas e três pesos. Do ponto de ista do apeaento de entrada-saída, = f(, ), os alores de entrada pode ser interpretados coo as coordenadas (, ) de ponto no espaço de características forado pelo prodto cartesiano. Usalente, este ponto é representado coo etor correspondente, x, partindo da orige. Por conenção, qalqer etor é representado por a atriz colna. w w ϕ() x = x x x T = [ ] x = [ x ] T x Entretanto, do ponto de ista do odelo, o etor de entrada do nerônio dee ser expandido, acrescentando-se a entrada do bias x = [ x ] T x Da esa fora, os pesos são representados por etor w = [ w w ] T w x 9 Representação do apeaento linear O alor do potencial de atiação, corresponde à soa dos alores indiidais das entradas ponderados pelos respectios pesos e representa a saída linear, interediária, do nerônio = w + w + w Plano de apeaento Exeplo de plano de apeaento de nerônio de das entradas co w = w = w =,5 =,5 +,5 +,5 (,,,5) Esta eqação define a sperfície plana, a sperfície de apeaento linear, qe representa o apeaento de pontos do espaço de entrada para alor de potencial de atiação. No caso de nerônio de das entradas, (, ) é plano qe corresponde aos pontos do espaço qe satisfaze esta eqação. Os alores dos pesos deterina a posição do plano neste espaço. (,,,5) (,, +,5) (,,,5) (,, +,5)

4 Parâetros do plano de apeaento z U plano pode ser definido pela fora ponto-noral a(x x ) + b( ) + c(z z ) = Neste caso, a inclinação do plano é especificada pelo etor noral não nlo n = (a,b,c) qe intercepta o plano no ponto P = (x,, z ) O plano de apeaento = w + w + w pode ser reescrito coo w w + ( w )= Reconhecendo as correspondências (x,, z) (,, ) Identificaos os parâetros P = (,, w ) n = ( w, w, ) No exeplo =,5 +,5 +,5 P = (,,,5) n = (,5,,5, ) n = (,5,,5, ) P = (,,,5) x 3 fnção de atiação fnção de atiação do nerônio age sobre o plano de apeaento definido pelos ses pesos. O principal objetio da fnção de atiação é introdzir a nãolinearidade no odelo. Se a fnção de atiação, o poder coptacional do nerônio, e eso de a rede neral inteira, seria eqialente ao de a transforação linear, o qe não peritiria a solção de classes iportantes de probleas. U dos probleas (não-lineares) qe desejaos resoler co o nerônio é a classificação de etores de entrada. Este problea incli a ipleentação de fnções booleanas. 4 Tipos de fnção de atiação fnção de atiação, representada por ϕ(), define a saída de nerônio e teros do potencial de atiação. Identificaos 3 tipos sais de fnção. Fnção de liiar (hard-liiter). Representa a fnção de decisão abrpta. Descree a propriedade tdo-o-nada de nerônio de McClloch-Pitts. ϕ() = se se <. Fnção linear por partes. Reslta n cobinador linear se a operação for restrita à região linear. Se redz à fnção de liiar se o fator de aplificação (a) for feito infinitaente grande. ϕ() =, +,5/a a. +,5,5/a > a. > +,5/a,,5/a ϕ() ϕ() 3. Fnção sigóide. É a fnção co fora de s, onotonaente crescente, qe exibe balanceaento adeqado entre coportaento linear e não-linear. Exeplos deste tipo de fnção são a fnção logística, e a tangente hiperbólica. 3. Fnção logística, co fator de aplificação (ganho) a ϕ() = + exp( a) 3. Fnção tangente hiperbólica, co ganho a ϕ() = tanh(a) ϕ() ϕ() a = a = a = a = 5 6

5 Toada de decisão de nerônio O perceptron No contexto de classificação por nerônios (perceptron), a tarefa da fnção de atiação no odelo de nerônio é odificar o plano de apeaento (interediário) do nerônio, de odo qe ele prodza o apeaento de entrada-saída correto e pontos correspondentes do espaço discreto de saída (p.ex. espaço de Haing). Isto pode ser feito pela seginte fnção de decisão, a chaada fnção sinal, () = sinal() Exeplo de classificação ipleentação de a fnção booleana Mapeaento de entrada-saída (, ) correspondente à fnção booleana soa (OU) para das ariáeis, =. (,,+,5) (,,,5) (,,+,5) (,,) (,,) (,,) sinal() =, se,, se < 7 (,,,5) =,5 +,5 +,5,5 +,5 +,5 +,5,5,5,5 Σ ϕ() (,,) x = sinal() 8 Partição do espaço de características Partição do espaço de características (,,,5) (,,) (,,,5) sinal() (,,) (,,) (,,) (,,) (,,) (,,+,5) (,,+,5) (,,+,5) (,,+,5) sinal() (,,,5) (,,) (,,,5) (,,+,95) (,,) (,) (,) tanh() =,5 +,5 +,5 = (,,+,46) (,,+,46) tanh() (,) (,) 9 (,,,46)

6 Classificação coo partição Ua conseqüência da análise dos probleas lógicos, é a constatação qe a tarefa de classificação pode ser ista coo problea de partição do espaço de características. Cada rótlo de classe se aplica a a região do espaço de características. s fnções booleanas atribe entre dois rótlos possíeis a cada a das cobinações possíeis de características de entradas. O Fotoperceptron O psicólogo Frank Rosenblatt [958] propôs o perceptron coo odelo para ilstrar algas propriedades fndaentais dos sisteas inteligentes e geral. É a rede e 3 caadas capaz de classificar padrões isais e categorias. s caadas corresponde a área sensorial S, correspondente à retina área associatia área de resposta R S R F F F F 3 F 4 F 5 F 6 F 7 F 8 F 9 F F F F 3 F 4 F 5 Área Sensorial Área ssociatia Área de Resposta Características do Fotoperceptron Os pontos sensoriais S, da retina, responde de a fora tdo-o-nada à lz incidente. Cada nidade associatia está conectada aleatoriaente co conjnto de pontos S, conjnto fonte (capo receptio), atraés de pesos qe pode ter alores, e. s conexões de S para são fixas. Os pontos sensoriais tê resposta binária. Qando padrão de estílo chega na retina, a nidade é atiada se a soa das sas entradas exceder alor de liiar. s nidades estão conectadas aleatoriaente co nidades R por pesos ajstáeis. Existe conexões inibitórias realientadoras de R para qe faze co qe apenas a nidade R seja atiada, aqela co a aior atiação de entrada (encedora). Padrões isais siilares atia o eso nerônio R. 3 nálise deterinística do perceptron O perceptron eleentar, co apenas nerônio na saída, pode aprender a identificar padrões linearente separáeis, classificando-os e relação a a classe de interesse. Se a saída for positia, o padrão pertence à classe de interesse. Se o alor de saída do nerônio for nlo (o negatio, dependendo do odelo), o padrão não pertence à classe desejada. O perceptron eleentar foi analisado de aneira deterinística por Minsk, qe o odelo coo único nerônio, co pesos sinápticos e liiar ajstáeis. O algorito de treinaento foi proposto por Rosenblatt. O odelo deterinístico do perceptron e o odelo de McClloch -Pitts para nerônio se asseelha cobinador linear adaptatio (CL) segido de a fnção de decisão (hard liiter). w w w, se, ϕ() ϕ() =, se < 4