Introdução. Introdução. Introdução I - PERCEPTRON. Modelos de Neurônios LABIC. Neurônio:

Transcrição

1 Modelos de Neurônos Introdução Característcas Báscas Modelo de Neurôno Estrutura da Rede Neurôno: Cada neurôno é composto por: dendrtos: con de termnas de entrada corpo central Algortmo de Aprendzado axôno: um longo termnal de sada Dentro de um neurôno as mensagens fluem dos dendrtos para o axôno passando pelo corpo celular Introdução Introdução O processo de nformações no sstema nervoso (redes neuras naturas) é um processo de natureza eletroquímca - transmssão de mpulsos nervosos dentro do neurôno é um processo de natureza elétrca - transmssão snáptca se faz por um mecansmo de natureza químca Snapses: regão através da qual os mpulsos nervosos são transmtdos de neurôno para neurôno - Podem ser: exctatóras - estmulam a ação do neurôno nbtóras - tem efeto contráro I - PERCEPTRON Σ - y= f(σ w x - θ) x n w n θ F é função snal - 5-6

2 NEURÔNIO ARTIFICIAL Estrutura Básca de um Neurôno Artfcal Funções de Atvação Comuns: Estado de Atvação (Saída): s Conexões entre Processadores: w - a cada conexão exste um peso snáptco que determna o efeto da entrada sobre o processador Soma: cada processador soma os snas de entrada ponderado pelo peso snáptco das conexões Função de Atvação: s = F(net ) - determna o novo valor do Estado de Atvação do s = 0 net > 0 net 0 s = net 0 net > 0 < net net 0 s = + e α net processador Funções de Transferênca Modelos de Neurônos x 0 =- w 0 = θ (threshold) - α Σ y= f(σ w x - θ) Hard Lmter- Degrau Threshold logc Sgmod x n w n F é função snal Modelos de Neurônos CARACTERISTICAS BASICAS x 0 =+ x n w 0 = b (bas) w n Σ y= f(σ w x ) F é função snal - Regra de propagação - Função de atvação: função escada - Topologa: uma únca camada de processadores - Algortmo de Aprendzado: w = ηx (t - y ) (é do tpo supervsonado) - Valor de Entrada/Saída: Bnáros t= 0 ou - - 2

3 Fnaldade do Termo Bas: ALGORITMO DE APRENDIZADO Regra Delta - LMS x w x w = 0 + θ = 0 Desloca-se o hperplano da orgem Defne um hperplano passando pela orgem - 3 ) ncar os pesos snáptcos com valores randomcos e pequenos ou guas a zero; 2) aplcar um padrão com seu respectvo valor deseado de saída (t ) e verfcar a saída da rede (y ); 3) calcula o erro na saída E = t - y ; 4) se E = 0, volta ao passo 2; se E 0, atualza os pesos: w = η x E ; 5) volta ao passo 2-4 ALGORITMO DE APRENDIZADO Gradente de uma função IMPORTANTE não ocorre varação no peso se a saída estver correta; caso contráro, cada peso é ncrementado de η quando a saída é menor que o valor-alvo e decrementado de η quando a saída é maor que o valor-alvo w = η x e Gradente: Dervada dreconal: f ( x, u P(x, f ( x, = f ( x,, f ( x, x y D f ( x, = f ( x, u u = f ( x, u cos γ = f ( x, cos γ D u f(x, é a taxa de varação de f(x, na dreção defnda por u Gradente de uma função Teorema do gradente: Sea f uma função de duas varáves, dferencáves no ponto P(x, ) O máxmo de D u f(x, em P(x, é f(x, ) O máxmo da taxa de crescmento de f(x, em P(x, ocorre na dreção de f(x, Coroláro: Sea f uma função de duas varáves, dferencáves no ponto P(x, ) O mínmo de D u f(x, em P(x, é - f(x, ) O máxmo da taxa de decrescmento de f(x, em P(x, ocorre na dreção de - f(x, - 7-8

4 AND x 0 t Entrada : Entrada 2: 0 0 Entrada 3: 0 0 Entrada 4: Smulação do Operador Lógco AND Peso ncal: w 0 = 0, = 0, =0 Taxa de aprendzado: η = 05 + Estrutura da Rede s 0 s s 2 s out - 2 o Cclo Entrada : s out = f(w 0 x ) = f( ) = f(0) = 0 s out = t Entrada 2: s out = f(w 0 x ) = f( ) = f(0) = 0 s out = t Entrada 3: s out = f(w 0 x ) = f( ) = f(0) = 0 s out = t Entrada 4: s out = f(w 0 x ) = f( ) = f(0) = 0 s out t w 0 = w 0 +(t-s out )x 0 = (-0) =05 = +(t-s out ) = (-0) =05-22 = +(t-s out ) = (-0) =05 2 o Cclo Entrada: s out = f(w 0 x ) = f( ) = f(05) = s out t w 0 = w 0 +(t-s out )x 0 = (0-) = 0 = +(t-s out ) = (0-) 0 = 05 = +(t-s out ) = (0-) 0 = 05 Entrada 2: s out = f(w 0 x ) = f( ) = f(05) = s out t w 0 = w 0 +(t-s out )x 0 = (0-) = -05 = +(t-s out ) = (0-) 0 = 05 = +(t-s out ) = (0-) = o Cclo Entrada 3: s out = f(w 0 x ) = f( ) = f(0) = 0 s out = t Entrada 4: s out = f(w 0 x ) = f( ) = f(0) = 0 s out t w 0 = w 0 +(t-s out )x 0 = (-0) = 0 = +(t-s out ) = (-0) = = +(t-s out ) = (-0) = 05-24

5 3 o Cclo Entrada : s out = f(w 0 x ) = f( ) = f(0) = 0 s out = t Entrada 2: s out = f(w 0 x ) = f( ) = f(05) = s out t w 0 = w 0 +(t-s out )x 0 = (0-) = - = +(t-s out ) = + 05 (0-) 0 = = +(t-s out ) = (0-) = 0 3 o Cclo Entrada 3: s out = f(w 0 x ) = f( ) = f(0) = 0 s out = t Entrada 4: s out = f(w 0 x ) = f( ) = f(0) = 0 s out t w 0 = w 0 +(t-s out )x 0 = (-0) = -05 = +(t-s out ) = + 05 (-0) = 5 = +(t-s out ) = (-0) = o Cclo Entrada : s out = f(w 0 x ) = f( ) = f(-05) = 0 s out = t Entrada 2: s out = f(w 0 x ) = f( ) = f(0) = 0 s out = t Entrada 3: s out = f(w 0 x ) = f( ) = f() = s out t w 0 = w 0 +(t-s out )x 0 = (0-) = - = +(t-s out ) = (0-) = = +(t-s out ) = (0-) 0 = 05 Entrada 4: s out = f(w 0 x ) = f( ) = f(05) = s out = t o Cclo Entrada : s out = f(w 0 x ) = f( ) = f(-) = 0 s out = t Entrada 2: s out = f(w 0 x ) = f( ) = f(-05) = 0 s out = t Entrada 3: s out = f(w 0 x ) = f( ) = f(0) = 0 s out = t Entrada 4: s out = f(w 0 x ) = f( ) = f(05) = s out = t w 0 = -, =, = INTERPRETAÇÃO GEOMÉTRICA Perceptron (0,) (,) Lnha de Decsão: + = - θ + 05 = OBS: A classe de funções representadas por Perceptrons é Lmtada 2) Perceptrons Não-Lneares Out(x) = g( w t x ) --> y (0,0) (,0) + 05 = Out(x) = g(w T x) = g( w x ) onde g é uma função não-lnear (SIGMOID)

6 Conclusão - mudando-se os valores de, e θ, muda-se a nclnação e a posção da reta; - entretanto é mpossível achar uma reta que Mnsky & Papert provaram que este problema pode ser soluconado adconandose uma outra camada ntermedara de dvde o plano de forma separar os pontos A e processadores- Mult-Layer Perceptron A 2 de um lado e A 0 e A 3 de outro - redes de únca camada só representam (MLP) funções lnearmente separáves MULTI-LAYER PERCEPTRON Redes de apenas uma camada só representam funções lnearmente separáves Redes de múltplas camadas soluconam essa restrção O desenvolvmento do algortmo Back-Propagaton fo um dos motvos para o ressurgmento da área de redes neuras

7 Algortmos de Aprendzado Problema y y 2 x 3 y 3 x N y N x denota um vetor de p componentes - 37 Perceptrons Lneares: eles são modelos multvarados lneares: Out(x) = w T x e o trenamento consste de mnmzar a soma dos quadrados do resíduo pelo método do gradente descent Regra Gradente Descent: w w - η f (w)/ w y - 38 Adalne Adalne O obetvo do processo adaptatvo do Adalne (perceptron) consste em utlzar a função de atvação hard lmter e mnmzar os pesos e θ usando o algortmo LMS Como a saída deseada pode ter apenas valores ou, o erro pode ser +2, 0, ou 2 w k = ηδ p x REGRA DELTA, REGRA LMS ou REGRA de Wdrow-Hoff (960) p k Exercícos Trenar uma rede de perceptrons consttuída de uma camada ntermedara consttuída de um únco neurôno, para mplementar a função OU-EXCLUSIVO Implementar um Perceptron para reconhecer a letra A e a letra A nvertda - 4