Redes Neurais Artificiais ( Neural(

Transcrição

1 Redes Neurais Artificiais ( Neural( Netwrks ) Definiçã (Segund Haykin em [HAYKIN 200] ) Uma rede neural é um prcessadr maciçamente paralelamente distribuíd cnstituíd de unidades de prcessament simples, que têm a prpensã natural para armazenar cnheciment eperimental e trná-l dispnível para us Ela se assemelha a cérebr em dis aspects: O cnheciment é adquirid pela rede a partir de seu ambiente através de um prcess de aprendizagem Frças de cneã entre neurônis, cnhecidas cm pess sináptics, sã utilizadas para armazenar cnheciment adquirid Outrs terms Redes Cneinistas Neurcmputadres DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - Redes Neurais Artificiais ( Neural( Netwrks ) Fundaments Bilógics A estrutura fundamental d sistema nervs é neurôni O neurôni pssui um crp celular, um aôni e diversas ramificações (s dendrits) Os dendrits sã s elements de entrada, que cnduzem s sinais das etremidades para crp celular O crp celular cmbina s sinais ds dendrits frmand um sinal ecitante u inibitóri O aôni é element de saída, que transmite sinal d crp celular para suas etremidades As etremidades d aôni de um neurôni sã cnectadas cm s dendrits de utrs neurônis através das sinapses, frmand uma rede DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 2

2 Redes Neurais Artificiais ( Neural( Netwrks ) Evluçã da Área 943: McCULLOCH e PITTS prpuseram º mdel matemátic de um neurôni (nã aprendia) 949: HEBB fez a ª frmulaçã de uma regra de aprendizagem fisilógica 958: ROSENBLATT cncebeu Perceptrn, nde fi intrduzid um métd invadr de aprendizagem supervisinada 960: WIDROW e HOFF prpuseram ADALINE (adaptive linear element): aprendizagem basead n algritm LMS - least mean-square 962: WIDROW prpôs MADALINE (multiple ADALINE) 969: MINSKY e PAPERT demnstraram as limitações d Perceptrn 974: WERBOS prpôs algritm Errr Backprpagatin (sem repercussã) 982: HOPFIELD prpôs um rede realimentada 986: RUMELHART, HINTON E WILLIAMS prpõem algritm da retrprpagaçã ( Backprpagatin ) para Rede Neural Multicamadas DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 3 Redes Neurais Artificiais ( Neural( Netwrks ) Neurôni Bilógic Neurôni Artificial Figura adaptada de [Osóri 99] DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 4 2

3 p pn w wn Mdel de Neurôni Representaçã Gráfica u i n = j= t w p + b = w p + b ij p wi p2, = wi p = w M M pn w j i i 2 in. i Sinapse ecitatória w ij > 0, Sinapse inibitória w ij < 0. ai Funçã de ativaçã: (sigmóide) dai 0 du i ui DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 5 E O Mdel de McCullch e Pitts (943) p2 w2 + b n a = F wi pi i= t b = F( w p b) a [0;] degrau p2 Para n=2 w p w p = b A F = funçã degrau Divisã d espaç euclidian em duas regiões A e B B p DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 6 3

4 O neurôni de McCullch cm classificadr de padrões Algumas funções lógicas de duas variáveis representadas n plan binári DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 7 Mdel de Neurôni Funções de Ativaçã Funçã de ativaçã de Limiar (Degrau) a i = se u i 0 0 se u i < 0 Funçã de ativaçã Linear pr Partes se u a i + ½ i = u i se + ½ > u i > - ½ 0 se u i - ½ Funçã de ativaçã Sinal a i = se u i > 0 0 se u i < 0 - se u i 0 DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais ½ ½ 4

5 Mdel de Neurôni Funções de Ativaçã Funçã de ativaçã Sigmóide a i = + ep (-a.u i ) a aumentand Obs: a é parâmetr de inclinaçã da curva 0 Funçã de ativaçã Tangente Hiperbólica a i = tanh (u i ) - DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 9 Cmputaçã de um Neurôni Cleções linearmente separáveis e linearmente dependentes (nã-separáveis) Classificaçã Cmputa hiperplan de decisã Classificaçã DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 0 5

6 Mdel Entradas: X = ( 0,, 2,..., n ) cm 0, crrespndente a bias, igual a Pess: W= (w 0, w, w 2,..., w n ) Perceptrn Saídas: Funçã de Ativaçã de Limiar: 0 (zer) se bjet pertence a classe N u (um) se bjet pertence a classe P Aplicaçã Classificaçã de bjets: Objets cm n características classe Rsenblatt,, 958 Aprendizagem Métd invadr (na épca) de aprendizagem supervisinada: pesquisa de um cnjunt de pess que classifique crretamente tds s eempls de treinament Cnjunt de Eempls de Treinament As características sã as entradas d Perceptrn DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - Prblema Classificaçã de bjets: Aprendizagem de Perceptrns Objets cm n características 2 classes: P (Psitiv) e N (Negativ) Perceptrn Entradas: X = ( 0,, 2,..., n ) cm 0, crrespndente a bias, igual a Pess: W= (w 0, w, w 2,..., w n ) Saídas: Funçã de Ativaçã Limiar: 0 (zer) se bjet pertence a classe N u (um) se bjet pertence a classe P Cnjunt de Eempls de Treinament As características sã as entradas d Perceptrn Aprendizagem = pesquisa de um cnjunt de pess que classifique crretamente tds s eempls de treinament # Características 2... n Classe 0 P N 3 N 4 0 P N DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 2 6

7 Aprendizagem de Perceptrns para C classes Saídas (classes) C C2 Cc Camada de Neurônis wi Entradas n Obs.: O algritm de aprendizagem é aplicad a cada um ds perceptrns individualmente DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 3 Algritm de Aprendizagem d Perceptrn. Atribua valres reais aleatóris as pess W= (w 0, w, w 2,..., w n ) 2. Repita até que tds s eempls de treinament sejam classificads crretamente 2.. Calcule gradiente J 2.2. Mdifique s pess fazend W = W + η * J Onde η é um fatr de escala (pequen: aprendizad lent; grande: pde saltar a sluçã) X FN J = X * W X * W X FP J = X FN X X FP X FN e FP sã cnjunts de vetres de entrada X ds eempls de treinament malclassificads, de acrd cm tip de err FN = Fals Negativ, u seja g(x) < 0, mas deveria ser 0 Obs.: J = J * W FP = Fals Psitiv, u seja g(x) 0, mas deveria ser < 0 DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 4 7

8 Algritm de Aprendizagem d Perceptrn Gráfic de Err ds Pess J(W) Figura adaptada de [Rich 94] w w 2 Espaç de Sluções J(W) = 0 J indica nível de err para cnjunt de pess W= (w, w 2 ) Obs.: w 0 é mitid para visualizar gráfic em 3 dimensões DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 5 Eempl de um Prblema Reslvid cm RNA Definiçã d Prblema Classificaçã de frutas (laranja, maça e jaca) cm base ns atributs cr, tamanh e rugsidade Mdelagem (atributs e dmínis) cr {vermelh=, laranja=2, amarel=3, verde=4} tamanh R = perímetr em cm rugsidade [0; ] = índice de rugsidade: 0 = lis; = rugs Mdelagem da rede Sabe-se que as classes sã linearmente separáveis Perceptrn ( camada de neurônis) Mais de duas classes Mais de um neurôni DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 6 8

9 Eempl de um Prblema Reslvid cm RNA Mdelagem da rede Saídas (classes) C C2 Cc Camada de Neurônis wi Entradas n DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 7 Saídas (classes) Rede Multicamadas C C2 Cc Camada de Saída 2... C w2ij Camada Oculta h 0 h h 2... h B wij Onde Entradas A A é númer de entradas B é númer de neurônis da camada culta C é númer de neurônis da camada de saída (crrespnde a númer de classes) i sã s valres das entradas, nde 0 = (bias) h i sã s valres de saída da camada culta e de entrada da camada de saída (h 0 = 0) i sã s valres de saída da camada de saída DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 8 9

10 Prblema Classificaçã de bjets (padrões nã linearmente separáveis): Rede Neural Objets cm A características C classes Entradas: X = ( 0,, 2,..., n ) cm 0, crrespndente a bias, igual a Pess: um cnj. p/ cada camada W= {w ij i=0,..., A; j=,..., B} e W2= {w2 ij i=0,..., B; j=,..., C} Saídas: Funçã de Ativaçã Sigmóide (valr n interval [0; ]): valr 0,: bjet nã pertence a classe Ci valr 0,9: bjet pertence a classe Ci Cnjunt de Eempls de Treinament As características sã as entradas da Rede Redes multi-camada Aprendizagem = pesquisa de um cnjunt de pess que classifique crretamente tds s eempls de treinament # Características 2... n Classe 0 C C2 3 C 4 0 C C DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais - 9 Algritm de Retrprpagaçã ( Backprpagatin ). Atribua valres reais aleatóris pequens as pess de tdas as camadas, pr eempl, n interval [-0,; 0,] 2. Repita até que tds s eempls sejam classificads crretamente (Épca) 2.. Para cada eempl faça 2... Classifique eempl (prpague s valres pela rede até a camada de saída) Calcule s errs para a camada de saída: δ2 j = j. *( - j )*(y j - j ) j =... C Calcule s errs para a camada culta (camada 2): δ j = h j *( - h j )* Σ i=..c δ2 j * w2 ji Ajuste s pess W2 da camada 2 j =... B w2 ij = η * δ2 j * h j i = 0... B; j =... C Ajuste s pess W da camada w ij = η * δ j * j i = 0... A; j =... B DECOM ICEB UFOP Prf. Álvar Guarda Aprendizad de Máquina: Redes Neurais Artificiais