Redes Neuronais (introdução)

Transcrição

1 Redes Neuronas (ntrodução) Vctor Lobo Introdução INÍCIO Programação Imperatva Explcta-se o algortmo Conjunto de nstruções S?? N S N Intelgênca Artfcal Usar o homem e a bologa como nspração Abordagem smbólca Estudar os processos cogntvos -> Lógca, Sstemas Percas Abordagem sub-smbólca Estudar os processos bológcos -> Redes Neuronas FIM

2 Introdução hstórca Anda nos anos 5 fo sugerdo que um computador poda ser programado smulando um conjunto de neurónos. Nos anos 6 fo desenvolvdo muto trabalho com neurónos smples, também chamados máqunas lneares. No fnal da década de 6 fo publcado um lvro ( Perceptrons ) que demonstrava a lmtação dos neurónos smples, e levantava dúvdas quanto à possbldade de usar redes complexas de neurónos. A nvestgação nesta área quase parou. Introdução hstórca 986 Artgo de Rumelhart re-nventa o algortmo de Bac-Propagaton (tnha sdo descoberto em 975 mas quase gnorado), possbltando o treno de redes multcamada, e lançando uma eufora sobre redes neuronas Durante a década de 8 são desenvolvdos os mapas auto-organzados (SOM) e as redes de funções de base radal (RBF), redes de Hopfeld, etc, e aparecem váras aplcações prátcas Durante a década de 9, conslda-se o uso generalzado de redes neuronas, e establecem-se as pontes para outras áreas como a estatístca 2

3 Introdução hstórca Prncpas tpos de redes neuronas Perceptrões smples Perceptrões multcamada (MLP) Redes de funções de base radal (RBF) Mapas auto-organzados (SOM) Support Vector Machnes (SVM) Outros Quase tudo... Hopfeld, Boltzman, ART, Spng Networs, Neural Gas, etc. Um neuróno (bológco) 3

4 Funconamento de um neuróno bológco As dendrtes recebem ões através das snapses Esses ões são njectados por outros neurónos vznhos. Quando mas exctados estverem os vznhos, mas ões são njectados O snal eléctrco é propagado até ao núcleo Se o neuróno fôr sufcentemente estmulado, ele própro entra em estado de exctação e começa a estmular os seus vznhos Factores que condconam a actvação de um neuróno As lgações que tem, ou seja os vznhos que escolhe A força da sua lgação a cada um desses esses vznhos,.e., a efcênca das snapses. A sua sensbldade,.e., o ponto a partr do qual ele dspara O cérebro humano tem MUITOS ( 2 ) neurónos... Modelo matemátco de um neuróno bológco McCullor & Ptts (943) w Entradas w 2 w 3 f s Sada w 4 Neuróno bológco Neuróno artfcal 4

5 Modelo mas completo Entradas (x ) x x 2 x 3 Pesos (ω ) w w 2 w 3 w - θ Bas, ou termo constante Função de actvação v ϕ(v) y x Soma v = w x θ = y = ϕ( v) = sgn( v) Aprendzagem num neuróno Determnação dos pesos snáptcos Como escolher os ω? Idea geral: Snapses que ajundam a obter bons resultados devem ser reforçadas Snapses que lvam a maus resultados devem ser enfraquecdas 5

6 Problemas tpo Bologa Se os neurónos da ponta dos dedos ndcam muto calor -> Actvar o neuróno que enconhe o músculo do braço Se um pé ndca peso e o outro não -> Actvar o neuróno responsável pelo equlíbro Outros problemas Se os dados sobre uma casa (preço, área, anos, etc), são bons -> Comprar a casa Se os dados sobre um clente (saldo médo, saláro, dada, etc) são bons -> Conceder crédto Se a magem da câmara está a perder a estrada -> vrar o volante Sempre: dadas umas entradas actvar umas saídas Exemplo muto smples Qual o classfcador de A B Classe Qual a rede neuronal que resolve este exemplo?.5.5 6

7 A solução A B -.5 v Sgn(v) y Outro exemplo

8 Mas outro exemplo Qual o classfcador de A B Classe Qual a rede neuronal que resolve este exemplo?.5.5 Perceptrão smples O perceptrão é o exemplo mas smples de uma rede neuronal x w - Consste num únco neuróno Permte classfcar duas classes lnearmente separáves x 2 x 3 x w 2 w 3 w w v sgn(v) y 8

9 Regra de classfcação Se x(t) = [-, x (t),, x n (t)] T, x W(t)= [θ, w (t),, w n (t)] T então v(t) = W(t) T.x(t) A equação do hperplano é dada por v(t) = A regra de classfcação é se W(t) T.x(t) então x(t) = C se W(t) T.x(t) < então x(t) = C 2 C 2 C w x +w 2 x 2 - θ = x 2 Algortmo de aprendzagem Dado um vector x(t) Se (W(t) T.x(t) x(t) = C ) (W(t) T.x(t) < x(t) = C 2 ) então W(t+) = W(t) senão Se (W(t) T.x(t) x(t) = C 2 ) então W(t+) = W(t) - η(t) x(t) senão W(t+) = W(t) + η(t) x(t) Onde η(t) é o rtmo de aprendzagem 9

10 Algortmo de aprendzagem ( ) T ( t) = sgn W ( t). x( t) y W d () t () t = η() t [ d() t y() t ]. x() t + se = se x x () t () t C C 2 Exemplo W -ηx W x

11 Questão Só é possível resolver problemas de classfcação lnearmente separáves? Por exemplo, pode resolver-se o problema de duas classes com uma únca varável, representado pela fgura abaxo? C C C - Nota Se o número de varáves for maor do que o número de exemplos de treno o problema de classfcação é sempre lnearmente separável

12 Redes Neuronas Redes Multcamada com bacpropagaton Modelo do neuróno x x 2 x 3 w w 2 w 3 w - θ v ϕ(v) y x em que ϕ(v) pode ser a função snal a função sgmode a função tangente hperbólca 2

13 Introdução Os neurónos utlzam funções de avalação derváves. Aprendzagem supervsonada. O algortmo de aprendzagem mas utlzado é o de error bac-propagaton. Varáves Camada nvsível Camada nvsível Camada saída Funções de avalação ϕ + e () v = v ϕ e e v () v = v v v e + e Sgmode v = =5 = v Tangente hperbólca 3

14 Exemplo XOR x x 2 y 3 x x 2 y 3 Snas numa rede multcamada Snas de função que se propagam desde os neurónos de entrada até às saídas. Snas de erro que se propagam de uma saída para as entradas (camada a camada), através da rede. Snas de função Snas de erro 4

15 Algortmo de bacpropagaton Função de custo ξ ξ 2 = e av 2 = N j j O N n= ξ erro nstantâneo erro médo em que O representa os neurónos de saída e N o número total de exemplos Neuróno - d (n) θ (n) y j (n) w j (n) v (n) ϕ(.) y (n) - e (n) 5

16 Aplcação do método do gradente w j ξ = η w = η = ηe = ηδ ξ e e y dϕ ( )( ) ( v) n. j y j dv y v v= v y v w j j em que δ (n) é defndo como o gradente local e é dado por ( v) dϕ δ = e. dv v= v Neuróno de um nó nvsível N d (n) y j (n) w j - θ (n) ϕ(.) ϕ (.) v (n) y (n) Neuróno "" w N w N 2 w 2 ϕ (.) v (n) v (n) ϕ (.) v 2 (n) - y (n) - y (n) - y 2 (n) d (n) d 2 (n) e (n) e (n) e 2 (n) 6

17 Aplcação do método do gradente w j ξ = η w ξ = η y = η = η = η = ηδ y v v wj ξ e y v d e y v y. dϕ ( )( ) () v dϕ() v e n w. j δ y j w dv () v dϕ. dv v= v v= v y j dv () v ϕ dv v= v y j v= v y j Regra delta A regra de aprendzagem pode ser descrta por w = j ηδ y em que δ (n) é o gradente local dado por j () v dϕ δ = e. dv dϕ ( ) () v δ n = dv v= v v= v δ w para os neurónos de saída para os neurónos nvsíves 7

18 Função de avalação: Sgmode Para a camada de saída δ = [ d o ] o [ o ] Para as camadas nvsíves = y [ y ] δ δ w Generalzação da regra delta Rumelhart (986) propôs a regra = α w ( n ) + ηδ y w j j nclundo um termo de momento em que α é a constante de momento e é postva. j 8

19 Exemplo Sejam as funções A Rede Neuronal x x 2 y 3 y 4 x x 2 y 3 y 4 Exemplo (cont) x x 2 w w 2 w v sgmode(v) - - w w w w 42 w sgmode(v) 22 v 2 y 2 y w 3 v 3 sgmode(v) y 3 w 32 w 3 w 4 v 4 sgmode(v) y 4 x x 2 w δ ϕ (v)=y (-y ) w 2 w w 2 w 3 δ 3 y w w w 2 ϕ (v)=y 2 (-y 2 ) w 22 δ 2 w 4 y 2 w 42 w 4 δ 4 ϕ (v)=y 3 (-y 3 ) ϕ (v)=y 4 (-y 4 ) e 3 e 4 9

20 Exemplo (cont) x = x 2 = v y v 3 sgmode(v) sgmode(v) y 3 /2 /2 - - v 2 /2 sgmode(v) y 2 v 4 sgmode(v) /2 y 4 x = w δ ϕ (v)=y (-y ) w w 2 w 3 δ 3 y w w ϕ (v)=y 3 (-y 3 ) e 3 /2 x 2 = w 2 w 22 w 2 δ 2 ϕ (v)=y 2 (-y 2 ) y 2 w 42 w 4 w 4 δ 4 ϕ (v)=y 4 (-y 4 ) e 4 -/2 Problemas com o BacProp É um método de gradente, logo sujeto a mínmos locas Infelzmente é normal haver mutos mínmos locas... É lento Soluções Váras ncalzações Város valores para o momento Város métodos de optmzação dos parâmetros No SAS Múltplas corrdas, e escolhe o melhor Optmzação por quas-newton, Lavenberg-Marquadt, gradente conjugado... 2

21 Redes Neuronas Bblografa 2