Redes Neuronais (Introdução, perceptrões, e MLP)

Transcrição

1 Redes neuronas (Perceptrões e MLP) Redes Neuronas (Introdução, perceptrões, e MLP) Vctor Lobo Orgens de AI e Redes Neuronas Programação Imperata Explcta-se o algortmo Conjunto de nstruções S INÍCIO? N? N S Intelgênca Artfcal Usar o homem e a bologa como nspração Abordagem smbólca Estudar os processos cogntos -> Lógca, Sstemas Percas Abordagem sub-smbólca Estudar os processos bológcos -> Redes Neuronas FIM

2 Redes neuronas (Perceptrões e MLP) Introdução hstórca Anos 50 prmera sugestão Idea de programar um computador smulando um conjunto de neurónos Anos 60 prmera era Muto trabalho com neurónos smples, também chamados máqunas lneares. Fnal da década de 60 prmero fm Publcação de Perceptrons, de Mns Demonstrada a lmtação dos neurónos smples, Dúdas quanto à possbldade de trenar redes complexas de neurónos. Deslusão: a nestgação nesta área quase parou. Introdução hstórca 986 Rumelhart re-nenta o algortmo de Bac- Propagaton Descoberto em 975 por Werbos, mas quase gnorado Possblta o treno de redes mult-camada Eufora sobre redes neuronas Anos 80 o ressurgr Aparecem noas arqutecutas: os mapas auto-organzados (SOM), Redes de funções de base radal (RBF), redes de Hopfeld, etc, Váras aplcações prátcas Anos 90 a consoldação Uso generalzado de redes neuronas Pontes para outras áreas como a estatístca, processamento de snal, etc 2

3 Redes neuronas (Perceptrões e MLP) Prncpas tpos de redes neuronas Perceptrões smples Perceptrões multcamada (MLP) Quase tudo... Redes de funções de base radal (RBF) Mapas auto-organzados (SOM) Support Vector Machnes (SVM) Outros Hopfeld, Boltzman, ART, Spng Networs, Neural Gas, LVQ, BPTT, BSB, etc. Algumas antagens das redes neuronas MLP para SAD Em problemas de presão, com aprendzagem supersonada a partr de bases de dados Aprendem automatcamente Fazem nterpolações não-lneares São aproxmadores unersas! Dados Rede Presão 3

4 Redes neuronas (Perceptrões e MLP) Inspração e formalzação para redes neuronas Um neuróno (bológco) 4

5 Redes neuronas (Perceptrões e MLP) Funconamento de um neuróno bológco Dendrtes recebem ões atraés das snapses Esses ões são njectados por outros neurónos znhos. Quando mas exctados esterem os znhos, mas ões são njectados O snal eléctrco é propagado até ao núcleo Se o neuróno fôr sufcentemente estmulado, ele própro entra em estado de exctação e começa a estmular os seus znhos Factores que condconam a actação de um neuróno As lgações que tem, ou seja os znhos que escolhe A força da sua lgação a cada um desses esses znhos,.e., a efcênca das snapses. A sua sensbldade,.e., o ponto a partr do qual ele dspara O cérebro humano tem MUITOS ( 0 2 ) neurónos... Modelo matemátco de um neuróno bológco McCullor & Ptts (943) w Entradas w 2 w 3 f s Sada w 4 Neuróno bológco Neuróno artfcal 5

6 Redes neuronas (Perceptrões e MLP) Modelo mas completo Entradas (x ) x x 2 x 3 x Pesos snáptcos ( ) Bas, ou termo constante Função de actação w w 2 w 3 w - Soma () w x ( ) sgn Aprendzagem num neuróno Determnação dos pesos snáptcos Como escolher os? Idea geral: Snapses que ajudam a obter bons resultados deem ser reforçadas Snapses que leam a maus resultados deem ser enfraquecdas 6

7 Redes neuronas (Perceptrões e MLP) Problemas tpo Bologa Se os neurónos da ponta dos dedos ndcam muto calor Actar o neuróno que enconhe o músculo do braço Se um pé ndca peso e o outro não Actar o neuróno responsáel pelo equlíbro Outros problemas Se os dados sobre uma casa (preço, área, anos, etc), são bons Comprar a casa Se os dados sobre um clente (saldo médo, saláro, dada, etc) são bons Conceder crédto Sempre: Dadas umas entradas actar umas saídas Exemplo muto smples Queremos preer se a classe é ou 0. Varáes A B Classe Qual a rede neuronal que resole este exemplo? Varáel B C= 0.5 C= Uma separação possíel Varáel A C= C= 7

8 Redes neuronas (Perceptrões e MLP) A solução A B Sgn() f ( x ) sgn( A B 0.5) actação A separação entre os locas onde é posto e negato será sempre um hperplano! = w x + w 2 x 2 - θ = 0 x 2 = w /w 2 x + θ/ w 2 x 0 sgn( x) x 0 Outro exemplo,5 0,5 0 -, ,75-0,5-0,25 0 0,25 0,5 0,75,25-0,5 - -,5 8

9 Redes neuronas (Perceptrões e MLP) Mas outro exemplo Qual o classfcador de A B Classe Qual a rede neuronal que resole este exemplo? que corre mal Perceptrão (um neuróno solado) 9

10 Redes neuronas (Perceptrões e MLP) Perceptrão smples O perceptrão é o exemplo mas smples de uma rede neuronal x w - Consste num únco neuróno x 2 x 3 w 2 w 3 w w 0 sgn() Permte classfcar sem erro duas classes lnearmente separáes x Regra de classfcação Se x(t) = [-, x (t),, x n (t)] T, W(t)= [, w (t),, w n (t)] T então (t) = W(t) T.x(t) x Classe C corresponde a Classe C 2 corresponde a - C A equação do hperplano é dada por (t) = 0 A regra de classfcação é C 2 w x +w 2 x 2 - x 2 se W(t) T.x(t) 0 então x(t) C se W(t) T.x(t) < 0 então x(t) C 2 0

11 Redes neuronas (Perceptrões e MLP) Algortmo de aprendzagem Dado um ector x Se (W(t) T x 0 x C ) (W(t) T x < 0 x C 2 ) então W(t+) = W(t) senão Se (W(t) T x 0 x C 2 ) então W(t+) = W(t) - (t) x senão W(t+) = W(t) + (t) x Onde (t) é o rtmo de aprendzagem Escolher outro x e repetr o processo Algortmo de aprendzagem (redes bnáras) Consderando: Uma sére de ectores x como sendo uma sére x(t) Uma função d(t) que ndca se o dado pertence a uma classe ou outra T Obtém-se uma forma mas elegante: Regra delta (bnára) t W d t t. xt t t d t t. x t sgn W se se erro x x t t C C 2

12 Redes neuronas (Perceptrões e MLP) Exemplo x W -x W 0 x x Questão Só é possíel resoler problemas de classfcação lnearmente separáes? Por exemplo, pode resoler-se o problema de duas classes com uma únca aráel, representado pela fgura abaxo? C C 0 C - 2

13 Redes neuronas (Perceptrões e MLP) Nota Se o número de aráes for maor do que o número de exemplos de treno o problema de classfcação é sempre lnearmente separáel Consequênca: Dado um número sufcentemente grande de característcas, SE houer poucos dados (e estes forem ndependentes), é SEMPRE possíel usar um perceptrão smples. A superfíce de separação tende para o dscrmnante lnear de Fsher Mult-Laer Perceptrons (MLP) Feed-Forward Networs wth Error Bacpropagaton Redes Multcamada com Retropropagação do erro 3

14 Redes neuronas (Perceptrões e MLP) Modelo de cada neuróno x x 2 x 3 w w 2 w 3 w - () x em que () pode ser a função snal a função sgmode a função tangente hperbólca Modelo das lgações entre neurónos Os alores de saída de uns neurónos são usados como entradas nos neurónos da camada segunte Coném ter funções de aalação dferencáes Aprendzagem Supersonada É necessáro um algortmo de aprendzagem para ajustar os pesos snáptcos Varáes (ou camada de Entrada) Camada nsíel (ou camada escondda) Camada nsíel Camada De saída Error Bac-Propagaton (BP) é o mas comum (ou pelo menos mas smples ) 4

15 Redes neuronas (Perceptrões e MLP) Exemplo XOR () Problema que não pode ser resoldo com uma só camada Funções de actação step H(x)= x 0 x x 2 w 3 w 32 3 w w 54 4 w 42 w 30 w 40 w 53 4 w 50 5 Uma solução possíel: w 30 = 0.5 w 3 =.0 w 32 = -.0 w 40 = 0.5 w 4 = -.0 w 42 =.0 w 50 = 0.5 w 53 =.0 w 54 =.0 Exemplo XOR (2) Implementação em Excel x x Entradas A 0 B Neuróno Bas Peso Peso 2 Soma Saída 3 0,5 - -, ,5-0,5 5 0,5 0,5 Outra arqutectura possíel x x 2 3 5

16 Redes neuronas (Perceptrões e MLP) Funções de actação() No neuróno de saída Problema de classfcação 2 alores de saída (p.ex. Heasde) Problema de regressão alores de saída de - a + (p.ex. recta) Nos neuróno nterores Etar saturação Valores de saída lmtados Monótonas Dferencáes Varações suaes Funções de actação (2) e,2 0,8 0,6 0,4 0, Sgmode = =5 =0 e e 0,8 0,6 0,4 0, , ,4-0,6-0,8 - Tangente hperbólca e e 6

17 Redes neuronas (Perceptrões e MLP) Como encontrar os pesos mágcos? Algortmo de treno da rede Ajusta os pesos snáptcos de modo a que a rede, dadas umas entradas, produza o resultado pretenddo Idea base: tentata e erro Inca-se com pesos aleatóros. Se der o resultado certo (ganda sorte) não mexe! Se der um resultado errado faz um ajusteznho Alternata: resoler um sstema de m equações a n ncógntas Exemplo de função de saída de uma rede de 2 camadas: f ( x) f ( x, x 2,..., x ) n w S e ( j w j x j ) Conceto de superfíce de erro Erro Dferença entre o que a rede produz à saída, e o que ela dea produzr Erro médo Erro médo para um conjunto de dados Superfíce de erro Varação do erro médo quando os pesos se alteram Homens por tarefa Lucro obtdo x x 2 w 3 30 w 3 32 w4 w w 5 w5 Presão 7 Erro = -2 } Os mesmos Dados Outros erros Dferentes pesos 7

18 Redes neuronas (Perceptrões e MLP) Consequêncas de ajustar os pesos Mudanças dos pesos => deslocações pela superfíce de erro Exemplo a dmensão ( peso) Error Surface Local Mnma 8.0 Er ror w 0 w * Global Mnma Weght Space W W 36 Author: Angshuman Saha 8

19 Redes neuronas (Perceptrões e MLP) Snas numa rede multcamada Snas de função que se propagam desde os neurónos de entrada até às saídas. Snas de erro que se propagam de uma saída para as entradas (camada a camada), atraés da rede. Snas de função Snas de erro Algortmo de bacpropagaton Função de custo: erro médo da rede a n 2 N jo N e n 2 j n n erro nstantâneo erro médo em que O representa os neurónos de saída e N o número total de exemplos 9

20 Redes neuronas (Perceptrões e MLP) Neuróno da camada de saída - d (n) Valor desejado (n) Saídas dos neurónos anterores j (n) w j (n) (.) - (n) (n) Saídas da rede e (n) Erro Aplcação do método do gradente w j w e n n e n e n n d n. d n n j j n n n n em que (n) é defndo como produto do gradente local pelo erro e é dado por d. n e n e - j d w j j Regra delta 20

21 Redes neuronas (Perceptrões e MLP) Neuróno de um nó da camada escondda d (n) N j (n) w j - (n) (.) (.) (n) (n) Neuróno "" w N w N 2 w 2 (.) (n) (n) (.) 2 (n) - (n) - (n) - 2 (n) d (n) d 2 (n) e (n) e (n) e 2 (n) Aplcação do método do gradente w j w n n n n n n n wj e n e n n d e n j n n j w d d. d n n w j n n. d. n d d d j n j n 2

22 Redes neuronas (Perceptrões e MLP) Regra delta A regra de aprendzagem pode ser descrta por w j n n em que (n) é o gradente local dado por j d n e n. d d n d n w para os neurónos de saída para os neurónos nsíes Função de aalação: Sgmode Para a camada de saída n d n o no n o n Derada da sgmode: Y(-Y) Para as camadas nsíes n n n n w 22

23 Redes neuronas (Perceptrões e MLP) Generalzação da regra delta Rumelhart (986) propôs a regra n w n n n w j j j nclundo um termo de momento em que é a constante de momento e é posta. Exemplo Sejam as funções A Rede Neuronal x x x x

24 Redes neuronas (Perceptrões e MLP) Exemplo (cont) x x 2 w w 2 w 0 sgmode() - - w w w w 42 w sgmode() w 3 3 sgmode() 3 w 32 w 30 w 40 4 sgmode() 4 x x 2 w ()= (- ) w 2 w w 2 w 20 ()= 2 (- 2 ) w 22 2 w 3 3 w w w 4 2 w 42 w 40 4 ()= 3 (- 3 ) ()= 4 (- 4 ) e 3 e 4 Exemplo (cont) x =0 x 2 = sgmode() sgmode() 0 3 / / /2 0 0 /2 sgmode() sgmode() x =0 w ()= (- ) w 0 w 2 w 3 3 w w ()= 3 (- 3 ) e 3 /2 x 2 = w 2 w 22 w 20 2 ()= 2 (- 2 ) 2 w 42 w 4 w 40 4 ()= 4 (- 4 ) e 4 -/2 24

25 Redes neuronas (Perceptrões e MLP) Problemas com o BacProp É um método de gradente, logo sujeto a mínmos locas Infelzmente é normal haer mutos mínmos locas... É lento Soluções Váras ncalzações Város alores para o momento Város métodos de optmzação dos parâmetros No SAS Múltplas corrdas, e escolhe o melhor Optmzação por quas-newton, Laenberg-Marquadt, gradente conjugado... Regras prátcas (rules of thumb) Tentar prmero com perceptrão smples Uma camada escondda resole qualquer problema mas: Aumentar gradualmente o nº de neurónos e r erfcando a dmnução do erro Se o nº de neurónos crescer muto, tentar com 2 camadas esconddas Sempre: Váras ncalzações, e áros momentos 25

26 Redes neuronas (Perceptrões e MLP) Redes Neuronas Bblografa 26