Sistemas de Apoio à Decisão Redes neuronais (MLP) V 1.2, V.Lobo, EN/ISEGI, 2010

Transcrição

1 Sstemas de Apoo à Decsão Redes neuronas (MLP) V., V.Lobo, EN/ISEGI, Redes Neuronas (Introdução, perceptrões, e MLP) Vctor Lobo Orgens de AI e Redes Neuronas Programação Imperata Explcta-se o algortmo Conunto de nstruções Intelgênca Artfcal Usar o homem e a bologa como nspração Abordagem smbólca Estudar os processos cogntos -> Lógca, Sstemas Percas Abordagem sub-smbólca Estudar os processos bológcos -> Redes Neuronas S INÍCIO?? FIM N N S Introdução hstórca Anos prmera sugestão Idea de programar um computador smulando um conunto de neurónos Anos 6 prmera era Muto trabalho com neurónos smples, também chamados máqunas lneares. Fnal da década de 6 prmero fm Publcação de Perceptrons, de Mns Demonstrada a lmtação dos neurónos smples, Dúdas quanto à possbldade de trenar redes complexas de neurónos. Deslusão: a nestgação nesta área quase parou. Introdução hstórca 986 Rumelhart re-nenta o algortmo de Bac- Propagaton Descoberto em 97 por Werbos, mas quase gnorado Possblta o treno de redes mult-camada Eufora sobre redes neuronas Anos 8 o ressurgr Aparecem noas arqutecturas: os mapas auto-organzados (SOM), Redes de funções de base radal (RBF), redes de Hopfeld, etc, Váras aplcações prátcas Anos 9 a consoldação Uso generalzado de redes neuronas Pontes para outras áreas como a estatístca, processamento de snal, etc Prncpas tpos de redes neuronas Perceptrões smples Perceptrões multcamada (MLP) Redes de funções de base radal (RBF) Mapas auto-organzados (SOM) Support Vector Machnes (SVM) Outros Quase tudo... Hopfeld, Boltzman, ART, Spng Netors, Neural Gas, LVQ, BPTT, BSB, etc. Algumas antagens das redes neuronas MLP para SAD Em problemas de presão, com aprendzagem supersonada a partr de bases de dados Aprendem automatcamente Fazem nterpolações não-lneares São aproxmadores unersas! Dados Rede Presão

2 Sstemas de Apoo à Decsão Redes neuronas (MLP) V., V.Lobo, EN/ISEGI, Inspração e formalzação para redes neuronas Um neuróno (bológco) Funconamento de um neuróno bológco Modelo matemátco de um neuróno bológco Dendrtes recebem ões atraés das snapses Esses ões são nectados por outros neurónos znhos. Quando mas exctados esterem os znhos, mas ões são nectados McCullor & Ptts (943) O snal eléctrco é propagado até ao núcleo Se o neuróno fôr sufcentemente estmulado, ele própro entra em estado de exctação e começa a estmular os seus znhos Factores que condconam a actação de um neuróno As lgações que tem, ou sea os znhos que escolhe A força da sua lgação a cada um desses esses znhos,.e., a efcênca das snapses. A sua sensbldade,.e., o ponto a partr do qual ele dspara Entradas 3 4 f s Sada O cérebro humano tem MUITOS ( ) neurónos... Neuróno bológco Neuróno artfcal Modelo mas completo Aprendzagem num neuróno Entradas (x ) x x 3 x Pesos (ω ) 3 - θ = x θ = Soma Bas, ou termo constante Função de actação ϕ() = ϕ( ) = sgn () Determnação dos pesos snáptcos Como escolher os ω? Idea geral: Snapses que audam a obter bons resultados deem ser reforçadas Snapses que leam a maus resultados deem ser enfraquecdas

3 Sstemas de Apoo à Decsão Redes neuronas (MLP) V., V.Lobo, EN/ISEGI, Problemas tpo Exemplo muto smples Bologa Se os neurónos da ponta dos dedos ndcam muto calor Actar o neuróno que encolhe o músculo do braço Se um pé ndca peso e o outro não Actar o neuróno responsáel pelo equlíbro Outros problemas Se os dados sobre uma casa (preço, área, anos, etc), são bons Comprar a casa Se os dados sobre um clente (saldo médo, saláro, dada, etc) são bons Conceder crédto Sempre: Dadas umas entradas actar umas saídas Queremos preer se a classe é ou. Varáes A B Classe Qual a rede neuronal que resole este exemplo? Varáel B C=. C=. Uma separação possíel Varáel A C= C= A solução A B -. Sgn() Outro exemplo,, = f ( ω x θ ) = sgn( A + B.) actação A separação entre os locas onde é posto e negato será sempre um hperplano! = x + - θ = = / x + θ/ -, - -,7 -, -,,,,7, -, - -, Mas outro exemplo Qual o classfcador de A B Classe Qual a rede neuronal que resole este exemplo? que corre mal.. Perceptrão (um neuróno solado) 3

4 Sstemas de Apoo à Decsão Redes neuronas (MLP) V., V.Lobo, EN/ISEGI, Perceptrão smples O perceptrão é o exemplo mas smples de uma rede neuronal Consste num únco neuróno Permte classfcar sem erro duas classes lnearmente separáes x x 3 x 3 - C então (t) = W(t) T.x(t) C sgn() Regra de classfcação Se x(t) = [-, x (t),, x n (t)] T, W(t)= [θ, (t),, n (t)] T A equação do hperplano é dada por (t) = A regra de classfcação é se W(t) T.x(t) então x(t) C se W(t) T.x(t) < então x(t) C x x + - θ = Algortmo de aprendzagem Dado um ector x Se (W(t) T x x C ) (W(t) T x < x C ) então W(t+) = W(t) senão Se (W(t) T x x C ) então W(t+) = W(t) - η(t) x senão W(t+) = W(t) + η(t) x Onde η(t) é o rtmo de aprendzagem Escolher outro x e repetr o processo Algortmo de aprendzagem (redes bnáras) Consderando: Uma sére de ectores x como sendo uma sére x(t) Uma função d(t) que ndca se o dado pertence a uma classe ou outra Obtém-se uma forma mas elegante: Regra delta (bnára) ( ) T () t = sgn W ( t). x( t) W d () t () t = η() t [ d() t () t ]. x() t = + se se x x () t () t C C Exemplo x 4 3 -ηx W x W... Questão Só é possíel resoler problemas de classfcação lnearmente separáes? Por exemplo, pode resoler-se o problema de duas classes com uma únca aráel, representado pela fgura abaxo? C C C x - 4

5 Sstemas de Apoo à Decsão Redes neuronas (MLP) V., V.Lobo, EN/ISEGI, Nota Se o número de aráes for maor do que o número de exemplos de treno o problema de classfcação é sempre lnearmente separáel Consequênca: Dado um número sufcentemente grande de característcas, SE houer poucos dados (e estes forem ndependentes), é SEMPRE possíel usar um perceptrão smples. A superfíce de separação tende para o dscrmnante lnear de Fsher Mult-Laer Perceptrons (MLP) Feed-Forard Netors th Error Bacpropagaton Redes Multcamada com Retropropagação do erro Modelo de cada neuróno x x 3 x 3 - θ em que ϕ() pode ser a função snal a função sgmode a função tangente hperbólca ϕ() Modelo das lgações entre neurónos Os alores de saída de uns neurónos são usados como entradas nos neurónos da camada segunte Coném ter funções de aalação dferencáes Aprendzagem Supersonada Camada Camada Camada É necessáro um algortmo de Varáes nsíel nsíel De saída (ou camada de (ou camada aprendzagem para austar os Entrada) escondda) pesos snáptcos Error Bac-Propagaton (BP) é o mas comum (ou pelo menos mas smples ) Exemplo XOR () Problema que não pode ser resoldo com uma só camada Funções de actação step H(x)= x x Uma solução possíel: 3 =. 3 =. 3 = -. 4 =. 4 = -. 4 =. =. 3 =. 4 =. Exemplo XOR () Implementação em Excel Entradas A B Neuróno Bas Peso Peso Soma Saída 3, - -, 4, -,,, Outra arqutectura possíel x x 3 3 4

6 Sstemas de Apoo à Decsão Redes neuronas (MLP) V., V.Lobo, EN/ISEGI, Funções de actação() Funções de actação () No neuróno de saída Problema de classfcação alores de saída (p.ex. Heasde) Problema de regressão alores de saída de - a + (p.ex. recta) ϕ () =, + e ϕ e e e + e () =,8 Nos neuróno nterores Etar saturação Valores de saída lmtados Monótonas Dferencáes Varações suaes,8,6,4, ,6,4, = = = -, -,4 -,6 -,8 - Sgmode Tangente hperbólca Como encontrar os pesos mágcos? Algortmo de treno da rede Austa os pesos snáptcos de modo a que a rede, dadas umas entradas, produza o resultado pretenddo Idea base: tentata e erro Inca-se com pesos aleatóros. Se der o resultado certo (ganda sorte) não mexe! Se der um resultado errado faz um austeznho Alternata: resoler um sstema de m equações a n ncógntas Exemplo de função de saída de uma rede de camadas: r = f ( x) = f ( x, x,..., x ) = n S + e ( x θ ) Conceto de superfíce de erro Erro Dferença entre o que a rede produz à saída, e o que ela dea produzr Erro médo Erro médo para um conunto de dados Superfíce de erro Varação do erro médo quando os pesos se alteram Homens por tarefa Lucro obtdo x Presão 7 Erro = - } Os mesmos Dados Outros erros Dferentes pesos Consequêncas de austar os pesos Mudanças dos pesos => deslocações pela superfíce de erro Exemplo a dmensão ( peso) Err or 6. Error Surface Local Mnma 4.. * Global Mnma Weght Space. -3. W W 36 Author: Angshuman Saha 6

7 Sstemas de Apoo à Decsão Redes neuronas (MLP) V., V.Lobo, EN/ISEGI, Snas numa rede multcamada Algortmo de bacpropagaton Snas de função que se propagam desde os neurónos de entrada até às saídas. Snas de erro que se propagam de uma saída para as entradas (camada a camada), atraés da rede. Snas de função Snas de erro Função de custo: erro médo da rede ξ = e erro nstantâneo O N ξa = ( ) ξ n erro médo N n= em que O representa os neurónos de saída e N o número total de exemplos Neuróno da camada de saída Saídas dos neurónos anterores (n) (n) - θ (n) (n) ϕ(.) (n) - Saídas da rede d (n) Valor deseado e (n) Erro Aplcação do método do gradente ξ = ηδ ξ e e dϕ ( )( ) () e n. e - em que δ (n) é defndo como produto do gradente local pelo erro e é dado por dϕ ( ) ( ) () δ n = e n. d d = Regra delta = Neuróno de um nó da camada escondda (n) N - ϕ (.) (n) θ (n) N ϕ(.) ϕ (.) (n) (n) (n) N Neuróno "" ϕ (.) (n) - (n) d (n) - (n) - (n) d (n) d (n) e (n) e (n) e (n) Aplcação do método do gradente ξ = ηδ ξ ξ e e. dϕ ( )( ) () dϕ() e n. δ d () dϕ. d = = d () dϕ d = = 7

8 Sstemas de Apoo à Decsão Redes neuronas (MLP) V., V.Lobo, EN/ISEGI, Regra delta A regra de aprendzagem pode ser descrta por = ηδ em que δ (n) é o gradente local dado por ( ) dϕ δ = e. d dϕ ( ) () δ n = d = = δ para os neurónos de saída para os neurónos nsíes Função de aalação: Sgmode Para a camada de saída δ = [ d o ] o [ o ] Para as camadas nsíes = [ ] δ δ Derada da sgmode: Y(-Y) Generalzação da regra delta Exemplo Rumelhart (986) propôs a regra Seam as funções A Rede Neuronal = α ( n ) + ηδ x 3 4 x 3 nclundo um termo de momento em que α éa constante de momento e é posta. 4 Exemplo (cont) Exemplo (cont) x sgmode() sgmode() 3 3 sgmode() sgmode() 4 x = = 3 sgmode() sgmode() 3 / / - - / / sgmode() 4 sgmode() 4 x δ ϕ ()= (- ) δ 3 δ ϕ ()= (- ) δ 4 ϕ ()= 3 (- 3 ) ϕ ()= 4 (- 4 ) e 3 e 4 x = = δ ϕ ()= (- ) ϕ ()= (- ) δ 3 δ δ 4 ϕ ()= 3 (- 3 ) ϕ ()= 4 (- 4 ) e 3 e 4 / -/ 8

9 Sstemas de Apoo à Decsão Redes neuronas (MLP) V., V.Lobo, EN/ISEGI, Problemas com o BacProp É um método de gradente, logo sueto a mínmos locas Infelzmente é normal haer mutos mínmos locas... É lento Soluções Váras ncalzações Város alores para o momento Város métodos de optmzação dos parâmetros No SAS Múltplas corrdas, e escolhe o melhor Optmzação por quas-neton, Laenberg-Marquadt, gradente conugado... Redes Neuronas Bblografa 9