Redes Neurais Artificiais

Transcrição

1 Rees Neurais Artificiais Profa. Anna Helena Reali Costa POLI PCS/EPUSP Material com contribuições e: Prof. Reinalo A. C. Bianchi, FEI Depto. Engenharia Elétrica Profa. Leliane N. Barros, IME USP Prof. Carlos H. C. Ribeiro, ITA Divisão e Ciência a Computação A estes professores, meus agraecimentos.

2 Objetivos Descrever as características básicas as Rees Neurais Artificiais (RNAs). Descrever o funcionamento e uma RNA. Descrever algumas as principais arquiteturas existentes para RNAs. Exemplificar o uso e RNAs em Reconhecimento e Parões e Controle. 2

3 Motivação Biológica Iéia central: utilizar neurônios biológicos como moelos para neurônios artificiais. Neurônio Biológico: Elemento funamental o sistema nervoso. Diversos tipos. Cérebro humano: relativamente lento, mas com muito paralelismo 0 processaores e KHz caa neurônio se conecta com outros 0 4 Aprenizagem automática! 3

4 Funcionamento simplificao e um Neurônio Biológico Neurônios poem estar em 2 estaos: Ativo ou excitao: envia sinais para outros neurônios por meio o axônio e sinapses. Inativo ou inibio: não envia sinais. Sinapses poem ser e 2 tipos: Excitatórias (excitam o neurônio receptor). Inibitórias (inibem o neurônio receptor). Quano o efeito cumulativo as várias sinapses que chegam a um neurônio excee um valor limite, o neurônio ispara (fica ativo por um períoo) e envia um sinal para outros neurônios. 4

5 O que é uma RNA? É um sistema e processamento e informações esenvolvio a partir e moelos matemáticos simplificaos os neurônios biológicos. Um estilo iferente e computação: processamento istribuío e paralelo Uma arquitetura computacional universal: a mesma estrutura executa muitas funções iferentes Poe aprener novos conhecimentos, portanto, é aaptativo 5

6 Um pouco e História 950s & 960s: Infância Neurônio e McCulloch-Pitts Perceptrons (Rosenblatt) Aaline (Wirow & Hoff) 970s: Os anos negros Minsky an Papert ( MIT ) publicam um livro que põe em úvia a capaciae e aprenizao os perceptrons Rees auto-organizáveis (Kohonen) Teoria e Ressonância Aaptativa (Grossberg & Carpenter) 980s: Entusiasmo renovao Surgimento o algoritmo backpropagation (Werbos) Rees e Hopfiel ( Hopfiel & Tank ) Rees Neocognitron ( Fukushima ), RBF (Broomhea e Lowe) 990s: Amaurecimento - Aplicações no muno real - Teoria computacional a aprenizagem: support vector machines (Vapnik), aprenizao PAC (Anthony e Biggs). 200s: Deep Fever - Deep Learning... Sucesso total 6

7 Aplicações Ientificação e alvos militares: B-52, Boeing 747 e Space Shuttle Autentificação e usuário. Reconhecimento e Faces Exploração e petróleo: Determinação e Litologia Controle e Navegação Autônoma e Veículos: ALVINN at CMU Preição no Mercao Financeiro 7

8 Referências Bibliográficas A Bíblia : Simon Haykin. Neural Networks: A Comprehensive Founation. Livro e IA com bom capítulo e RNAs: Russel e Norvig. Artificial Intelligence: A Moern Approach. Livro e Aprenizagem e Máquina com bom capítulo e RNA: Tom Mitchell. Machine Learning. WCB/McGraw- Hill, 997. Livro em Português: Braga, Luermir e Carvalho. Rees Neurais Artificiais. LTC. 8

9 Rees Neurais Artificiais: Proprieaes Aprenizao: RNA poe moificar seu comportamento em respostas a seu omínio, e forma a prouzir saías consistentes. Generalização: Uma vez treinaa, a resposta e uma RNA poe ser, num certo grau, insensível a pequenas variações (ruíos, istorções) nas suas entraas. Abstração: Algumas RNAs poem extrair um ieal a partir e exemplos imperfeitos na sua entraa. 9

10 Projeto e uma RNA O projeto e uma RNA envolve a eterminação os seguintes parâmetros: Neurônios e função e ativação. Conexões e isposição os neurônios: topologia (arquitetura a ree). Pesos sinápticos: valores (no caso e pesos aprenios) ou o algoritmo e treinamento a ser utilizao e seus parâmetros particulares. Recall: proceimento a ser utilizao como a ree calcula a saía para uma aa entraa? Infelizmente, não existe uma receita única... 0

11 Moelo Biológico Denrites Terminal Branches of Axon Axon

12 Perceptron In x x2 x3 w w2 w3 S net Denrites f(net) Axonθ Terminal Branches of Axon Out xn wn OUT = f net ( ) = #% $ &% Função e ativação : net > 0 : net 0 with net = j w ij In j

13 Perceptron Introuzio por Frank Rosenblatt em 958 Características o Perceptron: Pesos e limiares não são toos iênticos. Pesos poem ser positivos ou negativos. Neurônios são binários e a função e ativação f(net) é [-,]. Mais importante: existe uma regra e aprenizagem.

14 Perceptron Formalmente, o perceptron com função limiar implementa um hiperplano e imensão n, efinio pelas coorenaas x, x2,...xn (entraas) que passa por w.x=net=0 e particiona o espaço n imensional as instâncias e treinamento em uas regiões (corresponentes às uas classes as instâncias) (a ª. Região em w.x>0 e a 2ª., em w.x<0). 4

15 Operação o Perceptron: Exemplo Duas entraas: x, y Dois pesos: w, w 2 Uma entraa e viés (bias): w 0 [ w + w x w y] out = f x y w w 2 w 0 Σ f out w 0 + w x + w2 y = 0 y + w 0 + w x + w2 y > 0 - w 0 + w x + w2 y < 0 x 5

16 Poer e representação os Perceptrons Conseguem representar qualquer função linearmente separável Função linearmente separável: consigo separar as classes com retas (ou planos, ou hiperplanos). neurônio: classes + e A OK A B B Não OK 6

17 Exercício Projete um neurônio tipo Perceptron (Figura ) que calcula a função lógica implicação y = x x2, escrita na Tabela. Tabela x x2 y Figura Neurônio Perceptron. 7

18 Aprener Hipóteses e Funções Aprenizagem: consiste em escolher valores para os pesos w 0,..., w n. O espaço e hipóteses caniatas H é H = {w w R (n+) } É preciso agora efinir algoritmos para encontrar essas hipóteses! e selecionar apenas uma para aotarmos como o sistema e classificação e aos futuros 8

19 Exemplo x y w w 2 w 0 Σ f out Com w 0 = -0,8; w = 0,5; w 2 = 0,5 Qual a função implementaa pelo perceptron? X y out

20 Aprenizao Supervisionao no Perceptron: A regra e atualização os pesos é: w i ç w i + α δ x i One δ = (t o) x i é a entraa, t é o valor esejao (ou a saía correta), o é a saía apresentaa pelo perceptron, α é uma constante pequena (ex: 0.), chamaa taxa (ou coeficiente) e aprenizagem. Funciona para entraas/saías iscretas ou contínuas. 20

21 Comentários sobre a regra e aprenizagem o Perceptron: Se o exemplo é corretamente classificao, o termo. (t o) é igual a zero e nenhuma atualização e pesos é necessária. Se a saía o perceptron é e t =, os pesos aumentam. Se a saía o perceptron é e t =, os pesos iminuem. Se os exemplos forem linearmente separáveis e um pequeno valor for usao para α, a regra é provaa classificar corretamente toos os exemplos e treinamento (isto é, é consistente com os aos e treinamento). 2

22 Limitações o Perceptron com uma camaa Infelizmente, várias funções e interesse não são linearmente separáveis. Por exemplo, o Perceptron não poe representar o XOR (OU exclusivo). X X2 Out b a b 0 c 0 a c 0 X 0 X2 Out = 0 Out = 22

23 Separação em 4 classes: Exemplo Neurônio : separa em classes C e C2 x y w w 2 w 0 Σ f x Neurônio 2: separa em classes C e C2 x y w w 0 Σ f w 2 y 23

24 Separação em 4 classes: Exemplo Dois neurônios: x w w w 0 Σ f x y w 2 w 2 Σ f y w 0 x =+, y =+ classe x =+, y =- classe x =-, y =+ classe x =-, y =- classe 24

25 MLP: Multilayer Perceptrons Conjuntos e Perceptrons arranjaos em iversas camaas. Pelo menos uma camaa esconia. Uma camaa intermeiária é suficiente para aproximar qualquer função contínua. Duas camaas intermeiárias são suficientes para aproximar qualquer função matemática. 25

26 MLP: Multi-layer Perceptrons C X 2 () A (---) compartimentos B (-) Classificação requer 3 linhas iscriminantes que criam 7 compartimentos e 2 regiões e ecisão: uma para e outra para. X Camaa Esconia Solução: Entraas x x 2 A B C Saía out - (---),(--),..,() Classe Classe 2 26

27 Exemplo e Ree MLP x = x 2 = entraas binárias. w = w 2 = w 3 = w 4 = w 5 = e w 6 = -2 f (x.w) = se nível e ativação 0,5, 0 caso contrário. f 2 (x.w) = se nível e ativação,5, 0 caso contrário. x x2 0,5,5-2 x x 2 Out ,5 out Efetue o recall esta ree, completano a tabela. 27

28 Exemplo e Ree MLP x = x 2 = entraas binárias. w = w 2 = w 3 = w 4 = w 5 = e w 6 = -2 f (x.w) = se nível e ativação 0,5, 0 caso contrário. f 2 (x.w) = se nível e ativação,5, 0 caso contrário. x x2 0,5,5-2 x x 2 Out ,5 out Consegui uma ree para o XOR!!! 28

29 Tipos e Função e Ativação Função Limiar Função Sigmoie Out Out = if net > θ = 0 if net < θ Out Out = exp (-λ.net) 0 θ net 0 net Out Out = if net > θ Função Logística 0 θ net = - if net < θ Out Out = tanh(λ.net) - 0 net - Função Tangente Hiperbólica 29

30 MLP Sigmóie Neurônio com função e ativação limiar sigmóie: σ ( net) = ou σ ( net) = tanh( net) net + e σ ( x) σ ( x) + e = x = tanh σ ʹ ( x) = σ ( x) ( σ ( x) ) ( ) 2 ( x) σ ʹ ( x) = σ 2 ( x) erivaa Proprieae Interessante 30

31 Como treinar um MLP? Descia o graiente: Aprene w i s que minimizam erro quarático com o conjunto e treinamento: o E [ w! ] = ( t o 2 D 2 ) x x D = aos e treinamento 3

32 Descia o Graiente (camaa, 2 entraas)! E[ w] = ( t o 2 ε D 2 ) η positivo neurônio com 2 entraas (e ois pesos, w0 e w) Graiente:! Regra: Δw = η E[w]! E E E E [ w] =,,..., w0 w! Δw i w n E = η w i Pois eseja-se mover o vetor e peso na ireção que o erro E iminui 32

33 33 Descia o Graiente (uma camaa) i i i i i i i x x w x w o t x w w o t x w t w o t o t w o t o t w o t w w E, 2 2 )) ( )( ( ) ( )) ( )( ( )) ( ( ) ( ) ( ) 2( 2 ) ( 2 ) ( 2!!!!!!!! = = = = = = σ σ σ σ o o

34 Descia o graiente: várias saías O erro agora eve ser reefinio para k saías: E [ w! ] = 2 D ( t k k saias o k 2 ) D = aos e treinamento Saías a ree 34

35 Algoritmo Backpropagation (I) Para ree com camaa esconia com n hi uniaes sigmoiais, n out saías (uniaes sigmoiais), n in entraas, vários exemplos e treinamento < x, t > w (pesos) x nin nhi nout t (saías o treinamento) o (saías aas pela ree) Parâmetros e entraa o backpropagation: {<x, t >, <x 2, t 2 >...}, η, n hi, n in, n out 35

36 Algoritmo Backpropagation (II) Iniciar w aleatoriamente (valores pequenos) Repetir até estar na conição e paraa: Para caa exemplo e treinamento <x, t>, fazer: //propagar a entraa para frente até obter as saías:. Colocar x como entraa e computar caa saía o k. //propagar os erros para trás na ree: 2. Para caa uniae k e saía, calcular o erro δ k : δ k o k ( - o k ) (t k - o k ) 3. Para caa uniae esconia h, calcular o erro δ h : δ h o h ( - o h ) Σ k saias w hk.δ k 4. Atualizar caa peso w ij a ree: Mostra quanto caa h é w ij w ij + η δ j x ij Entraa o nó i para o j responsável pelo erro δ k 36

37 Algoritmo Backpropagation: animação 37

38 Exemplo Consiere a taxa e aprenizagem η = 0.9 e que o exemplo e treino seja X = (,0,), cujo rótulo e classe seja.

39 Table : Initial input an weight values x x 2 x 3 w 4 w 5 w 24 w 25 w 34 w 35 w 46 w 56 w 04 w 05 w Table 2: Cálculo a net e entraa e saía Unit j Net input I j Output O j Table 3: Cálculo o erro em caa nó Unit j δ j

40 Table : Initial input an weight values x x 2 x 3 w 4 w 5 w 24 w 25 w 34 w 35 w 46 w 56 w 04 w 05 w Table 2: Cálculo a net e entraa e saía Unit j Net input I j Output O j = -0.7 /(+e 0.7 )= =0. /(+e 0. )= (-0.3)(0.332)-(0.2)(0.525)+0. = /(+e 0.05 )=0.474 Table 3: Cálculo o erro em caa nó Unit j δ j

41 Table : Initial input an weight values x x 2 x 3 w 4 w 5 w 24 w 25 w 34 w 35 w 46 w 56 w 04 w 05 w Table 2: Cálculo a net e entraa e saía Unit j Net input I j Output O j = -0.7 /(+e 0.7 )= =0. /(+e 0. )= (-0.3)(0.332)-(0.2)(0.525)+0. = /(+e 0.05 )=0.474 Table 3: Cálculo o erro em caa nó Unit j δ j (0.474)(-0.474)(-0.474)=0.3 5 (0.525)(-0.525)(0.3)(-0.2)= (0.332)(-0.332)(0.3)(-0.3)=

42 Table 4: Cálculo a atualização os pesos Peso Novo valor w 46 w 56 w 4 w 5 w 24 w 25 w 34 w 35 w 06 w 05 w 04

43 Table 4: Cálculo a atualização os pesos Peso Novo valor w (0.9)(0.3)(0.332)= w (0.9)(0.3)(0.525)= w (0.9)( )() = 0.92 w (0.9)( )() = w (0.9)( )(0) = 0.4 w (0.9)( )(0) = 0. w (0.9)( )() = w (0.9)( )() = 0.94 w (0.9)(0.3) = 0.28 w (0.9)( )=0.94 w (0.9)( ) =

44 Exemplo: pesos iniciais: (-0. a +0.); η = 0.3 Entraa Saía

45 Aprenizao a representação (camaa interna) Entraa Saía hs Saía Representação intermeiária: escobre cóigo binário!!!! 45

46 Exemplo: ALVINN Dirige um carro a 00 Km/h. 46

47 Exemplo: MLP Sigmóie Reconhecimento e fala reconhecer e 0 vogais entre h_ (em inglês) F e F2: parâmetros retiraos a análise espectral o som a palavra. 47

48 Referências Russel, S.; Norvig, P. Artificial Intelligence: a moern approach. 2n.eition. Prentice Hall, Cap Mitchell, T.M. Machine Learning. WCB/McGraw-Hill, 997. Cap.4. 48