MOTIVAÇÃO. CONTEÚDO Introdução MOTIVAÇÃO. CONTEÚDO Introdução Motivação, Objetivo, Definição, Características Básicas e Histórico.

Transcrição

1 CONTEÚDO Inrodução Moivação, Objeivo, Definição, Caracerísicas Básicas e Hisórico Conceios Básicos Neurônio Arificial, Modos de Inerconexão Processameno Recall e Learning Regras de Aprendizado Regra de Hebb, Percepron, Back Propagaion. MOTIVAÇÃO Consaação que o cérebro processa informações de forma diferene dos compuadores convencionais CÉREBRO velocidade milhão de vezes mais lena que qualquer gae digial processameno exremamene rápido no reconhecimeno de padrões COMPUTADOR processameno exremamene rápido e preciso na execução de seqüência de insruções muio mais leno no reconhecimeno de padrões Processameno alamene paralelo (0 neurônios com 0 4 conexões cada) Observações: MOTIVAÇÃO O cérebro em 0 bilhões de neurônios. Cada neurônio em.000 a conexões 60 rilhões de conexões sinapses! Cada pessoa pode dedicar conexões para armazenar cada segundo de experiência (65 anos de segundos!) Durane os 2 primeiros anos de vida, de sinapses são formadas por segundo!! CONTEÚDO Inrodução Moivação, Objeivo, Definição, Caracerísicas Básicas e Hisórico Conceios Básicos Neurônio Arificial, Modos de Inerconexão Processameno Recall e Learning Regras de Aprendizado Regra de Hebb, Percepron, Back Propagaion.

2 OBJETIVO DEFINIÇÃO Esudar a eoria e a implemenação de sisemas massivamene paralelos, que possam processar informações com eficiência comparável ao cérebro. Redes Neurais Arificiais são sisemas inspirados nos neurônios biológicos e na esruura massivamene paralela do cérebro, com capacidade de adquirir, armazenar e uilizar conhecimeno experimenal. IDÉIA BÁSICA Sisemas composos de diversas unidades simples (neurônios arificiais) ligadas de maneira apropriada, podem gerar comporamenos ineressanes e complexos. Comporameno é deerminado pela esruura das ligações (opologia( opologia) ) e pelos valores das conexões (pesos sinápicos) APLICAÇÕES GERAIS Reconhecimeno de Padrões Classificação de Padrões Correção de Padrões Previsão de Séries Temporais Aproximação de Funções Supore à Decisão Geração de Informação Descobera de Conhecimeno 2

3 CONTEÚDO Inrodução Moivação, Objeivo, Definição, Caracerísicas Básicas e Hisórico Conceios Básicos Neurônio Arificial, Modos de Inerconexão Processameno Recall e Learning Regras de Aprendizado Regra de Hebb, Percepron, Back Propagaion. Caracerísicas Básicas Devido à similaridade com a esruura do cérebro, as Redes Neurais exibem caracerísicas similares ao do comporameno humano, ais como: Caracerísicas Básicas Caracerísicas Básicas Procura Paralela e Endereçameno pelo Coneúdo: O cérebro não possui endereço de memória e não procura a informação sequencialmene Aprendizado: A rede aprende por experiência aprende por experiência, não necessiando expliciar os algorimos para execuar uma deerminada arefa 3

4 Caracerísicas Básicas Caracerísicas Básicas Associação: Generalização: A rede é capaz de fazer associações enre padrões diferenes Ex: Foo Pessoa Sinomas Doença Leiura de Sensores Falha Redes Neurais são capazes de generalizar o seu conhecimeno a parir de exemplos aneriores Habilidade de lidar com ruídos e disorções ões, respondendo correamene a padrões novos. Caracerísicas Básicas Robusez e Degradação Gradual: A perda de um conjuno de elemenos processadores e/ou conexões sinápicas não causa o mal funcionameno da rede neural. CONTEÚDO Inrodução Moivação, Objeivo, Definição, Caracerísicas Básicas e Hisórico Conceios Básicos Neurônio Arificial, Modos de Inerconexão Processameno Recall e Learning Regras de Aprendizado Regra de Hebb, Percepron, Back Propagaion. 4

5 EVOLUÇÃO McCulloch & Pis (Mahemaical Bio-Physics, Vol. 5, 943), A Logical Calculus of Ideas Immanen in Nervous Aciviy Von Neumann Marvin Minsky Frank Rosenbla Machine Inelligence Macroscopic Inelligence Microscopic Inelligence 945 Digial Compuers 950 Black-Box AI (LISP) Percepron, Adaline 960 Mainframes Theorem Solver 970 Vax 780 Exper Sysems (Time Sharing) 980 Worksaions, PCs 990 Deskop Supercompuers Commercializaion of E.S. Rumelhar, Hopfield Commercializaion of N.N. EVOLUÇÃO Modelo de McCulloch-Pis Pis: s (valores 0,) x x 2 x n 2 n n s k+ k = se Σ i x i i= n T s i = + - i =,2,..., n T k 0 se Σ i x i < T i= x x 2 x 3 EVOLUÇÃO Modelo de McCulloch-Pis Pis: T=0 T=0 T=0 enrada exciaória - T= s x 2 T= T=0 NAND A B AB enrada inibiória - T= x x 3 s k+ = x k Célula de Memória na ausência de enradas, a saída é armazenada indefinidamene NOR A B A+B s HISTÓRICO McCulloch & Pis (943): modelo compuacional para o neurônio arificial. Não possuía capacidade de aprendizado Hebb (949): modelo de aprendizado (Hebbian Learning Rule). Rosenbla (957): modelo Percepron, com grande sucesso em ceras aplicações e problemas em ouras aparenemene similares. Minsky & Paper ( Perceprons 969): prova maemáica de que as redes Percepron são incapazes de solucionar problemas simples ipo OU-EXCLUSIVO Rumelhar (início da década de 80): novos modelos que superaram os problemas dos Perceprons. 5

6 CONTEÚDO Inrodução Moivação, Objeivo, Definição, Caracerísicas Básicas e Hisórico Conceios Básicos Neurônio Arificial, Modos de Inerconexão Processameno Recall e Learning Regras de Aprendizado Regra de Hebb, Percepron, Back Propagaion. CONCEITOS BÁSICOS Neurônio Arificial (Elemeno Processador) Esruuras de Inerconexão FeedForard de camada FeedForard de Múliplas Camadas Recorrene (com realimenação) Elemeno Processador Elemeno Processador inspirado no Neurônio Biológico Squashing Funcion ne i f (ne i ) Elemenos Básicos Esado de Aivação s j Conexões enre Processadores a cada conexão exise um peso sinápico que deermina o efeio da enrada sobre o processador ji Função de Aivação deermina o novo valor do Esado de Aivação do processador s j = F (ne j ) 6

7 Funções de Aivação É a função que deermina o nível de aivação do Neurônio Arificial: s j = F(ne j ) Tipos de Processadores Recebe os dados de enrada F(ne j ) F(ne j ) F(ne j ) Apresena os dados de saída Degrau ne j Pseudo-Linear ne j Sigmoid ne j As suas enradas e saídas permanecem denro do sisema x x 2 Neurônio Arificial 3 ponos imporanes: Thresholding Não-Linearidade bias Sauração 2 0 ne F(ne) ne = 0 + x + 2 x 2 F(ne) = (sigmoid) + e -ne y F(ne j ) não-linear hreshold sauração ne j Neurônio Arificial Em função das equações de ne e F(ne): y = F(ne) = + e -( + x + x ) Fórmula maemáica represenada pelo neurônio arificial y x x 2 7

8 Regressão Linear: Exemplos y = a 0 + a x + a 2 x 2 + a 3 x 3 Variáveis explicaivas Represenação x 2 x x 3 Bias = + a a 0 a 2 Função linear a 3 y Acha a rea com erro mínimo que passe pelos ponos exisenes (padrões de reinameno) Deslocameno em função do a 0 (bias) Rea obida pela regressão Exemplos Transformada de Fourier: y = a 0 + a sen( + φ ) + a 2 sen(2 + φ 2 ) + a 3 sen(3 + φ 3 ) +... Represenação φ a + 0 (bias) φ 2 a φ 3 a 2 y 2 a 3 (empo) 3 Função Linear Todos com função de aivação senoidal CONCEITOS BÁSICOS Neurônio Arificial (Elemeno Processador) Esruuras de Inerconexão FeedForard de camada FeedForard de Múliplas Camadas Recorrene (com realimenação) Topologias das Redes Neurais Redes Feed-Forard Forard: redes de uma ou mais camadas de processadores, cujo fluxo de dados é sempre em uma única direção, iso é, não exise realimenação. Redes Recorrenes: redes com conexões enre processadores da mesma camada e/ou com processadores das camadas aneriores (realimenação). 8

9 Redes Feed-Forard Forard Redes de uma camada PE Redes Feed-Forard Forard Rede de Múliplas Camadas Camada Inermediária () PE Camada de PE PE 2 PE 3 PE 2 PE 3 PE 2 PE n PE n PE m Exemplo : Reconhecimeno de Padrões Exemplo : Reconhecimeno de Padrões Novo dado (não apresenado durane o reinameno) 9

10 Exemplo : Reconhecimeno de Padrões Exemplo 2: Previsão Série emporal janela s da rede Dados de Exemplo 2: Previsão Redes Recorrenes Série emporal janela previso O u p u R ea li s da rede Dados de Dados previsos m en da rede: Valor previso Dados reais açã o I n p u 0

11 Redes Recorrenes Redes Recorrenes R ea l i m en O u p u R ea l i m en O u p u açã o I n p u açã o Redes Recorrenes Redes Recorrenes O u p u O u p u R ea R ea li li m en m en açã o açã o

12 Redes Recorrenes Redes Recorrenes R ea l i m en O u p u R ea l i m en O u p u açã o açã o Redes Recorrenes Redes Recorrenes Rede Convergiu para um esado esável O u p u O u p u R ea R ea li li m en açã o m en açã o 2

13 Memória Auoassociaiva Exemplo : Rede de 20 processadores Padrão de enrada ciclo 2 ciclo 3 ciclo - esável - CONTEÚDO Inrodução Moivação, Objeivo, Definição, Caracerísicas Básicas e Hisórico Conceios Básicos Neurônio Arificial, Modos de Inerconexão Processameno Recall e Learning Regras de Aprendizado Regra de Hebb, Percepron, Back Propagaion. Processameno O processameno de uma Rede pode ser dividido em duas fases: Processo de aualização dos pesos sinápicos para a aquisição do conhecimeno - Aquisição da Informação Aprendizado Processo de cálculo da saída da rede, dado um cero padrão de enrada - Recuperação da Informação 3

14 Aprendizado Processo pelo qual os parâmeros livres - pesos sinápicos - de uma rede neural são adapados aravés de um processo conínuo de esimulação pelo ambiene. Exisem 3 ipos básicos de aprendizado: Supervisionado (TS); Não-Supervisionado; Reinforcemen Learning. Supervisionado A rede é reinada aravés do fornecimeno dos valores de enrada e de seus respecivos valores desejados de saída ( raining pair ). Geralmene efeuado aravés do processo de minimização do erro calculado na saída. Supervisionado Supervisionado PADRÃO DE ENTRADA (X) PESOS AJUSTÁVEIS (W) SAÍDA (s) e(,s) CÁLCULO DO ERRO (e) VALOR DESEJADO () 4

15 Supervisionado FUNÇÕES OBJETIVO: Genérica Sum of Squared Errors: E SSE = Σ p Σ i ( pi -y pi ) 2 p = padrões i = elemeno processador de saída Não-Supervisionado Self-Organizaion Não requer o valor desejado de saída da rede. O sisema exrai as caracerísicas do conjuno de padrões, agrupando-os em classes inerenes aos dados. Não-Supervisionado Não-Supervisionado Self-Organizaion Não requer o valor desejado de saída da rede. O sisema exrai as caracerísicas do conjuno de padrões, agrupando-os em classes inerenes aos dados. PADRÃO DE ENTRADA (X) PESOS AJUSTÁVEIS (W) SAÍDA (s) Aplicado a problemas de Cluserização 5

16 Não-Supervisionado veores de enrada Não-Supervisionado veores de enrada veores de pesos no insane Topologia PE s x x 2 x 3 2 PE 2 s PE 3 s 3 Não-Supervisionado Reinforcemen Learning veores de enrada veores de pesos no insane veores de pesos após aprendizado Topologia x x 2 x 3 +n 3 +n 2 +n PE s PE 2 PE 3 s 2 s 3 +n 2 3 +n 2 +n 3 Semelhane ao Supervisionado (exise um objeivo); NÃO exise um arge para cada padrão; Exise uma realimenação (sinal de reforço) que avalia a resposa como boa ou ruim; O objeivo é maximizar a quanidade de reforço posiivo Ex. aprendizado de jogos, robôs auômaos;. 6

17 Reinforcemen Learning Ambiene Veor de Esado Críico Ações Sinal de Reforço Sisema de Aprendizado Recuperação de Dados O Sisema de Aprendizado aprende a realizar uma cera arefa somene com base nos resulados de sua experiência com uma ineração com o ambiene. Recuperação de Dados Assumindo que um conjuno de padrões enha sido armazenado, a Rede pode execuar as seguines arefas: Auo-associação Heero-associação Classificação Previsão GENERALIZAÇÃO Recuperação de Dados Auoassociação: A Rede recupera o padrão armazenado mais semelhane ao padrão de enrada apresenado. Recuperação de padrões ruidosos Padrão de enrada disorcido Padrão correo recuperado 7

18 Recuperação de Dados Auoassociação: A Rede recupera o padrão armazenado mais semelhane ao padrão de enrada apresenado. Recuperação de padrões ruidosos Recuperação de Dados Heeroassociação: A Rede armazena a associação enre um par de padrões. Recuperação de um padrão diferene do da enrada. Padrão de enrada com ou sem ruído Padrão correo recuperado Recuperação de Dados Heeroassociação: A Rede mapeia um cero veor de enrada em um padrão de saída diferene. ASCII Code of digi Recuperação de Dados Classificação: A Rede responde com a informação relaiva à classe (caegoria) a qual o padrão de enrada perence (denro de um conjuno de classes prédeerminado). Caso especial de Heeroassociação (ambém chamado Paern Recogniion) Ex: Padrões de enrada divididos em 3 classes disinas. Padrão de enrada com ou sem ruído Classe Classe 2 Classe 3 Classe 3 - (Quadrados) 8

19 Recuperação de Dados Classificação: A Rede responde com a informação relaiva à classe (caegoria) a qual o padrão de enrada perence (denro de um conjuno de classes prédeerminado). Recuperação de Dados Previsão: O objeivo é deerminar qual será o valor de uma deerminada quanidade em um insane de empo 0+k (k>0), uilizando dados medidos aé o insane 0 inclusive. 0 0 f(x) 0-n a 0 ponos do conjuno de reinameno > 0 ponos previsos (k=). 0 0-n 0 Recuperação de Dados Previsão: O objeivo é deerminar qual será o valor de uma deerminada quanidade em um insane de empo 0+k (k>0), uilizando dados medidos aé o insane 0 inclusive. f(x) Recuperação de Dados Previsão: O objeivo é deerminar qual será o valor de uma deerminada quanidade em um insane de empo 0+k (k>0), uilizando dados medidos aé o insane 0 inclusive. f(x) 0-n a 0 ponos do conjuno de reinameno > 0 ponos previsos (k=). 0-n a 0 ponos do conjuno de reinameno > 0 ponos previsos (k=). 0-n 0-n 2 9

20 Recuperação de Dados Previsão: O objeivo é deerminar qual será o valor de uma deerminada quanidade em um insane de empo 0+k (k>0), uilizando dados medidos aé o insane 0 inclusive. f(x) Recuperação de Dados Previsão: O objeivo é deerminar qual será o valor de uma deerminada quanidade em um insane de empo 0+k (k>0), uilizando dados medidos aé o insane 0 inclusive. f(x) 0-n a 0 ponos do conjuno de reinameno > 0 ponos previsos (k=). 0-n a 0 ponos do conjuno de reinameno > 0 ponos previsos (k=). 0-n n 2 0+ Recuperação de Dados Generalização: A Rede responde correamene a um padrão de enrada fora do conjuno de reinameno. GENERALIZAÇÃO A Rede responde correamene a um padrão de enrada fora do conjuno de reinameno Inerpola correamene os novos ponos apresenados f(x) generalizações Inerpolação ruim Boa inerpolação x x 2 x 3 X novo x 4 x 5 x i ponos do conjuno de reinameno x novo novo pono para generalização x 20

21 Exemplos de Supervisionado Reconhecimeno de Caraceres Reconhecimeno de Caraceres Previsão de Séries Temporais Esruura da Rede 2

22 Erro = - B Aualização dos pesos em função do erro 22

23 B B Erro = - B H Z Aualização dos pesos em função do erro 23

24 Z Z Erro = - Z H Aualização dos pesos em função do erro 24

25 Erro = - B Aualização dos pesos em função do erro 25

26 B B Erro = - B H Z Aualização dos pesos em função do erro 26

27 Z Z Erro = - Z H Aualização dos pesos em função do erro 27

28 B H B 28

29 B H Z Z Z 29

30 Processo de Generalização Processo de Generalização Recuperação da Informação Aprendida Novo dado (não apresenado durane o reinameno) Processo de Generalização Processo de Generalização Resposa correa a um novo padrão! 30

31 Esruura da Rede Previsão de Séries Temporais janela alvo Série emporal s da rede = n valores passados Desejada = valor da série k passos à frene Dados de Ex: 5 valores passados Ex: valor um passo à frene Série emporal Série emporal alvo alvo janela janela s da rede Dados de s da rede Ajuse dos pesos a parir do erro (Erro= alvo - previso) Dados de da rede: Valor previso um passo à frene da rede: Valor previso um passo à frene 3

32 alvo Série emporal alvo Série emporal janela janela s da rede Ajuse dos pesos a parir do erro (Erro= alvo - previso) Dados de s da rede Ajuse dos pesos a parir do erro (Erro= alvo - previso) Dados de da rede: Valor previso um passo à frene da rede: Valor previso um passo à frene Série emporal janela alvo Série emporal janela alvo s da rede Dados de s da rede Dados de da rede: Valor previso um passo à frene Ajuse dos pesos a parir do erro (Erro= alvo - previso) da rede: Valor previso um passo à frene Ajuse dos pesos a parir do erro (Erro= alvo - previso) 32

33 alvo Série emporal alvo Série emporal janela janela s da rede Ajuse dos pesos a parir do erro (Erro= alvo - previso) Dados de s da rede Ajuse dos pesos a parir do erro (Erro= alvo - previso) Dados de da rede: Valor previso um passo à frene da rede: Valor previso um passo à frene Série emporal janela alvo Processo de Generalização s da rede da rede: Valor previso um passo à frene Ajuse dos pesos a parir do erro (Erro= alvo - previso) Dados de Recuperação da Informação Aprendida 33

34 Processo de Generalização Processo de Generalização Série emporal janela Série emporal janela previso s da rede Dados de s da rede Dados de Dados previsos da rede: Valor previso Processo de Generalização Processo de Generalização Série emporal janela previso Série emporal janela previso s da rede: inclui o(s) valor(es) previsos pela Rede Dados de Dados previsos s da rede: inclui o(s) valor(es) previsos pela Rede Dados de Dados previsos da rede: Valor previso da rede: Valor previso 34