Sistemas Inteligentes - Redes Neurais -

Transcrição

1 Sistemas Inteligentes - Redes Neurais - Marley Maria B.R. Vellasco ICA: Núcleo de Pesquisa em Inteligência Computacional Aplicada PUC-Rio Introdução CONTEÚDO Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos Básicos Neurônio Artificial, Modos de Interconexão Processamento Neural Recall e Learning Regras de Aprendizado Perceptron, Back Propagation, Competitive Learning (Mapa de Kohonen). 1

2 Introdução CONTEÚDO Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos Básicos Neurônio Artificial, Modos de Interconexão Processamento Neural Recall e Learning Regras de Aprendizado Perceptron, Back Propagation, Competitive Learning (Mapa de Kohonen). MOTIVAÇÃO Constatação que o cérebro processa informações de forma diferente dos computadores convencionais CÉREBRO velocidade 1 milhão de vezes mais lenta que qualquer gate digital processamento extremamente rápido no reconhecimento de padrões COMPUTADOR processamento extremamente rápido e preciso na execução de seqüência de instruções muito mais lento no reconhecimento de padrões Processamento altamente paralelo (10 11 neurônios com 10 4 conexões cada) 2

3 Problema dos 100 Passos Neurônio: 2ms Processador: 2ns Processador é 10 6 mais rápido que o neurônio Cérebro reage a um estímulo entre 0,2 e 1 seg. O cérebro responde em 100 passos Observações: MOTIVAÇÃO O cérebro tem 10 bilhões de neurônios. Cada neurônio tem a conexões 60 trilhões de conexões sinapses! Cada pessoa pode dedicar conexões para armazenar cada segundo de experiência (65 anos de segundos!) Durante os 2 primeiros anos de vida, de sinapses são formadas por segundo!! 3

4 Introdução CONTEÚDO Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos Básicos Neurônio Artificial, Modos de Interconexão Processamento Neural Recall e Learning Regras de Aprendizado Perceptron, Back Propagation, Competitive Learning (Mapa de Kohonen). OBJETIVO Estudar a teoria e a implementação de sistemas massivamente paralelos, que possam processar informações com eficiência comparável ao cérebro. 4

5 DEFINIÇÃO Redes Neurais Artificiais são sistemas inspirados nos neurônios biológicos e na estrutura massivamente paralela do cérebro, com capacidade de adquirir, armazenar e utilizar conhecimento experimental. IDÉIA BÁSICA Sistemas compostos de diversas unidades simples (neurônios artificiais) ligadas de maneira apropriada, podem gerar comportamentos interessantes e complexos. Comportamento é determinado pela estrutura das ligações (topologia) e pelos valores das conexões (pesos sinápticos) 5

6 Aquisição de Conhecimento: Aprendizado Treinamento efetuado através da apresentação de exemplos Existe uma variedade de algoritmos que estabelecem QUANDO e COMO os parâmetros da Rede Neural devem ser atualizados Algoritmos: Substituem a programação necessária para a execução das tarefas nos computadores APLICAÇÕES GERAIS Reconhecimento de Padrões Classificação de Padrões Correção de Padrões Previsão de Séries Temporais Aproximação de Funções Suporte à Decisão Geração de Informação Descoberta de Conhecimento 6

7 Introdução CONTEÚDO Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos Básicos Neurônio Artificial, Modos de Interconexão Processamento Neural Recall e Learning Regras de Aprendizado Perceptron, Back Propagation, Competitive Learning (Mapa de Kohonen). Características Básicas Devido à similaridade com a estrutura do cérebro, as Redes Neurais exibem características similares ao do comportamento humano, tais como: 7

8 Características Básicas Procura Paralela e Endereçamento pelo Conteúdo: O cérebro não possui endereço de memória e não procura a informação sequencialmente Características Básicas Aprendizado: A rede aprende por experiência aprende por experiência, não necessitando explicitar os algoritmos para executar uma determinada tarefa 8

9 Características Básicas Associação: A rede é capaz de fazer associações entre padrões diferentes Ex: Cidade Pessoa Perfume Pessoa Pessoa Nome Características Básicas Generalização: Redes Neurais são capazes de generalizar o seu conhecimento a partir de exemplos anteriores Habilidade de lidar com ruídos e distorções, respondendo corretamente a padrões novos. 9

10 Características Básicas Robustez e Degradação Gradual: A perda de um conjunto de elementos processadores e/ou conexões sinápticas não causa o mal funcionamento da rede neural. Introdução CONTEÚDO Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos Básicos Neurônio Artificial, Modos de Interconexão Processamento Neural Recall e Learning Regras de Aprendizado Perceptron, Back Propagation, Competitive Learning (Mapa de Kohonen). 10

11 EVOLUÇÃO McCulloch & Pitts (Mathematical Bio-Physics, Vol. 5, 1943), A Logical Calculus of Ideas Immanent in Nervous Activity Von Neumann Marvin Minsky Frank Rosenblatt Machine Intelligence Macroscopic Intelligence Microscopic Intelligence 1945 Digital Computers 1950 Black-Box AI (LISP) Perceptron, Adaline 1960 Mainframes Theorem Solver 1970 Vax 780 Expert Systems (Time Sharing) 1980 Workstations, PCs 1990 Desktop Supercomputers Commercialization of E.S. Rumelhart, Hopfield Commercialization of N.N. EVOLUÇÃO Modelo de McCulloch-Pitts: Entradas (valores 0,1) x 1 x 2 x n 1 2 n T s i = i = 1,2,..., n n s k+1 k = 1 se S i x i i=1 n T k 0 se S i x i < T i=1 11

12 x 1 x 2 x 3 EVOLUÇÃO Modelo de McCulloch-Pitts: T=0 T=0 T= entrada excitatória 1-1 T=1 s x 2 T=1 T=0 NAND A B AB entrada inibitória 1-1 T=1 x 1 x s k+1 = x k Célula de Memória na ausência de entradas, a saída é armazenada indefinidamente NOR A B A+B s HISTÓRICO McCulloch& Pitts (1943): modelo computacional para o neurônio artificial. Não possuía capacidade de aprendizado Hebb (1949): modelo de aprendizado (Hebbian Learning Rule) Rosenblatt (1957): Perceptron, com grande sucesso em certas aplicações e problemas em outras aparentemente similares Minsky& Papert ( Perceptrons 1969): prova matemática de que as redes Perceptron são incapazes de solucionar problemas simples tipo OU-EXCLUSIVO Rumelhart (início da década de 80): novos modelos que superaram os problemas dos Perceptrons. 12

13 Introdução CONTEÚDO Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos Básicos Neurônio Artificial, Modos de Interconexão Processamento Neural Recall e Learning Regras de Aprendizado Perceptron, Back Propagation, Competitive Learning (Mapa de Kohonen). CONCEITOS BÁSICOS Neurônio Artificial (Elemento Processador) Estruturas de Interconexão FeedForard de 1 camada FeedForard de Múltiplas Camadas Recorrente (com realimentação) 13

14 Elemento Processador Elemento Processador inspirado no Neurônio Biológico Squashing Function Elementos Básicos Estado de Ativação s j Conexões entre Processadores a cada conexão existe um peso sináptico que determina o efeito da entrada sobre o processador ji Função de Ativação determina o novo valor do Estado de Ativação do processador s j = F (net j ) 14

15 Funções de Ativação É a função que determina o nível de ativação do Neurônio Artificial: s j = F(net j ) F(net j ) F(net j ) F(net j ) net j net j net j Degrau Pseudo-Linear Sigmoid RN x Sistema Nervoso Real Feed-Forard totalmente conectada estrutura uniforme poucos tipos de processadores geralmente estática Recorrente conexões localizadas módulos funcionais centenas de tipos de neurônios dinâmico 15

16 Tipos de Processadores Recebe os dados de entrada Apresenta os dados de saída As suas entradas e saídas permanecem dentro do sistema Exemplos Regressão Linear: y = a 0 + a 1 x 1 + a 2 x 2 + a 3 x 3 Variáveis explicativas Acha a reta com erro mínimo que passe pelos pontos existentes (padrões de treinamento) Representação Neural x 2 x 1 Bias = +1 a a 0 1 a 2 Função linear y Deslocamento em função do a 0 (bias) Reta obtida pela regressão x 3 a 3 16

17 Exemplos Transformada de Fourier: y = a 0 + a 1 sen(t + φ 1 ) + a 2 sen(2t + φ 2 ) + a 3 sen(3t + φ 3 ) +... Representação Neural +1 (bias ) f 3 2 t (tempo) f 2 f 1 3 a 2 a 3 a 1 a 0 Todos com função de ativação senoidal y Função Linear CONCEITOS BÁSICOS Neurônio Artificial (Elemento Processador) Estruturas de Interconexão FeedForard de 1 camada FeedForard de Múltiplas Camadas Recorrente (com realimentação) 17

18 Topologias das Redes Neurais Redes Feed-Forard: redes de uma ou mais camadas de processadores, cujo fluxo de dados é sempre em uma única direção, isto é, não existe realimentação. Redes Recorrentes: redes com conexões entre processadores da mesma camada e/ou com processadores das camadas anteriores (realimentação). Redes Feed-Forard Forard Redes de uma camada PE 1 PE 2 PE 3 PE n 18

19 Redes Feed-Forard Forard Rede de Múltiplas Camadas Camada Escondida PE 1 Camada de Saída PE 1 PE 2 PE 2 PE 3 PE m PE n Redes Recorrentes O u t p u t R ea l i m en t a ç ã o I n p u t 19

20 Redes Recorrentes O u t p u t R ea l i m en t a ç ã o I n p u t Redes Recorrentes O u t p u t R ea l i m en t a ç ã o 20

21 R ea Redes Recorrentes Rede Convergiu para um estado estável O u t p u t l i m en t a ç ã o Introdução CONTEÚDO Motivação, Objetivo, Definição, Características Básicas e Histórico Conceitos Básicos Neurônio Artificial, Modos de Interconexão Processamento Neural Recall e Learning Regras de Aprendizado Perceptron, Back Propagation, Competitive Learning (Mapa de Kohonen). 21

22 Processamento Neural O processamento de uma Rede Neural pode ser dividido em duas fases: Processo de atualização dos pesos sinápticos para a aquisição do conhecimento - Aquisição da Informação Processo de cálculo da saída da rede, dado um certo padrão de entrada - Recuperação da Informação Aprendizado 22

23 Aprendizado Processo pelo qual os parâmetros livres - pesos sinápticos - de uma rede neural são adaptados através de um processo contínuo de estimulação pelo ambiente. Existem 4 tipos principais de aprendizado: Treinamento Supervisionado (TS); Treinamento Não-Supervisionado; Treinamento em Batch ; Reinforcement Learning. Treinamento Supervisionado A rede é treinada através do fornecimento dos valores de entrada e de seus respectivos valores desejados de saída ( training pair ). Geralmente efetuado através do processo de minimização do erro calculado na saída. 23

24 Treinamento Supervisionado PADRÃO DE ENTRADA (X) PESOS AJUSTÁVEIS (W) SAÍDA (s) e(t,s) CÁLCULO DO ERRO (e) VALOR DESEJADO (t) Treinamento Supervisionado 24

25 Treinamento Supervisionado FUNÇÕES OBJETIVO: Genérica Sum of Squared Errors: E SSE = Σ p Σ i (t pi - y pi ) 2 p = padrões i = elemento processador de saída Treinamento Não-Supervisionado Self-Organization Não requer o valor desejado de saída da rede. O sistema extrai as características do conjunto de padrões, agrupando-os em classes inerentes aos dados. Aplicado a problemas de Clusterização 25

26 Treinamento Não-Supervisionado PADRÃO DE ENTRADA (X) PESOS AJUSTÁVEIS (W) SAÍDA (s) Treinamento em Batch Batch Os valores dos pesos sinápticos são estabelecidos a priori, em um único passo. Também chamado de Gravação - Recording 26

27 Reinforcement Learning Semelhante ao Treinamento Supervisionado (existe um objetivo); NÃO existe um target para cada padrão; Existe uma realimentação (sinal de reforço) que avalia a resposta como boa ou ruim; O objetivo é maximizar a quantidade de reforço positivo Ex. aprendizado de jogos. Recuperação de Dados 27

28 Recuperação de Dados Assumindo que um conjunto de padrões tenha sido armazenado, a Rede Neural pode executar as seguintes tarefas: Auto-associação Hetero-associação Classificação GENERALIZAÇÃO Recuperação de Dados Autoassociação: A Rede Neural recupera o padrão armazenado mais semelhante ao padrão de entrada apresentado. Recuperação de padrões ruidosos Padrão de entrada distorcido Padrão correto recuperado 28

29 Recuperação de Dados Heteroassociação: A Rede Neural armazena a associação entre um par de padrões. Recuperação de um padrão diferente do da entrada. Padrão de entrada com ou sem ruído Padrão correto recuperado Recuperação de Dados Classificação: A Rede Neural responde com a informação relativa à classe a qual o padrão de entrada pertence. Caso especial de Heteroassociação Ex: Padrões de entrada divididos em 3 classes distintas. Padrão de entrada com ou sem ruído Classe 1 Classe 2 Classe 3 Classe 3 - Quadrados 29

30 Recuperação de Dados Generalização: A Rede Neural responde corretamente a um padrão de entrada fora do conjunto de treinamento. GENERALIZAÇÃO A Rede Neural responde corretamente a um padrão de entrada fora do conjunto de treinamento. f(x) generalizações Interpola corretamente os novos pontos apresentados Interpolação ruim Boa interpolação x 1 x 2 x 3 X novo x 4 x 5 x i pontos do conjunto de treinamento x novo novo ponto para generalização x 30

31 Exemplos de Treinamento Supervisionado ❶ Reconhecimento de Caracteres ❷ Previsão de Séries Temporais Reconhecimento de Caracteres 31

32 Processo de Aprendizado Atividade Neural Alvo I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Pesos Escondida Saída Processo de Aprendizado I 1 H 1 O 1 Erro = - I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Pesos Escondida Saída Atualização dos pesos em função do erro 32

33 Processo de Aprendizado Atividade Neural Alvo I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Pesos Escondida Saída Processo de Aprendizado Erro = - I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Pesos Escondida Saída Atualização dos pesos em função do erro 33

34 Processo de Aprendizado Atividade Neural Alvo I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Pesos Escondida Saída Processo de Generalização Recuperação da Informação Aprendida 34

35 Processo de Generalização Atividade Neural I 1 H 1 O 1 I 2 H 2 O 2 Novo dado (não apresentado durante o treinamento) I 3 Entrada Pesos H 3 Pesos Escondida O 3 Saída Processo de Generalização Atividade Neural I 1 H 1 O 1 I 2 H 2 O 2 I 3 Entrada Pesos H 3 Pesos Escondida O 3 Saída Resposta correta a um novo padrão! 35

36 Previsão de Séries Temporais Estrutura da Rede Neural alvo Série temporal janela Entradas da rede = n valores passados Saída Desejada = valor da série k passos à frente Dados de Treinamento Ex: 5 valores passados Ex: valor um passo à frente 36

37 Processo de Aprendizado alvo Série temporal janela Entradas da rede Dados de Treinamento Saída da rede: Valor previsto um passo à frente Processo de Aprendizado alvo Série temporal janela Entradas da rede Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Dados de Treinamento Saída da rede: Valor previsto um passo à frente 37

38 Processo de Aprendizado Série temporal janela alvo Entradas da rede Saída da rede: Valor previsto um passo à frente Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Dados de Treinamento Processo de Generalização Recuperação da Informação Aprendida 38

39 Processo de Generalização Série temporal janela Entradas da rede Dados de Treinamento Processo de Generalização Série temporal janela previsto Entradas da rede Dados de Treinamento Dados previstos Saída da rede: Valor previsto 39

40 Processo de Generalização Série temporal janela previsto Entradas da rede: inclui o(s) valor(es) previstos pela Rede Dados de Treinamento Dados previstos Saída da rede: Valor previsto 40