Tópicos sobre Redes Neurais

Transcrição

1 Tópicos sobre Redes Neurais -Memórias Matriciais -Modelos Híbridos -Redes de Base Radial(RBF) -Redes Construtivas -Redes Recorrentes Prof João Alberto Fabro IF67D Sistemas Inteligentes 1 Dep de Informática UTFPR

2 Memórias Matriciais Memórias Matriciais são modelos que permitem, dado um padrão na entrada, fornecer um padrão correspondente na saída do modelo Isto é realizado através da conexão através de pesos, de todos os elementos da camada de entrada com todos os elementos da camada de saída, através de uma Matriz de Pesos

3 Memórias Matriciais A memória é representada por uma matriz de pesos: X 1 W 11 W 21 W 12 W 1n Y 1 X n W n1 W nn Y n

4 Memórias Matriciais Modelo Não-Linear (Willshaw, 71) Modelo Linear (Anderson & Kohonen, 68) Modelo OLAM (Optimal Linear Associative Memory, Kohonen, 73) Modelo de Hopfield (Hopfield, 82)

5 Memórias Matriciais Modelos Linear e Não-Linear Deste modo, por multiplicação do valor do vetor de entrada pela matriz, obtêm-se a saída desejada Modelo Linear(Anderson e Kohonen, 68): somente multiplicação: Modelo Não-Linear(de Willshaw,71): multiplicação e aplicação de uma função não-linear em cada pelo Treinamento: baseado na Regra de Hebb: Quando dois neurônios estão ativos simultaneamente, aumente o peso da conexão entre eles; senão, diminua este peso

6 Memórias Matriciais- OLAM OLAM (Optimal Linear Associative Memory) Proposto por Kohonen(1973), com algoritmo matemático para definição da matriz ótima de pesos Usa método com a matriz inversa para determinação dos pesos (problemas com matrizes não-inversíveis: caso comum)

7 Memórias Matriciais Modelo de Hopfield Modelo de Hopfield(1982): Ajudou a reiniciar o interesse em modelos neurais Modelo de memória matricial recorrente, onde as saídas são ligadas, através de uma conexão de realimentação, diretamente para a entrada da rede Modelo Não-Linear, como o de Willshaw Minimiza uma Função de Energia

8 Memórias Matriciais Modelo de Hopfield Rede de Hopfield: entradas abaixo, saídas acima

9 Memórias Matriciais Modelo de Hopfield Funcionamento da Rede de Hopfield: Armazenamento de padrões iguais (autoassociativo) ->pontos fixos, mínimos da função de energia A matriz de pesos (simétrica, diagonal nula) é obtida Após isto, ao se aplicar um padrão na entrada, a rede realiza o processo de realimentação até que a saída seja igual a entrada(convergência para um padrão armazenado) Aplicação: Recomposição de padrões com ruído

10 Modelos Híbridos Modelo Híbridos são modelos que unem duas ou mais técnicas diversas para a solução de um único problema Hibridização de Redes Neurais: Modelos Baseados em Lógica Clássica (Sistemas Especialistas, Raciocínio Baseado em Casos) Algoritmos Genéticos: AG's para treinamento de RN Sistemas Fuzzy : Neuro-Fuzzy

11 Modelos Híbridos Modelos Baseados em Lógica Clássica (Sistemas Especialistas, Raciocínio Baseado em Casos) Procuram complementar as características de aprendizado de redes neurais, com as características de manipulação de Regras dos Sistemas Especialistas Em conjunto com os sistemas baseados em casos, as redes neurais podem ser utilizadas para extrair e/ou generalizar o conhecimento presente nas bases de casos

12 Modelos Híbridos Algoritmos Genéticos para treinamento de RN: Os AG's podem ser utilizados para: Treinar os pesos de uma rede neural(treinamento) Identificar a quantidade de neurônios mais adequada (topologia) Identificar a topologia e fazer o treinamento (ambos)

13 Modelos Híbridos Algoritmos Genéticos para treinamento de RN Treinar os pesos de uma rede neural(treinamento) Neste caso, codifica-se as matrizes de pesos de uma rede neural de arquitetura fixa em um cromossomo, e utiliza-se um vetor de treinamento para verificar o fitness de cada indivíduo; Foi identificado que este método é melhor que a busca pelo gradiente simples(backpropagation, Rumelhart), porém pior que métodos otimizados, como o QuickProp Propõe-se que se utilize AG's para uma busca inicial das vizinhanças do ótimo global, e então métodos tradicionais para a busca local

14 Modelos Híbridos Algoritmos Genéticos para treinamento de RN Identificar a quantidade de neurônios mais adequada Trabalhos com AG's na identificação da topologia da rede codificam as ligações entre os neurônios como um cromossomo, e depois fazem o treinamento de cada rede neural codificada com um algoritmo padrão(bp) Identificar a topologia e fazer o treinamento Algoritmos genéticos capazes de tanto identificar a topologia quanto fazer o treinamento já foram estudados, mas a complexidade do espaço de busca se torna muito grande, impedindo sua aplicação real em problemas muito complexos

15 Modelos Híbridos Sistemas Fuzzy : Neuro-Fuzzy Foram desenvolvidos modelos híbridos Neuro/Fuzzy que podem utilizar o melhor dos dois mundos: Quando existe conhecimento prévio sobre um determinado problema, pode-se codificar este conhecimento por meio de regras nebulosas (fuzzy), e a partir daí treinar a rede neural para que ela refine o comportamento das regras Após treinada uma rede neural, é possível identificar quais regras fuzzy ela está seguindo para dar determinadas respostas, tendo uma explicação dos motivos que levaram a rede a fornecer aquela saída

16 Redes de Função de Base Radial (RBF)

17 Redes de Função de Base Radial (RBF) Utilizam funções de base radial (Gaussiana) no lugar das funções sigmóides Deste modo, a ativação é função da distância entre o padrão de entrada e os pesos Do mesmo modo que os MLP, as RBF's são também aproximadores universais de funções Porém, o particionamento do espaço de busca é dado por 'elipses', e não 'retas'

18 Redes de Função de Base Radial (RBF) Exemplo de Função de Base Radial Gaussiana

19 Redes de Função de Base Radial (RBF) Exemplo de Classificação obtida por uma rede RBF Classe 1 Classe 2 Classe 3 Classe 4

20 Redes de Função de Base Radial (RBF) Exemplo de Classificação obtida por uma rede MLP Classe 2 Classe 1 Classe 3 Classe 4

21 Redes de Função de Base Radial (RBF) Treinamento de Redes RBF Duas Fases: Fase 1: Método Auto-Organizado Visa Selecionar número de centros (neurônios na camada intermediária): Fase 2: Treinamento Supervisionado Visa determinar raios das elipsóides

22 Redes Construtivas

23 Redes Construtivas São modelos de RN que alteram sua arquitetura (número de neurônios, interconexão entre eles) durante o processo de aprendizagem, visando diminuir o trabalho de sintonia do usuário Técnicas Aplicada: Iniciar com uma rede pequena(1 neurônio) e crescer Técnica Alternativa:(Prunning) Iniciar com uma rede grande e podar

24 Redes Construtivas Modelos de Redes Redes Cascade Correlation(CASCOR) Inicia com apenas um neurônio; Treinamento Quickprop; Caso não consiga aprender todo o conjunto, aumenta em um nodo, ligado a todas as entradas e todas as saídas de todos os nodos já inseridos; Repete-se o processo até o aprendizado de todos os padrões ser obtido

25 Redes Construtivas Modelos de Redes Redes Upstart e Tiling: Utilizam o algoritmo de treinamento Pocket, que faz também reforço positivo em caso de classificação correta Inserem nodos em camadas já existentes Começa treinando com BackProp, e se não conseguiu treinar até o erro mínimo desejado, verifica em qual neurônio se encontra o maior erro, e cria mais um neurônio para corrigir este erro

26 Redes Construtivas Modelos de Redes Redes Tower e Pyramid: A rede Tower constrói uma torre de unidades de processamento do tipo perceptron, denominadas TLU's (Threshold Logic Units) Nesta rede, cada novo elemento inserido recebe como entrada todas as entradas da rede, e também a saída do elemento imediatamente abaixo, formando deste modo a "torre" A rede Pyramid é muito similar à rede Tower, porém cada novo elemento recebe, além de todas as entradas da rede, também as saídas de todas as unidades previamente inseridas

27 Redes Neurais Recorrentes

28 Redes Recorrentes Características: Modelos que apresentam conexões de realimentação; Apresentam características dinâmicas: podem lembrar seu estado anterior para definir suas saídas (possuem memória de curto prazo!) Devido a estas características, podem aprender a tratar padrões que evoluem com o tempo Aplicações: Controle de Sistemas Dinâmicos Aprendizado de séries temporais, predição, tratamento de séries de dados (por exemplo: sinais de voz)

29 Redes Recorrentes- Exemplos

30 Redes Recorrentes Aplicações: Identificação e Controle de Sistemas dinâmicos Reconhecimento e Previsão de Séries Temporais

31 FIM Mas, em caso de qualquer dúvida: João Alberto Fabro????????????