Redes Neurais Artificiais

Transcrição

1 Redes Neurais Artificiais Prof. Dr. Hugo Valadares Siqueira Semana de Eletrônica e Automação 2014

2 Redes Neurais Artificiais Uma rede neural artificial é um circuito composto por uma grande quantidade de unidades simples de processamento inspiradas no sistema neural. (Nigrin, 1993) Uma RNA é um sistema massivamente paralelo e distribuído, composto por unidades de processamento simples que possuem uma capacidade natural de armazenar e utilizar conhecimento. (Haykin, 1999)

3 Redes Neurais Artificiais Sistemas de processamento da informação paralelos e distribuídos; Compostas por neurônios artificiais; Estes são unidades funcionais de processamento simples e com elevado grau de interconexão; Geram comportamentos complexos que não pode ser previstos observando-se cada neurônio individualmente.

4 Inspiração Biológica A inspiração: proveniente do funcionamento do sistema nervoso e do cérebro; característica marcante: a capacidade de aprendizagem; A aprendizagem se dá pelo histórico experimental ao qual a rede é exposta. Ex: tocar um objeto quente, virar na rua certa, resolver uma integral, ser craque no video-game, etc.

5 Inspiração Biológica O que é o cérebro? Emaranhado de células interconectadas os neurônios que comunicam-se através das sinapses; O que faz o cérebro? o cérebro não roda programas ; o cérebro controla o comportamento visando garantir a sobrevivência; Funcionalidade do cérebro: adaptabilidade por intermédio de aprendizado comportamento sensível ao contexto tolerância a erro capacidade de operar com conhecimento parcial grande capacidade de memória capacidade de processamento paralelo e em tempo real

6 Introdução e Motivação Funcionalidade do cérebro: O cérebro é capaz de perceber regularidades no meio e gerar abstrações que capturam a estrutura destas regularidades, possibilitando a predição de observações futuras e o planejamento de ações visando o atendimento de múltiplos objetivos.

7 Estrutura Básica do Sistema Nervoso (Visão da Engenharia):

8 Áreas de aplicação Engenharia Estatística teoria de informação álgebra linear sistemas dinâmicos lineares e não-lineares teoria da computação aproximação de funções processamento de sinais controle de processos otimização de sistemas Etc.

9 RNAs - Fatos Históricos Marcantes MCCULLOCH & PITTS (1943) WIENER (1948): cibernética ROSEMBLATT (1958): perceptrons MINSKY & PAPPERT (1969): a disputa entre as portas lógicas e os neurônios artificiais para determinar a unidade básica de processamento. Idade das Trevas : entre 1969 e 1984 WERBOS (1974): backpropagation HOPFIELD (1982) KOHONEN (1982) Renascimento: RUMELHART & MCCLELLAND (1986)

10 Neurônio - Célula especializada em transmitir PULSOS ELÉTRICOS; - Na aprendizagem, a eficiência da propagação do sinal de um neurônio para outro pode ser MODULADA!!!

11 Neurônios Artificiais A plasticidade sináptica, ou seja, a capacidade das sinapses sofrerem modificações, é o ingrediente chave para o aprendizado da maioria das RNAs. Os neurônios podem receber e enviar sinais de/para vários outros neurônios. Um neurônio pode ser visto como um dispositivo capaz de receber estímulos (de entrada) de diversos outros neurônios e propagar sua única saída, função dos estímulos recebidos e do estado interno, a vários outros neurônios.

12

13 Modelos de Neurônios Artificiais Matematicamente, a saída do neurônio k pode ser descrita por: y k f ( u k ) f m j 1 w kj x j b k Existem vários tipos de função de ativação como, por exemplo, a função linear, a função degrau, as funções sigmoidais, e as funções de base radial.

14 Projeto de RNAs A informação (sinais) é transmitida entre neurônios através de conexões ou sinapses; A eficiência de uma sinapse, representada por um peso associado, corresponde à informação armazenada pelo neurônio e, portanto, pela rede neural O conhecimento é adquirido do ambiente através de um processo de aprendizagem que é, basicamente, responsável por adaptar os pesos das conexões aos estímulos recebidos do ambiente.

15 Projeto de RNAs A representação de conhecimento é feita de forma que o conhecimento necessariamente influencie a forma de processamento da rede, ou seja, o seu comportamento de entrada-saída. Se o conhecimento está armazenado nos pesos das conexões, então o processo de aprendizagem corresponde a identificar um conjunto apropriado de pesos de forma que a rede se comporte como desejado.

16 Projeto de RNAs ETAPAS DO PROJETO: 1. Uma definição ou escolha de um conjunto de neurônios artificiais; 2. A definição ou escolha de um padrão de conectividade entre os neurônios, ou seja, de uma arquitetura para a rede; 3. A definição de um método de determinação dos parâmetros livres da rede, denominado de algoritmo de aprendizagem ou treinamento.

17 Arquiteturas de Redes Existem basicamente três camadas em uma rede neural artificial: 1. Uma camada de entrada, 2. uma ou mais camada intermediária, 3. uma camada de saída. Entretanto, nem todas as RNA s possuem camadas intermediárias. Existem, basicamente, três tipos principais de arquitetura em RNA s: - redes feedforward de uma única camada; - redes feedforward de múltiplas camadas; - redes recorrentes.

18 Rede Feedforward com Uma Camada

19 Rede Feedforward de Múltiplas Camadas

20 Redes Recorrentes

21 Paradigmas de Aprendizagem Existem basicamente três paradigmas de aprendizado: 1- Aprendizado supervisionado: é baseado em um conjunto de exemplos de estímulo/resposta (ou entrada-saída); 2- Aprendizado por reforço: o comportamento da rede é avaliado apenas com base em alguma critério numérico, fornecido em instantes espaçados de tempo; 3- Aprendizado não-supervisionado: é baseado apenas nos estímulos recebidos pela rede neural. Basicamente, a rede deve aprender a categorizar os estímulos.

22 Aprendizagem Supervisionada O critério mais utilizado é o de erro quadrático médio J 1 E m m j 1 e 2 j ( t)

23 Separação das amostras Treinamento: ajustar os valores dos pesos sinápticos Validação: garantir a melhor generalização Teste: validar o resultado de saída obtido por meio de métricas de erro.

24 Exemplo

25 Exemplo

26 Perceptron de Múltiplas Camadas (MLP) Uma rede MLP típica possui como características principais: 1. Os neurônios das camadas intermediárias possuem uma função de ativação não-linear do tipo sigmoidal; 2. A rede possui uma ou mais camadas intermediárias; 3. A rede possui um alto grau de conectividade; 4. Ferramenta prática geral para fazer um mapeamento não-linear de entrada-saída; 5. Aproximadores universais; 6. Capacidade de generalização.

27 Perceptron de Múltiplas Camadas (MLP)

28 Treinamento da MLP Ajuste do valor dos pesos w; Método mais usado: backpropagation; Este algoritmo consiste basicamente de dois passos: 1- Propagação positiva do sinal funcional: durante este processo todos os pesos da rede são mantidos fixos; 2- Retropropagação do erro: durante este processo os pesos da rede são ajustados tendo por base uma medida de erro por base.

29 Aspectos Práticos do Treinamento de Redes MLP

30 Técnicas de Otimização Aplicadas ao Treinamento de RNAs

31 Validação Cruzada Geralmente desejamos obter uma rede com a melhor capacidade de generalização possível; Maior capacidade de responder corretamente a dados que não foram utilizados no processo de treinamento. As arquiteturas convencionais (totalmente interconectadas) como a MLP estão sujeitas a sofrerem sobre-treinamento (overtraining). Validação cruzada: utilizada para detectar quando a rede está sendo muito treinada maneira excessiva (overtraining);

32 Validação Cruzada

33 Máquinas Desorganizadas Arquiteturas de Redes Neurais nas quais não há ajuste nos pesos da camada intermediária; Processo de treinamento com solução analítica cálculo dos coeficientes de um combinador linear; Ajuste apenas da camada de saída; Convergência rápida; Máquinas de Aprendizado extremo ELM (feedforward); Redes de Estado de Eco - ESN (recursiva); Desempenho computacional superior à MLP em aplicações com previsão de séries temporais e equalização de canais de comunicação.

34 Máquinas Desorganizadas Nomenclatura recentemente cunhada por Boccato et al. (2012); Remete aos trabalhos pioneiros de Alan Turin em 1968; Inclui as Liquid State Machines; A desorganização faz menção ao fato da camada intermediária não ser ajustada e mesmo assim ser possível atingir bons resultados de saída.

35 Máquinas de Aprendizado Extremo (ELM) Propostas por Huang et al. em 2004; Capacidade de aproximação universal: erro pode ser sempre reduzido com a inserção de um novo neurônio na camada escondida; Parâmetros fixos na camada intermediária; A camada de saída é um combinador linear; Processo de treinamento com solução determinística, com base num sinal de referência (supervisionado): W out T X X -1 X T d h h h X h T s N k é a matriz de saídas da camada oculta

36 Máquinas de Aprendizado Extremo (ELM) x h t f h h ( W u b) t y t W out x h t

37 Redes Neurais de Estado de Eco (ESN) Propostas por H. Jaeger em 2001; Arquitetura de RNA recorrente formação de memória; Viabiliza as RNNs com uma solução de compromisso; Reservatório de dinâmicas (camada intermediária) com parâmetros fixos; Camada de saída treinada por um combinador linear; Convergência rápida => eficiência computacional;

38 Redes Neurais de Estado de Eco (ESN) x in t 1 f ( W ut 1 Wx t ) y W x out t 1 t 1

39 Redes de Hopfield Recuperação de padrões armazenados na superfície de energia da rede

40 Redes RBF Funções de ativação de base radial; Ajuste de centros e dispersões.

41 Redes de Kohonen Clusterização de dados; Noção de vizinhança; Mapas auto-organizáveis.

42 Bibliografia Pagina da WEB: http// Von Zuben, F., Attux, R. R. F. (2007): Curso de Redes Neurais Artificiais, Faculdade de Engenharia Elétrica e de Computação, UNICAMP; Haykin, S. (1999): Neural Networks: A Comprehensive Foundation, 2nd edition, Prentice Hall; Boccato, L. (2013): Novas Propostas e Aplicações de Redes Neurais com Estados de Eco, Tese de Doutorado UNICAMP - Brasil. Siqueira, H. V. (2013): Máquinas Desorganizadas para Previsão de Séries de Vazões, Tese de Doutorado UNICAMP - Brasil. Disponível em: pessoal.utfpr.edu.br/hugosiqueira