Redes Neurais Artificiais

Transcrição

1 Universidade Federal do Espírito Santo CCENS UFES Universidade Federal do Espírito Santo Centro de Ciências Agrárias CCENS UFES Departamento de Computação Redes Neurais Artificiais Redes Neurais Artificiais Site:

2 Universidade Federal do Espírito Santo CCENS UFES Redes Neurais Artificiais A RNA é uma máquina projetada para modelar a maneira como o cérebro realiza uma tarefa específica ou uma função de interesse. Ela realiza uma computação útil através de um processo de aprendizagem. Elas possuem uma combinação topológica, maciça e paralela, abrigando assim um processamento complexo. O elemento de processamento da informação é o neurônio, o qual possui processamento simples. Isso é devido à sua inspiração, que é no sistema nervoso central. A representação do conhecimento é realizada: Em sua topologia (arquitetura); No valor dos seus parâmetros; O algoritmo de treinamento modifica os pesos sinápticos da rede de forma ordenara para alcançar o objetivo desejado. 2

3 Universidade Federal do Espírito Santo CCENS UFES Redes Neurais Artificiais (RNA) Existem três tipos de RNAs: Feed Forward1; Recorrente2; Auto Organizável3;

4 Universidade Federal do Espírito Santo CCENS UFES Cérebro Humano O cérebro humano processa diferente do computador. Características do cérebro: É complexo e não linear; Completamente paralelo; Tem a capacidade de organizar seus neurônios para realizar processamento mais rápido que o processador de uma máquina; Desenvolve suas próprias regras através da experiência. Além disso, o sistema visual fornece ao cérebro: A representação do ambiente; A informação necessária para interagir com o ambiente. 4

5 Universidade Federal do Espírito Santo CCENS UFES Redes Neurais Artificiais Semelhanças entre a RNA e o Cérebro: O conhecimento do ambiente é obtido através da aprendizagem; A força de conexão entre os neurônios (sinapse) são utilizados para armazenar o conhecimento adquirido. Processo generalização da RNA: Refere-se ao fato da RNA produzir saídas adequadas para entradas que não estavam presentes no treinamento; Isso ocorre pela generalização dos dados já aprendidos. 5

6 Universidade Federal do Espírito Santo CCENS UFES Neurônio Funcionamento de um neurônio: A recepção dos impulsos sinápticos de outros neurônios chega pelos dendritos, são processados pelo núcleo e propagados pelo axônio, gerando sinapses em outros neurônios. 6

7 Universidade Federal do Espírito Santo CCENS UFES Neurônio Biológico e Artificial < applications-of-artificial-neural-networks-in-chemical-problems> 7

8 Universidade Federal do Espírito Santo CCENS UFES Redes Neurais Artificiais Assume forma funcional: Estática: f(x); Dinâmica: f(x, t); Sua aprendizagem depende: Do conhecimento à priori; Dos dados fornecidos. A RNA fornece seu resultado com a generalização por um algoritmo de aprendizagem. As propriedades da RNA são: Não linearidade do processamento (em geral); Mapeamento entrada saída. Podem ser utilizadas nas seguintes aplicações: Classificação; Regressão; Controle aritmético.. 8

9 Universidade Federal do Espírito Santo CCENS UFES Redes Neurais Artificiais Suas características são: Adaptabilidade: Resposta Quantitativa: Ex.: Fornecem um grau de confiança em problemas de classificação; Processamento contextual: Re-treinamento e treinamento contínuo (online); Adapta os pesos às modificações do meio ambiente. Vizinhança de um neurônio é influenciada pelo neurônio em um grau maior que os demais neurônios da rede, como o treinamento do mapa auto organizável; A informação contextual está presente na estrutura e no estado de atuação da rede. Tolerância a falhas: Eliminação topológica de alguns neurônios. 9

10 Universidade Federal do Espírito Santo CCENS UFES Redes Neurais Artificiais Suas características são: Informação incerta, incompleta: Parcialmente contraditória; Implementação em Hardware: Elementos com capacidade de processamento simples e complexo. 10

11 Universidade Federal do Espírito Santo CCENS UFES Aprendizado da RNA Dados Iniciais: O que a rede aprendeu: 11

12 12 Universidade Federal do Espírito Santo CCENS UFES História resumida da Neurocomputação

13 Universidade Federal do Espírito Santo CCENS UFES Histórico 1943 Neurofisiologista McCulloch e o Matemático Walter Pitts (1943), Possuíam um trabalho que fazia uma analogia entre células vivas e o processo eletrônico: simulava o comportamento do neurônio natural, o neurônio artificial possuía apenas uma saída, que era uma função que agia sobre os valores de suas diversas entradas. 13

14 Universidade Federal do Espírito Santo CCENS UFES O neurônio de McCulloch e Pitts NN Soma= Soma= IIi W i W ii i=1 i=1 y= y= ff (Soma) (Soma) 14

15 Universidade Federal do Espírito Santo CCENS UFES Histórico 1949 Psicólogo Donald Hebb, Propôs uma lei de aprendizagem específica para as sinapses dos neurônios. Demostrou que a capacidade da aprendizagem em redes neurais biológicas vem da alteração da eficiência sináptica: A conexão entre os neurônios somente é reforçada se tanto os neurônios pré-sinápticos quanto os pós-sinápticos estiverem excitados. 15

16 Universidade Federal do Espírito Santo CCENS UFES Histórico 1951 Marvin Minsky: Cofundador do laboratório de IA do MIT. Construiu o primeiro neuro computador: Snark. O Snark: Operava ajustando seus pesos automaticamente. Nunca executou qualquer função de processamento de informação interessante. Serviu como inspiração para ideias de estruturas posteriores. 16

17 Universidade Federal do Espírito Santo CCENS UFES Histórico 1956 Surgimento dos dois paradigmas da Inteligência Artificial: Simbólica: Que utiliza um conjunto de símbolos que são manipulados com regras explícitas. Não procura imitar a natureza do cérebro. Conexionista: Acredita-se que construindo um sistema que simule a estrutura do cérebro, este sistema apresentará inteligência, ou seja, será capaz de aprender, assimilar, errar e aprender com seus erros. 17

18 Universidade Federal do Espírito Santo CCENS UFES Histórico 1958 Frank Rosenblatt: Publicou o modelo dos "Perceptrons": Livro Principles of Neurodynamics. Os neurônios (perceptrons) eram organizados em camada de entrada e saída, os pesos das conexões entre os neurônios eram adaptados a fim de se atingir a eficiência sináptica usada no reconhecimento de caracteres. 18

19 Universidade Federal do Espírito Santo CCENS UFES Perceptron associação associação retina retina resposta resposta 19

20 Universidade Federal do Espírito Santo CCENS UFES Histórico 1960 Widrow e Hoff criaram as RNAs: ADALINE (ADAptative LInear NEtwork) e a MADALINE (Many ADALINE). O MADALINE utilizou saídas analógicas em uma arquitetura de três camadas. Exemplo... 20

21 Universidade Federal do Espírito Santo CCENS UFES Histórico 1969 Minsky & Papert Constataram que um neurônio do tipo Perceptron só era capaz de resolver problemas com dados de classes linearmente separáveis. 21

22 Universidade Federal do Espírito Santo CCENS UFES Histórico 1970 Muitos historiadores desconsideram a existência de pesquisa nessa área nos anos

23 Universidade Federal do Espírito Santo CCENS UFES Histórico 1982 Físico e biólogo Hopfield: Retomada das pesquisas com a publicação de trabalhos relatando a utilização de redes simétricas para otimização. Utilizou um algoritmo de aprendizagem que estabilizava uma rede binária simétrica com realimentação. 23

24 Universidade Federal do Espírito Santo CCENS UFES Histórico Mapas de Kohonen: Também chamado de mapa de características autoorganizáveis. Usa o algoritmo vencedor-leva-tudo. Esse aprendizado é não supervisionado, chamado de aprendizado competitivo. Algoritmo vencedor-leva-tudo: Apenas um neurônio fornece a saída da rede em resposta a uma entrada: O neurônio que tiver o maior índice de ativação Durante o aprendizado, somente as conexões deste neurônio que tem seus pesos alterados. 24

25 Universidade Federal do Espírito Santo CCENS UFES Histórico 1982 Mapas de Kohonen: Seu propósito é agrupar dados de entrada em diversos grupos (clusters). Exemplo: Novas histórias em categorias por assuntos. Tem duas camadas: Uma de entrada; Uma de agrupamento: que é a camada de saída. 25

26 Universidade Federal do Espírito Santo CCENS UFES Histórico 1986 Rumelhart¹, Hinton² e Williams: Introduziram o poderoso método de treinamento denominado Backpropagation. Rumelhart e McClelland³ escreveram o livro Processamento Paralelo Distribuído: Explorações na Microestrutura do Conhecimento. 26

27 Universidade Federal do Espírito Santo CCENS UFES Histórico 1988 Broomhead e Lowe Descreveram um procedimento para o projeto de uma rede neural (feedforward) usando funções de base radial (Rede de Base Radial RBF). 27

28 Universidade Federal do Espírito Santo CCENS UFES Mais considerações A maioria dos problemas do mundo real não é linearmente separável. A RNA Multicamadas possui maior capacidade de aprendizado para tais dados. Aprendem da mesma forma que perceptrons simples. Porém há muito mais pesos a serem ajustados. 28

29 Universidade Federal do Espírito Santo CCENS UFES Mais considerações RNAs com Retropropagação: Geralmente utiliza a função sigmoide: f(x) = 1 1+ e-x Os pesos são ajustados de trás para frente 29

30 Universidade Federal do Espírito Santo CCENS UFES Mais considerações Também tem-se as Redes Recorrentes: Apresentam ciclos nas suas conexões, isto é, a saída de neurônios de uma camada i são entradas de neurônios de uma camada anterior. Redes BAM, de Hopfield e Competitivas em geral são de certo modo redes recorrentes. Entretanto 2 modelos são de maior interesse neste caso: Redes de Elman; Redes de Jordan. Utilizadas para casos que necessitem verificar dados anteriores. Essas redes tem memória. 30

31 31 Universidade Federal do Espírito Santo CCENS UFES Redes Recorrentes

32 32 Universidade Federal do Espírito Santo CCENS UFES...

33 Universidade Federal do Espírito Santo CCENS UFES Rede Neural Artificial y. ɸ1 w11 X1 ɸ... W1... ɸH w1d X... Xd 33

34 34 Universidade Federal do Espírito Santo CCENS UFES Octave