Redes Neurais Artificiais

Transcrição

1 Universidade Federal do Espírito Santo CCA UFES Universidade Federal do Espírito Santo Centro de Ciências Agrárias CCA UFES Departamento de Computação Redes Neurais Artificiais Inteligência Artificial Site:

2 Universidade Federal do Espírito Santo CCA UFES Neurônio Natural Axônio: transmite estímulos para outras células. Sinapse: região onde dois neurônios entram em contato e através da qual os impulsos nervosos são transmitidos entre eles. Dendritos: recebe os estímulos transmitidos por outros neurônios. Núcleo (Soma): coleta e combina informações vindas de outros neurônios. 2

3 Universidade Federal do Espírito Santo CCA UFES Considerações sobre o Neurônio Natural Cérebro humano: considerado o mais fascinante processador baseado em carbono existente, possui aproximadamente 10 bilhões de neurônios. Os neurônios estão conectados uns aos outros através de sinapses. Cada neurônio é capaz de ter até sinapses com outros neurônios. 3

4 Universidade Federal do Espírito Santo CCA UFES O Neurônio Artificial 1. Sinais são apresentados à entrada; 2. Cada sinal é multiplicado por um peso que indica sua influência na saída da unidade; 3. É feita a soma ponderada dos sinais que produz um nível de atividade; 4. Se este nível excede um limite (threshold) a unidade produz uma saída; 4

5 Universidade Federal do Espírito Santo CCA UFES Neurônio Artificial (Zoom) Entradas = X1 a XN Saída = Output Pesos = W1 a WN Limiar (Threshold) = θ Saída = F (Entradas) Saída = Ftransf (Ʃ xi * wi ) Saída = 0 se Ʃ xi * wi < θ Saída = 1 se Ʃ xi * wi >= θ 5

6 Universidade Federal do Espírito Santo CCA UFES Funções de Saída (Ativação) Função Sinal Função Rampa y y 1 1 x -1 x 1 a x < 0, y = -1 x>0,y= 1 b x<0, y=0 0<x<1, y=x x>1, y=1 Função tanh Função Sigmóide y y x x c y = 1 / (1 + e - x ) d y=tanh x 1 e x = 2 1+ e x () 6

7 Universidade Federal do Espírito Santo CCA UFES Neurônio Natural x Artificial Os neurônios naturais operam na faixa de milissegundos Nossa capacidade de fazer cálculos numéricos é menor que computadores muito antigos. Fazemos em aproximadamente uma centena de etapas e os artificiais em nanosegundos. o que os computadores atuais não conseguem em 10 milhões de etapas, isso devido ao paralelismo de nossa mente. Neurônios naturais estão propensos a falhas, ou seja, podem morrer sem causar problemas Componentes digitais precisam operar sem defeito. 7

8 Universidade Federal do Espírito Santo CCA UFES Aspectos da Rede Neural Artificial São conectadas por canais de comunicação que estão associados a determinado peso. As unidades fazem operações apenas sobre suas ligações. O comportamento inteligente de uma RNA vem das interações entre as unidades (neurônios) de processamento da rede. Os pesos das conexões de seus neurônios são ajustados através e uma regra de treinamento. Assim, podem se ajustar de acordo com os padrões apresentados. É capaz de extrair regras básicas a partir de dados reais, diferindo da computação programada, onde é necessário um conjunto de regras rígidas pré-fixadas e algoritmos. 8

9 Universidade Federal do Espírito Santo CCA UFES Exemplo de Rede Neural Artificial 9

10 Universidade Federal do Espírito Santo CCA UFES Processo de Aprendizagem Todo o conhecimento de uma rede neural está armazenado nas sinapses, ou seja: Nos pesos atribuídos às conexões entre seus neurônios. A aprendizagem consiste então na adaptação de seus pesos sinápticos para conseguir os resultados almejados. A aprendizagem pode ocorrer de duas formas: Supervisionada: É fornecida para a RNA um conjunto de dados com as entradas e com as saídas desejadas. Os pesos são ajustados para alcançar a saída desejada. Não-Supervisionada: É fornecida para a RNA um conjunto de dados somente com as entradas. A RNA busca agrupar similaridades, ou seja, dar resultados comuns para entradas com características comuns. 10

11 Universidade Federal do Espírito Santo CCA UFES Treinamento Geralmente, o treinamento consiste em: 1. Separar de forma aleatória 20% ou 30% padrões do conjunto de dados a treinar. O ideal é possuir a maior diversificação possível dos dados. 2. Fornecer esse subgrupo de padrões à RNA e treiná-la com um algoritmo de treinamento. Na maioria dos casos, e Backpropagation ou um de seus derivados é utilizado. Sua tarefa é adaptar/modificar os pesos das sinapses da RNA. 3. Logo após, verificar o quanto a rede conseguiu aprender e generalizar: Para isso, são geradas e comparadas as respostas da RNA com o restante dos padrões existentes (àqueles não entraram no subgrupo de treinamento). Deve-se tomar cuidado para que a rede não decore os exemplos de treinamento. 11

12 Universidade Federal do Espírito Santo CCA UFES Características das RNAs Existem diversos modelos de RNAs. Cada modelo está relacionado à sua história, ao conjunto de dados que melhor consegue se adaptar. A quantidade de neurônios da camada oculta (intermediária) infelizmente é obtida por testes. Sabe-se que: Quanto mais neurônios, maior é a taxa de processamento da rede; Quanto menos neurônios, menor é a capacidade de adaptação da RNA; Sem a camada intermediária, não existe formas de trabalhar com dados não lineares; A quantidade escolhida de neurônios ocultos geralmente é obtida por: ( Qnt. de Neuronios de Entrada +Qnt. de Neuronios de Entrada ) 2 ou (Qnt. de Neuronios de Entrada +Qnt. de Neuronios de Entrada )/2 ou 2 Qnt. de Neuronios de Entrada +1 12

13 Universidade Federal do Espírito Santo CCA UFES Histórico 1943 Neurofisiologista McCulloch e o Matemático Walter Pitts (1943), Possuíam um trabalho que fazia uma analogia entre células vivas e o processo eletrônico: simulava o comportamento do neurônio natural, o neurônio artificial possuía apenas uma saída, que era uma função que agia sobre os valores de suas diversas entradas. 13

14 Universidade Federal do Espírito Santo CCA UFES O neurônio de McCulloch e Pitts N Soma = I i W i i=1 y= f (Soma) 14

15 Universidade Federal do Espírito Santo CCA UFES Histórico 1949 Psicólogo Donald Hebb, Propôs uma lei de aprendizagem específica para as sinapses dos neurônios. Demostrou que a capacidade da aprendizagem em redes neurais biológicas vem da alteração da eficiência sináptica: A conexão entre os neurônios somente é reforçada se tanto os neurônios pré-sinápticos quanto os pós-sinápticos estiverem excitados. 15

16 Universidade Federal do Espírito Santo CCA UFES Histórico 1951 Marvin Minsky: Cofundador do laboratório de IA do MIT. Construiu o primeiro neuro computador: Snark. O Snark: Operava ajustando seus pesos automaticamente. Nunca executou qualquer função de processamento de informação interessante. Serviu como inspiração para ideias de estruturas posteriores. 16

17 Universidade Federal do Espírito Santo CCA UFES Histórico 1956 Surgimento dos dois paradigmas da Inteligência Artificial: Simbólica: Que utiliza um conjunto de símbolos que são manipulados com regras explícitas. Não procura imitar a natureza do cérebro. Conexionista: Acredita-se que construindo um sistema que simule a estrutura do cérebro, este sistema apresentará inteligência, ou seja, será capaz de aprender, assimilar, errar e aprender com seus erros. 17

18 Universidade Federal do Espírito Santo CCA UFES Histórico 1958 Frank Rosenblatt: Publicou o modelo dos "Perceptrons": Livro Principles of Neurodynamics. Os neurônios (perceptrons) eram organizados em camada de entrada e saída, os pesos das conexões entre os neurônios eram adaptados a fim de se atingir a eficiência sináptica usada no reconhecimento de caracteres. 18

19 associação Σ θ resposta Σ θ Σ θ retina 19 Σ θ Universidade Federal do Espírito Santo CCA UFES Perceptron

20 Universidade Federal do Espírito Santo CCA UFES Histórico 1960 Widrow e Hoff criaram as RNAs: ADALINE (ADAptative LInear NEtwork) e a MADALINE (Many ADALINE). O MADALINE utilizou saídas analógicas em uma arquitetura de três camadas. Exemplo... 20

21 Universidade Federal do Espírito Santo CCA UFES Histórico 1969 Minsky & Papert Constataram que um neurônio do tipo Perceptron só era capaz de resolver problemas com dados de classes linearmente separáveis. 21

22 Universidade Federal do Espírito Santo CCA UFES Histórico 1960 à 1970 Muitos historiadores desconsideram a existência de pesquisa nessa área nos anos 60 e

23 Universidade Federal do Espírito Santo CCA UFES Histórico 1982 Físico e biólogo Hopfield: Retomada das pesquisas com a publicação de trabalhos relatando a utilização de redes simétricas para otimização. Utilizou um algoritmo de aprendizagem que estabilizava uma rede binária simétrica com realimentação. 23

24 Universidade Federal do Espírito Santo CCA UFES Histórico 1986 Rumelhart¹, Hinton² e Williams: Introduziram o poderoso método de treinamento denominado Backpropagation. Rumelhart e McClelland³ escreveram o livro Processamento Paralelo Distribuído: Explorações na Microestrutura do Conhecimento. 24

25 Universidade Federal do Espírito Santo CCA UFES Histórico 1988 Broomhead e Lowe Descreveram um procedimento para o projeto de uma rede neural (feedforward) usando funções de base radial (Rede de Base Radial RBF). 25

26 Universidade Federal do Espírito Santo CCA UFES Mais considerações A maioria dos problemas do mundo real não é linearmente separável. A RNA Multicamadas possui maior capacidade de aprendizado para tais dados. Aprendem da mesma forma que perceptrons simples. Porém há muito mais pesos a serem ajustados. 26

27 Universidade Federal do Espírito Santo CCA UFES Mais considerações RNAs com Retropropagação: Geralmente utiliza a função sigmoide: f(x) = 1 1+ e-x Os pesos são ajustados de trás para frente 27

28 Universidade Federal do Espírito Santo CCA UFES Mais considerações Também tem-se as Redes Recorrentes: Apresentam ciclos nas suas conexões, isto é, a saída de neurônios de uma camada i são entradas de neurônios de uma camada anterior. Redes BAM, de Hopfield e Competitivas em geral são de certo modo redes recorrentes. Entretanto 2 modelos são de maior interesse neste caso: Redes de Elman; Redes de Jordan. Utilizadas para casos que necessitem verificar dados anteriores. Essas redes tem memória. 28

29 Universidade Federal do Espírito Santo CCA UFES Redes Recorrentes 29

30 Universidade Federal do Espírito Santo CCA UFES Mais considerações Mapas de Kohonen: Também chamado de mapa de características autoorganizáveis. Usa o algoritmo vencedor-leva-tudo. Esse aprendizado é não supervisionado, chamado de aprendizado competitivo. Algoritmo vencedor-leva-tudo: Apenas um neurônio fornece a saída da rede em resposta a uma entrada: O neurônio que tiver o maior índice de ativação Durante o aprendizado, somente as conexões deste neurônio que tem seus pesos alterados. 30

31 Universidade Federal do Espírito Santo CCA UFES Mapas de Kohonen Seu propósito é agrupar dados de entrada em diversos grupos (clusters). Exemplo: Novas histórias em categorias por assuntos. Tem duas camadas: Uma de entrada; Uma de agrupamento: que é a camada de saída. 31