Primeiras Redes Neurais Artificiais: Perceptron e Adaline

Transcrição

1 Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação Primeiras Redes Neurais Artificiais: Perceptron e Adaline DCA0121 Inteligência Artificial Aplicada Heitor Medeiros 1

2 Tópicos da aula Redes diretas (feedforward) de única camada: Redes de camada simples: Perceptron e Adaline Algoritmos de treinamento. Regra de Hebb Regra Delta / Algoritmo do Mínimo Quadrado Médio (LMS) 2

3 Primeiras RNA: Perceptron e Adaline Regra de Hebb Regra Delta Algoritmos de Aprendizado 3

4 Perceptron: O início de tudo! Características do Perceptron: Primeiro modelo de rede neural. Proposto por Frank Rosenblatt em 1957 (14 anos depois de McCulloch&Pitts). A rede neural direta (feedforward) de configuração mais simples. Utiliza o modelo do neurônio artificial de McCulloch&Pitts. Funciona como um classificador linear. 4

5 Perceptron: Classificador Linear Funciona como um classificador linear. Não consegue classificar problemas não linear. 5

6 Perceptron: Modelo Modelo do Perceptron: 6

7 Perceptron: Modificação no modelo do Neurônio - Bias Valor do peso w 0 : Limiar de ativação; Parâmetro polarizador; Bias. 7

8 Como o Perceptron aprende? Uma rede neural aprende uma nova forma de aquisição de conhecimento através da alteração dos valores do pesos sinápticos entre os neurônios. Processo de treinamento: Algoritmo para modificar os pesos sinápticos da rede. Regra de Hebb. 8

9 Algoritmos de Treinamento: Escolha dos pesos sinápticos Rede Perceptron e Adaline: A rede Adaline utiliza a mesma arquitetura que a rede Perceptron (mostrada anteriormente). Utilizam algoritmos de treinamento que são baseados na correção dos pesos através do erro. 9

10 Algoritmo de Treinamento do Perceptron O algoritmo de treinamento do Perceptron utiliza uma modificação da regra de Hebb proposta por Rosemblatt (1958). Declaração de Hebb: Quando um axônio de uma célula A está próximo o suficiente de excitar uma célula B e repetidamente ou persistentemente participa da ativação desta, algum processo de crescimento ou mudança metabólica ocorre em uma ou ambas as células, de tal forma que a eficiência de A ativar B é aumentada. 10

11 Regra de Hebb Resumindo a declaração de Hebb: Se dois neurônios em cada lado de uma sinapse (conexão) são ativados simultaneamente (sincronamente), então a força daquela sinapse deve ser deve ser aumentada. Se dois neurônios em cada lado de uma sinapse são ativados assincronamente, então a sinapse dever ser reduzida. 11

12 Regra de Hebb A alteração da sinapse tem relação com a correlação entre as atividades pré-sinápticas e pós-sinápticas. Sinapse Atividade pré-sináptica Para um neurônio isso implica que: w = x d, sendo d a saída desejada. Atividade pós-sináptica 12

13 Modificação da Regra de Hebb Sinapse Atividade pré-sináptica Atividade pós-sináptica Regra de Hebb: w = x d Regra de Hebb para o Perceptron: w = η x d, sendo η uma taxa de aprendizagem (0 < η 1). 13

14 Algoritmo de Treinamento do Perceptron 1. Obter o conjunto de amostras de treinamento {x k } 2. Associar a saída desejada {d k } para cada amostra obtida. 3. Iniciar o vetor de pesos {w k } com valores aleatórios pequenos. 4. Especificar a taxa de aprendizagem {η} e o número máximo de épocas. 5. Iniciar o contador do número de épocas {epoca 0} 6. Repetir as instruções: 1. erro "inexiste"; 2. Para todas as amostras de treinamento {x k, d k }, faça: 1. u w T x k 2. y f u, sendo f(u) a função de ativação degrau bipolar. 3. Se (y d) 1. w k+1 w k + η d k x k 2. erro "existe 3. epoca epoca + 1; Até que: ((erro = inexiste ) ou (epoca >= epocamaxima)). 7. Final do treinamento. 14

15 Exemplo: Treinamento Perceptron 1. Classificar os dois grupos do plano abaixo (Grupo 1: +; Grupo 2: 0) utilizando a rede neural Perceptron. 15

16 Exemplo: Treinamento Perceptron 2. Iniciar os pesos com: w 0 = 2; w 1 = 1; w 2 = 2; Reta: x1 + (2 x2) 2 = 0 16

17 Exemplo: Treinamento Perceptron 3. Executar algoritmo de treinamento: η = 1.0 Ponto X1 X2 Y(u) d w 0 w 1 w 2 w 0 (b) w 1 w A Y(1.5)=1 1 B Y(-1.5)=-1-1 C Y(-0.5)= D Y(-2.1)=-1-1 E Y(3.25)=1 1 17

18 Exemplo: Treinamento Perceptron Classificação antes e depois do treinamento. 18

19 ADALINE: Incluindo um melhor aprendizado! A rede Adaline (Adaptative Linear Element), proposta por Widrow e Hoff em 1960, tem a mesma estrutura do Perceptron, diferenciando apenas no algoritmo de treinamento. Características da Adaline: Rede adaptativa. Inclusão de um algoritmo pioneiro para o treinamento de redes de múltiplas camadas, o algoritmo de treinamento da regra Delta. O algoritmo da regra Delta é baseado no método dos mínimos quadrados. Método de aprendizado mais suave. 19

20 ADALINE: Incluindo um melhor aprendizado! Inclusão de um bloco de sinal de erro para modificar os valores dos pesos. erro + - y d 20

21 Algoritmo de Treinamento da Rede Adaline: Regra Delta O algoritmo de treinamento do Adaline é baseado no método dos mínimos quadrados, conhecido como regra delta. Devido a incapacidade do algoritmo de treinamento do Perceptron em gerar pesos que classifiquem dados não linearmente separáveis, Widrow e Hoff projetaram a regra delta em O algoritmo utiliza o método do gradiente descendente com a intenção de diminuir o valor da função de erro, possibilitando assim a convergência para um mínimo da função de erro. 21

22 Regra Delta Objetivo: Realizar iterações locais para obter o ponto mínimo da função de erro e, assim, fixar os valores dos pesos quando o mínimo foi encontrado. Funcionamento: Através de um ponto arbitrário (vetor de pesos iniciado aleatoriamente), o algoritmo percorre, a cada iteração, a superfície da função de erro em direção ao ponto de mínimo. Essa trajetória é possível quando caminhar sempre no sentido oposto ao do gradiente do ponto atual. 22

23 Regra Delta: Funcionamento w k + 1 = w k + η grad E w k E(w k ) w k + 1 = w k + η w E w = 1 2 e2 k E(w) w e(k) = e k w(k) e k = d k x T k w n w k + 1 = w k + η e k x k e(k) w(k) = x(k) w k + 1 = w k + η e k x k E(w) w = e k x k 23

24 Algoritmo de Treinamento da ADALINE 1. Obter o conjunto de amostras de treinamento {x k } 2. Associar a saída desejada {d k } para cada amostra obtida. 3. Iniciar o vetor de pesos {w k } com valores aleatórios pequenos. 4. Especificar a taxa de aprendizagem {η}, precisão requerida {ε} e o número máximo de épocas. 5. Iniciar o contador do número de épocas {epoca 0} 6. Repetir as instruções: 1. E qm E qm (w); 2. Para todas as amostras de treinamento {x k, d k }, faça: 1. u w T x k 2. w k+1 w k + η d k y x k 3. epoca epoca + 1; 4. E atual qm E qm (w); Até que: (( E atual qm E anterior qm 7. Final do treinamento. ε) ou (epoca >= epocamaxima)). 24

25 Exemplo: Treinamento Adaline Classificação da porta OU utilizando uma rede neural Adaline. E1 Pesos iniciais: w 0 = 0.10 w 1 = 0.10 w 2 = E2-1 25

26 Revisando 1. Semelhanças e diferenças entre as redes Perceptron e Adaline? Em relação a estrutura e ao algoritmo de treinamento. 2. Rede Perceptron. Regra de Hebb 3. Rede Adaline. Regra Delta 4. Passos comuns dos algoritmos de treinamento. 26

27 Referências 1. Lima, Isaías; Pinheiro, Carlos; Oliveira Santos, Flávia. Inteligência artificial. Rio de Janeiro: Elsevier, Da Silva, Ivan Nunes; Spatti, Danilo Hernane; Flauzino, Rogério Andrade. Redes Neurais Artificiais para engenharia e ciências aplicadas curso prático. São Paulo: Artliber,

28 Referências 3. Haykin, Simon S. Redes neurais artificiais: princípio e prática. 2ª ed. São Paulo: Bookman,

29 Dúvidas? Dúvidas por 29