Introdução às Redes Neurais Artificiais

Transcrição

1 Introdução às Redes Neurais Artificiais Treinamento via Algoritmos Genéticos Prof. João Marcos Meirelles da Silva Departamento de Engenharia de Telecomunicações Escola de Engenharia Universidade Federal Fluminense Prof. João Marcos Meirelles da Silva p. 1/26

2 Créditos autorais Este curso e estes slides são parcialmente adaptados da bibliografia citada e das aulas do professor Luiz Pereira Calôba - COPPE/UFRJ caloba Prof. João Marcos Meirelles da Silva p. 2/26

3 Introdução Charles Robert Darwin ( ) Evolução das espécies John Holland Adaptation in Natural and Artificial Systems (década de 70) It is not the strongest of the species that survives, nor the most intelligent that survives. It is the one that is the most adaptable to change. - Charles Darwin Prof. João Marcos Meirelles da Silva p. 3/26

4 Introdução Algoritmos Genéticos são algoritmos de busca baseados em regras (heurísticas), onde essas regras são inspiradas nos mesmos mecanismos envolvidos na evolução das espécies. Evolutionary Computing Evolution Strategies Evolutionary Programming Evolutionary Algorithms Genetic Programming Genetic Algorithms Ant Colony Optimization Swarm Intelligence Particle Swarm Optimization Intelligent Water Drops Prof. João Marcos Meirelles da Silva p. 4/26

5 Aplicações Geralmente aplicados em problema conhecidos como NP-Hard, quando é necessário otimizar várias variáveis conflitantes com requisitos, onde geralmente outros algoritmos de otimização falham. Síntese de circuitos analógicos e digitais Projetos em mecânica Indústria farmacêutica Telecomunicações Medicina Prof. João Marcos Meirelles da Silva p. 5/26

6 Algoritmos Genéticos Consiste em uma população de soluções candidatas (também chamadas de indivíduo ou fenótipo); Cada indivíduo é formado por uma string binária dividida em partes chamadas de cromossomos ou genótipos; Cada cromossomo codifica (em binário) uma variável a ser otimizada. Logo, um problema com n variáveis a serem otimizadas requer um indivíduo com n cromossomos; O AG requer uma função de medida de desempenho (fitness function) que permita atribuir uma nota de desempenho a cada um dos indivíduos. Prof. João Marcos Meirelles da Silva p. 6/26

7 Algoritmos Genéticos Cada indivíduo recebe um nota através da avaliação realizada pela fitness function sobre os valores de suas variáveis codificadas; Cada iteração completa do algoritmo sobre a população é chamada de geração; Indivíduos com as melhores notas são selecionados, pareados e sofrem troca de cromossomos, seguida ou não de mutação em um dos cromossomos, formando assim uma nova população; A nova população é avaliada e o algoritmo segue até que um determinado critério de parada seja satisfeito. Prof. João Marcos Meirelles da Silva p. 7/26

8 Algoritmos Genéticos Vantagens Não necessita de um modelo matemático do problema, apenas uma função de avaliação das soluções; Robustez razoável em relação a mínimos e máximos locais; Existem diferentes implementações disponíveis Facilmente paralelizável, o que o torna interessante para aplicações que rodam em computadores de arquiteturas paralelas e multinúcleos. Prof. João Marcos Meirelles da Silva p. 8/26

9 Algoritmos Genéticos Desvantagens A criação de uma função de desempenho nem sempre é fácil; Tempo de convergência proibitivo em algumas aplicações; Dificilmente atinge o mínimo global de forma exata; Não conseguem resolver problemas onde a única medida de desempenho seja certo ou errado. Prof. João Marcos Meirelles da Silva p. 9/26

10 Algoritmos Genéticos Fases do Algoritmo 1. Inicialização da População 2. Aptidão dos indivíduos 3. Seleção 4. Geração da nova população Operador Crossover 5. Modificações na população Operador Mutação 6. Mecanismo de Elitismo (opcional) Prof. João Marcos Meirelles da Silva p. 10/26

11 Algoritmos Genéticos Indivíduo ou fenótipo A Figura abaixo apresenta duas variáveis x 1 e x 2 codificadas em dois cromossomos de quatro bits cada. Figura 1: Codificação de variáveis em cromossomos. Prof. João Marcos Meirelles da Silva p. 11/26

12 Algoritmos Genéticos População Uma coleção de indivíduos forma uma população, que pode ser iniciada de forma aleatória ou a partir de algum conhecimento prévio do problema. Figura 2: População de indivíduos. Prof. João Marcos Meirelles da Silva p. 12/26

13 Algoritmos Genéticos Seleção Na fase de seleção, os melhores indivíduos são selecionados, aleatoriamente, para a fase de cruzamento e, assim, gerar descendentes que serão novas soluções. Figura 3: Os melhores indivíduos são selecionados para cruzamento. Prof. João Marcos Meirelles da Silva p. 13/26

14 Algoritmos Genéticos Crossover Na fase de crossover um ponto de corte é sorteado, e uma das partes de um indivíduo é trocada com a parte correspondente do outro. Figura 4: As partes trocadas entre dois indivíduos geram dois outros indivíduos. Prof. João Marcos Meirelles da Silva p. 14/26

15 Algoritmos Genéticos Seleção Na fase de mutação, cada indivíduo é submetido a um sorteio para verificar se ele sofrerá mutação ou não. Em caso afirmativo, sorteia-se qual dos bits do indivíduo será invertido. Figura 5: Escolha de um bit aleatoriamente para negação lógica. Prof. João Marcos Meirelles da Silva p. 15/26

16 Exemplo Vamos encontrar os valores das variáveis x 1 e x 2 que minimizam a função de duas variáveis abaixo: f(x 1, x 2 ) = x x 2 2 Sabemos de antemão que os valores ótimos são f(0, 0) = Definir o range das variáveis: 10 x x Definir o número de bits necessários para codificar cada variável: x 1 = 4 bits x 2 = 4 bits Prof. João Marcos Meirelles da Silva p. 16/26

17 Exemplo 3. Definir o número de indivíduos: Popsize = 30 NumGeracoes = Os demais parâmetros como taxa de mutação, serão deixados com seus valores default do Matlab. Usaremos o toolbox de algoritmos genéticos do Matlab para esse exemplo. Prof. João Marcos Meirelles da Silva p. 17/26

18 Exemplo % ExemploAG.m % % Este script encontra os valores das variáveis x1 e x2 que minimizam % a função: % % f(x1,x2) = x1^2 + x2^2 % clear all close all clc % Definição de parâmetros nvars = 2; % Número de variáveis lb = [-10-10]; % Lower Bounds para x1 e x2. ub = [ ]; % Upper Bounds para x1 e x2. SizePop = 30; % Número de indivíduos. NumGeracoes = 50; % Número máximo de gerações. Prof. João Marcos Meirelles da Silva p. 18/26

19 Exemplo options = gaoptimset( PopulationType, DoubleVector, PopulationSize, SizePop, Generations, NumGeracoes, StallGenLimit, 10, [variaveis fval] = ga(@exemploagfitness, nvars, [ ], [ ], [ ], [ ], lb, ub, [ ], options); variaveis fval Prof. João Marcos Meirelles da Silva p. 19/26

20 Exemplo Os algoritmos genéticos necessitam de uma função de desempenho. No caso, a função foi chamada de ExemploAGFitness: % ExemploAGFitness.m % % Fitness function para o script ExemploAG.m % % Autor: João Marcos Meirelles da Silva % % Data de criação: 11/05/2013 function [J] = ExemploAGFitness(x) J = x(1)^2 + x(2)^2; end Prof. João Marcos Meirelles da Silva p. 20/26

21 Exemplo A Figura abaixo mostra a evolução do algoritmo genético em sua busca pelos valores ótimos Best: e 06 Mean: Best fitness Mean fitness 1 Fitness value Generation Figura 6: x 1 = 0, 0010 e x 2 = 0, Prof. João Marcos Meirelles da Silva p. 21/26

22 RNAs e AGs Algoritmos genéticos também podem ser utilizados para treinar uma rede neural feedfoward em vez de usarmos o algoritmo de aprendizado backpropagation. Vamos tomar como exemplo a rede neural do Exemplo 1 da aula anterior: Figura 7: Rede MLP. Prof. João Marcos Meirelles da Silva p. 22/26

23 RNAs e AGs W (1) Matriz de pesos da camada escondida W (1) = w(1) 10 w (1) 11 w (1) 12 w (1) 13 w (1) 20 w (1) 21 w (1) 22 w (1) 23 W (2) Matriz de pesos da camada de saída W (2) = w (2) 10 w (2) 11 w (2) 12 w (2) 20 w (2) 21 w (2) 22 w (2) 30 w (2) 31 w (2) 32, W (1) R 2 4, W(2) R 3 3 Prof. João Marcos Meirelles da Silva p. 23/26

24 RNAs e AGs O Algoritmo Genético deve codificar todos os elementos das matrizes de pesos W (1) e W (2) da rede neural. Dado um padrão, o Algoritmo Genético irá buscar o conjunto de elementos dessas matrizes que minimizam o erro médio quadrático da rede neural. Figura 8: Uso de um AG para treinamento autoassociativo. Veja o ExemploMLP03.m Prof. João Marcos Meirelles da Silva p. 24/26

25 Referências 1. Goldberg, D. E., Genetic Algorithms in Search, Optimization and Machine Learning, Addison-Wesley, Bandyopadhyay, S., Pal, S. K., Classification and Learning Using Genetic Algorithms - Applications in Bioinformatics and Web Intelligence, Springer, Alba, H., Dorronsoro, E., Cellular Genetic Algorithms, Springer, Prof. João Marcos Meirelles da Silva p. 25/26

26 FIM Prof. João Marcos Meirelles da Silva p. 26/26