Estratégias Evolucionárias (Evolution Strategies - ES) Disciplina: Inteligência Artificial

Transcrição

1 Estratégias Evolucionárias (Evolution Strategies - ES) Disciplina: Inteligência Artificial UFPR: Departamento de Informática. Aula de Leila e Aurora. Data: 23/05/2005

2 ES: pertence à Computação Evolucionária Substituição Geração atual Seleção Nova geração Variação, Mutação Pais selecionados Ciclo básico de Computação Evolucionária. FONTE: TRADUÇÃO DE DIANATI, SONG e TREIBER (2002).

3 Visão geral de ES Desenvolvida na Alemanha (1970 s) Nomes relacionados: I. Rechenberg, H.-P. Schwefel Normalmente aplicada à: otimização numérica Características atribuídas: relativamente rápido bom para otimização de valores reais Especialidade: Auto-adaptação (self-adaptation) de parâmetros (mutação)

4 Resumo de ES Representação: Seleção de pais: Recombinação: Mutação: Especialidade: Seleção de sobreviventes (survivor): Vetores de valores reais Uniform random Discreta ou intermediária Gaussian perturbation Auto-adaptação de mutation step sizes (µ,λ) ou (µ+λ)

5 ES : notação e seleção de survivor Tamanho da população (número de indivíduos) Quando é + indica que pais e filhos concorrerão para a próxima geração. Serão selecionados os melhores indivíduos. Quando é, indica que somente entre os filhos serão escolhidos para a próxima geração Número de filhos gerados por cada geração

6 Exemplo introdutório Tarefa: minimizar f : R n R Algoritmo (1+1)-ES: two-membered ES utilizando: Vetores de R n diretamente como cromossomos Tamanho da população igual a 1 Somente a mutação cria um descendente Seleção do melhor entre o pai e o filho (greedy selection) Algoritmo no arquivo algo11.pdf

7 Ilustração da distribuição normal

8 Exemplo introdutório: mecanismo de mutação z valores são obtidos de uma distribuição normal N(ξ,σ) média ξ é ajustada para 0 variação σ é chamada mutation step size σ sofre variação pela 1/5 success rule : essa regra reajusta o valor de σ a cada k iterações por σ = σ / c if p s > 1/5 σ = σ c if p s < 1/5 σ = σ if p s = 1/5 onde p s é a % de successful mutations, 0.8 c 1

9 Outro exemplo histórico: o experimento do jet nozzle Tarefa: otimizar a forma de um jet nozzle Aproximação: mutações randômicas na forma + seleção Forma inicial Forma final

10 Resumo de ES Representação: Seleção de pais: Recombinação: Mutação: Especialidade: Seleção de sobreviventes (survivor): Vetores de valores reais Uniform random Discreta ou intermediária Gaussian perturbation Auto-adaptação de mutation step sizes (µ,λ) ou (µ+λ)

11 Representação Cromossomos consistem de 3 partes: Variáveis: x 1,,x n Parâmetros de estratégia : Mutation step sizes: σ 1,,σ n σ Rotation angles: α 1,, α n α Nem todos os componentes estão sempre presentes Cromossomo: x 1,,x n, σ 1,,σ n,α 1,, α k onde k = n(n-1)/2 (nº. de pares i,j)

12 Seleção de pais Pais são selecionados por uniform random distribution Assim: a seleção de pais no ES é imparcial cada indivíduo tem a mesma probabilidade de ser selecionado Note que em ES pai significa um membro da população (em GA s: significa um membro da população selecionado para sofrer variação)

13 Geração de Indivíduo

14 Recombinação Cria um descendente Atua por variável / posição ou por Cálculo da média dos valores dos pais, ou por Seleção de um dos valores dos pais De 2 ou mais pais: Utiliza 2 pais selecionados para fazer um descendente Seleciona 2 pais para cada nova posição

15 Nomes de recombinações z i = (x i + y i )/2 2 pais fixos Local intermediary 2 pais selecionados para cada i Global intermediary z i = x i ou y i escolhido randomicamente Local discrete Global discrete

16 Resumo de ES Representação: Seleção de pais: Recombinação: Mutação: Especialidade: Seleção de sobreviventes (survivor): Vetores de valores reais Uniform random Discreta ou intermediária Gaussian perturbation Auto-adaptação de mutation step sizes (µ,λ) ou (µ+λ)

17 Mutação Mecanismo principal: muda valores adicionando um valor randômico obtido de uma distribuição normal x i = x i + N(0,σ) Idéia principal: σ é parte do cromossomo x 1,,x n, σ σ é também mutado em σ (veja como mais adiante) Assim: mutation step size σ está co-evoluindo com a solução x

18 Primeiro transforme σ Efeito da mutação: x, σx, σ Ordem é importante: primeiro σ σ (veja como mais adiante) então x x = x + N(0,σ ) Razão: novo x,σ éavaliado 2 vezes Primeira: x é bom se f(x ) é bom Segunda: σ é bom se o x que criou é bom Isso não funciona em ordem inversa de mutação

19 Caso 1 de mutação: Uncorrelated mutation com um σ Cromossomos: x 1,,x n, σ σ = σ exp(τ N(0,1)) x i = x i + σ N(0,1) Normalmente a learning rate τ 1/ n ½

20 Mutantes com probabilidade igual Círculo: mutantes tem a mesma chance de ser criado

21 Caso 2 de mutação: Uncorrelated mutation com n σ s Cromossomos: x 1,,x n, σ 1,, σ n σ i = σ i exp(τ N(0,1) + τ N i (0,1)) x i = x i + σ i N i (0,1) 2 parâmetros de learning rate: τ τ τ 1/(2 n) ½ e τ 1/(2 n ½ ) ½

22 Mutantes com probabilidade igual Ellipse

23 Caso 3 de mutação: Correlated mutations Cromossomos: x 1,,x n, σ 1,, σ n,α 1,, α k onde k = n (n-1)/2 e a covariance matrix C é definida como: c ii = σ 2 i c ij = 0 se i e j não são correlated c ij = ½ ( σ 2 i - σ 2 j ) tan(2 α ij ) se i e j são correlated

24 Correlated mutations cont. O mecanismo de mutação é, então: σ i = σ i exp(τ N(0,1) + τ N i (0,1)) α j = α j + β N (0,1) x = x + N(0,C ) x representa o vetor x 1,,x n C é a covariance matrix C após mutação sobre os valores α τ 1/(2 n) ½ e τ 1/(2 n ½ ) ½ e β 5

25 Mutantes com probabilidade igual

26 Resumo de ES Representação: Seleção de pais: Recombinação: Mutação: Especialidade: Seleção de sobreviventes (survivor): Vetores de valores reais Uniform random Discreta ou intermediária Gaussian perturbation Auto-adaptação de mutation step sizes (µ,λ) ou (µ+λ)

27 Seleção de sobreviventes Somente no conjunto de descendentes : seleção (µ,λ) No conjunto de pais e descendentes (elitist strategy): seleção (µ+λ)

28 Self-adaptative ES É capaz de Perseguir o ótimo ajustar o mutation step size a cada troca!

29 Dúvidas??? Adaptado do curso: Introduction to Evolutionary Computing by A.E. Eiben and J.E. Smith. Assunto: Evolution Strategies Obtido em: slides/evolution_strategies.ppt. Data de acesso: 20/05/05.

30 Aplicação de exemplo: a experiência de cherry brandy Tarefa de criar uma mistura de cores que produza uma cor objetivo (o bem conhecido cherry brandy) Ingredientes: água + tinta vermelha, amarela, azul Representação: w, r, y,bno self-adaptation! Valores para fornecer um volume total pré-definido(30 ml) Mutação: lo / med / hi σ valores com igual chances Seleção: estratégia (1,8) Fitness: compara mistura com cor objetivo Critério de término: a cor foi encontrada