Algoritmos evolutivos paralelos. Carlos Eduardo Cuzik Marcos Felipe Eipper Ramon Artner Rocha

Transcrição

1 Algoritmos evolutivos paralelos Carlos Eduardo Cuzik Marcos Felipe Eipper Ramon Artner Rocha

2 Introdução O mesmo de sempre mas com thread.

3 Obrigado

4 Fake news

5 Introdução de verdade Era da informação - Big data Problemas: Complexos Extremamente grandes Alta dimensionalidade

6 Terminologias

7 Sincronia vs Assincronia Forma de comunicação entre processadores. Se a comunicação segue um clock, é síncrona. Caso contrário, assíncrona.

8 Homogeneidade vs Heterogeneidade Um Algoritmo Evolutivo distribuído é dito homogêneo quando cada processador adota os mesmos operadores, parâmetros, avaliação de fitness, etc. Caso existam divergências, o AEd é dito heterogêneo.

9 Aumento de velocidade vs Eficiência distribuída O processamento distribuído de AEd s é avaliado por uma medida de aumento de velocidade (speedup): a razão entre a execução sequencial e a execução paralela do mesmo algoritmo. De forma ideal, o aumento de velocidade deveria ser igual ao número de processadores sendo utilizados. speedup = timeseq / timepar A eficiência distribuída é definida como a razão entre speedup e o número de processadores. Sendo assim, seu valor ideal é 100%. distefic = speedup / procs

10 Tolerância a falhas Ao rodar um AEd em um sistema distribuído físico, tanto a rede quanto o hardware podem ser comprometidos. A tolerância à falhas mede a habilidade de um AEd proceder com a otimização em casos de comprometimentos. Um AEd tolerante à falhas não é suspendido em caso de sinistros. Continua a operar com os nós restantes, mesmo que abaixo de seu desempenho ideal.

11 Escalabilidade Escalabilidade de tamanho: Refere-se à habilidade do AEd atingir um desempenho maior proporcional ao número de processadores adicionados. Escalabilidade de tarefa: Refere-se à habilidade do AEd se adaptar à mudanças de escala do problema; se consegue reter sua eficiência quando a dimensão do problema aumenta.

12 Granulação Granulação fina Granulação bruta

13 Níveis de paralelismo Operacional Populacional Divide populações entre processadores Individual Divide operações entre processadores (i.e., avaliação da fitness) Divide os indivíduos entre processadores Variável Divide blocos de variáveis entre processadores

14 Modelos

15 Master-slave É uma das arquiteturas mais simples de um AE distribuído/paralelo. Uma execução distribui o processamento de algumas etapas entre outros processadores. Essas tarefas podem ser tanto os operadores de mutação e cruzamento, mas principalmente a função de avaliação. Em geral, esse modelo é síncrono ou assíncrono?

16 Master-slave Também existem abordagens em que cada slave possui uma espécie de subpopulação, onde cada uma dessas evolui independentemente. Neste caso, o master é responsável por coletar o melhor indivíduo de cada uma dessas subpopulações e compartilhar com todos qual é o melhor indivíduo entre todas.

17 Execuções independentes Outra das abordagens mais básicas encontradas na literatura. São executadas paralelamente várias instâncias independentes do algoritmo para o mesmo problema. Ao final, cada execução contribui para a solução final com a sua melhor solução encontrada. No fim, a melhor solução encontrada entre todas as execuções independentes é utilizada como a resposta do algoritmo.

18 Modelo em ilha A população de cada execução é considerada uma ilha. Cada ilha evolui independentemente. Adicionado o conceito de migração: Ocorre quando indivíduos de uma ilha (população) migram para outra, fato que acontece em períodos de tempo determinados. Deve-se definir parâmetros como: como selecionar os imigrantes, como selecionar a ilha de destino e como ele deve ser alocado na nova ilha. Sua performance varia de acordo com o número de ilhas. Quais seriam possíveis medidas para selecionar os indivíduos que devem migrar de uma ilha para outra?

19 Modelo em ilha - Parâmetros Política de emigração: pode-se mover os indivíduos de uma ilha para outra ou enviar apenas cópias, sem removê-lo da sua ilha atual. Política de imigração: os imigrantes podem substituir os piores indivíduos da ilha, indivíduos aleatórios ou podem ser utilizados métodos de seleção dentro da nova ilha. Intervalo de migração: qual o impacto de uma migração mais rápida ou mais lenta? Número de imigrantes

20 Modelo em ilha - Parâmetros Topologia da migração: é o fluxo em que a migração pode ocorrer entre as ilhas. Geralmente é ser representada por grafos: Direcionado ou não direcionado; Unidirecional ou bidirecional; Entre outros.

21 Modelo em ilha Quais possíveis situações podem tirar vantagem de se utilizar um modelo em ilha heterogêneo?

22 Modelo em ilha Quais possíveis situações podem tirar vantagem de se utilizar um modelo em ilha heterogêneo? Não se sabe o melhor algoritmo para determinado problema; Funções multi-objetivos ou com pequenas variações na função objetivo.

23 Modelo celular É um caso específico do modelo em ilha. Neste caso, cada ilha contém um único indivíduo. Cada indivíduo só pode se relacionar com seus vizinhos (vizinhança 4). Essas interações acontecem a cada geração (intervalo de migração = 1).

24 Modelo celular As células podem se comunicar de maneira síncrona ou assíncrona. Síncrono: os indivíduos da geração atual comunicam-se entre si, geram uma população nova e esta substitui a população atual. Assíncrono: os indivíduos vão se reproduzindo sequencialmente. De certa maneira, um indivíduo pode se reproduzir com o filho do seu vizinho (indivíduo criado já na nova geração). A escolha da próxima célula a ser atualizada pode ser: Escolha uniforme: escolhida aleatoriamente; Fixed line sweep: sequencialmente, linha por linha; Fixed random sweep: segue uma ordem fixa gerada aleatoriamente no início da execução; New random sweep: a cada geração uma nova ordem é gerada aleatoriamente.

25 Modelo hierárquico Também conhecido como modelo híbrido. Combina dois (ou mais) modelos distribuídos de forma hierárquica. Toma vantagem de ambos modelos para melhorar a capacidade de escalabilidade e de resolução de problemas.

26 Modelo hierárquico - Ilha / master-slave A população é dividida em várias subpopulações. Cada uma roda em um diferente master e se comunicam em momentos específicos. Para cada subpopulação, o master envia tarefas de avaliação individuais para seus slaves. Quais são as vantagens destes modelo?

27 Modelo hierárquico - Ilha / master-slave A população é dividida em várias subpopulações. Cada uma roda em um diferente master e se comunicam em momentos específicos. Para cada subpopulação, o master envia tarefas de avaliação individuais para seus slaves. Quais são as vantagens destes modelo? Reduz a limitação de escalabilidade do modelo ilha. Reduz a dependência de um único master.

28 Modelo hierárquico - Ilha / Ilha Cada ilha possui um conjunto de ilhas internas. Migrações locais e globais

29 Pool Disponibiliza um conjunto de processadores para trabalhar em uma pool de recursos compartilhados. Processadores não conhecem uns aos outros (baixo acoplamento). Assincronia e heterogeneidade.

30 Pool A pool é uma array de tamanho n indivíduos, dividida em p partições que correspondem ao número de processadores. Cada processador pode escolher qualquer segmento, mas só pode sobrescrever o segmento alocado para ele.

31 Pool Os indivíduos da i-ésima partição são sobrescritos apenas se o fitness da prole gerada pelo processador é melhor do que a população atual. Dificuldades Implementação da pool Espaço de Tuplas, Banco de Dados Política de seleção Política de sobrescrita

32 Modelo de coevolução Divisão das dimensões do problema em problemas menores. Estratégia de decomposição

33 Modelo multiagente Divisão do problema em problemas menores Tratam do problema como uma solução local Baixa comunicação pois não tem como objetivo a solução global

34 Comparação entre os modelos

35 Aplicações atuais

36 Cloud-based EA Os estudos sobre o uso de algoritmos evolutivos na nuvem vêm crescendo desde Considera a alocação dinâmica de recursos virtualizados, que visam oferecer alta escalabilidade e custo-benefício, uma oportunidade para a hospedagem e execução de algoritmos evolutivos paralelos. Também existem estudos sobre algoritmos evolutivos sobre redes P2P.

37 Implementações em GPU Com a evolução e a popularização de GPUs, que a cada vez conseguem processar um número maior de instâncias simultaneamente, uma área que vem ganhando bastante destaque é a de processamento paralelo que faça uso de todo esse poder computacional. Seguindo essa linha, diversos estudos vêm sendo realizados sobre a implementação de algoritmos evolutivos baseados em GPUs.

38 Otimização de problemas multiobjetivo Algoritmos evolutivos, por serem populacionais, são capazes de lidar com um conjunto de soluções ótimas de um mesmo problema.

39 Aplicações no mundo real Design de sistemas; Alocação de recursos; Planejamento de redes; Transporte inteligente; Otimização de classificadores; Treinamento de parâmetros. Benefícios?

40 Aplicações no mundo real Design de sistemas; Alocação de recursos; Planejamento de redes; Transporte inteligente; Otimização de classificadores; Treinamento de parâmetros. Benefícios? Por aprimorarem a busca global, os AE distribuídos são uma boa opção para resolver problemas que envolvem muitas dimensões e grande complexidade.

41 Desafios futuros Problemas many-objectives Prova teórica de convergência Controle sistemático de parâmetros

42 Ferramentas

43 DEAP

44 PyGMO

45 Referências MCCASLAND, T. e HALE, L. Parallel genetic algorithms. Disponível em: < SUDHOLT, D. Parallel Evolutionary Algorithms. University of Sheffield, UK. GONG, Y. et. al. Distributed evolutionary algorithms and their models: A survey of the state-of-the-art. Volume 34, 2015, pp , ISSN

46 So long, and thanks for all the fish.