Ricardo Matsumura de Araújo Professor Assistente FURG Doutorando PPGC / UFRGS Orientador: Luis C. Lamb

Transcrição

1 Ricardo Matsumura de Araújo Professor Assistente FURG Doutorando PPGC / UFRGS Orientador: Luis C. Lamb

2 Aprendizado de Máquina IA Estatística Computação

3 Diz-se que um algoritmo é capaz de aprender de uma experiência E com respeito a uma classe de problemas P se seu desempenho em tarefas em P é melhorado com a experiência E, segundo uma medida de desempenho D.

4 A tarefa de aprendizado pode ser vista como uma tarefa de busca em um grande espaço de hipóteses (Mitchell, 1994); H1 H2 H6 H5 H3 H4 H7 H

5 Busca é uma tarefa de otimização; Como encontrar uma hipótese que otimize a tarefa de aprendizado segundo uma avaliação de desempenho?

6 Muitos algoritmos de otimização são utilizados em tarefas de aprendizado: Algoritmos Evolutivos Backpropagation K-nearest neighbor Máquinas de vetor de suporte (SVM) (ou seus vários algoritmos de otimização dos hiperplanos)

7 Tarefas de otimização podem se beneficiar de múltiplas buscas paralelas; Múltiplos pontos do espaço de busca são avaliados simultaneamente; Exemplo: beam search;

8 Busca paralela permite que buscas individuais influenciem as demais buscas; Isto é, buscas individuais fornecem informações locais para outros pontos de busca;!!!!??

9 Melhores soluções são combinadas para gerar novas soluções, substituindo as ruins; Ao remover uma solução ruim e substituí-la por uma nova solução formada da combinação de duas outras soluções boas, está-se focando a busca em regiões promissoras;

10 O processo de influenciar buscas paralelas pode ser visto como um processo de comunicação entre pontos distintos de busca; Tal comunicação permite a troca de informações entre tais pontos;

11 Tais canais para troca de informações são tipicamente implícitos nos algoritmos de busca; Exemplo algoritmos genéticos: melhores soluções comunicam-se em pares para gerar novas soluções;

12 Há vantagens em tornar tais conexões explícitas? Melhor compreensão sobre como informações se propagam em uma população; Possibilidade de maior controle sobre a transmissão de informações;

13 Ao explicitar-se as conexões, cria-se uma rede de conexões entre as buscas distintas; Como definir as conexões? Como trafegar informações entre conexões? Qual o efeito da topologia na eficácia e eficiência dos algoritmos?

14 A definição de uma rede de conexões entre buscas paralelas permite trazer conceitos da Teoria dos Grafos e a Nova Teoria das Redes : Grafos aleatórios; Grafos estruturados; Redes sem escala (scale-free); Redes de mundo pequeno (small-world);

15 Definir algoritmos que utilizem de forma explícita conexões entre buscas paralelas; Estudar efeitos da topologia de rede em algoritmos de otimização / aprendizado; Em diferentes classes de problemas; Para diferentes parâmetros dos algoritmos; Analisar a viabilidade de aplicação dos algoritmos em comparação com algoritmos tradicionais.

16 Primeira tentativa de definir um algoritmo que utilize conexões explícitas entre buscas paralelas; Meme: informação que se propaga por cópia (Dawkins 1973); Equivalente cultural do gene;

17 Empresta dos Algoritmos Genéticos a representação binária de informações; Cada busca ( nó ) representa uma solução completa; Uma rede conecta diferentes buscas segundo uma topologia; apenas pontos conectados podem trocar informações

18 Cada nó conecta-se a outros nós segundo uma regra estabelecida: Seja f(x) a avaliação do desempenho do nó x. Então há uma conexão entre os nós x e y se e somente se f(x) > f(y); Um nó atualiza sua solução codificada por votação entre todos nós ao qual está conectado; Cada bit assume o valor presente na maioria;

19 Tal regra impõe uma topologia sem escala à rede formada: Nós bons recebem um maior número de conexões, criando hubs; O número de conexões que um nó recebe decai exponencialmente com sua avaliação;

20 Soluções podem receber contribuições de múltiplas outras soluções; Algoritmo Genético: cada nova solução é fruto de exatamente duas outras; Topologia de conexão é explícita e pode ser modificada e controlada; Aproveita-se idéias sobre difusão de informações para aprimorar a eficácia dos algoritmos;

21 Aplicação em funções clássicas para problemas de otimização: Monomodais, multimodais Separáveis, não-separáveis

22 MNA GA RS SA rounds

23 Eficaz em encontrar ótimos globais; Comparável aos algoritmos testados; Convergência mais lenta, em média, que Algoritmos Genéticos; Custo computacional depende da topologia: Seja k o tamanho das strings binárias e N o número de nós, a complexidade é dada por O(kN 2 ) para redes totalmente conectadas, considerando avaliação com custo unitário; Overhead dilui-se com avaliações mais custosas; Para o algoritmo dado, a rede nunca torna-se totalmente conectada.

24 Richard Dawkins. The Selfish Gene. Oxford University Press, Albert-László Barabási. Linked. Plume / Penguin Books, David Fogel. Evolutionary Computation: Toward a New Philosophy of Machine Intelligence. New York: IEEE Press, 2nd edition, Tom Mitchell. Machine Learning. McGraw-Hill, Mark Newman, Albert-László Barabási, and Duncan Watts, editors. The Structure and Dynamics of Networks. Princeton University Press, Duncan Watts. Small Worlds : The Dynamics of Networks between Order and Randomness. Princeton University Press, 2003.