Algoritmos de busca local e problemas de otimização

Transcrição

1 Algoritmos de busca local e problemas de otimização Os algoritmos de busca estudados até agora foram projetados para explorar sistematicamente espaços de busca. Sistemático: mantém um ou mais caminhos na memória, registra alternativas que foram exploradas em cada ponto ao longo do caminho e quais delas não foram exploradas. Quando um objetivo é encontrado, o caminho até esse objetivo constitui uma solução para o problema. 1

2 Algoritmos de busca local e problemas de otimização Há problemas onde o caminho até o objetivo é irrelevante. Por exemplo: projeto de circuitos integrados leiaute de instalações industriais escalonamento de jornadas de trabalho otimização de rede de telecomunicações. 2

3 Algoritmos de busca local e problemas de otimização Se o caminho até o objetivo não importa, utilizam-se algoritmos que não se preocupam de forma alguma com os caminhos. Os algoritmos de busca local operam usando um único estado atual (em vez de vários caminhos) e, em geral, se movem apenas para os vizinhos desse estado. 3

4 Algoritmos de busca local e problemas de otimização Embora os algoritmos de busca local não sejam sistemáticos, eles têm duas vantagens: Usam pouca memória (normalmente um valor constante); Frequentemente podem encontrar soluções razoáveis em grandes ou infinitos (contínuos) espaços de estados para os quais os algoritmos sistemáticos são inadequados. 4

5 Algoritmos de busca local e problemas de otimização Os algoritmos de busca local são úteis para resolver problemas de otimização: Encontrar o melhor estado de acordo com uma função objetivo. 5

6 Algoritmos de busca local e problemas de otimização Uma topologia de espaço de estados tem ao mesmo tempo posição (definida pelo estado) e elevação (definida pelo valor da função de custo da heurística ou da função objetivo). 6

7 Algoritmos de busca local e problemas de otimização Se o objetivo é encontrar o vale mais baixo então trata-se de encontrar um mínimo global; Se o objetivo é encontrar o pico mais alto então trata-se de encontrar um máximo global. 7

8 Algoritmos de busca local e problemas de otimização Os algoritmos de busca local exploram a topologia de espaços de estados. Um algoritmo de busca local: É completo se encontra um objetivo, caso ele exista; É ótimo se encontra um mínimo/máximo global. 8

9 Algoritmos de busca local e problemas de otimização Idéia geral começar com um estado inicial tentar melhorá-lo iterativamente Por exemplo: ajustar a imagem da TV com antena interna Os estados são representados sobre uma superfície (gráfico) a altura de qualquer ponto na superfície corresponde à função de avaliação do estado naquele ponto 9

10 Algoritmos de busca local e problemas de otimização O algoritmo se move pela superfície em busca de pontos mais altos ou mais baixos objetivos Caso o objetivo é o ponto mais alto, então a descoberta desse ponto corresponde à solução ótima máximo global (nó onde a função de avaliação atinge seu valor máximo) 10

11 Algoritmos de busca local e problemas de otimização Duas classes de algoritmos: Subida da Encosta ou Gradiente Ascendente Hill-Climbing só faz modificações que melhoram o estado atual. Têmpera Simulada Simulated Annealing pode fazer modificações que pioram o estado temporariamente para fugir de máximos locais 11

12 Subida da Encosta - Hill-Climbing Não examina antecipadamente valores de estados além dos vizinhos imediatos do estado corrente. O algoritmo não mantém uma árvore de busca: guarda apenas o estado atual e sua avaliação É simplesmente um loop que se move na direção crescente da função de avaliação para maximizar ou na direção decrescente da função de avaliação para minimizar 12

13 Subida da Encosta: algoritmo função Hill-Climbing (problema) retorna uma solução variáveis locais: atual (o nó atual), próximo (o próximo nó) atual Estado-Inicial do Problema loop do próximo sucessor do nó atual de maior/menor valor (i.e., expande nó atual e seleciona seu melhor filho) se Valor[próximo] < Valor[atual ] (ou >, para minimizar) então retorna nó atual (o algoritmo pára) atual próximo end 13

14 Exemplo de Subida da Encosta Cálculo da menor rota com 5 nós estado inicial = (N1, N2, N3, N4, N5) f = soma das distâncias diretas entre cada nó, na ordem escolhida (admissível!) operadores = permutar dois nós quaisquer do caminho restrição = somente caminhos conectados são estados válidos estado final = nó onde valor de f é mínimo e1 = {N1, N2, N3, N4, N5} f(n1, N2, N3, N4, N5) = 10 e2 = {N2, N1, N3, N4, N5} f(n2, N1, N3, N4, N5) = 14 e3 = {N2, N1, N4, N3, N5} f(n2, N1, N3, N4, N5) = 9 14

15 Subida da Encosta Problemas O algoritmo move-se sempre na direção que apresenta maior taxa de variação para f Isso pode levar a 3 problemas: 1. Máximos locais 2. Planícies (platôs) 3. Encostas e picos 15

16 Subida da Encosta Máximos locais Os máximos locais são picos mais baixos do que o pico mais alto no espaço de estados máximo global - solução ótima Nestes casos, a função de avaliação leva a um valor máximo para o caminho sendo percorrido a função de avaliação é menor para todos os filhos do estado atual, apesar de o objetivo estar em um ponto mais alto essa função utiliza informação local Por exemplo no xadrez: eliminar a Rainha do adversário pode levar o jogador a perder o jogo. 16

17 Subida da Encosta Máximos locais O algoritmo para no máximo local só pode mover-se com taxa crescente de variação de f restrição do algoritmo 17

18 Subida da Encosta Platôs (Planícies) Uma região do espaço de estados onde a função de avaliação dá o mesmo resultado todos os movimentos são iguais (taxa de variação zero f(n) = f(filhos(n)) 18

19 Subida da Encosta Platôs (Planícies) Em um platô, não é possível determinar a melhor direção através de comparações locais. Os movimentos possíveis têm taxa de variação zero ou negativa O algoritmo para depois de algumas tentativas Restrição do algoritmo Exemplo: puzzle de 8 números em algumas situações, nenhum movimento possível vai influenciar no valor de f, pois nenhum número vai chegar ao seu objetivo. 19

20 Subida da Encosta Encostas e Picos Encostas e Picos resultam em uma sequência de máximos locais que torna muito difícil a navegação para algoritmos ambiciosos. Apesar de o algoritmo estar em uma direção que leva ao pico (máximo global), não existem operadores válidos que conduzam o algoritmo nessa direção. 20

21 Subida da Encosta Encostas e Picos A malha de estados (círculos escuros) está sobreposta sobre uma cordilheira que se eleva da esquerda para a direita Cria-se uma sequência de máximos locais que não estão diretamente conectados uns aos outros. A partir de cada máximo local, todas as ações disponíveis apontam encosta abaixo. 21

22 Subida da Encosta Encostas e Picos Exemplo: cálculo de rotas quando é necessário permutar dois pontos e o caminho resultante não está conectado. 22

23 Subida da Encosta Problemas - solução Nos casos apresentados, o algoritmo chega a um ponto de onde não faz mais progresso Solução: reinício aleatório (random restart) O algoritmo realiza uma série de buscas a partir de estados iniciais gerados aleatoriamente Cada busca é executada até que um número máximo estipulado de iterações seja atingido, ou até que os resultados encontrados não apresentem melhora significativa O algoritmo escolhe o melhor resultado obtido com as diferentes buscas. 23

24 Busca Subida da Encosta (Hill climbing) Exemplo: Achar o ponto máximo da função f x = x x + 10 no intervalo [0,100]. 0 (10) r +1 r +4 r (39) 4 (114) 16 (234) r +1 r -1 r +4 r -4 r (231) 15 (235) 20 (210) 12 (226) 32 (-54) r -1 r +4 r -4 r (234) 19 (219) 11 (219) 31 (-20) 24

25 Subida da Encosta: análise O algoritmo é completo? SIM, para problemas de otimização uma vez que cada nó tratado pelo algoritmo é sempre um estado completo (uma solução) NÃO, para problemas onde os nós não são estados completos e.g., puzzle de 8 números O algoritmo é ótimo? TALVEZ, para problemas de otimização quando iterações suficientes forem permitidas... NÃO, para problemas onde os nós não são estados completos 25

26 Subida da Encosta: análise O sucesso deste método depende muito do formato da superfície do espaço de estados: se há poucos máximos locais, o reinício aleatório encontra uma boa solução rapidamente caso contrário, o custo de tempo é exponencial. 26

27 Têmpera Simulada -Simulated Annealing Este algoritmo é semelhante à Subida da Encosta, porém oferece meios para escapar de máximos locais quando a busca fica presa em um máximo local, o algoritmo não reinicia a busca aleatoriamente ele retrocede para escapar desse máximo local esses retrocessos são chamados de passos indiretos Apesar de aumentar o tempo de busca, essa estratégia consegue escapar dos máximos locais 27

28 Têmpera É inspirado no processo de têmpera do aço. Temperaturas são gradativamente abaixadas, até que a estrutura molecular se torne suficientemente uniforme. 28

29 Têmpera Analogia com processo físico do recozimento, substâncias físicas como os metais são fundidas: Elevadas a altos níveis de energia e depois gradualmente resfriadas até alcançar um estado sólido. Objetivo deste processo é produzir um estado final com um mínimo de energia. 29

30 Têmpera Substâncias físicas, em geral, movem-se de configurações em que o nível de energia é mais alto para níveis de energia mais baixos, a descida de vale ocorre naturalmente. Existe uma certa probabilidade de ocorrer uma transição para um estado de maior energia dada pela função: p = e E/kT 30

31 Têmpera p = e E/kT Onde: E é a mudança positiva no nível de energia T é a temperatura k constante de Boltzmann 31

32 Têmpera Na descida de vale física, a probabilidade de um grande movimento ascendente é menor que a probabilidade de um movimento pequeno. A probabilidade de um movimento ascendente diminui, à medida que diminui a temperatura. 32

33 Têmpera Simulada Têmpera simulada: muda-se a subida de encosta para descida de gradiente (minimização do custo) 33

34 Têmpera Simulada Seja a tarefa de colocar uma bola de pinguepongue na fenda mais profunda em uma superfície acidentada: Se simplesmente deixa-se a bola rolar, ela acabará em um mínimo local. Se agita-se a superfície, pode-se fazer a bola quicar para fora do mínimo local. A idéia é então agitar com força suficiente para fazer a bola sair dos mínimos locais, mas não o bastante para desalojá-la do mínimo global. 34

35 Têmpera Simulada O que o algoritmo de têmpera simulada faz é atribuir uma certa energia inicial ao processo de busca, permitindo que, além de subir encostas, o algoritmo seja capaz de descer encostas e percorrer platôs se a energia for suficiente. Posição final sem vento Posição inicial Posição final com vento controlado 35

36 Têmpera Simulada A solução de têmpera simulada é começar a agitar com força (isto é, em alta temperatura) e depois reduzir gradualmente a intensidade da agitação (ou seja, baixar a temperatura). 36

37 Têmpera Simulada O processo análogo de Têmpera simulada utiliza as seguintes equivalências: E é a mudança no valor da função objetivo kt = T: temperatura são valores escolhidos que produzam um comportamento desejável por parte do algoritmo 37

38 Têmpera Simulada Nas iterações iniciais, não escolhe necessariamente o melhor movimento, e sim um movimento aleatório: se o movimento melhorar a situação, ele será sempre escolhido posteriormente; caso contrário, associa a esse movimento uma probabilidade de escolha menor do que 1. A probabilidade decresce exponencialmente com a má qualidade do movimento, o valor de E segundo o qual a avaliação piora. 38

39 Têmpera Simulada A probabilidade também decresce à medida que a temperatura T se reduz: Movimentos ruins têm maior probabilidade de serem permitidos no início, quando T estiver alto, e Tornam-se mais improváveis conforme T diminui. A ideia de permitir movimentos ruins é que com o tempo vão diminuindo de freqüência e intensidade para poder escapar de máximos locais. 39

40 Têmpera Simulada: algoritmo 40

41 Têmpera Simulada Probabilidade de ocorrerem movimentos ruins. Simulação para T decaindo de 100 a 0 com E constante e igual a -10 Gráfico de p = e E/T 41

42 Têmpera Simulada Probabilidade de ocorrerem movimentos ruins, com o passar do tempo, passa a se comportar como subida de encosta, não faz movimentos ruins. Simulação para T decaindo de 100 a 0 com E constante e igual a Gráfico de p = e E/T 42

43 Têmpera Simulada Análise O algoritmo é completo O algoritmo é ótimo se o mapeamento de resfriamento tiver muitas entradas com variações suaves isto é, se o escalonamento diminuir T com lentidão suficiente, o algoritmo encontrará um valor ótimo global com probabilidade próxima de 1. 43

44 Jogos Os jogos tem atraído a atenção da humanidade, às vezes de modo alarmante, desde a antiguidade. O que o torna atraente para a IA é que é uma abstração da competição (guerra), onde se idealizam mundos em que agentes agem para diminuir o ganho de outros agentes. Além disso, os estados de um jogo são facilmente representáveis (acessíveis) e a quantidade de ações dos agentes é normalmente pequena e bem definida. 44

45 Jogos A presença de um oponente torna o problema de decisão mais complicado do que os problemas de busca, pois introduz incertezas, já que não sabemos como o oponente irá agir. Geralmente o oponente tentará, na medida do possível, fazer o movimento menos benéfico para o adversário. 45

46 Jogos Jogos são, geralmente, problemas muito difíceis de resolver. Por exemplo, o xadrez: Fator de ramificação 35 Geralmente 50 movimentos para cada jogador Árvore de busca tem ~ estados ou nós 46

47 Jogos Limites de tempo penalizam a ineficiência; Não é possível fazer a busca até o fim, de modo que devemos fazer o melhor possível baseados na experiência passada. Deste modo, jogos são muito mais parecidos com problemas do Mundo Real do que os problemas Clássicos vistos até agora. 47

48 Jogos Jogos de Duas Pessoas Existem dois jogadores: MAX e MIN (MAX começa jogando). Jogos como um tipo de problema de busca, componentes: Estado inicial Jogadores Ações Resultado Teste de Término Utilidade 48

49 Jogos Estado inicial (S0), especifica como o jogo é criado no início. Jogadores (s): define qual jogador deve se mover em um estado. Ações (s): retornam o conjunto de movimentos válidos em um estado. Resultado (s, a): o modelo de transição que define o resultado de um movimento. 49

50 Jogos Teste de Término (s): um teste de término, que é verdadeiro quando o jogo termina e, do contrário, falso. Os estados em que o jogo é encerrado são chamados estados terminais. Utilidade (s, p): uma função utilidade define o valor numérico para um jogo que termina no estado terminal s por um jogador p. No xadrez, o resultado é uma vitória, uma derrota ou um empate, com valores +1, 0 ou ½. 50

51 Jogos O Estado inicial, a função Ações e a função Resultado definem a árvore de jogo correspondente ao jogo. Uma árvore onde os nós são estados do jogo e as bordas são movimentos No caso do jogo da velha: A partir do estado inicial, MAX tem nove movimentos possíveis O jogo se alterna entre MAX (X) e MIN (0) até os estados terminais O número em cada nó de folha indica o valor de utilidade do estado terminal, do ponto de vista de MAX: valores altos são considerados bons para MAX e ruins para MIN. 51

52 Árvore de busca (parcial) para o jogo da velha Usa-se o termo árvore de busca para uma árvore que está sobreposta à árvore de jogo completa, examinando os nós o suficiente para permitir que um jogador determine que lance fazer.

53 Algoritmo E-OU de busca Solução ótima: sequência de ações que leva a um estado objetivo um estado terminal que representa uma vitória. Em um jogo, MIN tem alguma relação com esse estado. MAX deve encontrar uma estratégia de contingência que especifique seu movimento: No estado inicial e Depois de cada resposta possível de MIN, e assim por diante. Isso é análogo ao algoritmo E-OU: MAX no papel de OU e MIN equivalente a E.

54 Algoritmo E-OU de busca Seja o jogo de duas jogadas: Os nós são nós de MAX, os nós são nós de MIN.

55 Algoritmo E-OU de busca Os movimentos possíveis para MAX no nó raiz são identificados por a1, a2 e a3. As respostas possíveis para a1 correspondentes a MIN são b1, b2 e b3, e assim sucessivamente. O jogo termina depois de um movimento realizado por MAX e por MIN. (a árvore tem a profundidade de um único movimento, que consiste em dois meios movimentos, cada um dos quais é chamado jogada.) As utilidades dos estados terminais nesse jogo variam de 2 a 14.

56 O valor MINIMAX Dada uma árvore de jogo, a estratégia ótima pode ser determinada do valor minimax de cada nó: representado como VALOR- MINIMAX(n). O valor minimax de um nó é a utilidade (para MAX) de se encontrar no estado correspondente. O valor minimax de um estado terminal é simplesmente sua utilidade.

57 O valor MINIMAX De outro lado, dada uma escolha: MAX preferirá se mover para um estado de valor máximo, MIN preferirá um estado de valor mínimo Assim, tem-se:

58 O valor MINIMAX Aplicando as definições na árvore do jogo de duas jogadas: O primeiro nó de MIN (B), tem três sucessores com valores 3, 12 e 8; portanto, seu valor minimax é 3. Os outros dois nós de MIN (C e D) têm valor minimax 2. O nó raiz (A) é um nó de MAX; seus estados sucessores têm valores minimax 3, 2 e 2; logo, ele tem um valor minimax igual a 3. A decisão minimax na raiz é a ação a1, pois é a escolha ótima para MAX

59 O valor MINIMAX A definição de jogo ótimo para MAX supõe que MIN também jogue de forma ótima ela maximiza o resultado para MAX no pior caso. E se MIN não jogar de forma ótima? Nesse caso MAX terá um desempenho ainda melhor.

60 O algoritmo minimax Calcula a decisão minimax a partir do estado corrente. Utiliza uma computação recursiva simples dos valores minimax de cada estado sucessor, implementando diretamente as equações da definição. A recursão percorre todo o caminho descendente até as folhas da árvore e, depois, os valores minimax são propagados de volta pela árvore, à medida que a recursão retorna. 60

61 O algoritmo minimax Para a árvore do jogo de duas jogadas: Primeiro o algoritmo efetua uma recursão descendo a árvore até os três nós de folhas inferiores e emprega a função UTILIDADE sobre eles para descobrir que seus valores são 3, 12 e 8 A seguir, ele toma o mínimo desses valores, 3, e o devolve como valor propagado de volta para o nó B. Um processo semelhante fornece os valores propagados de volta de 2 para C e 2 para D. Finalmente, tomamos o valor máximo entre 3, 2 e 2 para obter o valor propagado de volta igual a 3 para o nó raiz. 61

62 O algoritmo minimax O algoritmo minimax executa uma exploração completa em profundidade da árvore de jogo. Se a profundidade máxima da árvore é m e existem b movimentos válidos em cada ponto, a complexidade de tempo do algoritmo minimax é O(bm). A complexidade de espaço é O(bm) para um algoritmo que gera todos os sucessores de uma vez ou O(m) para um algoritmo que gera ações, uma de cada vez. Em jogos reais, o custo de tempo é totalmente impraticável, mas, o algoritmo serve como base para a análise matemática de jogos e para algoritmos mais práticos. 62

63 Poda Alfa-Beta O problema da busca minimax : o número de estados de jogo é exponencial Não se pode eliminar o expoente, mas, se pode reduzi-lo pela metade. Artifício: calcular a decisão minimax sem examinar todos os nós na árvore de jogo. Técnica específica: poda alfa-beta: Quando é aplicada a uma árvore minimax padrão, ela retorna o mesmo movimento que minimax retornaria, mas poda as ramificações que não terão influência possível sobre a decisão final.

64 Considere novamente a árvore de jogo de duas jogadas: a) A primeira folha sob B tem valor 3. Consequentemente, B, que é um nó de MIN, tem valor máximo 3. b) A segunda folha sob B tem valor 12; MIN evitaria esse movimento, de forma que o valor de B ainda é, no máximo, 3.

65 c) A terceira folha sob B tem valor 8; assim, o valor de B é exatamente 3. Agora, podemos deduzir que o valor da raiz é pelo menos 3, porque MAX tem uma escolha de valor 3 na raiz. d) A primeira folha abaixo de C tem o valor 2. Consequentemente, C, que é um nó de MIN, tem valor máximo 2. Porém, sabemos que B vale 3; portanto, MAX nunca escolheria C. Desse modo, não há razão para se examinar os outros sucessores de C. Esse é um exemplo de poda alfabeta.

66 e) A primeira folha abaixo de D tem o valor 14, D vale no máximo 14. Esse valor é mais alto que 3, a melhor alternativa de MAX. Portanto, precisamos continuar a explorar sucessores de D. Como já se tem todos os sucessores da raiz, o valor da raiz também é no máximo 14. f) O segundo sucessor de D vale 5 e, assim, novamente precisamos continuar a exploração. O terceiro sucessor vale 2; agora, D vale exatamente 2. A decisão de MAX na raiz é efetuar o movimento para B, o que nos dá o valor 3.

67 Poda Alfa-Beta Isso também pode ser visto como uma simplificação da fórmula de VALOR-MINIMAX. Sejam x e y valores dos dois sucessores não avaliados do nó C na árvore do jogo de duas jogadas e seja z o mínimo entre x e y. Então, o valor do nó raiz é dado por:

68 Poda Alfa-Beta Em outras palavras, o valor da raiz e, consequentemente, a decisão minimax são independentes dos valores das folhas podadas x e y. A poda alfa-beta pode ser aplicada a árvores de qualquer profundidade e frequentemente é possível podar sub-árvores inteiras em lugar de podar apenas folhas.

69 Poda Alfa-Beta Princípio geral: considere um nó n em algum lugar na árvore, tal que o Jogador tenha a escolha de movimento até esse nó. Se o Jogador tiver uma escolha melhor m no nó pai de n ou em qualquer ponto de escolha adicional acima dele, então n nunca será alcançado em um jogo real. Assim, uma vez que descobrimos o suficiente sobre n, poderemos podá-lo.

70 Poda Alfa-Beta A busca minimax é do tipo em profundidade, só temos de considerar os nós ao longo de um único caminho na árvore. A poda alfa-beta obtém seu nome a partir dos dois parâmetros: α = o valor da melhor escolha até o momento, em qualquer ponto de escolha ao longo do caminho para MAX. β = o valor da melhor escolha que encontramos até agora em qualquer ponto de escolha ao longo do caminho para MIN. A busca alfa-beta atualiza os valores de α e β à medida que prossegue e poda as ramificações restantes em um nó (isto é, encerra a chamada recursiva) tão logo se sabe que o valor do nó corrente é pior que o valor corrente de α ou β para MAX ou MIN, respectivamente.