Sumário. Decisões óptimas em jogos (minimax) Cortes α-β Decisões imperfeitas em tempo real

Transcrição

1 Jogos Capítulo 6

2 Sumário Decisões óptimas em jogos (minimax) Cortes α-β Decisões imperfeitas em tempo real

3 Jogos vs. Problemas de Procura Adversário imprevisível" necessidade de tomar em consideração todas os movimentos que podem ser tomados pelo adversário Pontuação com sinais opostos O que é bom para um jogador (vitória=+1) é mau para o outro (derrota=-1) Limitação temporal tipicamente não é encontrado um objectivo mas antes uma aproximação

4 Procura com Cortes Jogos são muito mais difíceis do que os problemas de procura (capítulos 3 e 4) Factor de ramificação muito elevado - e.g. xadrez factor de ramificação jogadas/jogador nós (destes apenas são nós distintos) Cortes permitem eliminar partes da árvore de procura que são irrelevantes para o resultado final

5 Caracterização de um Jogo Estado inicial Configuração inicial + ordem de jogada Função sucessores Para cada estado devolve uma lista de pares <acção,estado> Teste terminal Identifica estados terminais Função de utilidade Atribui um valor numérico aos estados terminais

6 Árvore para Jogos (2 jogadores, determinístico, alternado)

7 Minimax Estratégia mais adequada para jogos determinísticos Ideia: escolher jogada para o estado com o maior valor minimax melhor valor para a função de utilidade contra as melhores jogadas do adversário Valor-minimax(n) = Função-utilidade(n) max s sucessores(n) Valor-minimax(s) se n é terminal se n é nó MAX min s sucessores(n) Valor-minimax(s) se n é nó MIN

8 Minimax: 2 jogadores Formato dos nós em função do tipo de nó (MIN/MAX) Valores dos estados terminais correspondem à função de utilidade para MAX Valores para os restantes estados obtidos a partir dos valores para os nós terminais Resultado do algoritmo: próxima jogada!

9 Algoritmo Minimax Função Minimax (estado) devolve acção v ValorMax(estado) devolve acção em sucessores(estado) com valor v Função ValorMax(estado) devolve valor de utilidade se TesteTerminal(estado) então devolve Utilidade(estado) v - para a,s em sucessores(estado) v MAX(v,ValorMin(s)) devolve v Função ValorMin(estado) devolve valor de utilidade se TesteTerminal(estado) então devolve Utilidade(estado) v + para a,s em sucessores(estado) v MIN(v,ValorMax(s)) devolve v

10 Minimax: mais de 2 jogadores Função de utilidade devolve vector de valores com utilidade do estado do ponto de vista de cada jogador Cada jogador procura maximizar a sua utilidade

11 Propriedades do algoritmo minimax Completo? Sim (se a árvore de procura é finita) Óptimo? Sim (contra um adversário óptimo) Tempo? O(r m ) Espaço? O(rm) (procura em profundidade primeiro) (m: máxima profundidade do espaço de estados) Para xadrez, r 35, m 100 para um jogo padrão impossível determinar a solução exacta

12 Cortes α-β Minimax: número de estados examinados é exponencial em função do número de jogadas Não é possível eliminar o factor exponencial, mas podemos reduzir o número de estados analisados para metade! É possível calcular a decisão resultante do algoritmo minimax sem ter de analisar todos os estados

13 Cortes α-β: exemplo

14 Cortes α-β: exemplo

15 Cortes α-β: exemplo

16 Cortes α-β: exemplo

17 Cortes α-β: exemplo Os nós sucessores do primeiro nó a ser expandido em cada nível de profundidade nunca podem ser cortados

18 Propriedades de α-β Cortes não afectam resultado final Eficiência dos cortes depende da ordenação dos sucessores Com uma ordenação perfeita" a complexidade temporal fica reduzida a O(r m/2 ) duplica profundidade da procura

19 Porquê o nome α-β? α é o valor da melhor escolha (i.e., valor mais elevado) encontrada até ao momento em qualquer ponto de procura ao longo do caminho para max Se v é pior do que α, max irá evitar escolher v ramo com v é cortado Definir β para min de forma análoga

20 Algoritmo α-β Função AlfaBeta (estado) devolve acção v ValorMax(estado, -, + ) devolve acção em sucessores(estado) com valor v Função ValorMax(estado,, ) devolve valor de utilidade se TesteTerminal(estado) então devolve Utilidade(estado) v - para a,s em sucessores(estado) v MAX(v,ValorMin(s,, )) se v então devolve v MAX(,v) devolve v

21 Algoritmo α-β Função ValorMin(estado,, ) devolve valor de utilidade se TesteTerminal(estado) então devolve Utilidade(estado) v + para a,s em sucessores(estado) v MIN(v,ValorMax(s,, )) se v então devolve v MIN(,v) devolve v

22 Exercício Qual a melhor ordenação de modo a optimizar os cortes α-β? Nós MIN: ordem decrescente Nós MAX: ordem crescente

23 Exercício (exemplo) Ordenação original Ordenação óptima

24 Decisões imperfeitas em tempo real Decisões têm que ser tomadas em tempo real não é possível analisar toda a árvore de procura Função de avaliação (Eval) devolve uma estimativa da utilidade do estado Idealmente a ordenação resultante da função de avaliação é igual à da função de utilidade Teste terminal é substituído por um teste de limite

25 Funções de Avaliação Tipicamente soma linear de características do jogo, associadas a diferentes pesos Eval(s) = w 1 f 1 (s) + w 2 f 2 (s) + + w n f n (s) e.g., xadrez w 1 = 9 com f 1 (s) = (número de rainhas brancas) (número de rainhas pretas), etc.

26 Teste Limite MinimaxLimite é idêntico ao MinimaxValue excepto Terminal? é substituído por Limite? Utilidade é substituído por Eval Limite? Recebe estado e profundidade e devolve verdadeiro caso o limite actual exceda o limite fixado Devolve também verdadeiro para estados terminais

27 Teste Limite Problema da aquiescência Função de avaliação deve aplicar-se apenas a estados cujo valor não possa ser radicalmente alterado num futuro próximo Estados nestas condições devem ser expandidos até que sejam gerados estados sem este problema Problema do efeito de horizonte Procura com limite coloca eventuais problemas futuros para além do horizonte

28 Elemento Sorte Árvore com nós sorte MIN e MAX para além dos nós A cada ramo da árvore está associada uma probabilidade Se for possível estabelecer limites para a função de avaliação então podem aplicar-se cortes Expectiminimax(n) = Função-utilidade(n) se n é terminal max s sucessores(n) Expectiminimax(s) se n é nó MAX min s sucessores(n) s sucessores(n) Expectiminimax(s) se n é nó MIN P(s) Expectiminimax(s) se n é nó SORTE

29 Elemento Sorte: exemplo Alteração de valores das folhas mantendo a mesma ordem relativa resulta em decisões diferentes

30 Estado da Arte Damas: Chinook derrotou o campeão do mundo (durante 40 anos) Marion Tinsley in Uso de uma base de dados pré-processada que define uma jogada perfeita para todas as posições envolvendo no máximo 8 peças, num total de 444 biliões de posições. Xadrez: Deep Blue derrotou campeão do mundo Garry Kasparov em O Deep Blue procura 200 milhões de nós por segundo, usa uma função de avaliação muito sofisticada. Othello: campeões humanos recusam-se a competir com computadores, que são muito bons. Go: campeões humanos recusam-se a competir com computadores, que são muito fracos. Neste jogo, r > 300. Logo, a maioria dos programas existentes usa padrões de conhecimento para sugerir jogadas hipotéticas.