Inteligência Artificial. 3º Quadrimestre de 2018

Transcrição

1 Inteligência Artificial Prof. Fabrício Olivetti de França Prof. Denis Fantinato 3º Quadrimestre de

2 Busca Competitiva 2

3 Busca Competitiva Quando falamos sobre agentes mencionamos alguns cenários em que o ambiente era competitivo, ou seja, múltiplos agentes competindo pela melhor solução. Esse tipo de ambiente é denominado jogo, e uma solução para tal cenário é a busca competitiva. 3

4 Jogos A teoria dos jogos (um ramo da economia) estuda ambientes multiagentes como um jogo sempre que a ação de um agente afeta outro agente significativamente. Tais cenários podem ser tanto cooperativos como competitivos. 4

5 Soma Zero Na área de Inteligência Artificial, os tipos de jogos mais estudados são determinísticos, de jogadas alternadas, com dois jogadores e de soma zero ou informação perfeita. 5

6 Soma Zero Um jogo de soma zero é aquele que o valor utilidade ao final do jogo para os dois jogadores é igual e de sinal oposto. Valor utilidade é a pontuação final do agente. 6

7 Soma Zero No jogo pedra-papel-tesoura com dois agentes temos os possíveis resultados finais: Jogador 1 Jogador

8 Jogos em IA O estudo de jogos em IA despertou interesse dos pesquisadores pois: São facilmente modelados como um problema de busca Apresentam um conjunto de estados intratável para busca exata Busca-se por um tempo de resposta rápido Devemos tomar decisões até mesmo quando não temos uma decisão ótima a ser feita 8

9 Jogos em IA Damas: em 1950 temos o primeiro computador jogando damas, somente em 1994 o computador foi campeão mundial. Em 2007 já temos o agente perfeito. 9

10 Jogos em IA Xadrez: em 1997 o Deep Blue derrotou Kasparov analisando 200 milhões de posições por segundo. 10

11 Jogos em IA Go: em 2017 o AlphaGo venceu o atual campeão mundial utilizando Árvore de Busca de Monte Carlo e Deep Learning (redes neurais artificiais). 11

12 Formalização de Jogos 12

13 Jogos Podemos formalizar um jogo como: S 0 : o estado inicial do jogo (arranjo do tabuleiro de xadrez). Jogador(s): indica qual jogador é o próximo a jogar no estado s. Acoes(s): retorna as ações disponíveis no estado s para o Jogador(s). Result(s, a): a transição de estados ao aplicar a ação a no estado s. T erminal(s): retorna se o jogo atingiu um estado terminal. Utilidade(s, p): retorna o valor de utilidade para o jogador p no estado final s. 13

14 Exercício Formalize o jogo Pedra-Papel-Tesoura na sua linguagem de programação favorita. 14

15 Exercício Formalize o jogo da velha na sua linguagem de programação favorita. 15

16 Agente inteligente em Jogos Um agente inteligente em jogos é aquele que define uma política π(s) que dado um estado s retorna a melhor ação a. Você consegue imaginar uma função π(s) para os jogos dos exercícios anteriores? 16

17 Árvore de Jogos 17

18 Árvore de Jogos Uma vez formalizado, podemos encontrar a solução de um jogo utilizando árvores de busca. 18

19 Árvore de Jogos Em um jogo com um único agente, temos a árvore de busca tradicional: A A A B C B C B C D E F G H I J K L M N O D E F G H I J K L M N O D E F G H I J K L M N O A A A B C B C C D E F G H I J K L M N O D E F G I J K L M N O E F G J K L M N O A A C B C C E F G E F G F G J K L M N O K L M N O L M N O A A A C C C F G F G F G L M N O L M N O M N O Os nós terminais são complementados pela utilidade do estado. 19

20 Árvore de Jogos Em jogos competitivos temos a árvore Minimax, em que cada ramo da árvore é intercalado entre um ramo MAX e um ramo MIN. 20

21 Árvore de Jogos O ramo MAX representa o Jogador 1, ele tem o objetivo de executar as ações que maximizam sua utilidade. 21

22 Árvore de Jogos O ramo MIN representa o Jogador 2, ele tem o objetivo de executar as ações que minimizam a utilidade do jogador 1. 22

23 Árvore de Jogos A ideia geral é que em um jogo competitivo, dada uma ação ótima do Jogador 1, o Jogador 2 irá executar uma ação que minimize a utilidade dele, pois sendo um jogo de soma zero, maximizará sua própria utilidade. 23

24 Árvore de Jogos MAX (X) MIN (O) X X X X X X X X X MAX (X) X O X O X O... MIN (O) X O X X O X X O X TERMINAL Utility X O X O X O X O X O O X X X O X O X X X O O

25 Busca Minimax 25

26 Busca Minimax Assume um jogo determinístico! O Jogador 1 maximiza a utilidade enquanto o jogador 2 minimiza a utilidade. 26

27 Busca Minimax Ideia: construir a árvore Minimax e a política π(s) será seguir pelo caminho de s que leva a maior utilidade assumindo que seu adversário também é ótimo. E se o adversário não for ótimo? 27

28 Valor Minimax O valor Minimax de um nó é a maior (menor) utilidade que pode ser obtida partindo do estado s se você for o jogador MAX (MIN). 28

29 Valor Minimax def MiniMaxUtil(s, p): if Terminal(s): return Utilidade(s, p) if p == MAX: return maxval(s) if p == MIN: return minval(s) 29

30 Valor Minimax def maxval(s): v = -Inf for a in Acoes(s): v = max(v, MiniMaxUtil(Result(s,a), MIN)) return v 30

31 Valor Minimax def minval(s): v = Inf for a in Acoes(s): v = min(v, MiniMaxUtil(Result(s,a), MAX)) return v 31

32 Algoritmo Minimax Com isso, o algoritmo Minimax é definido para o Jogador 1 como: def Minimax(s): return argmax([(a, MiniMaxUtil(Result(s,a), MIN)) for a in Acoes(s)]) Note que s deve ser um estado em que Jogador(s) = MAX. 32

33 Eficiência do Minimax A complexidade de tempo e espaço da Busca Minimax é proporcional ao fator de ramificação b e a profundidade da árvore de busca m: Tempo: O(b m ) Espaço: O(bm) 33

34 Eficiência do Minimax O xadrez possui b 35, m 100. Então o custo de tempo é

35 Eficiência do Minimax Solução: limitar a profundidade da busca ao invés de chegar até o nó folha. Porém, precisamos de uma heurística para estimar o valor utilidade de um nó intermediário. 35

36 Exercício Imagine a seguinte função de avaliação para um nó intermediário do jogo da velha: f(n) = quantidade de possíveis jogadas vencedoras. Aplique o algoritmo Minimax expandindo apenas os 2 nós com maior avaliação por essa heurística. 36

37 Poda Alfa-Beta 37

38 Poda Alfa-Beta Uma outra alternativa é utilizar a informação obtida em uma busca em profundidade para deixar de explorar caminhos que sabemos que não serão utilizados. 38

39 Poda Alfa-Beta Considere a seguinte árvore de Jogo: (a) [, + ] A (b) [, + ] A [, 3] B [, 3] B (c) [3, + ] A (d) [3, + ] A [3, 3] B [3, 3] B [, 2] C (e) [3, 14] A (f) [3, 3] A [3, 3] [, 2] [, 14] B C D [3, 3] [, 2] [2, 2] B C D

40 Poda Alfa-Beta Note que após expandir o primeiro ramo, o jogador 1 sabe que consegue pelo menos 3 pontos seguindo por ele. Durante a expansão do segundo ramo, é encontrado uma solução de 2 pontos, que o jogador 2 irá preferir, logo esse segundo ramo deixa de ser interessante. 40

41 Poda Alfa-Beta O algoritmo agora fica: def MinimaxUtil(s, p, Alfa, beta): if Terminal(s): return Utilidade(s, p) if p == MAX: return maxval(s, Alfa, beta) if p == MIN: return minval(s, Alfa, beta) 41

42 Poda Alfa-Beta def maxval(s, Alfa, beta): v = -Inf for a in Acoes(s): v = max(v, MiniMaxUtil(Result(s,a), MIN, Alfa, beta)) if v >= beta: return v Alfa = max(alfa, v) return v 42

43 Poda Alfa-Beta def minval(s, Alfa, beta): v = Inf for a in Acoes(s): v = min(v, MiniMaxUtil(Result(s,a), MAX, Alfa, beta)) if v <= Alfa: return v beta = min(beta, v) return v 43

44 Poda Alfa-Beta A poda não modifica o valor de Minimax do nó raiz! Ordenando os nós de tal forma a reduzir a necessidade de exploração aumenta o desempenho. Mas ainda é complexo demais para ser a solução de jogos como o xadrez 44

45 Exercício Construa a árvore Minimax com poda Alfa-Beta para o jogo da velha partindo da solução: X X O O X Sendo a próxima jogada do O. 45