Tópicos Especiais I - Jogos IA para Jogos

Transcrição

1 Tópicos Especiais I - Jogos IA para Jogos Game AI 03 Fernando Osório 14/10/2003 IA para Jogos Aula 03 Tópicos abordados... de máquinas em Jogos Machine Learning for Games Raciocínio baseado em Casos (RBC / CBR) Redes Neurais Artificiais (RNA / ANN) Redes Neurais: Reativo ao Híbrido (RNA-FSA) Modelos Neurais: Cinemática, Dinâmica Árvores de Decisão (AD / IDT) Perfil de Usuários por Reforço (RL) Bibliografia Machine Learning. Tom Mitchell, em M.L. Sistemas Inteligentes. Solange Rezende, Redes Neurais. Simon Haykin, C4.5: Programs for machine learning. Ross Quinlan, 1993 Raciocínio Baseado em Casos. Von Wangenheim,

2 Machine Learning / de Máquinas... Conceitos básicos = Adaptação do Comportamento Melhorar a Performance Evitar de Repetir os Erros Interação com o Meio, Experimentação, Descoberta Uso da Experiência, Memória do Passado Generalização Criar Regras Gerais SBIA/SBRN 2003 Machine Learning / de Máquinas... Conceitos básicos = Adaptação do Comportamento Melhorar a Performance Evitar de Repetir os Erros Interação com o Meio, Experimentação, Descoberta Uso da Experiência, Memória do Passado Generalização Criar Regras Gerais Jogos: SBIA/SBRN de Comportamentos - Estratégias - Ação Agentes - Reação Inteligentes - Inteligência! 2

3 Machine Learning / de Máquinas... Conceitos básicos = Adaptação do Comportamento Melhorar a Performance Evitar de Repetir os Erros Interação com o Meio, Experimentação, Descoberta Uso da Experiência, Memória do Passado Generalização Criar Regras Gerais Conceitos: - Experiência & Memória (casos passados) - Otimização & Adaptação (medida de performance) - Interação (passivo, ativo) - Geração de Conhecimentos Novos (regras, generalização) Machine Learning / de Máquinas... Conceitos básicos : - Adaptação do Comportamento - Melhorar a Performance - Evitar de Repetir os Erros - Interação com o Meio, Experimentação, Descoberta - Uso da Experiência, Memória do Passado - Generalização Criar Regras Gerais Conceitos: - Experiência & Memória (casos passados) - Otimização & Adaptação (medida de performance) - Interação (passivo, ativo) - Geração de Conhecimentos Novos (regras, generalização) Modos de Indutivo Supervisionado Não Supervisionado Classificação Regressão (Aproximação de funções) 3

4 Machine Learning / de Máquinas... Modos de Indutivo Professor (Supervisão) Supervisionado Não Supervisionado Similaridade (Agrupamento) Classificação Classes, Categorias Regressão (Aproximação de funções) Valores estimados Machine Learning / de Máquinas... Modos de Indutivo Professor (Supervisão) Classificação Supervisionado Regressão (Aproximação de funções) Não Supervisionado Similaridade (Agrupamento) CBR Case Based Reasoning (Raciocínio Baseado em Casos) K-NN K-Means Lazy Learning Classes, Categorias Redes Neurais Artificiais (Conexionista) Exemplo: MLP BackPropagation Indução de Árvores de Decisão Exemplo: C4.5 (Simbólico) Valores estimados Redes Neurais Artificiais (Conexionista) Exemplo: MLP BackPropagation Regressão Linear Semi-Supervisionado Reinforcement Learning (RL) Exemplo: Q-Learning 4

5 Machine Learning / de Máquinas... Modos de Indutivo Outras Técnicas de ML: Algoritmos Genéticos ILP (Inductive Logic Programming) Bayesian Learning... Professor (Supervisão) Classificação Supervisionado Regressão (Aproximação de funções) Não Supervisionado Similaridade (Agrupamento) CBR Case Based Reasoning (Raciocínio Baseado em Casos) K-NN K-Means Lazy Learning Classes, Categorias Redes Neurais Artificiais (Conexionista) Exemplo: MLP BackPropagation Indução de Árvores de Decisão Exemplo: C4.5 (Simbólico) Valores estimados Redes Neurais Artificiais (Conexionista) Exemplo: MLP BackPropagation Regressão Linear Semi-Supervisionado Reinforcement Learning (RL) Exemplo: Q-Learning Machine Learning... Por onde começar?!? Outras Técnicas de ML: Algoritmos Genéticos ILP (Inductive Logic Programming) Bayesian Learning... Redes Neurais Classificação Classes, Categorias Professor (Supervisão) Professor (Supervisão) Supervisionado Supervisionado Redes Neurais Artificiais (Conexionista) Exemplo: MLP BackPropagation Indução de Árvores de Decisão Exemplo: C4.5 (Simbólico) Indutivo Regressão (Aproximação de funções) Valores estimados Similaridade (Agrupamento) Redes Neurais Artificiais (Conexionista) Exemplo: MLP BackPropagation Regressão Linear Outras Técnicas de ML: Algoritmos Genéticos ILP (Inductive Logic Programming) Bayesian Learning... Similaridade (Agrupamento) CBR Case Based Reasoning Não Supervisionado (Raciocínio Baseado em Casos) K-NN K-Means CBR Case Based Reasoning (Raciocínio Baseado em Casos) K-NN K-Means Semi-Supervisionado Lazy Learning Reinforcement Learning (RL) Exemplo: Q-Learning 5

6 Machine Learning... Por onde começar? Indutivo Comece pelos!!! No aprendizado indutivo, seja ele não supervisionado ou supervisionado, voltado para classificação, regressão ou apenas agrupamento de dados, neste tipo de aprendizado é necessário um conjunto de exemplos que servirá para introduzir (induzir) o conhecimento a ser aprendido. Esquema simples de Indutivo... Registrar dados: Controle Humano (Log <= Usuário) Machine Learning: do Comportamento (Controle automatizado) Controle Inteligente Conhecimento Machine Learning... Por onde começar? Indutivo Comece pelos!!! No aprendizado indutivo, seja ele não supervisionado ou supervisionado, voltado para classificação, regressão ou apenas agrupamento de dados, neste tipo de aprendizado é necessário um conjunto de exemplos que servirá para introduzir (induzir) o conhecimento a ser aprendido. O exemplo mais básico de aprendizado indutivo é o presente nos Sistemas CBR (Case-Based Reasoning) > O que não implica que sua implementação não possa vir a ser complexa > e seus resultados interessantes 6

7 CBR Case Based Reasoning Usuário Caso Novo RETRIEVE Recuperar Caso Novo Casos Recuperados RETAIN Salvar na Memória Sistema de Indexação Knowledge Base Base de Casos REUSE Selecionar, Reutilizar Caso Testado e Revisado Sucesso REVISE Adaptar, Revisar Solução CICLO CBR Falha Usuário CBR Case Based Reasoning Usuário RETAIN Salvar na Memória Caso Novo Caso RETRIEVE Novo1. Retrieve: Recuperar os casos mais similares Casos Recuperar ao novo caso Recuperados 2. Reuse: Reutilizar um destes casos cuja informação e conhecimento resolva o problema Sistema 3. Revise/Adapt: de Revisar Indexação Base a solução proposta 4. Retain: Guardar as partes de desta experiência que podem Knowledge ser úteis para Casos a solução de novos problemasbase REUSE Selecionar, Reutilizar Caso Testado e Revisado Sucesso REVISE Adaptar, Revisar Solução CICLO CBR Falha Usuário 7

8 CBR Case Based Reasoning CBR em Jogos... do Xadrez ao Half Life! O computador Deep Blue possuia arquivadas partidas e jogadas importantes de jogos anteriores ( knowledge base of games played by grandmasters ); Existem citações sobre o uso de CBR em Jogos como... o Space Invaders: Case-Based Plan Recognition in Computer Games. Michael Fagan & Pádraig Cunningham. Lecture Notes in Computer Science (LNCS): Springer-Verlag. Vol / Jan o Half Life ( ) (?) o SimCity: Real-Time Case-Based Reasoning in a Complex World. Fasciano, Mark J.; TR CS Dept., Univ. of Chicago, Feb o BATTLE [Goo89], COACH[Col87] apud Wangenheim 2003 (RBC). inclusive sendo usado para acelerar simulações... o Using Case-Based Reasoning to Overcome High Computing Cost Interactive Simulations. Javier Vázquez-Salceda, Miquel Sànchez-Marrè, Ulises Cortés LNCS: Springer-Verlag Heidelberg. Vol / Jan CBR Case Based Reasoning CBR em Jogos... Exemplo (para discussão) Gravando um motorista... Estratégias: Memória de Casos... Possibilidades Uso das posições na pista... Adaptação de casos... 8

9 Supervisionado MLP Multi-Layer Perceptron / Algoritmo Back-Propagation X... 1 X 2 X N... W 1 W 2 W N N Net = Σ Wi.Xi + Biais i Ft (Net) Entradas (Dendritos) Pesos Sinápticos (Efeito de inibição ou de excitação sobre a ativação dos sinais de entrada) Ativação (Considera o conjunto total das entradas e dos seus pesos associados) Função de Transferência (Regulagem da saída da rede) Perceptron Saída (Axônio: Conexões com as Sinapses de outras unidades) Supervisionado MLP Multi-Layer Perceptron / Algoritmo Back-Propagation Saída / Output Pesos Unit j MLP Perceptron de Múltiplas Camadas Hidden Layer Wij Saída Camada Oculta Unit i Camada Oculta Entradas / Input A B A B 9

10 Supervisionado MLP Multi-Layer Perceptron / Algoritmo Back-Propagation Saída Classificação / Regressão (não linear) Saída da Rede: Ai Saída dos : Di : Minimizar Erro Quadrático na saída de rede A B Y (0,1) 1 (1,1) 0 0 (0,0) 1 (1,0) Entrada X Erro quadrático: 1 E = 2 Saída = W 1. X + W 2. Y + C Se Saída > 0 então Classe 1 Se Saída <= 0 então Classe 0 i ( Di Ai) Determinar w1 e w2 que satisfaça as restrições... (várias retas, várias restrições/exemplos) 2 X,Y: Entradas Di (Xor) X Y XOR : Ajuste dos Pesos Processo Iterativo de Otimização Supervisionado MLP Multi-Layer Perceptron / Algoritmo Back-Propagation Saída de Rede Regressão: Aproximando a Função Seno... Entrada: X = Ângulo Saída: F(X) = Sin(X) Base de

11 Supervisionado Na prática... 1) Criar uma base de dados com exemplos de entradas e saídas 2) Especificar uma topologia de rede neural 3) Definir os parâmetros de aprendizado 4) Simular... Executar o aprendizado até minimizar o erro em um nível aceitável, ou, rever base de dados, topologia e parâmetros Simuladores a considerar... SNNS JNNS Ferramentas... (Linux) Java SNNS (Windows) Interface Gráfica (JNNS / Xgui) Linguagem de Script (batchman Linux / Windows-Dos) Gerador de Aplicações (snns2c Linux / Windows-Dos) ANN: SNNS 11

12 ANN em Jogos... Agentes reativos: Robo Khepera C0 C1 C2 C3 C4 C5 M1 M2 C7 C6 Controle Sensorial-Motor IF S1 < Limite and S2 < Limite and S3 > Limite and S4 > Limite THEN Action(Turn_Left) IF S2 > Limite and S3 > Limite and S2 > S3 and S1 > S4 THEN Action(Turn_Right) ANN em Jogos... Agentes reativos: Robo Khepera C1 C2 C3 C4 Sensores: 8 - C0 à C7 Comandos: 3 ações (L=Turn Left, F=Forward, R=Turn Right) C0 C5 M1 M2 C7 C6 Controle Sensorial-Motor S0 C0 S1 C1 S2 C2 C3 C4 C5 C6 C7 L F R S4 S5 S6 S7 L F R Situações de

13 ANN em Jogos... Agentes reativos: Resultado do Apredizado... Evitar paredes Seguir paredes Osório Doutorado INPG Grenoble, 1998 ANN em Jogos... Agentes reativos: Apredizado Neural... Snake + ANNeF Jogo Snake Neural : Controle Neural da Cobra Mundo Módulo Neural Visão Serpente Dx Dy Pos. Comida Pos. Serpente Comida Serpente João Bittecourt TC 2002 / Unisinos Snake: Celular Controle Humano 13

14 ANN em Jogos... Agentes reativos: Apredizado Neural... MAGES / ANNEF Artigo sobre o MAGES e ANNeF: WJOGOS Fortaleza Criação de Agentes Inteligentes aplicados aos Jogos Eletrônicos usando o Ambiente de Simulação João Ricardo Bittencourt e Fernando Osório ANN em Jogos... Problemas: Comportamento reativo puro SIM 2.0 C O N T R O L E Controle Básico K H E P E R A Ação Estado Estado Ação Controle Ação Híbrido Estado Comandos do Teclado (Tele-operação) Módulo de Simulação Neural NeuSim Khepera: Descrição dos Mundos Usuário Dados de Arquivo de Pesos Conhecimento Neural Tarefas: Evitar as paredes Seguir as paredes Problemas: * Tempo / Seqüência * Controle bem comportado 14

15 ANN em Jogos... Problemas: Comportamento reativo puro Seguir uma trajetória e, ao mesmo tempo, evitar os obstáculos Objetivo Pontos a serem considerados: * Visão local - Cego com a bengala (Global x Local) * Armadilhas - Solução Local (Mínimos locais) * Problema do posicionamento em um mapa global * Modularidade: evitar, seguir, passar,... * Conhecimentos de alto nível: estratégias ANN em Jogos... Problemas: Comportamento reativo puro Seguir uma trajetória e, ao mesmo tempo, evitar os obstáculos Objetivo Pontos a serem considerados: * Visão local - Cego com a bengala (Global x Local) * Armadilhas - Solução Local (Mínimos locais) * Problema do posicionamento em um mapa global * Modularidade: evitar, seguir, passar,... * Conhecimentos de alto nível: estratégias Solução: Sistema Híbrido! 15

16 ANN em Jogos... Mais exemplos Lembrado do SEVA-A? Pois ele foi re-implementado usando uma Rede Neural SEVA-N SEVA - Simulador de Estacionamento de Veículos Autônomos (F.( Heinen / PIPCA) Sistema Híbrido: Autômato Finito + Rede Neural Reativa ANN em Jogos... Mais exemplos SEVA - Simulador de Estacionamento de Veículos Autônomos (F.( Heinen / PIPCA) Sensores Estado Atual SEVA-N FSA Neural Artigo descrevendo o SEVA-N: Controle da Tarefa de Estacionamento de um Veículo Autônomo através do de um Autômato Finito usando uma Rede Neural J-CC F. Osório, F. Heinen, L. Fortes SBRN 2002 Porto de Galinhas Perspectivas: SEVA-3D RNA Cascade Correlation Turn Speed Próximo Estado 16

17 ANN em Jogos... Mais exemplos: Modelos Comportamentais Neurais Modelos Comportamentais e Modelos Físicos... Opção 1: Physics for Game Developers. David M. Bourg. O Reilly, Opção 2: Redes Neurais Artificiais usada para simplificar e acelerar a simulação de modelos complexos Behaviour Cloning Neural Physics Modeling Referência clássica: R. Grzeszczuk, D. Terzopoulos, and G. Hinton. "Neuroanimator: fast neural network emulation and control of physics-based models." In SIGGRAPH: Proceedings of the 25th annual conference on Computer graphics and interactive techniques, pp ACM Press, 1998 ANN em Jogos... Modelos Comportamentais Neurais Modelos da Dinâmica do Pêndulo Inverso Referência: Extração de um Autômato Finito a partir de Redes Neurais Recorrentes na Modelagem do Pêndulo Inverso. Denise R. P. Simon e Adelmo L. Cechin. IV ENIA Campinas Simon & Cechin 03 17

18 ANN em Jogos... Modelos Comportamentais Neurais Modelos Comportamentais... Em algumas situações não dispomos de um modelo matemático do comportamento do sistema dinâmico em questão. Nestes casos, podemos observar o sistema e a partir dos dados de observação treinar uma Rede Neural para aproximar o comportamento do sistema real. ANN em Jogos... Outras Aplicações Possíveis Reconhecimento de Padrões, Controle de Processos e Agentes e aplicações em jogos tradicionais (de tabuleiro). ANN em Jogos... Outras Aplicações Possíveis Reconhecimento de Padrões, Controle de Processos e Agentes e aplicações em jogos tradicionais (de tabuleiro). Processamento de Imagens: Augmented Reality Reconhecimento de Padrões: Interface com dispositivos especiais Data Glove Reconhecimento de Gestos 18

19 Machine Learning / de Máquinas... IDT (Indução de Árvores de Decisão) Levantamento do Perfil dos Usuários por Reforço (RL) Tendências... AI Tools AI SDKs Team AI PLN... Machine Learning / de Máquinas... IDT (Indução de Árvores de Decisão) Levantamento do Perfil dos Usuários por Reforço (RL) Tendências... AI Tools AI SDKs Team AI PLN... TO BE CONTINUED... :^) 19