IA: Sistemas Multiagente II - Agentes

Transcrição

1 IA: Sistemas Multiagente II - Agentes Professor Paulo Gurgel Pinheiro MC906A - Inteligência Articial Instituto de Computação Universidade Estadual de Campinas - UNICAMP 21 de Outubro de / 72

2 pinheiro/ [MC906] 2 / 72

3 Agente Mundo do aspirador de pó Agentes racionais O que vamos aprender hoje? 1 Agentes 2 Agentes racionais 3 4 Agente orientado a tabela Agente reativo simples Agente baseado em objetivo (cognitivo) Agente baseado em utilidade (otimizador) 5 Discussão 1-3 / 72

4 Agente Mundo do aspirador de pó Agentes racionais Agente Agente Em geral, um agente é tudo o que é capaz de perceber o ambiente onde se encontra através de sensores e atuar utilizando seus atuadores. Para nós, esse agente deve ser racional. Agente humano: Sensores: Olhos, pele, ouvidos... Atuadores: Mãos, pernas... Agente robótico: Sensores: câmera, ultrassom, laser, giroscópio... Atuadores: rodas, esteira, braços mecânicos... 4 / 72

5 Agente Mundo do aspirador de pó Agentes racionais Agente Agente A função agente mapeia uma sequência de percepções em ações: [f : P A] 5 / 72

6 Agente Mundo do aspirador de pó Agentes racionais Agente Agente O programa do agente implementa esta função. O programa é executado em uma arquitetura para produzir f agente = arquitetura + programa Arquitetura e programa devem ser compatíveis Se o programa dene ações de caminhar, é melhor que a 6 / 72

7 Agente Mundo do aspirador de pó Agentes racionais Agente Agente aspirador de pó Percepções [localização, conteúdo] Localização: A, B Conteúdo: Limpo, Sujo Ações: Esquerda, Direita, Aspirar 7 / 72

8 Agente Mundo do aspirador de pó Agentes racionais Agente Agente aspirador de pó 8 / 72

9 Agente Mundo do aspirador de pó Agentes racionais Agente Agente aspirador de pó Função AgenteAspirador ([posição, estado]) Se estado = Sujo então return Aspirar Senão se posição = A então return Direita Senão se posição = B então return Esquerda 9 / 72

10 Agente Mundo do aspirador de pó Agentes racionais Agente Medida de desempenho Não existe uma medida apropriada para todos os agentes e situações Geralmente imposta pelo projetista Outras vezes, aprendida (melhorada) pelo próprio agente Para o agente aspirador de pó: Quantidade de sujeira limpa em um único turno de 8 horas Problemático na vida real Recompensar o agente por cada quadrado limpo e penalizá-lo pela eletricidade consumida e pelo ruído gerado. Observar a limpeza média ao longo do tempo baseando-se pelo histórico. 10 / 72

11 Agente Mundo do aspirador de pó Agentes racionais Agentes racionais 11 / 72

12 Agente Mundo do aspirador de pó Agentes racionais Agente Agentes racionais Um agente racional deve procurar fazer o que é certo, baseado: Nas suas percepções Nas ações que pode tomar Agente racional: Para cada sequência de percepções, o agente deve selecionar aquela ação que supostamente maximiza a sua medida de desempenho esperada. Essa decisão pode ser tomada utilizando suas percepções + conhecimento adquirido + histórico de ações. 12 / 72

13 Agente Mundo do aspirador de pó Agentes racionais Agente Agentes racionais Agir com racionalidade depende: do que somos (do que sei e do que posso fazer) de como pensamos dos nossos valores O ambiente pode limitar suas ações racionais Você pode se limitar As regras (do domínio) podem limitar suas ações racionais O contrário também vale: Você pode tomar atitudes racionais do seu ponto de vista, mas não do ponto de vista de terceiros. 13 / 72

14 Agente Mundo do aspirador de pó Agentes racionais Agente Agentes racionais Desde que você escolha a ação que maximize a medida de desempenho esperada, estará agindo de forma racional. Quanto mais complexo o ambiente e o agente, mais complexo seu comportamento racional. Não trataremos de "desvios"(intuição, desejo, desvio de conduta...) 14 / 72

15 Agente Mundo do aspirador de pó Agentes racionais Agentes racionais Aspirador de pó é um agente racional? Conhecimento do ambiente: o ambiente é conhecido a priori, mas a distribuição da sujeira e sua posição inicial não. Ações: esquerda, direita, aspirar Percepções: percebe sua posição e se contém sujeira. Medida de desempenho: 1 ponto para cada quadrado limpo em cada período de tempo até 1000 'tempos'. Obs: De acordo com esses dados e a tabela anterior, após a limpeza, o agente oscila de um lado para o outro. Agente é racional! (seleciona uma sequência de ações que (se espera) maximize sua medida de desempenho. 15 / 72

16 Agente Mundo do aspirador de pó Agentes racionais Agentes racionais Racionalidade x Onisciência Racionalidade não é o mesmo que perfeição Racionalidade: maximiza o desempenho esperado Perfeição: maximiza o desempenho real. 16 / 72

17 Agente Mundo do aspirador de pó Agentes racionais Agentes racionais Racionalidade x Onisciência Difícil (pra não dizer impossível) projetar um agente que deve escolher a melhor ação após a ocorrência do fato desconhecido (que ele não pode notar). Não podemos considerar um agente como irracional pelo fato de ele não levar em conta algo que ele não pode perceber ou por uma ação que ele não é capaz de tomar. O que é preciso fazer? Coletar informações Aprender Autonomia 17 / 72

18 Agente Mundo do aspirador de pó Agentes racionais Agentes racionais Como são os agentes bem-sucedidos? Quando o agente está sendo projetado, uma parte do cálculo da função é feita pelos projetistas. Quando o agente está escolhendo sua próxima ação, ele realiza mais cálculos. À medida que aprende a partir de suas experiências, ele efetua mais cálculos para decidir suas próximas ações. 18 / 72

19 Agente Mundo do aspirador de pó Agentes racionais Agentes racionais Aprendizado Agente racional pode não apenas coletar informações sobre o seu universo, mas pode também aprender com essas informações visando modicar seu comportamento futuro. 19 / 72

20 Agente Mundo do aspirador de pó Agentes racionais Agentes racionais Autonomia Agente autônomo: Baseia-se em suas próprias percepções e não no conhecimento anterior de seu projetista. Aprende o que puder para compensar um conhecimento prévio parcial ou incorreto. Agente racional: deve ser autônomo! 20 / 72

21 Agente Mundo do aspirador de pó Agentes racionais Agentes racionais Tudo se resume a (McCarthy e Hayes 69, Newell 81) Agente Racional: fazer a melhor coisa possível Segue-se um princípio de racionalidade: Dada uma sequência perceptiva, o agente escolhe, segundo os seus conhecimentos, as ações que satisfazem melhor seu desempenho. 21 / 72

22 22 / 72

23 Problema: Motorista de Taxi automatizado 23 / 72

24 Ambientes Classes de ambientes Físico: robôs Software: softbots Realidade virtual (simulação do ambiente físico): softbots e avatares Propriedades de um ambiente acessível x inacessível estático x dinâmico determinístico x não-determinístisco discreto x contínuo episódico x não-episódico tamanho (número de percepções, ações, objetivos,...) 24 / 72

25 Observável x Parcialmente observável Observável: quando os sensores do agente conseguem perceber o estado completo do ambiente. Parcialmente: Aspirador de pó com apenas um sensor não pode saber se tem sujeira dos dois lados Parcialmente: Agente do jogo ao nascer. Completamente: Futebol de robôs com visão global. Na robótica, elementos que também tornam o ambiente parcialmente observável: ruídos na leitura dos sensores; imprecisão dos sensores; limitação dos sensores. 25 / 72

26 Determinístico x Estocástico Determinístico: O próximo estado do ambiente pode ser complemente determinado pelo estado atual e as ações selecionadas pelo agente. Ex determinístico: aspirador de pó (se esta sujo e agente limpa, vai car limpo senão tiver outros agentes) ex. estocástico: ambiente do motorista de taxi (nunca sabemos quando um pneu vai furar). Em um ambiente completamente observável e determinístico o agente não precisa se preocupar com a incerteza deste ambiente. Um ambiente parcialmente observável pode parecer estocástico. 26 / 72

27 Estático x Dinâmico O ambiente muda não muda enquanto o agente está escolhendo a ação a realizar? Dinâmico: ambiente do motorista de táxi (outros táxis se movimentam enquanto um táxi ca decidindo como movimentar) Dinâmico: Estático: jogo de palavras cruzadas 27 / 72

28 Episódico x Sequencial Episódico: a experiência do agente é dividida em episódios. Episódio = percepção + ação do agente Cada episódio não depende das ações que ocorreram em episódios prévios Exemplo episódico: agente que verica peças em uma linha de montagem (se uma peça é defeituosa não depende das outras) Sequencial: decisão atual pode afetar todas as futuras ou ter sido afetada por anteriores Exemplo: Jogo de xadrez 28 / 72

29 Discreto x Contínuo Discreto Quando existe um número distinto e claramente denido de percepções e ações em cada turno. Exemplo discreto: jogo de xadrez: tem um número nito de estados distintos e ações. Contínuo Percepções e ações mudam em um espectro contínuo de valores. Exemplo contínuo: motorista de taxi: velocidade, ângulo da direção, etc, mudam de forma contínua. 29 / 72

30 Exemplos 30 / 72

31 Agente de Tabela Agente baseado em objetivos (cognitivo) 31 / 72

32 Agente de Tabela Agente baseado em objetivos (cognitivo) Classicação 32 / 72

33 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquiteturas Agente tabela Agente reativo simples Agente reativo baseado em modelo (com estado interno ) Agente baseado em objetivos (cognitivo) Obs: O que for visto em agentes mais simples poderá ser utilizado em agentes mais complexos. 33 / 72

34 Agente de Tabela Agente baseado em objetivos (cognitivo) Agente Tabela Arquitetura de agente 34 / 72

35 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agentes Agente de Tabela O programa AGENTE-DIRIGIDO-POR-TABELA é invocado a cada nova percepção e retorna uma ação de cada vez. ação ACESSAR(percepções, tabela) 35 / 72

36 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agentes Agente de Tabela Limitações Mesmo para problemas simples as tabelas podem ser muito grandes. Nem sempre é possível, por ignorância ou questão de tempo, construir a tabela Não há autonomia nem exibilidade Ambientes observável, determinístico, episódico, estático, discreto e minúsculo! 36 / 72

37 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agentes Agente de Tabela Relembrando um dos desaos da IA: Descobrir como escrever programas que na medida do possível, produzam um comportamento racional a partir de uma pequena quantidade de código, e não a partir de um grande número de entradas de tabelas. 37 / 72

38 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente 38 / 72

39 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agentes Selecionam ações com base na percepção atual, ignorando o restante do histórico das percepções Exemplo: aspirador de pó reativo função AGENTE-ASPIRADOR-DE-PÓ-REATIVO([posição, estado]) retorna uma ação se estado = sujo então retorna Aspirar senão se posição = A então retorna Direita senão se posição = B então retorna Esquerda 39 / 72

40 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agentes Introduzida por Brooks (1986) no domínio da Robótica. Não há representação explícita do conhecimento Não possuem representação interna simbólica do ambiente 40 / 72

41 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agentes Vantagens e desvantagens Regras condição-ação: representação inteligível, modular e eciente ex. luzvermelha(carrodafrente,acesa) frear Não pode armazenar uma sequência perceptiva, nem valores de utilidade. Não há memória de ações Pouca autonomia Ambientes: Observável, episódico, pequeno 41 / 72

42 Agente de Tabela Agente baseado em objetivos (cognitivo) Exemplo 42 / 72

43 Agente de Tabela Agente baseado em objetivos (cognitivo) Exemplo - Robôs exploradores Simulação da exploração de um planeta distante com o objetivo de coletar amostras de pedras de um determinado tipo. A localização das amostras não é conhecida. Existe inúmeras versões desse problema O versão apresentada aqui é a mais simples Não cooperativa Contato com a base através de sinal de propagação 43 / 72

44 Agente de Tabela Agente baseado em objetivos (cognitivo) Exemplo - Robôs exploradores Comportamentos Procurar por amostras Agentes procuram por amostras aleatoriamente Move aleatoriamente no terreno Coletar amostra Agentes coletam as amostras que encontrarem Se (detecta uma amostra), então (a colhe) Retornar a base Agentes carregando amostras devem retornar a nave-mãe Se (carrega uma amostra), então (move em direção a base) 44 / 72

45 Agente de Tabela Agente baseado em objetivos (cognitivo) Exemplo - Robôs exploradores Comportamentos (Cont.) Depositar amostra Agentes depositam as amostras na nave-mãe Se (carrega uma amostra e está na base), então (deposita amostra) Desviar de obstáculo Agentes se desviam de obstáculos no seu caminho Se (detecta um obstáculo no caminho), então (contorna-o) 45 / 72

46 Agente de Tabela Agente baseado em objetivos (cognitivo) Exemplo - Robôs exploradores Comportamentos (Cont.) 46 / 72

47 Agente de Tabela Agente baseado em objetivos (cognitivo) Exemplo - Robôs exploradores Comportamentos (Cont.) Sem objetivos Sem medida de utilidade Sem representação do mundo 47 / 72

48 Agente de Tabela Agente baseado em objetivos (cognitivo) Agente reativo baseado em modelo (com estado interno) Arquitetura de agente 48 / 72

49 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente Possui o conhecimento de como o mundo funciona Mantém um estado interno de controle 49 / 72

50 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente Mantém um estado interno de controle Utiliza informações a respeito da evolução do mundo para controlar as partes não-vistas; Controla o estado atual do mundo usando um modelo interno. Em seguida, escolhe uma ação da mesma maneira que o agente reativo simples. O agente deve controlar as partes do mundo que ele não pode ver agora. Ex.: a presa ao dar as costas para o predador, deve continuar fugindo / 72

51 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente Dois tipos de conhecimento são necessários para atualizar o estado interno do agente (modelo do mundo): 1 Como o ambiente evoluí independente do agente O fato do Ladrão não estar no campo de visão do poupador durante a fuga não garante a ausência de perigo. 2 Como as ações do próprio agente afetam o mundo Se o agente poupador continuar o processo de fuga durante um certo tempo ele poderá estimar quando o ladrão realmente cou para trás e não mais representa um perigo iminente. Modelo do mundo: O conhecimento de "como o mundo funciona" 51 / 72

52 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente Desvantagem: pouca autonomia não tem objetivo Conhecer os estados do ambiente não é suciente para tomar uma boa decisão Exemplo o agente Motorista de Táxi chega a um cruzamento com três caminhos, qual direção tomar? Simplesmente reagir: mas existem três reações possíveis Examinar o modelo de mundo: não ajuda a decidir qual o caminho A decisão depende de onde o táxi está tentando chegar (objetivo) 52 / 72

53 Agente de Tabela Agente baseado em objetivos (cognitivo) Agente baseado em objetivos (cognitivo) Arquitetura de agente 53 / 72

54 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente Agente baseado em objetivos (cognitivo) Vantagens e desvantagens: Agente combina seus objetivos com os resultados das ações. 54 / 72

55 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente Agente baseado em objetivos (cognitivo) Necessidade de busca e planejamento No agente reativo regras são pré-compiladas. No agente baseado em objetivos pode alterar somente o objetivo sem necessidade de reescrever as regras. Vantagens e desvantagens: Mais exível, autônomo Não trata objetivos conitantes 55 / 72

56 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente 56 / 72

57 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente Utilizam uma medida de desempenho Permite a comparação entre diferentes estados do mundo Depositar moedas ou fugir do ladrão? 57 / 72

58 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente Existem muitas sequências de ações que levam o agente ao seu objetivo. Algumas mais rápidas, mais seguras, mais econômicas, etc. Cada Estado do Mundo do sistema possui uma função de utilidade Se um estado do mundo é mais desejável que outro, então ele terá maior utilidade para o agente. Ambiente: Sem restrição. 58 / 72

59 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente Utilidade é uma função que mapeia um estado para um número real que representa o grau de satisfação com este estado. A função de utilidade mede suas preferências entre estados do mundo Casos a se utilizar: Quando existem objetivos conitantes (velocidade x segurança) a função de utilidade especica o compromisso apropriado Quando existem vários objetivos que se deseja alcançar e nenhum deles pode ser atingido com certeza ponderar a importância dos objetivos Quando existe um único objetivo e quer a melhor sequência de ações (planejamento). 59 / 72

60 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente 60 / 72

61 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente Ambiente: sem restrição Vantagem: tem adaptabilidade (aprende) Ex. motorista do taxi sem o mapa da cidade 61 / 72

62 Agente de Tabela Agente baseado em objetivos (cognitivo) Arquitetura de agente Em agentes sem aprendizagem tudo o que o agente sabe foi colocado nele pelo projetista Aprende a mudar a função de desempenho Elemento de aprendizado utiliza realimentação Usa informações sobre como um agente está funcionando e Determina de que maneira o elemento de desempenho deve ser modicado para funcionar melhor no futuro Aprende a escolher a melhor ação Mapeiam um estado (ou uma sequência de estados) em um número real, que descreve o grau de felicidade associado; Especica um meio pelo qual a probabilidade de sucesso pode ser ponderada em relação a importância dos objetivos, quando estes não puderem ser alcançados; Tenta maximizar o valor de sua função de utilidade. 62 / 72

63 sobre arquitetura de agentes Arquitetura de agente 63 / 72

64 Arquitetura de agente Agente por Tabela Problemas!! Limitações em representar as regras Percepções Ações Ambientes: Observável, determinístico, episódico, estático, discreto e minúsculo! Melhorou: A representação. Utilizou regras de condição-ação Problemas!! Ignorar histórico de percepções passadas, torna-o mais simples (motivação para implementar este agente), mas possui pouquíssima autonomia. Só funciona corretamente se o ambiente for completamente observável Agente aspirador entraria em ciclo 64 / 72

65 Arquitetura de agente Agente Reativo baseado em modelo interno Motivação: necessidade de lidar com ambientes parcialmente observáveis Solução: manter um estado interno que dependa do histórico de percepções Guardo como o mundo é dado as ações realizadas pelo agente e pelas mudanças do próprio mundo. Melhorou Ambientes parcialmente observáveis Problemas: Não há um objetivo ou funções de utilidade Pouco autônomo 65 / 72

66 Arquitetura de agente Agente Baseado em Objetivos Além de ter um conjunto de regras condição-ação, ter também um (ou mais) objetivos. Solução: acrescenta a um agente reativo simples ou baseado em modelo interno, objetivos a serem alcançados. Melhorou: Mais exível Mais autônomo Problemas!!! Havendo um objetivo, que sequência de passos é melhor seguir? Havendo mais de um objetivos, qual escolher? Não tem como decidir. 66 / 72

67 Arquitetura de agente Agente Baseado em Utilidade Além de ter um conjunto de regras condição-ação, ter também funções de utilidade Quão feliz eu vou car naquele estado. A função de utilidade permite: estabelecer preferências entre sequências de estados que permitem atingir os mesmos objetivos escolher o melhor objetivo a ser atingido naquele momento. Exemplo: Objetivo 1 do poupador: Depositar no banco. Objetivo 2: fugir Melhorou: Questão da escolha dos objetivos conitantes e melhor sequência para um objetivo. Problemas!!! Não aprendi com as experiências. 67 / 72

68 Arquitetura de agente Agentes com aprendizagem Motivação: o agente começa por atuar num ambiente desconhecido e vai cando mais eciente em relação a sua atuação anterior. 68 / 72

69 Reexões sobre a arquitetura de agente 69 / 72

70 Arquitetura de agente - Aula 17 Seja qual for o seu agente, ele terá objetivos, certo? Funções de utilidade permitem denir a melhor sequência de ações estado para atingir um objetivo havendo dois objetivos concorrentes, permite escolher o mais apropriado. Ladrão: Correr atrás do poupador x Achar o banco Poupador: Achar o banco x Fugir do ladrão Ladrão x Poupador Objetivo, Utilidade, Aprendizagem. 70 / 72

71 Profa. Patrícia Jaques Prof. Alexandre Simões Agradecimentos: 71 / 72

72 Paulo Pinheiro 72 / 72