UM AGENTE COM APRENDIZAGEM DE MÁQUINA PARA O PROBLEMA DE VENDAS EM TRADING AGENT COMPETITION

Transcrição

1 UM AGENTE COM APRENDIZAGEM DE MÁQUINA PARA O PROBLEMA DE VENDAS EM TRADING AGENT COMPETITION GILZAMIR FERREIRA GOMES, GUSTAVO AUGUSTO LIMA DE CAMPOS, JERFFESON TEIXEIRA DE SOUZA Laboratório de Computação Natural e Inteligência Artificial, Centro de Ciências Exatas e Tecnologias, Universidade Estadual do Ceará Av. Paranjana, 1700, Prédio de Pesquisa e Pos-Graduação em Computação, CEP 60740, Fortaleza, CE, Brazil s: gilzamir@gmail.com, gustavo@larces.uece.br, jeff@larces.uece.br Abstract This paper presents an agent with machine learning for the sales problem in Trading Agent Competition for Supply Chain (TAC-SCM). For this, it is specified the agent task environment and agent s concrete and abstract architectures. The main contribution of this work is the conception of an agent with machine learning for autonomous negotiation in dynamics and competitive environments. Moreover, the architecture proposal can be used in closed reverse auction, given that the presented sales problem has the characteristics of this auction type. Keywords Artificial Intelligence, Machine Learning, Autonomous Negotiation Resumo Este artigo apresenta um agente com aprendizagem de máquina para o problema de vendas em Trading Agent Competition for Supply Chain (TAC-SCM). Para isso, é especificado o ambiente de tarefa e a estrutura do agente. A principal contribuição deste trabalho é a concepção de um agente com aprendizagem de máquina para negociação autônoma em ambientes dinâmicos e competitivos. Além disso, a arquitetura proposta pode ser utilizada em leilões fechados de oferta, dado que o problema de venda apresentado possui as características desse tipo de leilão. Palavras-chave Inteligência Artificial, Aprendizagem de Máquina, Negociação Autônoma 1 Introdução O gerenciamento de cadeias de suprimento lida com planejamento e coordenação das atividades relacionadas com a produção, oferta de produtos e obtenção de matéria prima através de múltiplas organizações envolvidas na distribuição de um ou mais produtos. Em uma economia globalizada, o gerenciamento efetivo de uma cadeia de suprimentos é vital para a competitividade de empresas, pois impacta diretamente em sua capacidade de se adequar às mudanças de demanda no mercado a tempo e custos adequados. Enquanto cadeias de suprimento tradicionalmente dependem de relacionamento de longoprazo entre parceiros-chave, práticas mais dinâmicas e flexíveis tem mostrado melhores perspectivas na forma como fornecedores e clientes fazem parcerias à medida que ocorrem mudanças nas condições de mercado. A adoção de práticas dinâmicas nas parcerias entre fornecedores e clientes tem se mostrado evasivas, devido à complexidade de muitos relacionamentos em cadeias de suprimento e as dificuldades de adoção efetiva de práticas de negociação dinâmicas [Arunachalam 2004]. O Trading Agent Competition for Supply Chain (TAC- SCM) é um jogo projetado para suportar muitos dos desafios envolvidos em suportar práticas dinâmicas em gerenciamento de cadeias de suprimento, enquanto mantém as regras do jogo simples o bastante para atrair um grande número de competidores para submissão de soluções. Para entendermos como o cenário do TAC-SCM funciona, é essencial a compreensão do conceito de agente de software e a importância na Inteligência Artificial na concepção de soluções para suportar estas novas práticas dinâmicas em gerenciamento de cadeias de suprimento. Um agente é um sistema computacional que está situado em um ambiente e é capaz de ações autônomas neste ambiente com o propósito de atingir seus objetivos [Weiss 2000]. Em muitos problemas, no entanto, vários agentes são necessários para a resolução de sistemas complexos. Como consequência disso, surge o conceito de sistemas multi-agente. Sistemas Multi-Agente (SMA) podem ser vistos como um novo paradigma para compreender e construir sistemas distribuídos, onde é assumido que os componentes computacionais são autônomos: capazes de controlar seu próprio comportamento para alcançar seus objetivos [Wooldridge 2009]. A simulação de um ambiente de gerenciamento de cadeias de suprimento prover um cenário adequado para a utilização de técnicas de inteligência artificial. Em [Collins et al. 2006] é feita uma descrição detalhada do jogo Trading Agent Competition for Supply Chain. Este jogo ocorre ao longo de 220 dias simulados, cada dia simulado corresponde a 15 segundos. Aos longo dos 220 dias simulados, seis montadoras de computadores pessoais (PCs) competem pela venda de PCs para clientes e pela obtenção componentes para a montagem de PCs. Ou seja, PCs montados a partir de componentes como placa-mãe, memória principal, processador e disco rígido. Estes componentes estão disponíveis em diferentes versões e são disponibilizados por vários fornecedores. As montadoras contam com uma fábrica com uma linha de montagem para PCs e um armazém para estocagem de componentes e PCs finalizados. Dessa forma, o problema das montadoras pode ser divido nos

2 seguintes subproblemas: venda para cliente, obtenção de componentes, gerenciamento da linha de montagem e gerenciamento do estoque. Parece natural que uma solução para o problema de gerenciamento de cadeias de suprimento possa ser vista como um SMA (representando a montadora de PCs, no caso do TAC-SCM), onde um ou mais agentes são incumbidos de subproblemas específicos ( venda para cliente, obtenção de componentes, gerenciamento da linha de montagem e gerenciamento do estoque) e colaboram uns com os outros para a solução do problema como um todo. O objetivo principal deste trabalho é conceber um agente com aprendizagem de máquina para o problema predição de preços em vendas, ou simplesmente problema de venda, um dos subproblemas do gerenciamento da cadeia de suprimentos. Para isso, foi desenvolvido um SMA composto de três agentes: agentes de compras (responsável pela obtenção de componentes), agente de vendas (ou simplesmente agente, responsável pela venda PCs a clientes finais), agente de produção (responsável pelo gerenciamento da produção). O componente fundamental do SMA aqui proposto é o agente de vendas, dado que o objetivo é conceber um agente com aprendizagem para o problema de vendas. A contribuição deste trabalho é somada aos resultados de outros estudos realizados, como descrito em [Ericksson et al. 2006], provendo a concretização de um agente com aprendizagem de máquina baseado no modelo proposto em [Russel e Norvig 2002] e em termos de problemas gerais de aprendizagem e tomada de decisão, evitando uma abordagem não aconselhável no projeto de agentes para TAC-SCM, ou seja, concepção ad-hoc de estratégias de negociação. O restante deste texto é estruturado como segue: na Seção 2, é realizada uma descrição do ambiente de vendas no contexto do TAC-SCM; nas Seções 3 e 4, são apresentadas, respectivamente, a função e o programa do agente proposto; na Seção 5, alguns resultados obtidos com um protótipo do agente com aprendizagem de máquina são apresentados; finalmente, na Seção 6, são apresentadas algumas conclusões e possíveis trabalhos futuros. 2 Problema de Vendas Em [Russel e Norvig 2002], um ambiente de tarefa é definido pelos sensores e atuadores disponíveis para o agente, uma medida de desempenho utilizada na avaliação do sucesso do agente e uma descrição do ambiente. Os sensores e atuadores proveem a interface entre o agente e o ambiente. Os sensores possibilitam a obtenção de percepções do ambiente, enquanto os atuadores possibilitam ao agente executar ações selecionadas no ambiente. Um agente de software obtém percepções do ambiente e mapeia estas percepções para ações. A função que descreve de forma abstrata este mapeamento é denominada função de agente. O programa que implementa a função de agente é denominado programa de agente. O interesse da Inteligência Artificial está em como as funções de agente são implementadas. Para entender como a função e o programa do agente de vendas foram concebidos, primeiro é realizada uma breve descrição do problema de vendas no contexto do TAC-SCM. 2.1 Negociação com os clientes Umas das nuances da competição em TAC-SCM consiste em seis agentes competindo por pedidos de clientes. A negociação ocorre em formato de leilão. Pode-se fazer uma analogia com clientes do mundo real fazendo compras em lojas de computadores. Os clientes passariam em cada loja solicitando orçamentos para configurações especificas de computadores que eles desejam comprar. Os vendedores das lojas apresentam uma proposta de venda para cada pedido de orçamento. Os clientes analisam as propostas de venda e finalizam o pedido de acordo com o que mais lhes agrada (seja preço, prazo de entrega, suporte e outras características da proposta). No TAC-SCM ocorre algo parecido, no entanto, com algumas regras definidas. Clientes enviam pedidos de orçamento no inicio de cada dia simulado. Os pedidos de orçamento especificam o tipo de computador que o cliente deseja comprar (de um total de 16 tipos), a data de entrega desejada, um preço de reserva (preço máximo que o cliente está disposto a pagar pelo produto) e quantidade de itens da compra. Os agentes (representantes das montadoras) analisam os pedidos de orçamento e enviam ofertas aos clientes. Estes analisam as ofertas e selecionam aquelas que oferecem o produto solicitado pelo menor preço. Se duas ou mais ofertas apresentam o mesmo preço, aquela com menor prazo de entrega é selecionada. Caso contrário, as ofertas que apresentarem as mesmas características são selecionadas de forma aleatória. Os agentes sabem se suas ofertas foram vitoriosas, se receberem pedidos de clientes. A dificuldade da venda está no fato de os vendedores não saberem o preço de oferta de outros vendedores. Isso faz com que os agentes fiquem adiante de uma questão delicada: se venderem o produto a um preço baixo demais, estarão sujeitos a prejuízos devido às oscilações do mercado. Por outro lado, se venderem os produtos a um preço elevado, correm o risco de sempre perderem clientes para a concorrência. Por exemplo, o preço final de um PC é definido pelo preço de seus componentes constituintes, do custo de fabricação e do custo de envio do PC. No entanto, o preço dos componentes pode variar durante o jogo e nem sempre os agentes vão ter estes componentes em estoque. Uma solução para este problema é trabalha com modelos de predição, que procuram minimizar a incertezas a curto, longo e médio prazo. 2.2 Ambiente de Tarefa O agente de vendas (doravante denominado simplesmente de agente) obtém como percepções: pedidos de orçamento (RFQ Request for Quotes), pedidos (Order), componentes e PCs em estoque, capacidade

3 de produção disponível em suas fábricas e saldo bancário da montadora. Com base nestas informações, deve decidir qual ação executar: ofertas para quais clientes. Ao definir as ofertas, o agente precisa especificar data de entrega e preço de oferta. A medida de desempenho será especificada juntamente com a função de agente na seção 3. 3 Especificação da função do agente As ações do agente correspondem à ofertas para pedidos de orçamento enviados pelos clientes. Esta seção descreve a função que faz o mapeamento de percepções (RFQs, pedidos e outras) em ações (ofertas configuras com preço e data d entrega) realizado pelo agente. Seja p={tipoproduto, preçoreserva, dataentrega, penalidade, quantidade } o conjunto de propriedades de um pedido de orçamento. O valor de uma propriedade de um determinado pedido i é representado da seguinte forma: propriedade i, onde 1 i m e propriedade i P. No caso, m=5. A função U :2 n R, onde n é a quantidade de pedidos que chega em um dia, mapeia para cada subconjunto de pedidos de orçamento um valor utilidade e é definida como: U V = u h i onde u h foi obtido da função definida por He et. al. (2006): n i=0 u h =preçoreserva i preçobase i penalidade i q A ideia da função u h é atribuir maiores valores para pedidos de orçamento com maior lucro estimado preçoreserva i preçobase i e com menos prejuízo caso o agente seja multado por atraso na entrega do produto. Portanto, a função expressa o risco de se pagar multa no termo penalidade i q, que é deduzido do lucro estimado. O agente de vendas deve prever o preço que venha a maximizar a chance de venda (obtenção de pedido em resposta à oferta), mas que possibilite algum lucro para o agente. Para isso é utilizada a função gerarpreçooferta i, que tem como entrada o pedido de orçamento i e produz como saída um preço estimado de oferta para o pedido i. Agora observe que a função gerarpreçooferta i precisa ser reformulada, pois o preço estimado pode diferir do preço de reserva. A nova função será definida como: u i =gerarpreçooferta i preçobase i penalidade i q Agora a função U pode ser redefinida como: m U V = u i Espera-se que a representação da função U seja boa o suficiente para que o agente selecione ações que venham a maximizar a medida de desempenho esperada. Contudo, o resultado de U depende da função i=0 gerarpreçooferta i. Essa função pode ser aprendida de jogos passados, utilizando-se para isso algoritmos de aprendizagem. Notou-se que uma arquitetura interna adequada de agente para o problema de vendas pode ser baseada no modelo geral de agente com aprendizagem de máquina proposto em [Russel e Norvig 2002] e mostrado na Figura 2. Portanto, um agente de aprendizagem é composto de vários componentes: Elemento de aprendizagem: responsável por fazer melhorias no elemento de desempenho. Elemento desempenho: responsável por selecionar ações externas. Crítico: diz ao elemento de aprendizagem como o elemento de desempenho está se comportando em relação a uma medida de desempenho pré-estabelecida. Gerador de problemas: responsável por sugerir ações que levam a uma nova experiência informativa, ou seja, sugere ações exploratórias no ambiente, mesmo que em curto prazo estas ações não sejam ótimas. É importante notar que o elemento de desempenho pode ser um módulo correspondente a um dos modelos de agente propostos por Russell e Norvig (2002): módulo reativo, reativo com estado interno, baseado em objetivo ou baseado em utilidade. No caso do agente de vendas, é proposto neste trabalho um módulo baseado em utilidade. Como o elemento de desempenho trabalharia para o problema de vendas? A função U é aplicada ao subconjunto de RFQs selecionado para oferta pelo agente. As ofertas realizadas para este subconjunto de RFQs representam as ações executadas pelo agente. Se o agente vencer os pedidos com as ofertas feitas de acordo com os preços gerados pela função gerarpreçooferta, o valor produzido por esta função aplicada ao subconjunto de pedidos de orçamento selecionado corresponderá aproximadamente à utilidade do estado resultante do ambiente após a execução das ações. Contudo, alguma ação (oferta) pode falhar e não produzir o resultado desejado no ambiente (pedidos para as ofertas enviadas). Seja U ' o valor utilidade do estado realmente obtido após a execução das ações do agente, a função para analisar o desempenho do agente será dada por D U,U ' = U ' V U V. O sucesso de cada oferta dependerá da aproximação feita pela função gerarpreçooferta. No entanto, o elemento de desempenho do agente de vendas supõe que sempre conseguirá obter o estado desejado. Para isso, confia no resultado produzido pela função gerarpreçooferta. As RFQs do subconjunto de RFQs selecionado são avaliados pela função u. O resultado da função u depende do desempenho da função gerarpreçooferta. O próprio desempenho do agen-

4 te depende do preço de oferta estimado por meio desta função. O elemento de desempenho não modifica a função gerarpreçooferta, a função a ser aprendida. Este papel cabe ao elemento de aprendizagem. No caso do agente de vendas proposto, o elemento de aprendizagem generaliza a função a ser aprendida a partir de exemplos de treinamentos (jogos passados) de acordo com as informações relativas ao desempenho informado pelo crítico. Figura 1: modelo de agente com aprendizagem de máquina. Ao modificar a função gerarpreçooferta, o elemento de aprendizagem modifica o desempenho do elemento de desempenho. Em algum momento, o agente de vendas pode ser estimulado pelo gerador de problemas a realizar algumas ações exploratórias, como realizar ofertas com preço dentro de intervalos fixados durante algum período e tentar descobrir qual subintervalo proporcionou mais ofertas vitoriosas. A Figura 2 mostra a arquitetura interna do agente de vendas baseada no modelo de agente com aprendizagem da Figura 1. O papel do crítico é auxiliar o agente a perceber seu próprio desempenho no ambiente. O crítico pode, por exemplo, perceber que ações de oferta para certos tipos de produtos estão sempre perdendo. Nesse caso, informaria a situação detectada para o elemento de aprendizagem que, por sua vez, modificaria a função para tentar vencer naqueles produtos cujas ofertas estavam falhando. O gerador de problemas pode sugerir ao elemento de desempenho tentar ações exploratórias, de forma a gerar experiência a ser utilizada posteriormente para treinar a rede neural de forma a melhorar sua taxa de aprendizagem. 4 A implementação da função do agente Para concretizar o agente proposto na seção 3, foram utilizadas redes neurais artificiais como representação da função gerarpreçooferta e o algoritmo guloso utilizado por He et al. (2006) para seleção dos pedidos de orçamento. No entanto, a função utilizada por He et. al. (2006) foi modificada de forma a utilizar a função gerarpreçooferta. E esta função é baseada em redes neurais artificiais. Além disso, a função utilidade é modificada pelo elemento de aprendizagem. A Figura 3 ilustra os componentes do agente de vendas. Figura 2: arquitetura do agente de vendas Na arquitetura do agente de vendas, o elemento de desempenho é fixado como um agente baseado em utilidade. As ações do agente orientado a utilidade são guiadas pela função U. Ele percorre o espaço de estados, supondo que suas ações levarão de fato aos estados desejados, e verifica a utilidade de cada estado observado. Cada subconjunto de pedidos de orçamento corresponde a um estado do mundo em que o agente vence as ofertas enviadas ao subconjunto considerado. Contudo, cada estado é apenas um estado de crença e não o estado real do ambiente. Após criar um grafo de estados, encontrando assim um nó objetivo bom o suficiente, o elemento de desempenho pára e executa as ações selecionadas. O elemento de aprendizagem verifica o desempenho do agente (com base nas informações passadas pelo crítico) e, caso seja necessário, modifica a função aprendida para tentar melhorar o desempenho do agente. Figura 3: ilustração da arquitetura concreta do agente com aprendizagem de máquina. 4.1 Treinamentos das Redes Neurais A rede neural foi treinada em duas etapas: uma etapa com treinamento utilizando dados de jogos passados e outra etapa durante o jogo, de acordo com informações obtidas pelo elemento de aprendizagem. Nas duas etapas foi utilizado o algoritmo backpropagation. O algoritmo utilizado por He et al. (2006) foi modificado de forma a utilizar a função aprendida como uma rede neural para cada tipo de produto. No total foram utilizadas 16 redes neurais, uma para cada tipo de computador possível. Cada rede neural faz a previsão do preço de oferta para cada tipo de computador. O treinamento das redes neurais foi baseado nos atributos: (1) dia atual, (2) data de entrega, (3) quantidade de produtos requisitados, (4) penalidade por dia de atraso na entrega e (5) preço de reserva. Estes atributos foram escolhidos de forma empírica. Vários experimentos revelaram uma relação entre o preço de oferta e os atributos selecionados. De fato, diversos agentes relatados na literatura se baseiam nos atributos do conjunto para estimar um preço de oferta que venha a gerar pedidos. Os

5 dados de entrada foram normalizados utilizando a função: x'= x x onde x é o valor de entrada correspondente aos atributos (1), (2), (3), (4) e (5), x e são respectivamente, a media e o desvio padrão dos valores de entrada correspondentes ao atributo do valor de entrada x. Todas as redes possuem a mesma arquitetura (obtida de forma empírica): seis neurônios na camada de entrada, duas camadas intermediárias com quatorze neurônios cada e uma camada de saída cujo resultado é a previsão do preço. Um conjuntos de dados de treinamento foi gerado a partir da execução de jogos e um conjunto de dados de teste foi gerado em outra execução. A análise da previsão realizada pelas redes foi feita em uma base diária, ou seja, a média do erro quadrático médio ao longo dos dias simulados. Esse erro foi de na fase de treinamento e de na fase de validação. Observe que o erro não é referente a uma rede neural em específico, mas aos resultados produzidos pelo conjunto de redes neurais a cada dia. 4.2 O Elemento de desempenho O elemento de desempenho utiliza as 16 redes neurais para fazer a previsão do preço de oferta vencedor para cada um dos 16 tipos de computadores. O crítico percebe os pedidos de orçamento, as ofertas enviadas pelo elemento de desempenho e os pedidos dos clientes. Após receber os pedidos do dia d, verifica para quais ofertas do dia d 1 foi realizado pedido. Com isso, informa ao elemento de aprendizagem quais ofertas falharam e quais obtiveram sucesso. O elemento de aprendizagem utiliza as informações das ofertas que obtiveram sucesso para treinar as redes neurais em tempo de execução, separando os dados para cada tipo de computador. Para isso, são criados dezesseis conjuntos de treinamento, um para cada produto. Cada conjunto é utilizado para treinar a rede neural correspondente. Após treinar as redes neurais, estas substituem as versões anteriores na predição do preço de oferta de cada tipo de computador. 5 Experimentos e Resultados Para avaliar se o agente apresentado realmente é promissor, foi desenvolvido um agente baseado em utilidade (chamado agente básico) que utiliza médias móveis simples para realizar a predição de preços de oferta. Seja o dia atual, supondo que o primeiro dia é o dia 0, foi utilizada uma média móvel com período igual d. A média móvel é calculada com base na média entre os menores e os maiores preços de pedidos para determinado produto nos dias anteriores (informação disponível durante o jogo). O agente básico utiliza a média móvel para representar a função gerarpreçooferta. O agente básico utiliza uma estratégia de produção baseada na estocagem de computadores para somente depois venderem os computadores estocados aos clientes. Portanto, a obtenção de componentes e a produção de PCs são realizadas antes de qualquer pedido a ser realizado. A compra é feita de acordo com a situação atual do estoque e do saldo bancário do agente. O agente com aprendizagem de máquina foi desenvolvido a partir do agente básico e ambos possuem a mesma capacidade de obtenção de componentes e de produção de PCs. A única diferença entre estes agentes está relacionada à forma como a função gerarpreçooferta é representada e modificada durante o jogo. No caso do agente básico, a função gerarpreçooferta nunca é modificada. Já no agente com aprendizagem, a função gerarpreçooferta é aprendida ao longo do jogo, como descrito anteriormente. Para verificar se o mecanismo de vendas proposto realmente melhorou o desempenho do agente básico, foram realizadas dez simulações. Dessas dez simulações, três incluíram a participação do agente básico e de cinco agentes de teste (também chamados de dummies) disponíveis no simulador do jogo. O simulador pode ser obtido no sitio Outras três simulações foram realizadas com a participação do agente com aprendizagem de máquina e dos mesmos cinco agentes de teste que competiram com o agente básico. Em quatro simulações o agente com aprendizagem, o agente básico e os agentes de testes participaram simultaneamente. É importante ressaltar que todos os agentes de testes possuem uma mesma estratégia de fabricação e são agentes puramente reativos. A estratégia de produção dos agentes de testes é estritamente build to order [Gunasekaran e Ngai 2009], ou seja, o inicio da produção e a obtenção de componentes ocorre após o recebimento de pedidos dos clientes. O objetivo das simulações é verificar se a inserção de aprendizagem de máquina realmente contribuiu para melhorar o desempenho do agente básico. Várias simulações são necessárias para verificar o comportamento dos agentes em diferentes condições de mercado. Os resultados das simulações são mostrados nas Tabelas 1, 2, 3 e 4. Tabela 1: quatro jogos realizados com os seguintes participantes: agente com aprendizagem, agente básico e quatro agentes dummies. O número em cada coluna indica a ordem de execução do jogo. Agentes/Saldo bancário em milhões ($) Agente com ,03 11,34 11,20 10,49 Aprendizagem Agente Básico 5,05 5,20 4,82 5,87 Dummy 3,42 10,0 11,53 6,27 Dummy-2 3,96 8,96 10,45 6,99 Dummy-3 5,39 8,93 11,54 7,48 Dummy-4 2, ,34 7,88 Como pode ser observado, em todas as simulações, o agente com aprendizagem tem desempenho superior ao desempenho do agente básico. Portanto, uma explicação plausível é que o modelo de aprendizagem de máquina melhorou o desempenho do agente básico, pois os outros componentes dos agentes, como o método de obtenção de matéria prima e o método que gera o plano de produção, são os mesmos.

6 A Tabela 4 mostra o volume de vendas de cada agente durante os quatro jogos que o agente com aprendizagem e o agente básico participaram simultaneamente. Como pode ser observado, o volume de vendas do agente com aprendizagem é maior que o volume de vendas do agente básico, mostrando que o mecanismo de vendas com aprendizagem realmente melhorou o desempenho do agente básico. Tabela 2: três jogos realizados com os participantes: agente básico e cinco agentes dummies. Agentes/Saldo bancário em milhões ($) Agente Básico 6,02 4,98 6,98 Dummy 6,42 2,75 6,13 Dummy-2 6,11 3,37 6,55 Dummy-3 5,10 4,11 6,49 Dummy-4 4,84 3,67 7,23 Dummy-5 6,01 3,58 7,12 Tabela 3: três jogos realizados com o agente básico e três agentes dummies. Agentes/Saldo bancário em milhões ($) Agente com Aprendizagem 10,54 11,41 11,57 Dummy 4,28 6,42 7,05 Dummy-2 4,74 6,59 6,01 Dummy-3 4,27 6,80 5,07 Dummy-4 5,83 5,67 6,37 Dummy-5 4,06 11,41 5,40 A Tabela 4 mostra a margem de lucro de cada agente. A margem de lucro do agente básico sempre aparece um pouco maior que a margem de lucro do agente com aprendizagem. Isso é devido o agente básico estar ofertando a um preço maior que o agente com aprendizagem. Em compensação, o agente básico vende menos, obtendo um saldo bancário menor no final de cada ano simulado (um ano simulado tem 220 dias simulados). Tabela 4: volume de vendas em milhões de dólares. Cada coluna equivale a uma simulação. Agentes/vendas em milhões($)/margem de lucro(%) Agente com Aprendizagem 29,42/ 24 36,77/ 31 36,78/ 30 35,18 /30 Agente Básico 15,11/ 33 15,20/ 34 13,46/ 36 16,80 /35 Dummy 90,17/4 80,20/ 12 87,11/ 13 83,68 /7 Dummy-2 88,67/4 81,22/ 11 Dummy-3 88,55/6 78,25/ 11 Dummy-4 88,50/3 76,98/ 14 83,98/ 12 84,33/ 14 84,93/ 12 84,9 3/8 80,6 4/9 83,0 4/9 A margem de lucro mostrada na Tabela 4 contabiliza os gastos com estocagem e os juros obtidos pagos e recebidos do banco. O protótipo desenvolvido e os dados gerados durante as simulações estão disponíveis em Referências Bibliográficas [Arunachalam 2004] ARUNACHALAM, R. The 2003 supply chain management trading agent competition. In: Third International Joint Conference on Autonomous Agents & Multi Agent Systems. July [S.l.: s.n.], p [Collins et al. 2006] COLLINS, J. et al. The Supply Chain Management Game for the 2007 Trading Agent Competition. [S.l.], [Ericksson et al. 2006] ERIKSSON, J. et al. Evolution of a supply chain management game for the trading agent competition. AI Commun. 19, 1 (Jan. 2006), [Gunasekaran e Ngai 2009] GUNASEKARAN, A.; NGAI, E. W. Modeling and analysis of build-toorder supply chains. European Journal of Operational Research, v. 195, n. 2, p , ISSN [He et al. 2006] HE, M. et al. Designing a successful trading agent for supply chain management. In: AAMAS 06: Proceedings of the fifth international joint conference on Autonomous agents and multiagent systems. New York, NY, USA: ACM, p ISBN [Russell e Norvig 2002] RUSSELL, S.; NORVIG, P. Artificial Intelligence: A Modern Approach (International Edition). 2. ed. New Jersey: Pearson US Imports & PHIPEs, [Weiss 2000] WEISS, Gerhard. Multiagent Systems: A Modern Approach to Distributed Artificial Intelligence. The MIT Press, London, July [Wooldridge 2009] WOOLDRIDGE, M. J.; An Introduction to MultiAgent Systems. Jonh Wiley & Sons, 2009.