Poseidon: Agente Campeão da Primeira Competição de Bolsa de Valores baseada em Sistemas Multi Agentes

Transcrição

1 Poseidon: Agente Campeão da Primeira Competição de Bolsa de Valores baseada em Sistemas Multi Agentes Di go Bispo Conceição¹, Thuener Armando da Silva¹, Bruno A. B. Saldanha², Andrew Diniz da Costa¹, Carlos J. P. Lucena¹ ¹Departamento de Informática Pontifícia Universidade Católica do Rio de Janeiro (PUC Rio) Rio de Janeiro RJ Brasil ²Departamento de Economia Fundação Getúlio Vargas (FGV) Rio de Janeiro RJ Brasil Abstract. Nowadays the relevance of automated negotiations has been increased in the industry, such as, stock market. An area that can help this automation is multi agent systems (MAS), since it allows the creation of autonomous and pro active agents that can act in complex domains, such as, stock market. Competitions based on this kind of domain and use MAS have been created to stimulate the research, like the competition called MASSES (Multi Agent System for Stock Exchange Simulation). This paper presents the experience of the MASSES IG team, which won such competition, and also describes the winner strategy. Resumo. Recentemente negociações automatizadas têm sido muito valorizadas na ind stria, como, por exemplo, negociações em bolsas de valores. Uma área apontada como til para tal automatização, é a área de sistemas multi agentes (SMA), pois permite a criação de agentes autônomos e pró ativos que podem atuar em domínios complexos, tal como a bolsa de valores. Competições baseadas em domínios desse tipo e que usam SMA têm sido criadas para estimular o aprendizado e o surgimento de contribuições em diferentes áreas, tal como a competição MASSES (Multi Agent System for Stock Exchange Simulation). Este artigo relata as experiências da equipe MASSES IG, vencedora da competição, e descreve a estratégia campeã. 1. Introdução O uso de métodos quantitativos baseados em parâmetros de cálculos matemáticos e estatísticos tem despertado o interesse de investidores no mercado financeiro. Ao longo das últimas décadas houve um aumento de fundos de investimentos que utilizam negociações automatizadas, fazendo uso de métodos computacionais. A indústria de fundos, onde sistemas tomam decisões sem intervenção humana, movimenta bilhões de dólares. Os grandes diferenciais das análises quantitativas são: velocidade nas negociações, possibilidade de analisar diversos mercados e ativos ao mesmo tempo, cálculos robustos e armazenamento de dados passados. Com isso, uma estratégia bem 37

2 elaborada para realizar operações no mercado financeiro pode resultar em ganhos financeiros substanciais. Como sistemas multi agentes [Jennings 2000, Wooldridge 1998] (SMA) são apontados como uma tecnologia adequada para domínios complexos, devido às características que compõe um agente de software (ex: autonomia, pró atividade, etc), decidimos utilizá la para testar diferentes estratégias. Estes testes foram realizados durante a competição MASSES (Multi Agent System for Stock Exchange Simulation), primeira competição de SMA realizada em 2008 voltada para o domínio de bolsa de valores. Nela são criados agentes investidores para realizar movimentações na bolsa de forma automática, sendo que cada agente possui uma estratégia especifica. A estratégia que o agente Poseidon utilizou foi a que obteve o maior rendimento ao final da competição, ou seja, a vencedora. Esse artigo está estruturado da seguinte forma. Na seção 2 é apresentada uma visão geral da competição MASSES e do domínio considerado. As dificuldades encontradas para desenvolver uma estratégia competitiva estão presentes na seção 3, enquanto que a descrição da estratégia campeã é relatada na seção 4. Na seção 5 é apresentado o desempenho dos agentes participantes da competição. Na seção 6 alguns trabalhos presentes na literatura sobre agentes e mercado financeiro são mencionados, e finalmente na seção 7, a conclusão e sugestões para trabalhos futuros são apresentados. 2. Visão Geral da Competição A competição MASSES [MASSES, 2009] foi criada com o intuito de estimular o estudo e o desenvolvimento de agentes de software e inteligência artificial para o domínio mercado de valores. Ela simula algumas situações que acontecem no mercado real [Azevedo et al, 2008]. As simulações realizadas na competição foram baseadas em dados de abertura, fechamento, máxima e mínima dos ativos [Azevedo et al, 2008]. Para cada dia da simulação, os agentes investidores devem determinar quais ações serão compradas ou vendidas. No inicio de cada jogo os agentes recebem um montante de dinheiro que é usado para realizar seus investimentos. Cada agente pode adotar uma estratégia específica para as operações de compra e venda. Apenas as ações pertencentes à carteira do agente podem ser vendidas, no entanto, torna se importante frisar que custos de transações não são contabilizados na simulação. Carteira é um conceito amplamente utilizado no domínio mercado de valores, pois a partir dela são definidas as ações que cada investidor possui e o montante investido em cada uma. Quando um jogo inicia a carteira de cada investidor está vazia [Azevedo et al, 2008]. Já ao final, as ações presentes na carteira são analisadas pelo simulador da competição, para que assim o levantamento de ganhos e perdas de cada agente investidor seja apurado. O agente vencedor é aquele que obteve o maior lucro ou a menor perda durante o período definido no jogo. O simulador da competição possui informações restritas favorecendo o uso de análise técnica [Azevedo et al, 2008]. Há algumas limitações no uso destas análises, pois o simulador não fornece informações como volume e índices financeiros que são amplamente utilizados para construção destas técnicas. 38

3 Para criar um agente investidor deve ser criado um servidor web [Arkin et al, 2002] que será acessado pelo simulador da competição. Tal servidor deve implementar os seguintes métodos: iniciajogo: Método responsável por receber as informações iniciais (data inicial e montante disponível) que o agente precisa para executar a simulação. Executado somente uma vez no inicio de cada jogo. executatrade: Método responsável por definir as estratégias de compra e venda de cada agente investidor, recebendo a partir do simulador da competição os dados do dia corrente (montante disponível de dinheiro do agente e cotações dos ativos). 3. Dificuldades para criar uma estratégia competitiva Criar uma estratégia que procure sempre trazer ganhos na bolsa é um desafio que diversas empresas do ramo (ex: Agora, Banif, Kadima, etc) tem encontrado, principalmente pela instabilidade que o mercado apresenta em diversas situações. Levando isso em conta, as principais dificuldades encontradas para criar uma estratégia competitiva, foram as seguintes: 1. Limitação de dados providos pela competição: A competição provê dados de dois anos e não disponibiliza informações relevantes, como, por exemplo, volume financeiro e dados econômicos. Assim, algumas estratégias que utilizam tais informações, não puderam ser aplicadas. 2. Tempo limite de análise: O simulador define um tempo fixo de dois minutos para os agentes analisarem as melhores opções de compra e venda [Azevedo et al, 2008]. Assim, se o tempo expirar, considera se que o agente não quis realizar operações naquele dia. 3. O que comprar ou vender: Torna se necessário analisar todos os ativos para poder escolher quais os melhores ativos a serem comprados ou vendidos. É possível identificar correlações entre os ativos visando um rendimento maior, mas para tal objetivo é necessário analisar cada combinação possível de ativos. 4. Quando comprar ou vender: Descobrir bons momentos de compra e venda é importante, ou seja, identificar os momentos em que o valor do ativo está em baixa ou em alta pode gerar ganho. A dificuldade encontra se em identificar tais pontos por causa do comportamento instável dos ativos. 5. Quanto comprar ou vender: A importância da diversificação do dinheiro é muito importante para reduzir o risco e controlar o retorno dos investimentos. Sendo assim, é necessária uma boa distribuição do montante disponível. Existem diversas formas de distribuir o montante entre os ativos e por isso identificar qual seria a melhor é um processo custoso e não necessariamente o mais adequado. 6. Identificar boas estratégias: Existem diversos estudos sobre analise técnica, que visam à criação de técnicas (modelos estáticos, padrões gráficos, analise de índices financeiros) para identificação de bons momentos de compra e venda de um determinado ativo. Identificar qual momento seria mais adequado para 39

4 aplicar tais técnicas é uma difícil tarefa, por isso testes preliminares são necessários para identificar tais instantes. 4. Estratégia Vencedora do MASSES 2008 O Agente Poseidon foi desenvolvido na plataforma Java, e utilizou a biblioteca TALIB [TALIB, 2009] para auxiliar na análise técnica. Tal agente dividi se em quatro módulos. O primeiro módulo refere se à coleta e ao envio de informações, ou seja, responsável pela comunicação com o simulador da competição. Este módulo recebe os dados iniciais de cada jogo, coleta os dados do dia corrente, além de informar as ordens de compra e venda para o simulador. O segundo módulo é responsável por aplicar análise técnica a partir dos dados coletados referente aos ativos disponíveis. Já no terceiro e no quarto módulo são feitas, respectivamente, as decisões de compra e venda dos ativos baseados na análise gerada pelo terceiro módulo. A relação entre estes módulos esta representada na figura 1. Módulo de coleta e envio de dados Módulo de Análise Módulo de Venda Módulo de Compra Figura 1. Relação entre os módulos do agente. Médias móveis exponenciais (EMA) e Oscilador de Preço são estratégias de análise técnica [Noronha, 1995] bastante utilizadas na bolsa de valores. Média móvel exponencial é uma média ponderada que utiliza os últimos N períodos (ex: dias), e atribui maior peso aos dados mais recentes. Tal cálculo é realizado a partir da formula 1. Já o Oscilador de Preço utiliza a diferença entre médias móveis exponenciais de períodos diferenciados para identificar tendências do mercado. Este índice deve ser calculado a partir da fórmula 2, na qual MA(Preço(atual), N1) é a média móvel de N1 períodos anteriores, enquanto que MA(Preço(atual), N2) é a média móvel de N2 períodos anteriores. Na figura 2 é ilustrado um exemplo de gráfico Oscilador de preços do índice BOVESPA. (1) EMA (atual) = ((Preço(atual) EMA(anterior)) * 2 / (1 + N)) + EMA(anterior) (2) PO = MA(Preço(atual), N1) MA(Preço(atual), N2) O módulo de análise do agente utilizou a estratégia Oscilador de Preço com 10 e 30 períodos para realizar a avaliação dos ativos. Após tal análise verifica se se houve alteração no valor do Oscilador nos últimos dois dias para todos os ativos. Caso 40

5 perceba se a partir do Oscilador uma tendência de alta em algum dos ativos, sugere se a compra de tal ativo, caso contrário, sugere se sua venda. Em seguida, o módulo de Venda compara os ativos da carteira do investidor com os ativos sugeridos pelo módulo de Análise, para que assim seja confirmada a venda. Tais ordens de venda são emitidas com o montante disponível do ativo em carteira. O módulo de Compra escolhe os quatro ativos com os maiores valores do Oscilador de Preço do dia atual dentre os sugeridos pelo módulo de Análise. A partir disso, 25% do montante disponível são alocados para cada ativo, permitindo que o agente investidor compre o que for possível. Logo, o objetivo principal da estratégia é realizar vendas somente em momentos de forte tendência de queda. Por isso tal estratégia é voltada principalmente para momentos de alta do mercado. Figura 2. Oscilador de preços. 5. Desempenho na Competição Participaram da competição 4 equipes da Pontifícia Universidade Católica do Rio de Janeiro, conforme apresentado na tabela 1[MASSES, 2009]. Além disso, a competição permitiu que os participantes disponibilizassem mais de um agente. O montante inicial para cada agente foi de R$ ,00 (duzentos mil reais) e o período usado para simulação foi de 52 semanas. Tal período não foi informado pela competição. Na tabela 2 é apresentada a classificação final da competição, onde o agente Poseidon obteve o melhor desempenho com o montante de R$ ,47, quase R$ 200,00 a mais do que o segundo colocado, agente Soros. 41

6 Tabela 1. Equipes inscritas. Os agentes da equipe MASSES IG, foram os que obtiveram o melhor resultado na competição (os nove primeiros colocados). Tais agentes utilizaram análise técnica para determinar quando comprar e vender cada ativo. Os principais indicadores utilizados foram médias móveis simples, media móveis ponderadas, oscilador de preço, convergência/divergência de médias móveis, que também são conhecidas como Simple Moving Average (SMA), Weighted Moving Average (WMA), Price Oscillator (PO), Moving Average Convergence Divergence (MACD) [Noronha, 1995]. Na tabela 2 são apresentados os principais indicadores utilizados pela equipe campeã. Outros indicadores foram utilizados em testes preliminares, mas somente aqueles que obtiveram os melhores desempenhos foram utilizados na competição. Da segunda à sexta colocação (Soros, Buffet, Tendências, Madoff e Money) os agentes obtiveram um resultado aproximado do campeão. A disparidade máxima dos rendimentos adquiridos por eles em relação ao campeão foi de aproximadamente 12%. Já os agentes que se classificaram abaixo da sexta colocação, obtiveram um rendimento consideravelmente inferior, comparado aos primeiros colocados. Como podemos observar na tabela 1 o Dr. Robotnik foi o agente com pior desempenho obtendo um rendimento de aproximadamente 1,8% do montante inicial. Já o agente Proft, sétimo colocado, obteve cerca de 28,5% de lucro. Estes agentes não mostraram um resultado final competitivo em relação aos seis primeiros colocados que obtiveram lucros acima de 55%. No entanto, se outros períodos tivessem sido utilizados para simulação, o rendimento dos agentes poderia ser alterado, afetando inclusive a ordem de classificação apresentada na tabela 2. Os agentes Soros e Buffet foram, respectivamente, o segundo e o terceiro colocados. Eles obtiveram um rendimento final um pouco abaixo do agente Poseidon. Pode se observar a partir da figura 3 que o agente Poseidon assume a liderança nos meses iniciais. No entanto, durante o período do jogo os agentes Soros e Buffet conseguem ultrapassá lo, até que nos últimos dias o agente Poseidon consegue reassumir a liderança. O agente Tendências, que obteve a quarta colocação e que também tem seu desempenho ilustrado na figura 3, em nenhum momento conseguiu um rendimento maior do que agente campeão. 42

7 Tabela 2. Resultado da competição. 67, , , , , , , , , , , , , , ,

8 Figura 3. Gráfico de rendimentos ao longo da simulação. Na figura 4 é ilustrado o desempenho dos agentes Madoff, Money e Profit, quinto, sexto e sétimo colocados, respectivamente, em relação ao agente Poseidon. Os agentes Madoff e Money mostraram se competitivos a partir do sexto mês, porém no último mês da simulação houve uma decaída de seus rendimentos. Já o agente Profit, manteve se competitivo até o oitavo período, no entanto, a partir daí seu rendimento caiu. Figura 4. Gráfico de rendimentos ao longo da simulação. 44

9 6. Trabalhos Relacionados Silahi [Silahi et al, 2005] realizou um estudo sobre estratégias para agentes negociadores utilizarem no mercado acionário. Neste estudo, agentes negociadores com as suas devidas estratégias buscavam maximizar o lucro de seus montantes iniciais. Para testar e comprovar a eficácia de algumas estratégias, foi utilizado o simulador PLAT de bolsa de valores [Kearns, 2003], que possuía além do comportamento do preço, um livro de compras para cada instante da série de preço da ação. Os melhores resultados foram obtidos de estratégias combinadas e que utilizavam, além de informações do preço, informações do livro de compras. Sherstov [Sherstov, et al 2004] fez um estudo comparativo entre algumas estratégias como aprendizado por reforço, SOBI(estratégia que utiliza informações do livro de compras) e MM(Market Making Agent ) e predição de preços (Trend Following). Conclui se neste trabalho que apesar da estratégia SOBI ter obtido resultados superiores, uma combinação de estratégias de predição de preços com uma estratégia heurística de mercado (Market Making Agent) mostra se promissora. Cabe observar que, neste trabalho, informações sobre o livro de compras das ações não foram informadas [Alvim, 2009]. 7. Conclusão e Trabalhos Futuros Neste artigo foram apresentados agentes desenvolvidos para a competição MASSES, focando principalmente na estratégia campeã do agente Poseidon. Além disso, as dificuldades encontradas no desenvolvimento de agentes competidores e a descrição do desempenho dos participantes na competição foram apresentadas. Percebeu se a partir do trabalho que características presentes em agentes de software, como, por exemplo, autonomia e pró atividade, podem ser extremamente úteis para o domínio da bolsa de valores. Com isso, um agente de software pode tomar decisões em diferentes períodos do mercado financeiro de forma independente. Como ilustrado nas figuras 3 e 4 os primeiros colocados da primeira competição MASSES não obtiveram um rendimento constante, devido suas variações ao longo do período. Assim, um possível trabalho futuro seria criar um sistema multi agente, onde cada agente teria uma estratégia específica, e que trocariam informações com os outros agentes do ambiente, para assim decidir qual das estratégias seria a mais adequada para um determinado período. Outro ponto que pode ser adicionado às estratégias é o gerenciamento de risco, ou seja, identificar quanto de capital estará sendo arriscado considerando o percentual máximo de perdas aceitável por mês. Alguns índices podem ser utilizados para tal controle, como por exemplo, VAR, volatilidade e índice Sharpe [Edwin, et al, 2007]. Além disso, diversas técnicas de seleção de carteiras poderiam estar sendo utilizadas, como, por exemplo, a definida por Harry Markowitz [Markowitz 1952] para selecionar quais ativos deveriam ser comprados. 45

10 Refer ncias Alvim, L. G. M. ; Milidiú R. L.(2009). Aprendizado de Máquina para Intraday Traders do Mercado Acionário, Monografias em Ciência da Computação n 06/09, Rio de Janeiro: PUC Rio. Arkin, A., Askary, S., Fordin, S., Jekeli, W., Kawaguchi, K., Orchard, D., Pogliani, S., Riemer, K., Struble, S., Takacsi Nagy, P., Trickovic, I., Zimek, S. (2002) Web Service Choreography Interface 1.0 Specification, BEA, Intalio, SAP and Sun, June. spec 10.pdf Azevedo, Sérgio Ciglione de ; TEIXEIRA, Manoel ; COSTA, Andrew Diniz da ; BORSATO, Bruno de Souza e Silva ; SOARES, Fábio de Azevedo ; LUCENA, Carlos José Pereira de. Multi Agent System for Stock Exchange Simulation MASSES. In: Workshop on Software Engineering for Agent oriented Systems, em conjunto com o Simpósio Brasileiro de Engenharia de Software, 2008, Campinas. Anais do IV Workshop on Software Engineering for Agent oriented Systems, Edwin J. Elton, Martin J. Gruber (2007), Modern portfolio theory and investment analysis, 7 th edition. Jennings, N, Wooldridge, M. (1999), Agent Oriented Software Engineering;Proceedings of the 9th European Workshop on Modeling Autonomous Agents in a Multi Agent World: Multi Agent System Engineering (MAAMAW 99), Vol. 1647,Springer Verlag: Heidelberg, Germany, 1 7. Kearns, M. and Ortiz, L (2003) The Penn Lehman Automated Trading Project, IEEE Intelligent Systems, Nov/Dec 2003, pp Markowitz, Harry M. (1952). Portfolio Selection, Journal of Finance, 7 (1), MASSES (2009) Multi Agent System for Stock Exchange Simulation : rio.br/, julho. Noronha, Macio (1995) Análise Técnica: Teóricas, Ferramentas e Estratégias, Editora de Livros Técnicos Ltda. 1ª ed Sherstov A. A., Stone P.(2004) Three automated stock trading agents: A comparative study. In AAMAS 04 Workshop on Agent Mediated Electronic Commerce, pages Silaghi, G.C., Robu, V. (2005), An Agent Strategy for Automated Stock Market Trading Combining Price and Order Book Information, Proceedings of the IEEE Congress on Computational Intelligence Methods and Applications (CIMA 2005), Advanced Computing in Financial Markets Track, Istanbul, Turkey, Dec. 2005, IEEE Press. TALIB Technical Analysis Library (2009), Multi Platform Tools for Market Analysis, lib.org/, Julho. Wooldridge, M. and Jennings (1998), N. R. Pitfalls of agent oriented development Proceedings of the Second International Conference on Autonomous Agents(Agents'98), ACM Press, pp