UNIVERSIDADE DO VALE DO ITAJAÍ CENTRO DE CIÊNCIAS TECNOLÓGICAS DA TERRA E DO MAR CURSO DE CIÊNCIA DA COMPUTAÇÃO

Transcrição

1 UNIVERSIDADE DO VALE DO ITAJAÍ CENTRO DE CIÊNCIAS TECNOLÓGICAS DA TERRA E DO MAR CURSO DE CIÊNCIA DA COMPUTAÇÃO USO DE MINERAÇÃO DE DADOS NA BOLSA DE VALORES Área de Inteligência Artificial por Marcelo Berenstein Benjamin Grando Moreira, M.Eng. Orientador Itajaí (SC), junho de 2010

2 UNIVERSIDADE DO VALE DO ITAJAÍ CENTRO DE CIÊNCIAS TECNOLÓGICAS DA TERRA E DO MAR CURSO DE CIÊNCIA DA COMPUTAÇÃO USO DE MINERAÇÃO DE DADOS NA BOLSA DE VALORES Área de Inteligência Artificial por Marcelo Berenstein Relatório apresentado à Banca Examinadora do Trabalho de Conclusão do Curso de Ciência da Computação para análise e aprovação. Orientador: Benjamin Grando Moreira, M.Eng. Itajaí (SC), junho de 2010

3 SUMÁRIO LISTA DE ABREVIATURAS... iv LISTA DE FIGURAS... v LISTA DE TABELAS... vi RESUMO... vii ABSTRACT... viii 1 INTRODUÇÃO PROBLEMATIZAÇÃO Formulação do Problema Solução Proposta OBJETIVOS Objetivo Geral Objetivos Específicos METODOLOGIA ESTRUTURA DO TRABALHO FUNDAMENTAÇÃO TEÓRICA BOLSA DE VALORES Ações BM&FBovespa Análise de Investimento MINERAÇÃO DE DADOS Fases Tarefas Técnicas FERRAMENTAS DE MINERAÇÃO DE DADOS Weka SAS Enterprise Miner Intelligent Miner Quadro comparativo INTELIGÊNCIA ARTIFICIAL NO MERCADO FINANCEIRO TRABALHOS SIMILARES Aplicação de Redes Neurais Artificiais no processo de precificação de ação Um novo Algoritmo Genético para a otimização de carteiras de investimentos com restrições de cardinalidade Modelo Genético-Neural de gestão de carteiras de ações Uso de Data Mining no mercado financeiro ii

4 2.5.5 Uma investigação estatística sobre análise técnica Análise comparativa PROJETO PRÉ-PROCESSAMENTO Seleção Limpeza Enriquecimento Codificação PROCESSAMENTO Inicialização da Ferramenta Tarefa utilizada Técnicas utilizadas Resultados Obtidos PÓS-PROCESSAMENTO Validação e simplificação do modelo Transformação do modelo e apresentação dos resultados Análise dos resultados CONCLUSÕES REFERÊNCIAS BIBLIOGRÁFICAS iii

5 LISTA DE ABREVIATURAS AG ANBID BC BM&FBOVESPA BOVESPA CVM DM IA KDD JRIP ON ONU PART PN RN TCC UNCTAD UNIVALI WEKA Algoritmo Genético Associação Nacional dos Bancos de Investimento Banco Central Bolsa de Valores, Mercadorias e Futuros Bolsa de Valores do Estado de São Paulo Comissão de Valores Mobiliários Data Mining Inteligência Artificial Knowledge Discovery in Databases Incremental Reduced Erro Prunning Ordinárias Organização das Nações Unidas Partial decision trees Preferenciais Redes Neurais Trabalho de Conclusão de Curso Conferência das Nações Unidas para o Comércio e o Desenvolvimento Universidade do Vale do Itajaí Waikato Environment for Knowledge Analysis iv

6 LISTA DE FIGURAS Figura 1. Formação de preço Figura 2. Formação de preço Figura 3. Formação de preço Figura 4. Small caps Figura 5. DM multidisciplinar Figura 6. Processo de DM Figura 7. Weka pré-processamento Figura 8. Comparatico de técnicas SAS Figura 9. Intelligent Miner Agrupamento Figura 10. Base de dados original Figura 11. Base de dados Excel Figura 12. Base de dados enriquecida Figura 13. Base de dados arff Figura 14. Arquivo de entrada no Weka Figura 15. Interface da tarefa de classificação Figura 16. Exemplo de árvore de decisão Figura 17. Exemplo de regras de classificação Figura 18. Algoritmos de árvores de decisão no Weka Figura 19. Algoritmos de regras de classificação no Weka Figura 20. Execução do algoritmo J Figura 21. Árvore do algoritmo J Figura 22. Estatísticas do algoritmo J Figura 23. Matriz de confusão do algoritmo J Figura 24. Execução do algoritmo JRip Figura 25. Estatísticas do algoritmo JRip Figura 26. Matriz de confusão do algoritmo JRip Figura 27. Execução do algoritmo PART Figura 28. Estatísticas do algoritmo PART Figura 29. Matriz de confusão do algoritmo PART Figura 30. Regras do J48 com resultado Banco do Brasil Figura 31. Regras do J48 com resultado Rossi Figura 32. Descobertas do algoritmo J Figura 33. Ferramenta Desenvolvida v

7 LISTA DE TABELAS Tabela 1. Tipos de ordens Tabela 2. Principais referências da cotação Tabela 3. Índices de bolsas no mundo Tabela 4. Fundamentalista X Técnica Tabela 5. Tipos de Riscos Tabela 6. Quadro comparativo de ferramentas Tabela 7. Lista de ativos selecionados vi

8 RESUMO BERENSTEIN, Marcelo. Uso de Mineração de Dados na Bolsa de Valores. Itajaí, f. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) Centro de Ciências Tecnológicas da Terra e do Mar, Universidade do Vale do Itajaí, Itajaí, Nos últimos anos o Brasil tem se tornado alvo predileto de investidores, principalmente estrangeiros, devido ao grande potencial verificado nas ações de empresas brasileiras listadas em Bolsa de Valores, chegando esta a se popularizar entre nós brasileiros, sendo crescentes os resultados obtidos por investidores em nosso mercado. Mas como interpretar o movimento destes ativos e conseguir uma segurança maior com rendimentos acima da média em um mercado novo, onde num passado recente era visto somente por apostadores e especuladores, sem nenhum fundamento. Com o objetivo de descobrir possíveis padrões, tendência e correlações significativas na analise do histórico das cotações dos ativos da Bolsa de valores (Bovespa), o projeto compreende o uso da metodologia de Mineração de Dados aplicada a nossa Bolsa Brasileira, essa metodologia envolve modernos recursos da Computação, usando técnicas de Inteligência Artificial que são aplicados aos dados históricos das cotações de nossas ações listadas em Bolsa. Como resultados tivemos algumas descobertas feitas pelo algoritmo J48 que foram validadas pelo modelo de validação aplicado neste trabalho e que apresentaram movimentos similares de determinados ativos em períodos específicos, e além do mais nos mostrou o potencial que a metodologia de Mineração de Dados tem disponível para realizar estas tarefas. Então a elaboração desse projeto neste mercado financeiro foi importante e poderá ser ainda mais tanto para a área de computação quanto para a área de investimentos, provando que a junção desses dois conhecimentos é uma boa estratégia para alcançar os objetivos de especialistas das duas áreas e trazer benefícios enormes aos investidores, às corretoras, às instituições financeiras e demais entes sociais que visem realizar descobertas do mercado acionário e conseqüentemente trazer informações relevantes para a tomada de decisões nos pregões diários da Bovespa. Palavras-chave: 1. Mineração de Dados 2. Inteligência Artificial 3. Bolsa de Valores vii

9 ABSTRACT In recent years Brazil has become a favorite target for investors, especially foreigners, due to the large potential found in the actions of Brazilian companies listed on the Stock, coming to be popular among us, Brazilians, and increasing the results obtained by investors in our market. But how to interpret the movement of these assets and achieve greater security with incomes above the average in a new market, where in the recent past was seen only for gamblers and speculators, with no foundation. Aiming to discover possible patterns, trend analysis and significant correlations in the history of the prices of assets of the Stock Exchange (Bovespa), the project includes the use of data mining methodology applied to our Brazilian stock exchange, this methodology involves modern resources Computing, using artificial intelligence techniques that are applied to historical data of the prices of our shares listed on the Stock Exchange. As a result we had some discoveries made by the algorithm J48 which was validated by the validation model applied in this work, and had similar movements of certain assets in specific periods, and furthermore has shown the potential of data mining methodology is available to perform these tasks. So the development of this project in this financial market was important and could be even more so for the computing field and for the investment area, proving that the addition of these two skills is a good strategy to achieve the goals of experts of the two areas and bring huge benefits to investors, the brokerages, financial institutions and other entities aimed at making discoveries social stock market and therefore bring relevant information for making decisions in daily sessions of the Bovespa. Keywords:Data Mining. Artificial Intelligence. Stock Exchange. viii

10 1 INTRODUÇÃO Nos primeiros sete meses de 2009 não houve bolsa no mundo que valorizasse mais do que a BOVESPA (Bolsa de Valores do Estado de São Paulo), em dólar, seus investidores ganharam 87% no período e se tornaram a quarta maior bolsa do mundo em valor de mercado, de janeiro a agosto do corrente ano os investidores estrangeiros têm um saldo positivo de quase 14 bilhões de reais (NAPOLITANO, 2009). E, mais uma notícia importante que comprova a evolução de nossa economia com perspectivas favoráveis para o futuro de nosso mercado foi uma pesquisa realizada pela Conferência das Nações Unidas (ONU) para o Comércio e Desenvolvimento (UNCTAD) onde destaca que o Brasil é o quarto destino preferido para investimentos por multinacionais e investidores do mundo todo (BOLSÃO, 2009). Compreender o movimento das cotações dos ativos da Bolsa de Valores para investimentos é um processo muito complexo devido à variedade enorme de ativos listados na Bovespa (centenas) juntamente com suas cotações diárias de meses e anos de cada ativo e também com a variabilidade e incertezas que elas sofrem por diversos fatores tornam dificílimo a análise destes dados somente com a ação humana, havendo a necessidade de juntamente com os conhecimentos financeiros e econômicos a ajuda da computação e mais precisamente da Mineração de Dados com técnicas da Inteligência Artificial (IA) para a possível identificação de padrões de mercado e informações relevantes que ajudem a potencializar a lucratividade dos investimentos em ações, com um menor risco, através de indicações do momento mais oportuno para aplicação dos recursos em um determinado ativo. Mineração de Dados ou DM (Data Mining) é um conjunto de técnicas reunidas da Estatística e da Inteligência Artificial (IA) com objetivo de descobrir conhecimento novo que esteja escondido em grandes massas de dados (CARVALHO, 2001). Assim a Mineração de Dados tem uma tarefa importantíssima neste contexto, onde lida com os inúmeros dados históricos (cotações) de nossas ações, sendo preparados e modelados para serem processados por técnicas de Inteligência Artificial que trazem resultados relevantes para o entendimento de nosso mercado acionário e particularmente de alguns ativos, grupo de ativos e setor de atuação.

11 O trabalho compreende todas as etapas do processo de DM, sendo que houve a incorporação dos dados financeiros na metodologia empregada, seguiram-se fielmente passo a passo os métodos previstos na metodologia. Desde a preparação dos dados coletados (histórico de movimentação dos ativos financeiros) onde foram selecionadas 17 ações com melhores fundamentos entre as centenas existentes na Bovespa (mercado à vista). Então somente os dados relacionados a estas selecionadas são utilizados na fase de processamento onde ocorre a execução das técnicas de Inteligência Artificial com diversos testes sendo efetuados até que se cheguem às melhores tarefas e algoritmos com suas respectivas configurações, inclusive a da base de dados. E o processo é finalizado com a análise, validação e formatação dos resultados alcançados. A maioria dos trabalhos científicos existentes no Brasil e que foram pesquisados focam a IA em selecionar ativos através dos algoritmos de Redes Neurais e Algoritmo Genético, merecendo destaque o projeto proposto por Fernando Rafael Stahnke desenvolvido no Centro Universitário FEEVALE com o título Uso de Data Mining no Mercado Financeiro, que incorporou a seu trabalho o uso de Data Mining. Mas o projeto proposto aqui vai além, tanto pela diversidade de técnicas que foram experimentadas, quanto pela quantidade de ativos que constam no experimento e a variabilidade nos atributos utilizados, buscando através do processo de Mineração de Dados atingirem informações importantes do funcionamento de nossas ações listadas em Bolsa de Valores. As técnicas de inteligência computacional já mostram sua eficiência nas economias desenvolvidas (BAUE, 1994; EDDE, 1996; BOLL, 1997) apud (LAZO, 2000), mas nosso mercado estando em ascensão e sendo diferente do deles certamente apresentará comportamentos e padrões diferentes, havendo a necessidade de ajustes não só nas técnicas utilizadas como em toda a metodologia empregada. Então, a elaboração desse projeto na BM&FBOVESPA (Bolsa de Valores, Mercadorias e Futuros) foi muito importante tanto para a área de computação quanto para a área de investimentos, mostrando que a junção desses dois conhecimentos é uma boa estratégia para alcançar os objetivos de especialistas das duas áreas e trazer benefícios aos investidores, as corretoras, as instituições financeiras e demais entes sociais que visem realizar descobertas do mercado acionário e consequentemente trazerem informações relevantes para a tomada de decisões. 2

12 1.1 PROBLEMATIZAÇÃO Formulação do Problema O mercado de ações é um ramo da economia onde sua previsibilidade é muito difícil de ser traçada, até mesmo especialistas da área, com décadas de experiência, muitas vezes não conseguem prever o seu movimento. As ações listadas em bolsa sofrem interferências diversas em suas cotações, muitas vezes inesperadas, onde analistas tentam buscar alguma lógica, mas não encontram. São diversos os fatores que influenciam os pregões diários que ocorrem na Bolsa de Valores, desde movimentos especulativos, notícias relevantes, fatores da economia, situação dos países e bolsas estrangeiras, fator psicológico dos investidores, [...]. Então como aumentar a previsibilidade desse mercado diante de tanta informação, diversos ativos, diversas cotações, [...]? E como conseguir nos ativos selecionado da Bolsa de Valores uma possibilidade maior de ganho correndo um menor risco? Será que há padrões nos movimentos diários das cotações das ações? Como aproveitar o histórico destas ações para tirar conclusões sobre seus movimentos futuros? Solução Proposta Uma das possíveis soluções pode estar na Computação, onde a junção do conhecimento humano com a Inteligência Artificial pode ser uma boa fórmula para se chegar a uma possível previsibilidade do mercado de ações, onde o processo de Mineração de Dados poderá nos auxiliar a lidar com a diversidade de ações e cotações, sendo esses dados processados por técnicas de Inteligência Artificial com a finalidade de extrair informações relevantes deste histórico obtido nos pregões diários que ocorrem na Bolsa de Valores, informações estas que podem detectar padrões de mercado e movimentos similares que ocorrem em um determinado ativo ou grupo de ativos em determinados períodos de tempo. Então foi a percepção desta solução que me motivou a desenvolver este trabalho nos moldes que serão apresentados no decorrer de seu desenvolvimento, não esquecendo também que a atratividade da nossa bolsa de valores no cenário internacional também foi motivo relevante para a escolha do tema nesta área. 3

13 1.2 OBJETIVOS Objetivo Geral Realizar descobertas e indicações à respeito do comportamento e movimento das cotações dos ativos listados na bolsa de valores brasileira (BM&FBOVESPA), com apoio da mineração de dados Objetivos Específicos Os objetivos específicos deste projeto de pesquisa são: Conceituar e compreender o funcionamento da Bolsa de valores juntamente com suas técnicas de análise financeira; Conceituar e compreender o funcionamento da Mineração de Dados (MD) e suas fases; Efetuar a seleção e modelagem dos dados utilizando as técnicas de análise financeira e de DM conjuntamente; Escolher uma ferramenta que efetue o processamento dos dados; Experimentar, avaliar e selecionar os melhores algoritmos para as tarefas pretendidas, através da ferramenta escolhida; Efetuar o processamento dos dados selecionados e modelados; Validar os resultados obtidos; Aprimorar a visualização e a interpretação dos resultados obtidos; Implementar uma ferramenta que visualize as informações obtidas no processamento; Realizar descobertas de nosso mercado acionário; e Verificar a importância da Mineração de dados neste processo. 4

14 1.3 METODOLOGIA Este trabalho utilizou o processo de Mineração de Dados com técnicas de Inteligência Artificial para ser aplicado a uma base de dados que contem o histórico de cotações de alguns ativos da Bolsa de valores com a finalidade de extrair conhecimentos relevantes dessa base de dados. Para desenvolver este projeto foram definidas quatro etapas, sendo a primeira vinculada mais a fundamentação do projeto, onde foram pesquisados e conceituados os temas abordados nele, na segunda etapa o foco esteve nas ferramentas que foram utilizadas, já na terceira a preocupação esteve na modelagem do projeto e a última etapa lidou com a documentação do TCC. Abaixo segue com mais detalhes a metodologia aplicada às atividades constante nas etapas: Na primeira etapa foi realizada a pesquisa de todo material bibliográfico que foi utilizado na parte teórica do presente projeto, desde consulta a trabalhos de Conclusão de Curso e dissertações de Mestrado, revistas, artigos, livros, consultas via Internet e demais meios. E também foram definidos conceitos, ou seja, determinado os argumentos que foram utilizados para definir cada metodologia e tecnologia que foi utilizada neste trabalho justificando sua aplicação. Na segunda fase foi pesquisada e escolhida a parte de software do trabalho, ou seja, mediante pesquisas e testes foi definida a parte operacional do projeto, realizando também a sua validação mediante testes e análise das características, vantagens, desvantagens e resultados obtidos. Na etapa seguinte o projeto foi modelado, ou seja, foi definida a estrutura do trabalho desde o pré-processamento dos dados até os resultados alcançados. A modelagem do pré-processamento foi feita utilizando como base a metodologia descrita nos conceitos da Mineração de Dados e também da análise financeira, sendo que as duas metodologias foram aplicadas conjuntamente gerando dados selecionados, modelados e preparados que foram utilizados pela atividade posterior. A atividade de processamento dos dados também foi feita utilizando a metodologia descrita nos conceitos da Mineração de Dados, com o uso da ferramenta escolhida que contemplou os melhores algoritmos, com a finalidade de alcançar os melhores resultados possíveis. E na ultima atividade foi definido o pós-processamento, onde os resultados alcançados foram testados, selecionados, transformados e validados para a conclusão do processo. 5

15 Na última etapa (documentação) foi registrado todo o projeto, ou seja, foi escrito toda a modelagem e metodologia descritas nas etapas anteriores, acompanhado das considerações finais. 1.4 ESTRUTURA DO TRABALHO O projeto está estruturado em 4 unidades, compreendendo a (1)Introdução, (2)Fundamentação Teórica, o (3)Projeto e as (4)Considerações Finais. Na Introdução do trabalho é dada uma visão geral de todo o projeto, incluindo a delimitação do tema, o problema enfrentado com sua possível solução, os objetivos, os conceitos envolvidos, a abrangência do projeto e a pesquisa de outros projetos similares. Na Fundamentação Teórica é abordada a parte de conceituação do projeto, descrevendo tanto os conceitos de Mineração de Dados quanto de Bolsa de Valores, não esquecendo das ferramentas que serão utilizadas e os projetos similares. Podemos dividir a unidade nas seguintes sessões: Bolsa de Valores: é abordada a definição de vários conceitos da área, e estudado também técnicas e analises de mercado; Mineração de Dados: é dado o conceito geral, para depois explicar suas fases, tarefas e técnicas detalhadamente; Ferramentas de Mineração de Dados: definição das principais ferramentas disponíveis no mercado com suas vantagens e desvantagens; e Inteligência Artificial no mercado financeiro: é descrito a sua importância, sendo embasada com trabalhos científicos que foram pesquisados na área. Trabalhos Similares: é relatado trabalhos científicos que abordaram o uso da Inteligência Artificial na Bolsa de Valores. A próxima unidade trata do Projeto em si, ou seja, foca no desenvolvimento do trabalho e está dividida nas seguintes sessões: 6

16 Pré-processamento: nesta Seção os dados serão preparados, onde serão selecionados e modelados; Processamento: nesta Seção os dados são introduzidos em uma ferramenta que aplicará neles tarefas e técnicas de DM, gerando resultados; e Pós-processamento: aqui os resultados obtidos são estudados, para uma seleção das informações relevantes que podem ser extraídas do processo e sua conclusão. Na última unidade do trabalho consta as Conclusões, onde é relatado um apanhado geral do trabalho, incluindo os resultados alcançados, os problemas obtidos, as soluções adotadas, a importância das descobertas efetuadas e os trabalhos que poderiam dar continuidade a este estudo. 7

17 2 FUNDAMENTAÇÃO TEÓRICA Esta unidade aborda os conceitos indispensáveis para o entendimento do projeto, sendo eles fundamentados nos mais diversos meios, tais como: Trabalhos Científicos, revistas, livros, sites conceituados da Internet, etc. Aborda também a fundamentação sobre o processo de Mineração de Dados, entra no contexto da Bolsa de Valores, depois apresenta as principais ferramentas disponíveis no mercado que podem ser utilizadas neste projeto, para em seguida finalizar com a importância da Inteligência Artificial neste contexto e trabalhos já aplicados na área financeira que utilizam esta técnica. 2.1 BOLSA DE VALORES Este é o campo de atuação deste projeto, onde as técnicas e metodologias computacionais foram aplicadas nesta área, sendo então, indispensável à explicação de todos os conceitos que fundamentam os recursos e conhecimentos que foram extraídos deste ambiente. Pode-se dizer que quanto mais ativa é uma economia, mais ativo é o seu mercado de capitais, o que se traduz em mais oportunidades para as pessoas, empresa e instituições aplicarem suas poupanças. Ao abrir seu capital, uma empresa encontra uma fonte de captação de recursos financeiros permanentes, acontecendo plenamente sua abertura quando lança ações ao público (denominando-se uma companhia aberta), negociando-as em Bolsa de valores (BM&FBOVESPA, 2009a). Elas têm o objetivo de manter a padronização e o regular funcionamento do mercado de capitais, mantendo elevados padrões éticos de negociação e divulgando as transações executadas com rapidez, detalhes e amplitude (ANBID, 2009).

18 Então, bolsa de valores é o local que oferece condições e sistemas necessários para a realização de negócios, de onde Corretoras de Valores 1 (intermediários), representando investidores 2 institucionais e individuais, reúnem-se para realizar compra e venda de ações, e obrigações em mercado aberto, organizado e auto-regulado (BM&FBOVESPA, 2009a). E como descrito no Guia Online do Mercado de Ações da BM&FBOVESPA (2009a) a existência de um mercado organizado faz com que seja fácil e sem grandes esforços: Entrar como sócio numa sociedade por ações (companhia); Sair da sociedade; Negociar através de representantes; e Formalizar e legitimar as operações de compra e venda de ações Ações É um valor mobiliário negociável, emitido pelas companhias, que representa a menor parcela em que se divide o capital da companhia, sendo então, um pedacinho de uma empresa (UOL, 2009). São títulos negociados em mercados organizados, e de propriedade característico da companhia que a emitiu, mas confere ao proprietário (ou investidor) o status de sócio ou acionista. Sendo necessária a autorização da CVM 3 (Comissão de Valores Mobiliários) para que essas empresas possam abrir seu capital em bolsa (BM&FBOVESPA, 2009a). 1 Corretoras de Valores são instituições autorizadas a funcionar pelo Banco Central (BC) e pela Comissão de Valores Mobiliários (CVM), onde executam operações de compra e venda de ações ou de derivativos na Bolsa, em nome de seus clientes (BM&FBOVESPA, 2009a). 2 Investidores são indivíduos ou instituições que aplicam recursos em busca de ganhos a médio e longo prazos, que operam nas Bolsas por meio de Corretoras e distribuidoras de valores, as quais executam suas ordens e recebem corretagens pelo seu serviço (BM&FBOVESPA, 2009a). 3 Comissão de Valores Mobiliários é um órgão fiscalizador do mercado brasileiro de capitais, o qual também registra e autoriza a emissão dos valores mobiliários para distribuição pública (BM&FBOVESPA, 2009a). 9

19 Tipos As ações podem ser classificadas de 2 formas: -Ordinárias: Confere ao titular os direitos essenciais do acionista, especialmente participação nos resultados da companhia e direito de voto em Assembléia de acionistas. A cada ação ordinária corresponde a um voto nas deliberações da Assembléia Geral, e são nominativas o que as levam a terem a notação ON (BM&FBOVESPA, 2009a). -Preferenciais: Dá a seu proprietário determinadas vantagens patrimoniais (prioridade na distribuição dos dividendos, no reembolso do capital) em relação às ações ordinárias, em troca da renúncia a outros direitos, como o direito de votar nas assembléias gerais da companhia, e são nominativas o que as levam a terem a notação PN (BM&FBOVESPA, 2009a). Ambas devem ser Nominativas, ou seja, seu possuidor é identificado nos livros de registro da companhia, e as empresas podem também dentro de cada tipo criar quantas classes quiser e emiti-las (ANBID, 2009). Os dividendos dados aos possuidores de ações Ordinárias nem sempre são iguais ao possuidor de ações Preferenciais. Normalmente as Preferenciais recebem percentuais maiores e também são negociadas com maior facilidade (UOL, 2009). Atualmente, conforme regulamentação da nossa bolsa de valores e seguindo critérios de Governança Corporativa é exigida de uma empresa para entrar no Novo Mercado 4 que ela emita obrigatoriamente apenas ações ordinárias e/ou converta as ações primárias em ordinárias Compra e venda No Brasil a compra e venda de ações é realizada na Bolsa de Valores de São Paulo (BOVESPA), onde são feitas por meios da corretoras credenciadas pela CVM (UOL, 2009). 10

20 Uma ordem de compra e venda em bolsa é o ato pelo qual o cliente determina ao operador de uma sociedade corretora (empresa constituída para realizar as operações de compra e venda de valores mobiliários para seus clientes ou outras instituições financeiras, nos sistemas mantidos pela bolsa de valores) que compre ou venda ativos ou direitos em seu nome, nas condições que especificar (BM&FBOVESPA, 2009a). O pregão à viva-voz (presencial) de ações foi desativado em 30 de setembro de Desde o dia 3 de Outubro de 2005 há apenas 1 modalidade de pregão na BM&FBOVESPA, denominada Mega Bolsa. No Mega Bolsa (terminais remotos), o sistema eletrônico de negociação da Bovespa, o operador lança a ordem do cliente, informando obrigatoriamente a quantidade de ações e o preço pelos quais deseja negociar, caso haja alguma outra ordem manifestando o interesse de compra nestas mesmas condições, a operação é casada automaticamente, assim, o negócio está concretizado e faltam apenas os procedimentos administrativos para a sua conclusão (BM&FBOVESPA, 2009a). Os tipos mais comuns de ordens podem ser vistas na Tabela 1: 4 O Novo Mercado é um dos níveis de Governança Corporativa, sendo um segmento de listagem destinado à negociação de ações emitidas por empresas que se comprometem, voluntariamente, com a adoção de práticas de governança corporativa e transparência adicional em relação ao que é exigido pela legislação (BM&FBOVESPA, 2009). 11

21 Tabela 1. Tipos de ordens A mercado Limitada Administrada Executada quando recebida, ao melhor preço Fixa limite de preços. Executada dentro do limite ou por preço melhor Investidor especifica somente valor total e as características dos valores mobiliários ou direitos que deseja comprar ou vender. Seleção fica a critério da corretora Discricionária Administrador de carteira ou representante de mais de 1 comitente estabelecem condições de execução da ordem. Depois de executada, quem autorizou a operação descriminará quantidade e preços atribuídos a cada comitente De financiamento De stop Fonte: BM&FBOVESPA (2009a). Compra (ou venda) em um tipo de mercado e outra concomitante de venda (ou compra) de igual valor mobiliário no mesmo ou em outro mercado, com prazos de vencimento distintos Especifica o nível de preço a partir da qual a ordem deve ser executada. - Stop de compra: deve ser executada a partir do momento em que, no caso de alta de preços, ocorra um negócio a preço igual ou superior ao preço especificado - Stop de venda: deve ser executada a partir do momento em que, no caso de baixa de preços, ocorra um negócio a preço igual ou inferior ao preço especificado Formação do preço Ao iniciar o pregão de um dia de negociações, cada ação tem um preço referencial. Este preço foi a cotação de fechamento do dia anterior. E como descrito no Guia Online do Mercado de Ações da BM&FBOVESPA (2009a) ele é influenciado por diversos fatores, tais como: Fluxo de oferta e procura da ação; Comportamento histórico dos preços; Projeção da performance da empresa; e Notícias sobre a empresa. As Figuras 1, 2 e 3 auxiliam a entender o primeiro item deste processo: 12

22 Figura 1. Formação do preço 1 Fonte: BM&FBOVESPA (2009a). Figura 2. Formação do preço 2 Figura 3. Formação do preço 3 Fonte: BM&FBOVESPA (2009a). Fonte: BM&FBOVESPA (2009a). Observa-se que na Figura 1 a oferta e a procura por uma determinada ação estão estabilizadas, logo o seu preço tende a permanecer inalterado, neste caso, no valor de 1,00. Na Figura 2 a procura possui um peso maior, ou seja, há uma quantidade maior de investidores interessado neste ativo e em contrapartida a disponibilidade dele no mercado está reduzida (oferta menor), logo seu preço tende a oscilar, aumentado seu valor. E na Figura 3 ocorre o inverso da Figura 2, onde a oferta é maior que a procura e seu valor tende a diminuir. E resumidamente, podemos dizer que o valor de uma ação é o quanto o mercado está disposto a pagar por ela Cotações Cotação é o preço de qualquer ativo submetido à oferta e procura, em negociações no mercado financeiro. As cotações são listadas em ordem alfabética de negócios realizados, em dois 13

23 blocos separados: cotações em R$ por ação (fator de cotação = 1) e cotação em R$ por lote de mil ações (fator de cotação = 1.000) (BM&FBOVESPA, 2009a). Na Tabela 2 são descritas as principais referências onde as cotações de uma determinada ação são aplicadas: Tabela 2. Principais referências da cotação Abertura Primeira cotação, na abertura de negócios de um dia de negociações Fechamento Ultima cotação, no encerramento de negócios Máxima Maior cotação do dia Média Cotação média do dia Mínima Menor cotação do dia Último Ultima cotação do dia Oscilação Porcentual de variação em relação ao fechamento do dia anterior Oferta de compra Cotação da última oferta de compra registrada Oferta de venda Cotação da última oferta de venda registrada Negócios (nº) Quantidade de negócios realizados com cada ação Negócios (quant.) Quantidade de ações negociadas Fonte: BM&FBOVESPA (2009a) BM&FBovespa A BM&FBOVESPA S.A. Bolsa de Valores, Mercadorias e Futuros foi criada em 2008 com a integração entre a Bolsa de Mercadorias e Futuros (BM&F) e a Bolsa de Valores de São Paulo (BOVESPA). Juntas, as companhias formam uma das maiores bolsas do mundo em valor de mercado, a segunda das Américas, e a líder na América Latina (BM&FBOVESPA, 2009a). No cenário global, em que acompanhar a velocidade das transformações torna-se um diferencial competitivo, a BM&FBOVESPA apresenta atraentes opções de investimento com custos de operação alinhados ao mercado. Então, sua missão merece ser observada, sendo definida como: Atuar na dinâmica macroeconômica de crescimento do mercado latino-americano e posicionar não apenas a Bolsa, mas também o Brasil como centro financeiro internacional de negociação de ações, commodities e outros instrumentos financeiros, com excelência operacional e atitudes socialmente responsáveis (BM&FBOVESPA, 2009a). 14

24 Índice Um índice de ações indica a variação média de preços de um conjunto de ações, conhecida como carteira teórica, em um determinado período. Sua variação é medida em percentual e seus valores são expressos em pontos (ANBID, 2009). São criados a partir de regras específicas que selecionam os papéis que vão compor sua carteira e servem como ponto de referência (benchmark) para mensurar o desempenho de determinado mercado, conjunto de empresas ou ações de um setor específico (ANBID, 2009). Praticamente, todas as bolsas de valores do mundo, visando medir seu desempenho, têm seus próprios índices de ações (BM&FBOVESPA, 2009a). Alguns dos índices mais conhecidos do mundo seguem na Tabela 3: Tabela 3. Índices de Bolsas no mundo Bolsas Índices Bolsa de Valores de Nova York S&P - Standard & Poor`s 100, DJIA Dow Jones Industrial Average e Nyse Composite Index Bolsa de Hong Kong Hang Seng Index Bolsa Nasdaq Nasdaq Composite Index Bolsa de Tóquio Nikkei Index Bolsa de Londres FT 100 Bolsa do comércio de Buenos Aires Merval Bolsa de Frankfurt DAX Bolsa de Madri Latibex (ações da América Latina) Bourse de Paris FTSEuroFirst 80 Borsa Italiana S&P-MIB Fonte: BM&FBOVESPA (2009a). O principal índice que mede a nossa bolsa é o índice Bovespa, ele acompanha a evolução média das cotações das ações negociadas na bolsa de valores de São Paulo. Ele é o valor atual, em moeda corrente, de uma carteira teórica de ações. A carteira teórica é integrada pelas ações que, em conjunto, representam 80% do volume transacionado a vista nos 12 meses anteriores à formação da carteira (BM&FBOVESPA, 2009a). 15

25 Conforme regra da própria BM&FBOVESPA (2009a), a carteira teórica do índice Bovespa é composta pelas ações que atenderam cumulativamente aos seguintes critérios, com relação aos doze meses anteriores à formação da carteira: Estar incluída em uma relação de ações cujos índices de negociabilidade somados representam 80% do valor acumulado de todos os índices individuais; Apresentar participação, em termos de volume, superior a 0,1% do total; e Ter sido negociada em mais de 80% do total de pregões do período. O índice Bovespa sofre de 4 em 4 meses uma reavaliação, onde se pode alterar tanto sua composição quanto o peso de cada ativo na carteira, com a finalidade de que sua representatividade se mantenha ao longo do tempo Cenário atual Merece destaque este item por ter grande relevância no presente estudo, já que o campo de atuação deste projeto está ligado as suas perspectivas futuras, então, o cenário atual em que se encontra nossa bolsa brasileira deve ser considerado, onde sua situação atual não poderia ser melhor, sendo as perspectivas de futuro as melhores possíveis não havendo precedentes iguais vistos no passado histórico de nosso mercado, então as noticias que serão descritas abaixo vem para embasar o momento em que vivemos e para ainda mais destacar a importância deste estudo na nossa Bolsa de valores. Abaixo serão transcritas noticias extraída da Revista Exame, conceituada revista no ramo financeiro e econômico, que foram expostas na edição de Agosto de 2009: Nos primeiros sete meses de 2009 não houve bolsa no mundo que valorizasse mais do que a BM&FBovespa. Em dólar, seus investidores ganharam 87% no período. A segunda bolsa com maior valorização foi a Xangai, na pujante China, com 79% de ganhos em dólar. A bolsa brasileira é hoje a quarta maior do mundo em valor de mercado. E a 12ª quando se soma o valor das ações das 432 companhias negociadas. Juntas, elas valem hoje 1 trilhão de dólares. 16

26 De janeiro a agosto, os investidores estrangeiros têm um saldo positivo de quase 14 bilhões de reais na BM&FBovespa. Apenas em maio, mês que registrou o recorde histórico de aportes internacionais, foram investidos 6 bilhões de reais. Desde 2004, o valor total das companhias negociadas dobrou. E os recursos levantados nas ofertas de ações feitas por elas somaram 180 bilhões de reais. A bolsa brasileira abrigou em 2009 a segunda maior abertura de capital do mundo, a da processadora de operação com cartões Visanet. Em julho, o banco espanhol Santander anunciou que fará aqui uma oferta de ações de sua operadora local que poderá chegar a 7 bilhões de reais é a primeira vez que uma multinacional escolhe o mercado brasileiro para levantar tamanha quantidade de recursos. E complementando o último tópico, a revista Veja noticiou em outubro de 2009 os resultados obtidos com a oferta pública das ações do Banco Santander: [...] tornou-se a maior da história da Bolsa de Valores de São Paulo (Bovespa). De acordo com informações divulgadas pela Comissão de Valores Mobiliários (CVM), a operação movimentou 14,1 bilhões de reais, para um total de 600 milhões de ações [...] (VEJA, 2009) Análise de investimento Este item é de extrema importância para o correto entendimento deste projeto, pois a metodologia empregada neste projeto utiliza amplamente os conceitos e análises que estão expressas aqui Análise Fundamentalista X Análise Técnica No mercado de ações existem duas escolas de análises feitas pelos especialistas da área, sendo elas a análise Fundamentalista e a análise Técnica. Como os fundamentos destas metodologias serão utilizados em nosso processo de Mineração de Dados ou KDD (Knowledge Discovery in Databases Descoberta de Conhecimento 17

27 em Bases de Dados), a Fundamentalista no Pré-processamento para a seleção de ativos e a Técnica na Mineração de Dados propriamente dita, é importantíssimo que sejam observadas as diferenças entre as duas escolas. A Fundamentalista foca o longo prazo e é baseada nos fatores e fundamentos econômicos, dependendo de estatísticas, projeções, condições de oferta e demanda e fundamento das empresas como ramos de atuação, perspectivas de mercado, demonstrativos financeiros, relatórios entre outros (BM&FBOVESPA, 2009a). Pinheiro (2005) define a análise Fundamentalista como sendo o estudo de toda a informação disponível no mercado sobre determinada empresa, com a finalidade de obter seu verdadeiro valor, e assim formular uma recomendação de investimento. E Pinheiro (2005) ainda finaliza seu conceito sobre a escola Fundamentalista dizendo que: Portanto, estuda os fatores que explicam o valor intrínseco de uma empresa, setor ou mercado, colocando em segundo plano os valores de mercado, como preço e volume. Esses fatores são chamados de valores fundamentalistas. Já a análise Técnica destina-se ao curto prazo (entre 4 semanas e 6 meses) e é baseada na interpretação dos gráficos de preços dos ativos, volumes e outros indicadores, mostrando como os preços se comportaram no passado, projetando uma série de expectativas de movimentos de preços no futuro (BM&FBOVESPA, 2009a). pensamentos: Conforme Guia da BM&FBOVESPA (2009a) o analista Técnico tem os seguintes O preço de hoje desconta eventos futuros; Algumas vezes, os preços se movimentam numa tendência perceptível; O ser humano tende a não mudar de comportamento; e 18

28 O ser humano pode se reunir e atuar como uma massa com mentalidade coletiva diversa daquela que tem como indivíduos. A BM&FBOVESPA (2009a) ainda definiu em seu manual alguns objetivos que a escola técnica possui: Conhecer e mensurar a lei de oferta e procura; Identificar oportunidades de operações atraentes e as melhores situações de retorno em relação ao risco; Otimizar as entradas e saídas do mercado; Determinar limites nas oscilações dos preços; e Estabelecer estratégias de risco. Portanto, essa análise é o estudo de como os preços se movimentam, não se preocupando como porquê de eles se movimentarem. (PINHEIRO, 2005). A Tabela 4 a seguir define bem as características apresentadas por cada escola, com as principais diferenças entre elas: 19

29 Tabela 4. Fundamentalista X Técnica Itens Fundamentalista Técnica Idade 30 anos 100 anos Origem Acadêmica Profissional Usuário Administradores de fundos e Especulador investidores no longo prazo Pergunta Por quê? Quando? Análises Econômico-financeira Gráfica Hipóteses Básicas Existe um valor real ou intrínseco para cada ação que está diretamente correlacionado com o desempenho da empresa Objetivos Fonte: Adaptado de Pinheiro (2005). Determinar o valor real de uma ação Os preços das ações movimentam-se em tendências e existe uma dependência significativa entre as oscilações dos preços que se sucedem Determinar a tendência de evolução das cotações no curto prazo, a fim de se aproveitar das rápidas oscilações para auferir ganhos de capital (vender as ações por um preço superior ao da compra) É muito difícil encontrar no mercado de investimentos, analistas que utilizem apenas uma das duas técnicas de análise, mas sim, conjuntamente, já que a Fundamentalista serve para indicar em quais ações investir e a Técnica em que momento investir (PINHEIRO, 2005). Então, atualmente não há um consenso sobre qual das duas seria a melhor forma de análise, mas muitos analistas dizem que a mistura das duas análises seria o melhor caminho, exatamente como foi empregada neste projeto Risco Conforme Guia da BM&FBOVESPA (2009a) risco no âmbito financeiro pode ser definido como a probabilidade de ganho ou perda numa decisão de investimento, ou ainda, o grau de incerteza do retorno de um investimento. E, normalmente, o risco tem relação direta com o nível de renda do investimento, ou seja, quanto maior o risco, maior o potencial de renda do investimento. 20

30 A negociação de ações é considerada um investimento de alto risco. Em virtude da variação dos preços delas, não há garantia de retorno do capital que foi investido (UOL, 2009). Por ser um mercado de alta volatilidade 5, as ações são consideradas ativos de renda variável, ou seja, não oferecem ao investidor uma rentabilidade garantida, previamente conhecida. Assim sendo, é considerado um investimento de risco (BM&FBOVESPA, 2009a). Na Tabela 5 são expostos os tipos de risco que uma organização está sujeita: Tabela 5. Tipos de Riscos Título da Coluna 1 Título da Coluna 2 De mercado Decorre de movimentos adversos do valor dos bens relacionados no ativo e das obrigações constantes no passivo de uma empresa De crédito Perda econômica potencial que uma empresa pode sofrer se a contraparte devedora não liquidar sua obrigação financeira no prazo estipulado em contrato De liquidez Grau de dificuldade para obtenção de meios de pagamento pela venda de um bem e pela perda de valor que ocorrer Legal Possibilidade de questionamento jurídico da execução dos contratos, processos judiciais ou sentenças contrárias ou adversas àquelas esperadas pela Instituição e que possam causar perdas ou perturbações significativas que afetem negativamente os processos operacionais De fraude Possibilidade de ocorrência de evento que cause prejuízo direto ou indireto para a organização, oriundo de ações de pessoas ou empresas que venham subtrair recursos da contra no SITRAF de um banco participante em favor de terceiros ou ainda de outras ações que caracterizem ato de má-fé De reputação ou imagem Possibilidade de ocorrer publicidade negativa, verdadeira ou não, em relação à prática da condução dos negócios da Instituição, gerando declínio na base de clientes, litígio ou diminuição da receita Operacional Possibilidade de perda decorrente da falta de consistência e adequação dos sistemas de informação, processamento e operações, falhas nos controles internos, fraudes ou qualquer tipo de evento não previsto Fonte: BM&FBOVESPA (2009a). 5 Volatilidade é definida como a intensidade e freqüência de variações bruscas da cotação de um ativo, índice, título ou valor mobiliário (BM&FBOVESPA, 2009a). 21

31 Rentabilidade A rentabilidade dos investidores é composta de dividendos 6 ou participação nos resultados e benefícios concedidos pela empresa emissora, além do possível ganho de capital advindo da venda da ação no mercado secundário 7 (Bolsa de Valores). O rendimento do investimento depende de vários fatores, tais como desempenho da empresa, comportamento da economia brasileira e internacional etc. (BM&FBOVESPA, 2009a). E no Portal da Anbid (2009) dividendos está definido como a parte do investidor no lucro obtido pela empresa, e descreve ainda que sempre que uma empresa tem lucros, ela reserva parte deste resultado para distribuir a seus acionistas. Aqui no Brasil, as empresas são obrigadas a um pagamento mínimo de dividendos de 25% do lucro. A Lucratividade é um rendimento auferido por determinado investimento, sendo a diferença entre o valor atual e o valor pago por um investimento. Normalmente ele é expresso sobre a forma de porcentagem em relação ao valor dos recursos investidos inicialmente (BM&FBOVESPA, 2009a) Blue Chips X Small Caps Como descrito no site da BM&FBOVESPA (2009a), as ações podem ser divididas em: De primeira linha (Blue chips): São ações de grande liquidez (grande quantidade de negócios), e procura no mercado de ações por parte dos investidores, em geral são empresas tradicionais, de grande porte/âmbito nacional e excelente reputação; De segunda linha (Small caps): São ações um pouco menos líquidas, de empresas de boa qualidade, em geral de grande e médio porte; e 6 Dividendos são uma porção dos lucros distribuídos aos acionistas em dinheiro (PINHEIRO, 2005). 7 O Mercado Primário compreende o lançamento de novas ações ao mercado, com aporte de recursos à companhia. Após esse processo, as ações passam a ser negociadas no Mercado Secundário, que compreende as bolsas de valores e os mercados de balcão (onde são negociadas ações que não estão sujeitas aos procedimentos especiais de negociação) (BM&FBOVESPA, 2009a). 22

32 De terceira linha (Small caps): São ações com pouca liquidez, em geral de companhias de pequeno e médio porte (porém, não necessariamente de menor qualidade), cuja negociação caracteriza-se pela descontinuidade. Um princípio básico de finanças diz que o retorno de um investimento é diretamente proporcional ao risco que ele apresenta. Ou seja, quanto maior o risco, maior a possibilidade de ganhos. De forma geral, as small caps são mais arriscadas que as blue chips, mas quando analisamos cada ação isoladamente verificamos que nem sempre o que é válido para o conjunto pode ser aplicado individualmente (LORENZO, 2009). Então, decidir entre uma opção e outra é uma tarefa extremamente difícil, mas para melhor ilustrar esta complexidade a Figura 4 apresenta como reagem as smal caps, analisado principalmente no período agudo da crise (15 de setembro a 31 de dezembro de 2008) até o inicio de seu afrouxamento aqui no Brasil (primeiros meses de 2009): Figura 4. Small caps Fonte: Economática (2009 apud LORENZO, 2009). Logo, a Figura 4 demonstra a volatilidade que as small caps sofreram no período, onde em um primeiro momento (agudo da crise) elas obtiveram uma queda superior ao índice que mede as principais ações (índice Bovespa) e logo em seguida (no final da crise) obteve um desempenho bem superior a esse mesmo índice. 23

33 2.2 MINERAÇÃO DE DADOS Este é o método aplicado na base de dados para a extração de conhecimento novo, então será detalhado todo o seu processo, incluindo sua definição, as fases que envolvem seu funcionamento, as tarefas mais utilizadas para desempenhar seu papel e as técnicas mais importantes que são utilizadas para que as tarefas possam cumprir seus objetivos. Antes da definição, deve-se esclarecer que o processo de Mineração de Dados como um todo (incluindo todas as fases) na realidade recebe outro nome, denominado KDD que significa Descoberta de Conhecimento em bases de dados ou em inglês Knowledge Discovery in Databases, sendo que mineração de dados é apenas uma etapa deste processo (etapa de processamento dos dados). Popularmente o processo de KDD é conhecido como Mineração de Dados, em virtude disto, muitos autores terminam denominando o processo como DM. Neste trabalho será utilizado o termo Mineração de Dados tanto para definir o processo como um todo como somente a etapa de processamento, devendo então ser analisado o contexto que ela se encontra. Carvalho (2001) define a Mineração de Dados como a aplicação de técnicas automáticas de exploração de grande volume de dados com a finalidade de descobrir padrões e relações que estavam escondidos, que não seriam facilmente descobertos a olho nu pelo ser humano. Silveira (2004 apud KLEINSCHMIDT, 2007) define como obter informações através de uma base de dados existente usando seus atributos para extrair informações que não são óbvias e que precisam ser trabalhadas para serem úteis na tomada de decisão, através da utilização de algoritmos para identificar padrões nos dados analisados. E Goldschmidt (2005) define como o desenvolvimento e aplicação de técnicas que permitem obter conhecimentos novos e úteis a partir de grandes bases de dados. Na Figura 5 conforme nos demonstra Silva (2003) a Mineração de Dados engloba em seu processo conhecimentos de diversas áreas, possuindo técnicas de Inteligência Artificial, Banco de Dados e Estatística. 24

34 Figura 5. DM multidisciplinar Fonte: Silva (2003). Os objetivos da Mineração de Dados segundo Fayyad (1993 apud SILVA, 2003) são a descrição e previsão de modelos, sendo a descrição caracterizada pela descoberta de padrões interpretáveis pelo ser humano, enquanto que a previsão é caracterizada pela utilização de variáveis contidas dentro de bancos de dados para prever valores futuros ou desconhecidos. Atualmente, inúmeras são as aplicações de DataMining, onde podemos citar como exemplos: na tendência de consumo de clientes, na detecção de fraudes em arrecadações, previsão do volume de vendas, na segmentação de mercados, no planejamento de produção e principalmente na previsão de mercados financeiros. Contudo isso, estão sendo utilizadas com sucesso no mundo todo, tanto em empresa nacionais como internacionais (GOLDSCHMIDT, 2005). na Figura 6: Podemos simplificar o processo de DM ou KDD com suas etapas operacionais como vemos 25

35 Figura 6. Processo de DM Fonte: Aurélio, Vellasco e Lopes (1999 apud STAHNKE, 2008) Fases O processo é dividido em três importantes fases que serão explicadas a seguir: Pré-processamento Segundo Pacheco (1999, apud KLEINSCHMIDT, 2007) A etapa de pré-processamento é responsável por consolidar as informações relevantes para o algoritmo minerador, com o objetivo de reduzir a complexidade do problema. E conforme Goldschmidt (2005) a principal função desta fase é a preparação dos dados para serem aplicados na fase seguinte de Mineração de Dados. Compreende todos os métodos relacionados à captação, à organização e ao tratamento dos dados, conforme relacionado abaixo: 26

36 Seleção de dados Também identificada pelo nome de redução de dados ela realiza a identificação e seleção das informações (atributos) mais relevantes, entre as existentes na base de dados original, que devam ser utilizadas no processo (GOLDSCHMIDT, 2005). Para Amorim (2006) inicia com uma coleta inicial de dados, e com procedimentos e atividades visando a familiarização com os dados, para identificar possíveis problemas de qualidade, ou detectar subconjuntos interessantes para formar hipóteses. Limpeza de dados Consiste no tratamento dos dados selecionados na etapa anterior, ou seja, para não comprometer a qualidade dos resultados que serão obtidos no final do processo é necessário que correções sejam efetuadas na base de dados em virtude da possibilidade de haver informações ausentes, errôneas, inconsistentes, redundantes ou nulas. Assegurando, assim, a completude, a veracidade e a integridade dos fatos por eles representados (GOLDSCHMIDT, 2005). Para Amorim (2006) consiste na preparação dos dados que visa a limpeza, transformação, integração e formatação dos dados da etapa anterior. É a atividade pela qual os ruídos, dados estranhos ou inconsistentes são tratados. Codificação dos dados Para que os dados possam ser usados de maneira adequada pelos algoritmos de Mineração de Dados ao qual serão submetidos, normalmente é necessário que eles sejam codificados para que sejam aceitos e possuam a forma adequada (GOLDSCHMIDT, 2005). Enriquecimento dos dados Para o aprimoramento das informações que serão submetidas ao processo de DM pode ser realizada a adição de dados novos que serão agregados aos registros já existentes, conseguindo assim, o enriquecimento das informações fornecidas (GOLDSCHMIDT, 2005). 27

37 Mineração de Dados É considerada como a etapa mais importante da metodologia, onde são definidas as tarefas e técnicas, incluindo os algoritmos, que serão utilizados no processo, sendo realizada então a busca pelo conhecimento que se pretende extrair da base de dados. Para Amorim (2006) esta fase consiste na modelagem dos dados, a qual visa a aplicação de técnicas de modelagem sobre conjunto de dados preparado na etapa anterior [...] e seus parâmetros são calibrados para se obter valores otimizados. Normalmente não é selecionada apenas uma técnica para a execução do processo, podendo haver até a junção destas técnicas se necessário, e algumas técnicas possuem requerimentos específicos na forma dos dados. Conseqüentemente, voltar para a etapa de preparação de dados é freqüentemente necessário. E para Carvalho (2001) nesta fase é realizada a descoberta de novas relações, não identificadas a olho nu, com a utilização de métodos de Inteligência Artificial, através de uma análise sistemática e exaustiva sobre os registros dos bancos de dados. nesta fase. Nos itens e serão detalhadas as principais tarefas e técnicas que são utilizadas Pós-processamento Na análise de Silva (2003) esta fase inicialmente realiza a avaliação dos padrões realmente interessantes, que agregam conhecimento útil, para depois realizar a apresentação do conhecimento descoberto para o usuário final, através de técnicas de visualização e representação do conhecimento. Para Goldschmidt (2005) nesta fase é realizado o tratamento do conhecimento obtido na fase anterior (DM), com a finalidade de facilitar a interpretação e a avaliação da utilidade do conhecimento descoberto. Podendo dividir esta fase em 3 etapas: 28

38 Simplificação de modelo de conhecimento Nesta etapa é realizada a remoção de detalhes e conjunto de informações sem importância do modelo de conhecimento que foi extraído da fase de processamento (Mineração de Dados), de forma a torná-lo menos complexo e mais legível e simplificado ao usuário final, mas sem perda de informação relevante (GOLDSCHMIDT, 2005). E segundo Silva (2003) a fase de pós-processamento é iniciada com a avaliação dos padrões realmente interessantes, que representem conhecimento útil. Transformação de modelo de conhecimento O modelo de conhecimento que foi obtido da fase de Mineração pode sofrer mudanças em sua estrutura com a finalidade de facilitar a análise e interpretação deste modelo. Normalmente são aplicados métodos que consistem na conversão da forma de representação do conhecimento de um modelo para outra forma de representação do mesmo modelo (GOLDSCHMIDT, 2005). Organização e apresentação dos resultados Há técnicas de visualização de informação que estimulam a percepção e a Inteligência humana, conseqüentemente aumentando o poder de entendimento e associação de novos padrões. Então, seguindo este pensamento atualmente se usam diversas formas para representar os modelos de conhecimento obtidos neste processo, sendo os mais utilizados as planilhas, as tabelas, os cubos de dados, as árvores, as regras e os gráficos em 2 ou 3 dimensões (GOLDSCHMIDT, 2005). Mas existem alguns critérios que devem ser obedecidos ao representar os resultados alcançados onde Amorim (2006) as defini como: devem possibilitar uma análise criteriosa para identificar a necessidade de retornar a qualquer um dos estágios anteriores do processo de mineração. 29

39 2.2.2 Tarefas Segundo Kleinschmidt (2007) existem diversas tarefas de DM, onde cada uma delas extrai um tipo diferente de conhecimento da base de dados e também estão diretamente relacionadas ao domínio da aplicação e ao interesse do usuário. Podemos considerar que a escolha das tarefas depende dos objetivos que se pretende atingir com a aplicação, e não podemos esquecer também que as tarefas podem ser utilizadas isoladamente ou combinas entre elas dependendo da finalidade que se pretende atingir. As tarefas estão compreendidas dentro da fase de Mineração de Dados. São diversas as tarefas que podem ser aplicadas no processo, mas descreveremos a seguir as principais tarefas, que usualmente são mais utilizadas e também mais estudadas pelos autores: Classificação Segundo Goldschmidt (2005) é uma das mais populares e importantes tarefas e é definido como: descobrir uma função que mapeie um conjunto de registros em um conjunto de rótulos categóricos predefinidos, denominados classes. Uma vez descoberta, tal função pode ser aplicada a novos registros de forma a prever a classe em que tais registros se enquadram. Euriditionhome (2004, apud AMORIM, 2006) diz que esta tarefa pode ser usada para compreender dados já existentes como também para prever como novos dados irão se comportar. E Amorim (2006) alerta que é necessário para realizar a tarefa de forma eficiente que detalhes do dado a classificar sejam desprezados e que apenas as características principais sejam observadas. Há diversos tipos de algoritmos que podem ser utilizados na tarefa de Classificação, com estruturas e características diversas, mas os utilizados com mais freqüência são: Redes Neurais Artificiais (RNA), Estatísticas, Lógica Indutiva, Árvore de Decisão, Regressão e Algoritmos Genéticos (AG). 30

40 Agrupamento (ou Clusterização) Conforme Amorim (2006) Visa formar grupos de objetos ou elementos mais homogêneos entre si. E confirma que esta tarefa é bem mais complexa que a de classificação, pois lá as classes já vêm com uma classificação previa. Sua função é separar os registros de uma base de dados em subconjuntos ou grupos, onde os elementos de um grupo compartilhem de características similares que os distingam de elementos em outros grupos (GOLDSCHMIDT, 2005). Para Silva (2003) ela é utilizada quando ainda não é conhecido nenhum grupo e sua finalidade é produzir uma segmentação do conjunto de dados de entrada de acordo com algum critério. E segundo Fayyad et al. (1996, apud GOLDSCHMIDT, 2005) a diferença para o método de classificação é a necessidade de automaticamente identificar os grupos de dados aos quais os usuários deverá atribuir rótulos, onde na classificação os rótulos são pré-definidos. Existem vários tipos de algoritmos que podem ser utilizados no Agrupamento, com características e funcionalidades diferentes, mas os reconhecidos pela literatura e constantemente usados são os seguintes: RNA, Estatística, K-Means e AG Associação (ou análise de afinidade) Carvalho (2001) define da seguinte forma: Determinar que fatos ocorram simultaneamente com probabilidade razoável (co-ocorrência) ou que itens de uma massa de dados estão presentes juntos com uma certa chance (correlação). E Goldschmidt (2005) em sua definição sobre esta tarefa diz que: Compreende a busca por itens que ocorram constantemente de forma simultânea em ocorrências da base de dados. Há diversos tipos de algoritmos que podem ser utilizados na tarefa de Associação, com estruturas e características diversas, mas os utilizados com mais freqüência são: Regras de Associação, Teoria dos Conjuntos, Estatística e Apriori. 31

41 Previsão Carvalho (2001) define resumidamente como sendo a avaliação do valor futuro de algum índice, baseando-se em dados do comportamento passado deste índice, e afirma que ela é uma das tarefas mais difíceis, e que o único modo de termos certeza se a tarefa foi bem realizada é aguardar o acontecimento e, daí sim, verificar os resultados. Goldschmidt (2005) diz que este método está sendo muito utilizado para resolver problemas do mundo real, onde a eficácia de uma decisão depende diversas vezes de eventos anteriores a ela mesma, assim, esta tarefa ajuda a reduzir os riscos gerados por incertezas e acaba auxiliando o planejamento e a tomada de decisões. Existem vários tipos de algoritmos que podem ser utilizados na Previsão, com características e funcionalidades diferentes, mas os reconhecidos pela literatura e constantemente usados são os seguintes: RNA, Regressão, Árvore de Decisão e Estatística Estimativa Carvalho (2001) diz que para estimar um índice é necessário determinar seu valor mais provável diante de dados do passado ou de dados de outros índices semelhantes sobre os quais se tem conhecimento. E afirma que a arte de estimar é usar valores que se encontram em situações similares aos valores que se quer determinar, mas jamais exatamente iguais. Há diversos tipos de algoritmos que podem ser utilizados na Estimativa, com estruturas e características diversas, mas os utilizados com mais freqüência são: Algoritmos de Regressão, RNA, Estatística, AG e Simulated Annealing Técnicas Normalmente a técnica ou técnicas a serem escolhidas dependem das tarefas a serem realizadas, e da mesma forma que as tarefas podem ser usadas de maneira individual ou combinadas. 32

42 Segundo Silveira (2003 apud KLEINSCHMIDT, 2007) de acordo com as tarefas a serem executadas e as classes de problemas em questão, existem diferentes técnicas de mineração e algoritmos que possibilitam a busca por padrões escondidos nos dados. As técnicas estão compreendias dentro da fase de Mineração de Dados. E são diversas as técnicas que podem ser aplicadas no processo, mas será descrito a seguir as 2 principais, sendo as mais utilizadas na área de atuação de trabalho: Algoritmo Genético É definido por Goldschmidt (2005) como sendo modelos de otimização, inspirados na evolução natural e na genética, aplicados a problemas complexos de otimização. E são recomendados para problemas com grandes espaços de busca ou com muitas variáveis e restrições, e salienta ainda que esta técnica não tem como garantir uma solução ótima, mas pode conseguir soluções próximas ou aceitáveis. E segundo Carvalho (2001) o Algoritmo genético surgiu através de uma forte analogia com a Teoria da Evolução das Espécies de Darwin, onde a primeira etapa na utilização deste método é definir um conjunto de genes que representem as características do problema em questão, formando o cromossomo. Em um processo regido por seleção natural, populações competem umas com as outras, para converterem-se em progenitores, em função de um valor chamado ajuste. Depois aplica-se uma série de funções denominadas operadores genéticos: mutação, inversão e cruzamento (crossover) (DAV, 1991 apud SILVEIRA; BARONE, 1998) Redes Neurais Artificiais É definido por Goldschmidt (2005) como uma técnica computacional que constrói um modelo matemático inspirado em um sistema neural biológico simplificado, com capacidade de aprendizado, generalização, associação e abstração. E simplifica o processo dizendo que a técnica tenta aprender padrões através da experiência, ou seja, são feitos testes com os dados repetidas 33

43 vezes, procurando por vínculos e automaticamente construindo modelos, e os corrige quando necessário tentando diminuir seu próprio erro. E é definido por Sousa (1998, apud AMORIM, 2006) como sistemas paralelos distribuídos, onde tentam formar padrões localizados nos dados. Sua estrutura compreende um número de unidades de processamento interconectadas, chamadas de neurônios, que tem a finalidade de especificar determinadas funções matemáticas, conhecidas como funções de ativação. Estes neurônios são distribuídos em uma ou mais camadas e interligadas por um grande número de conexões, estas vinculados a pesos que registram o conhecimento caracterizado pelo modelo e ponderam as entradas recebidas por cada neurônio da rede. 2.3 FERRAMENTAS DE MINERAÇÃO DE DADOS Há atualmente disponíveis no mercado diversas ferramentas que foram desenvolvidas para facilitar o processo de Mineração de Dados ou KDD e diminuir as dificuldades operacionais existentes, todas elas possuem suas vantagens e desvantagens sendo uma tarefa difícil dizer qual seria a melhor opção. Mas, no presente projeto, será trabalhado com a ferramenta Weka (Waikato Environment for Knowledge Analysis) por possuir todos os recursos necessários e indispensáveis a perfeita execução deste trabalho; também por possuir uma quantidade enorme de algoritmos com funcionalidades e características das mais diversas, dando maior opção e credibilidade nas suas escolhas; e também por ser uma ferramenta de código aberto, que dá a opção de estudo da estrutura dos algoritmos com possível complementação e miscigenação de suas funções. Como exemplo, será descrito três ferramentas que são muito utilizadas no mundo todo, citadas por diversos autores e muito bem conceituadas, destacando suas principais características. E será finalizado com um quadro comparativo entre elas, destacando principalmente os recursos que elas possuem e características que possam diferenciá-las. 34

44 2.3.1 Weka Esta ferramenta foi desenvolvida por um curso de Ciências da Computação da Universidade de Waikato na Nova Zelândia, foi totalmente desenvolvida na linguagem Java, sendo um produto gratuito, de código aberto e possuindo diversos algoritmos para a execução de suas tarefas. Possui uma interface gráfica de fácil manuseio, denominada de Explorer, e engloba separadamente as etapas de pré-processamento, processamento e pós-processamento. O Weka possui implementados diversos métodos de associação, classificação e clusterização. A inclusão ou remoção de novos métodos pode ser realizada de forma simples e rápida, o que torna a ferramenta customizável e expansível. (GOLDSCHMIDT, 2005). A equipe de desenvolvimento tem lançado periodicamente correções e releases da ferramenta, além de manter um grupo de discussões sobre o software. A maioria das funções desta ferramenta foram originadas de teses e dissertações de grupos de pesquisas desta Universidade (SILVA, 2006). O Weka suporta apenas a manipulação de arquivo do tipo ARFF que é baseado em ASCII e com a finalidade de definir atributos e seus valores. O programa permite a apresentação gráfica dos dados em forma de histogramas, possui modelos gráficos para a montagem de redes neurais, e a possibilidade de visualização dos resultados em árvores de decisão (GOLDSCHMIDT, 2005). Porém ele limita o volume de dados a ser manipulado à sua capacidade de memória principal, sendo então, a escalabilidade um ponto negativo da ferramenta (SILVA, 2006). Na Figura 7 segue a visualização da interface de pré-processamento em um caso já cadastrado no Weka (Weather) com 5 atributos, extraída da própria ferramenta: 35

45 Figura 7. Weka pré-processamento Fonte: Universidade de Waikato (2009) SAS Enterprise Miner Produzido pela empresa internacional SAS, a ferramenta implementa todo o processo de KDD, através de um modelo próprio definido como SEMMA Selecionar (Sample), Explorar (Explore), Modificar (Modify), Modelar (Model), e Avaliar (Assess) (SAS, 2009). É um software estatístico voltado à análise de dados [...] com destaque especial ao módulo de Mineração de Dados. Esse módulo dispõe de diversos algoritmos de análise, além de recursos para o planejamento de ações e encadeamento dos algoritmos. (GOLDSCHMIDT, 2005). 36

46 [...]O software fornece a habilidade original de poder comparar a eficácia de cada técnica em relação ao total do conhecimento gerado, permitindo que estatísticos e analistas do negócio discutam facilmente os resultados, para analisar as técnicas mais eficazes[...] (AMORIM, 2006). 8: O Comparativo de técnicas descrito e ilustrado por Amorim (2006) pode ser visto na Figura Figura 8. Comparativo de técnicas SAS Fonte: SAS (2009 apud AMORIM, 2006) Intelligent Miner Fabricado pela IBM, faz parte do pacote DB2 Data Warehouse Edition, mas não é dependente deste sistema. 37

47 Sendo definido como uma poderosa ferramenta para análise de dados integrada, onde possui as tradicionais técnicas de mineração de dados (análise de agrupamento, análise de afinidade, classificação, estimativa e previsão), acrescentadas de sofisticados componentes de apresentação para possibilitar uma análise visual dos resultados (IBM, 2009). O Intelligent Miner possui uma interface de programação de aplicativos que permite o desenvolvimento de aplicações personalizadas de Mineração de Dados, e também permite a utilização de algoritmos de DM de forma individual ou combinada (GOLDSCHMIDT, 2005). E no trabalho científico de Amorim (2006) ele nos mostra através da Figura 9 a riqueza dos componentes de visualização, onde representa os resultados de uma análise de agrupamento entre clientes, feita através da mineração da base de dados de um banco: Figura 9. Intelligent Miner agrupamento Fonte: IBM (2009 apud AMORIM, 2006) 38

48 2.3.4 Quadro comparativo A Tabela 6 visa diferenciar as 3 ferramentas estudadas, apontando itens importantes que elas possuem, proporcionando a escolha de alguma delas pelos recursos disponíveis e necessários para a satisfação dos resultados pretendidos. Então, opta-se pela ferramenta Weka em virtude dela possuir os principais recursos que as demais possuem, não perdendo em nada no quesito de qualidade deles; e principalmente pela grande diferença que está na variedade de algoritmos disponíveis, como nota-se através de suas descrições dentro das tarefas explícitas na tabela comparativa (Classificação e Clusterização), onde o Weka pela quantidade enorme que possui leva a reticência (...) no final da descrição dos algoritmos, enquanto que as demais não. 39

49 Tabela 6. Quadro comparativo de ferramentas Recursos Weka Enterprise Miner Intelligent Miner Acesso a fonte de dados Sim Sim Sim heterogêneos Integração de conjunto de Não Sim Sim dados Facilidade para inclusão de Sim Sim Sim novos métodos e operações Recursos para planejamento Sim Sim Sim de ações Processamento Paralelo/Distribuído Não Sim Sim Visualização de dados Operações e métodos disponíveis Redução de dados Limpeza de dados Codificação de dados Classificação Clusterização Organização de resultados Apresentação de resultados Estrutura para armazenamento de modelos de conhecimento e históricos de ações Distribuição de Freqüências, Medidas de Dipersão, Histogramas Gráficos (de linha, de barra de pizza, etc.), Histogramas Amostragem Comandos SQL - LDD Substituição Fonte: Adaptado de Goldschmidt (2005). Discretização automática e manual Árvores de Decisão, Bayes, Redes Neurais... Simple-KMeans, Cobweb, FarthestFirst... Agrupamento e Ordenamento de padrões Conjunto de Regras e Árvores de Decisão Checagem automática de valores discrepantes, Substituição Discretização e Transformação automática e manual RBF, Perceptron Multi Camadas, CART, C4.5, Regressão Linear Kohonen, Ward Ordenação e Seleção de regras Gráfico, Textos e Árvores Sim Sim Sim Gráficos (de pizza, de linha, de barra), Histogramas Seleção, Amostragem, Aplicação de filtros, Cálculo de valores Substituição, Descarte Discretização, Randomização e Transformação automática e manual Árvore de Decisão, Métodos Estatísticos, Redes Neurais K-means Agrupamento e Ordenamento de padrões Gráfico (pizza, barra), Tabelas, Árvores e Clusters 40

50 2.4 INTELIGÊNCIA ARTIFICIAL NO MERCADO FINANCEIRO Cientistas da Computação consideram os fenômenos financeiros de maneira estática ou dinâmica e aplicam técnicas de inteligência computacional para montar formas de agir no mercado financeiro, como tentando prever o comportamento de um índice ou o preço de um ativo, ou para montar uma carteira de investimentos, sendo esta área financeira objeto de estudos há anos por estes cientistas (LAZO, 2000). Podemos citar um caso de sucesso na utilização de Mineração de Dados na área financeira: A empresa norte-americana LBS já há algum tempo (desde 1986) investe em tecnologia por achar que os enfoques tradicionais no gerenciamento de investimentos não fornecem resultados que superem expressivamente o lucro médio de mercado (CARVALHO, 2001). E Carvalho (2001) conclui o caso de sucesso dizendo que a LBS foi uma das mais importantes empresas do mercado financeiro nos EUA durante 7 anos consecutivos. Sua carteira cresceu durante este período de 25% a 100% ao ano e nunca houve uma perda maior que 7% durante este tempo. Pesquisas estão sendo direcionadas aos mercados emergentes em virtude de recentemente estes países em desenvolvimento mostrarem elevada quantidade de investimentos e de número de negociações, onde modelos já utilizados nos países desenvolvidos são testados, e também buscando novos modelos que possam descrever o comportamento destes mercados emergentes e assim reduzir os riscos dos investimentos (LAZO, 2000). Em reportagem extraída do portal da revista ISTOÉ Dinheiro escrita por Teixeira (2006) ele destaca as falas do proprietário do primeiro modelo brasileiro comercialmente viável de Inteligência Artificial no mercado acionário, o professor Fabio Bretas (Físico com 10 anos de experiência no mercado financeiro): O problema no passado era falta de informação. Hoje, é o excesso e Nos Estados Unidos, você já tem robozinhos comprando e vendendo ações praticamente por conta própria. E dá um alerta informando que o trabalho dos analistas e gestores continua sendo indispensável, mas a Inteligência Artificial é imbatível quando o que conta é a rapidez para detectar movimentos em mercados complexos e identificar possibilidades de ganhos. 41

51 2.5 TRABALHOS SIMILARES Nos subitens a seguir seguem relacionados os temas com suas respectivas descrições de trabalhos científicos similares ao desenvolvido neste projeto, onde todos eles utilizam técnicas de Inteligência Artificial para a seleção de ativos da Bolsa de Valores, e sendo finalizado com um subitem que faz uma análise comparativa destes trabalhos. Mas somente um deles (e único trabalho cientifico brasileiro que foi localizado) lida com o processo de Mineração de Dados similar a este projeto, que foi o tema proposto por Fernando Rafael Stahnke (subitem ) do Centro Universitário FEEVALE, mas observou-se certa limitação nos resultados obtidos por ele, onde o estudo concentrou-se em apenas um ativo da Bolsa de Valores (Petrobras) e em apenas 2 algoritmos (Redes Neurais e Árvores de Decisão) para o processamento dos dados, assim, diminuindo o conhecimento extraído da metodologia, já que não se pode verificar o comportamento entre os diversos ativos (tanto de um mesmo setor da economia como de setores diversos), além de outras informações que poderiam ter sido extraídas Aplicação de Redes Neurais Artificiais no processo de precificação de ação Trabalho de Conclusão de Curso proposto por Marília Terra de Mello da Universidade Federal de Pelotas onde o projeto está baseado no desenvolvimento de uma Rede Neural com algoritmo de aprendizagem backpropagation com o objetivo de realizar a previsão dos preços futuros de ações e tornar-se um indicativo para selecionar ativos que comporão as carteiras de investimentos dos investidores. Os resultados obtidos com o trabalho comprovam que é possível prever a tendência dos preços das ações, conseguindo algumas vezes aproximar a estimativa de retorno do valor real. E confirmando o conceito de que as Redes Neurais podem facilitar o trabalho dos investidores de ações, proporcionando grandes possibilidades de obtenção de ganhos (MELLO, 2004) Um novo Algoritmo Genético para a otimização de carteiras de investimento com restrições de cardinalidade Dissertação de Mestrado da Universidade Estadual de Campinas tendo como autor Carlos Henrique Dias que propôs o uso de um Algoritmo Genético para resolver problemas de otimização 42

52 de carteiras de investimentos, de forma a oferecer aos investidores um conjunto de soluções (composição da carteira), que sejam as melhores, para que estes possam escolher o melhor investimento conforme sua aversão ao risco. Os resultados computacionais alcançados indicam que a nova proposta é bastante promissora, já que forneceu soluções melhores e mais robustas que algoritmos já elaborados anteriormente, consumindo menos tempo (DIAS, 2008) Modelo Genético-Neural de gestão de carteiras de ações Trabalho de Formatura proposto por Luiz Paulo Rodrigues de Freitas Parreiras da Escola Politécnica da Universidade de São Paulo que juntou duas ferramentas de Inteligência Artificial, as Redes Neurais (RN) com os Algoritmos Genéticos (AG) com a intenção de formar carteiras de investimentos em ações mais eficientes e realistas. Utilizou as RN para a obtenção de boa performance preditiva e AG para obter alocação de ativos em carteiras de investimentos gerenciadas dinamicamente (PARREIRAS, 2003). Chegando-se a conclusão que as Redes Neurais, quando bem modeladas e treinadas, podem realizar boas previsões de preços futuros de ações, e quando integradas num modelo integrado de risco-retorno baseado em Algoritmo Genético, geram resultados ainda mais superiores (PARREIRAS, 2003) Uso de Data Mining no mercado financeiro Trabalho de Conclusão de Curso feito por Fernando Rafael Stahnke do Centro Universitário Feevale, que elaborou o projeto com o objetivo de discutir e propor o uso de técnicas de mineração de dados para a identificação de padrões de comportamentos hoje despercebidos pelos investidores e, assim, determinar a tendência futura dos ativos do mercado à vista (STAHNKE, 2008). O autor concluiu que é possível utilizar técnicas de Data Mining no mercado á vista brasileiro como uma ferramenta de apoio à decisão por investidores que buscam lucros em curto prazo, mas foi verificado que os resultados alcançados foram limitados devido à falta de 43

53 conhecimento e experiência do autor tanto na área de investimentos quanto na área das tecnologias computacionais que foram empregadas (STAHNKE, 2008) Uma investigação estatística sobre análise técnica Dissertação de Mestrado concluída por Giuliano Padilha Lorenzoni que buscou em seu trabalho construir uma metodologia estatística que possibilitasse investigar a eficácia na análise técnica, onde esta analise trata-se de uma forma de identificar e antecipar a tendência dos preços dos ativos financeiros através do Grafismo, utilizando gráficos das cotações históricas. E no fim de seu trabalho, ele pode confirmar que há evidências de eficácia de alguns padrões entre os mais importantes e recorrentes utilizados na análise técnica (LORENZONI, 2006) Análise comparativa Os três primeiros trabalhos científicos descritos anteriormente comprovam o quanto o uso da Inteligência Artificial através das Redes Neurais Artificiais e os Algoritmos Genéticos são úteis e eficientes no ambiente das Bolsas de Valores, onde os resultados obtidos foram satisfatórios, mas porque não ampliar as descobertas efetuadas e a potencialidade dos resultados obtidos com outras técnicas e algoritmos. Já o trabalho desenvolvido pelo Fernando Rafael Stahnke, apesar dele não ter conseguido os resultados esperados pelos motivos já descritos anteriormente, abre outras possibilidades de uso da Inteligência Artificial neste mercado, onde a Mineração de Dados aparece como uma ferramenta mais completa e abrangente para ser aplicada ao mercado acionário, onde seus conceitos envolvem toda uma metodologia a ser aplicada a base histórica das cotações das ações da Bolsa de Valores dando mais credibilidade e amplitude nos métodos a serem adotados, ainda assim, não descartando o uso das técnicas de RNA e AG dentro de uma das fases da DM. Já o último projeto desenvolvido (Uma investigação estatística sobre análise técnica) foca num dos objetivos deste projeto, que é obter padrões e tendências do movimento das cotações das empresas brasileiras listadas na Bovespa, onde no trabalho dele essa expectativa é atingida através 44

54 de análise de gráficos e aqui será efetuado através da Inteligência Artificial (Mineração de Dados) na tentativa de potencializar os resultados e também chegar a outras descobertas relevantes. Então se decidiu pelo uso da Mineração de Dados neste processo de descoberta na bolsa de valores por ter uma diversidade maior de opções de escolha de técnicas e métodos em relação às outras que utilizam Inteligência Artificial (Algoritmo Genético e Redes Neurais Artificiais). E em comparação as técnicas hoje adotadas para verificar tendências nos movimentos dos ativos (Grafismo) o uso da DM também leva vantagem em virtude da analise técnica atualmente aplicada levar em conta apenas aspectos estatísticos e a Mineração reunir em seu processo pelo menos três áreas de estudos que compreendem a Inteligência Artificial, Banco de Dados e Estatística. 45

55 3 PROJETO O projeto visa realizar descobertas quanto ao movimento dos ativos de empresas brasileiras que são listadas na Bovespa, para isso são utilizados os recursos da inteligência artificial e toda a metodologia de Mineração de Dados (processo este caracterizado na fundamentação teórica deste trabalho na Seção 2.2), onde serão aplicadas em uma base histórica de cotações das referidas ações brasileiras. E terá como conseqüência também uma possível indicação do comportamento das cotações destes ativos onde servirão de auxilio para que investidores, corretoras e demais interessados tomem decisões de investimento nos pregões diários da Bolsa de Valores com uma probabilidade maior de acerto e correndo um menor risco, mas lembrando que serão apenas indicações sem garantia de sucesso, pois a imprevisibilidade deste mercado não garante que sejam realizadas afirmações incontestáveis. O projeto está dividido em três etapas que são o pré-processamento, o processamento (ou Mineração de dados) e o pós-processamento. As referidas etapas seguem a metodologia de DM, e serão detalhadas a seguir: 3.1 PRÉ-PROCESSAMENTO Nesta etapa os dados são selecionados e preparados para serem processados. Os dados modelados formam um arquivo no formato adequado para ser processado pela ferramenta que será utilizada na etapa posterior. Os arquivos preparados possuem indicadores (atributos) de ações de um período que varia de 6 a 14 meses, onde se formaram de 2318 até 5094 registros, sendo cada registro composto por até 5 atributos, sendo eles: O nome da empresa, o setor de atuação da referida empresa, a cotação diária (valor de fechamento) do ativo, a quantidade de negócios fechados em um determinado dia de negociação do ativo específico e o atributo data que identifica o momento em que a cotação e o numero de negócios ocorreram. A coleta destes indicadores foi referente ao período que inicio em janeiro de 2009 até fevereiro de 2010, e estas informações foram colhidas da pagina oficial da BM&FBOVESPA na área dados históricos das ações é possível realizar a consulta desta fonte selecionando o dia de negociação desejado.

56 Para isso, são usadas quatro atividades que irão compor o processo de preparação deste arquivo, e são detalhados nos itens a seguir: Seleção São centenas os ativos listados na Bovespa, existem papéis com características e operacionalidades diversas e de variados setores de nossa economia. Estudar todos eles se torna inviável tanto pela quantidade como também pela baixa representatividade de alguns. Então, decidiu-se pela seleção de 17 papéis negociados em nossa bolsa de valores, onde o foco está em sua grande maioria nos papéis mais observados pelos investidores, de grande liquidez e com grande número de indicações por conceituados analistas 8 que divulgam suas recomendações para conhecimento geral e que focam na análise Fundamentalista que é caracterizada pelo longo prazo. Mas lembrando que esta escolha não possui a finalidade principal de diretamente selecionar ações baseado no potencial de valorização ou objetivando o maior lucro possível e sim para realizar descobertas nos ativos mais negociados. Então, esta metodologia foi aplicada somente aos papéis mais visados pelo mercado, de empresas de bons fundamentos e que praticamente quase sempre estão presentes nas carteiras de investimentos dos investidores, dando assim, representatividade a Bolsa como um todo, como exemplo podem ser citados os papéis das empresas Vale do Rio Doce, Petrobras, Banco Bradesco, Banco do Brasil, Gerdau e Usiminas. Como exceções foram selecionados alguns papéis de pequena representatividade, com baixa liquidez, denominados de Small Caps (cujas características encontram-se descritas na Subseção da fundamentação teórica deste trabalho), em virtude deles também merecerem serem alvos de estudos e de se realizar possíveis descobertas já que eles são considerados por muitos analistas apesar de voláteis muito lucrativos se bem selecionados. Foram selecionados somente os com potencial de valorização (conforme indicações de analistas 9 ) e em pequenas quantidades para não trazer riscos maiores a nossa carteira pela volatilidade que eles trazem, podemos citar como 8 Lembrando que estas indicações e análises colhidas de especialistas da área são expostas gratuitamente em sites e revistas nacionalmente conhecidas. Não esquecendo que são apenas sugestões oferecidas por estes analistas não havendo nenhum comprometimento com as informações prestadas e nem garantia de sucesso, sendo a análise final realizada pelo investidor ou leitor. 9 Idem a nota 8 47

57 exemplo os papéis das empresas como MMX Mineração e OGX Petróleo do empresário Eike Batista. Buscando obter a maior possível representatividade de setores da economia representados pelos ativos das empresas selecionados, foi concentrada a escolha das ações por setores de atuação. E não foi selecionado apenas um de cada setor e sim um conjunto, com a finalidade de não apenas estudar os movimentos destes ativos isoladamente, mas também comparando um setor com outro, e entre papéis de um mesmo ramo. Podendo então, dividir a escolha de ativos pelas seguintes setores de atuação: Siderúrgico, commodities, varejo e consumo, financeiro e construção. Na Tabela 7 seguem detalhadas todas as empresas selecionadas divididas por ramo de atuação, e também o código em que elas são negociadas na Bovespa. Tabela 7. Lista de ativos selecionados Setor Ativo Código na Bovespa Commodities Vale do Rio Doce Petrobras Fibria (Votorantim) MMX Mineração OGX Petróleo Vale4 Petr4 Fibr3 Mmxm3 Ogxp3 Siderúrgico Financeiro Varejo e Consumo Construção Limpeza Usiminas Gerdau Siderúrgica Nacional Banco do Brasil Banco Bradesco Itaú Unibanco Holding Brasil Foods (Perdigão/Sadia) Lojas Renner Lojas Americanas Gafisa Cyrela Brazil Realty Rossi Residencial Usim5 Ggbr4 Csna3 Bbas3 Bbdc4 Itub4 Brfs3 Lren3 Lame4 Gfsa3 Cyre3 Rsid3 Os dados selecionados na fase anterior precisam ser tratados, onde correções precisam ser efetuadas na base de dados para que sejam transmitidas à etapa de processamento somente as informações úteis e necessárias aos objetivos pretendidos. 48

58 Então, na Figura 10 é exibido um pedaço da base de dados de um dia de negociação dos ativos na bolsa de valores, sendo esta a nossa base original que deverá ser tratada. Figura 10. Base de dados Original Fonte: Adaptado de BM&FBOVESPA (2009b). Essa base de dados foi obtida através do site da BM&FBOVESPA entrando nos dados históricos das ações é possível realizar a consulta desta fonte selecionando o dia de negociação desejado. Então, dessa base foram extraídas somente as cotações e o numero de negócios realizados dos ativos selecionados na fase anterior, representado pelo campo osc. (oscilação em %) e negs. realiz., conforme circulado na figura, significando a variação que o papel sofreu em sua cotação 49

59 comparado com o fechamento do dia anterior e a quantidade de negócios fechados no dia em referência, sendo as demais informações desprezadas. Concluindo assim a limpeza dos dados e dando origem a uma nova base de dados, mas agora criada em uma planilha do programa Excel, conforme demonstrado através de um pedaço desta planilha exibida na Figura 11: Figura 11. Base de dados Excel Esta planilha é dividida em várias tabelas menores, onde cada uma representa as cotações diárias de 1 semana dos 17 papéis escolhidos e lembrando que os valores que indicam os números de negócios encontram-se em uma planilha adicional Enriquecimento Para o aprimoramento das informações que serão submetidas ao processo de DM pode ser realizada a adição de dados novos que serão agregados aos registros já existentes. Assim, foi decidido incluir na nova tabela criada dois elementos que podem agregar algum conhecimento novo nas descobertas, em virtude do primeiro ser um medidor de nosso mercado de ações e o segundo do mercado externo, onde nossas ações são fortemente influenciadas. Eles são o 50

60 índice da nossa Bolsa de Valores de São Paulo, conhecido como índice Bovespa e o índice da Bolsa de Valores de Nova York, conhecido como índice Dow Jones. As definições desses índices seguem detalhados na Subseção da fundamentação teórica deste projeto. Na Figura 12 pode ser confirmada a presença deste índice em nossa tabela Excel: Figura 12. Base de dados enriquecida Codificação Para que os dados possam ser usados de maneira adequada pela ferramenta que será utilizada na etapa de Mineração de Dados ao qual serão submetidos, é necessário que eles sejam codificados para que sejam aceitos e possuam a forma adequada. Neste projeto a ferramenta escolhida para processar os dados exige que os dados sejam codificados em um formato de texto que recebe a extensão arff que é baseada em ASCII, e também estabelecem o uso de alguns atributos, exclusivos desta ferramenta. Dessa forma, foi feita uma conversão na tabela do Excel, transformado-a em um arquivo do tipo arff, cujas peculiaridades podem ser vistas na Figura 13: 51

61 Figura 13. Base de dados arff Pode ser observado que este novo arquivo possui algumas propriedades particulares, como: O nome do arquivo vem identificado após o uso da palavra relation. Em seguida, cada atributo da tabela Excel vem identificado após o uso da expressão attribute, relacionando as empresas selecionadas, o setor de atuação, a data do registro, a cotação dos ativos e o numero de negócios, onde esses atributos são obrigatoriamente utilizados em cada registro do nosso arquivo através das variáveis identificadas entre as chaves {}. Para finalizar os dados foram expostos logo abaixo da expressão data, onde cada linha identifica um registro da base de dados, ou seja, cada registro identifica um dia de pregão de um determinado ativo com suas variáveis. Esclarecendo ainda, que foram excluídos deste arquivo os dias que não houve pregões na bolsa de valores devido a serem finais de semana ou feriados. 3.2 PROCESSAMENTO Esta é a etapa em que o arquivo, que foi criado na fase anterior (pré-processamento) com os dados colhidos da base de dados, é processado. Considerada uma fase importantíssima da metodologia de DM, pois é dela que serão extraídos os conhecimentos buscados com a criação 52

62 deste projeto. Em virtude disso, tem extrema relevância a forma e as técnicas que serão utilizadas para o processamento dos dados. Para esta etapa de processamento ou Mineração de Dados foi utilizado o auxilio de uma ferramenta denominada Weka, cujas características encontram-se na Subseção da fundamentação teórica deste trabalho, e as motivações que levaram a escolha desta ferramenta específica também são abordadas nesta Subseção. Foram utilizadas as técnicas e algoritmos que estavam dispostas na ferramenta, e que a seguir seguem detalhadas, juntamente com os resultados alcançados Inicialização da Ferramenta A Figura 14 mostra como a ferramenta se comporta após a inserção do arquivo arff que foi criado anteriormente no tópico codificação. São visualizadas na aba de pré-processamento as características dos dados contidos no arquivo: No círculo vermelho denominado A é expresso os dados gerais da base, com o nome do arquivo, a quantidade de registros da base e a quantidade de atributos; no círculo B é possível realizar a seleção dos atributos para serem utilizados no processo de DM; no C são expressos dados estatísticos de um dos atributos selecionados; e no círculo D são visualizadas em forma de gráfico as estatísticas desse atributo selecionado. 53

63 Figura 14. Arquivo de entrada no Weka Fonte: Universidade de Waikato (2009) Tarefa utilizada Como poderemos verificar no item Resultados obtidos (seção 3.2.4), foram testadas todas as tarefas disponíveis na ferramenta, mas foi decidido pela tarefa de Classificação em virtude de ser a que melhor se adaptou com o arquivo de entrada e que apresentou resultados significativos e consistentes com melhor grau de confiabilidades em seus indicadores. E também por ela possuir um caráter preditivo, ou seja, suas funções acarretam inferências nos dados com o intuito de fornecer previsões ou tendências, que são características essências aos objetivos deste projeto. Neste trabalho esta tarefa efetuou classificações escolhendo o atributo empresa como elemento classificador, ou seja, efetuou o agrupamento dos resultados em torno do elemento empresa. Seus algoritmos possuem como característica marcante o aprendizado supervisionado, pois é fornecida uma classe à qual cada amostra no treinamento pertence e dando ênfase na precisão da 54

64 regra. E possuindo o objetivo principal de determinar o valor de um atributo através dos valores de um subconjunto dos demais atributos da base de dados (SILVA, 2006). Mais informações sobre a tarefa de classificação podem ser obtidas na Subseção da parte teórica deste trabalho. A interface desta tarefa na ferramenta Weka pode ser vista na Figura 15, cujas características seguem detalhadas a seguir: no círculo A pode ser escolhida a técnica de classificação que se deseja utilizar juntamente com os parâmetros do algoritmo; no B efetua a seleção da opção de teste e validação do modelo; no C seleciona-se o atributo classe para efetuar a classificação; e no círculo D é o local onde serão exibidos os resultados da Mineração com o algoritmo selecionado, ou seja, o modelo gerado com seus respectivos dados estatísticos. Figura 15. Interface da tarefa de Classificação Fonte: Universidade de Waikato (2009). 55

65 3.2.3 Técnicas utilizadas Como poderemos verificar no item Resultados obtidos (seção 3.2.4), foram efetuados testes com os diversos tipos de algoritmos disponíveis na ferramenta, mas os que trouxeram os melhores resultados foram os que pertencem às categorias de Árvore de Decisão e Regras de Classificação, trazendo informações relevantes, coerentes e diferenciadas na sua execução com resultados mais facilmente interpretáveis. A Árvore de Decisão é utilizada para se obter uma estratégia para alcançar determinados objetivos, onde forma-se um gráfico em forma de árvore onde possui as decisões a serem tomadas e suas possíveis conseqüências, ou seja, forma-se um mapeamento de observações sobre um item para conclusões sobre seu valor-alvo (SANTANA; RODRIGUES, 2005). O funcionamento de uma árvore de decisão inicia-se com a inclusão de um conjunto de dados ao nó raiz da árvore, que são submetidos a um cálculo de entropia e conseqüentemente essas tuplas 10 são subdivididas e ramificando-se aos nós filhos, então, em cada nível da árvore é necessário definir regras heurísticas para separar os dados apresentados a este nó em subconjuntos homogêneos (PUC, 2004 apud STAHNKE, 2008). No final dos vários ramos existem as folhas 11 que são os resultados atingidos, estando associados a um rótulo ou valor pela elevada homogeneidade dos elementos deste grupo (CARVALHO, 2001). Este procedimento caracteriza a recursividade em que as árvores de decisão são submetidas. As Regras de Classificação tem seu funcionamento semelhante ao das Árvores, mas se manifestam através de um conjunto de regras, ou seja, o conhecimento descoberto é representado na forma de regras SE-ENTÃO. Onde elas interpretam os atributos preditivos da tupla quanto à satisfação da condição antecedente da regra: SE os atributos preditivos satisfazem as condições do antecedente da regra, ENTÃO a tupla tem a classe indicada no conseqüente da regra. (STAHNKE, 2008). 10 Conjunto de dados apresentados para a raiz da árvore. 11 Nós que não possuem nós descendentes, terminal. 56

66 Na Figura 16 tem-se um exemplo de árvore de decisão e na Figura 17 um exemplo de regras de classificação, ambos extraídos da ferramenta weka: Figura 16. Exemplo de árvore de decisão Figura 17. Exemplo de regras de classificação 57

67 Dentro da técnica de Árvore de Decisão (trees) há diversos algoritmos disponíveis para realizar esta função, onde através de diversos testes e simulações com estes algoritmos, realizando alternâncias tanto nos atributos classificadores quanto nas configurações dos algoritmos e também dos arquivos de entrada chega-se a um algoritmo que apresentou resultado mais satisfatório, sendo ele o J48. A lista dos algoritmos disponíveis nesta técnica segue destacado na Figura 18: Figura 18. Algoritmos de árvore de decisão no Weka Fonte: Universidade de Waikato (2009). Dentro da técnica de Regras de Classificação (rules) há diversos algoritmos disponíveis para realizar esta função, onde através de diversos testes e simulações com estes algoritmos, realizando alternâncias tanto nos atributos classificadores quanto nas configurações dos algoritmos e também nos arquivos de entrada chega-se a dois algoritmos que apresentaram resultados mais satisfatórios, sendo eles o JRip (Incremental Reduced Erro Prunning Poda de Redução Incremental de Erro) e o 58

68 PART (Partial decision trees Parcial de Árvores de Decisão). A lista dos algoritmos disponíveis nesta técnica segue destacado na Figura 19: Figura 19. Algoritmos de regras de classificação no Weka Fonte: Universidade de Waikato (2009) Resultados obtidos Primeiramente devem-se dividir os resultados obtidos em duas etapas, onde na primeira parte os dados coletados foram em menor escala (tanto no numero de registros quanto no de atributos), para posteriormente na segunda etapa eles serem complementados com um maior número de registros e informações tornando-os mais completos e com um valor agregado maior, mas cabe-se esclarecer que será mostrado o modelo gerado somente dos algoritmos com os arquivos de entrada que tiveram seus resultados validados. 59

69 Primeiros testes (TCC1) Inicialmente os testes foram efetuados com arquivos de no máximo 2970 registros coletados em um período de 6 a 8 meses que compreende o mês de janeiro de 2009 até agosto do mesmo ano, nestes experimentos utilizou-se 4 atributos em cada registro sendo eles o nome que identifica a empresa, o setor de atuação desta empresa, a data do registro ou da cotação de sua ação em bolsa, e a cotação diária do ativo na respectiva data. Após vários testes decidiu-se somente pelo uso de arquivos com 8 meses, em virtude do de 6 meses apresentarem resultados poucos confiáveis em razão de sua pequena quantidade de registros coletados, onde pode ser observado através do modelo gerado pelos algoritmos. No atributo data foram feitos arquivos declarando ele em dois formatos, um deles se separou dia, mês e ano em atributos separados e com valor numérico, e no outro modo ele foi declarado em um só atributo em formato próprio de data, onde teve melhor aceitação com resultados mais consistentes e legíveis a segunda opção, e em virtude disto nos testes finais só foi utilizado esta melhor forma de declaração. No atributo cotação nestes primeiros testes foi utilizado ele no formato numérico, mas observou-se que diversos algoritmos, principalmente os das tarefas de Agrupamento (Cluster) e Associação (Associate), apresentaram suas opções de uso desativadas, não podendo ser utilizados. Assim sendo, os que obtiveram melhores resultados foram os algoritmos da tarefa de Classificação, mas seus resultados ainda não apresentavam indicadores estatísticos (serão vistos na validação do modelo) confiáveis a ponto de serem validados, onde seu índice Kappa variou de 0.16 (16%) a 0.33 (33%), valor considerado muito baixo para ser aprovado Testes finais (TCC2) Para o aperfeiçoamento dos resultados pretendidos, foram feitas diversas alterações no arquivo de entrada, onde foram efetuados diversos testes para se chegar ao melhor conjunto de dados para formar este referido arquivo que alimentará a execução dos algoritmos. Para tal finalidade foram feitas as seguintes alterações: inclusão de um período maior de coleta dos dados de entrada que variaram de 8 meses a 14 meses e compreenderam o período de 60

70 janeiro de 2009 a fevereiro de 2010; inclusão de um novo atributo, o índice Dow Jones (Índice da Bolsa de Valores de Nova York) que é uma importante referência para o mercado brasileiro, altamente influenciado por ele; inclusão de mais um atributo identificado como número de negócios que fornece a quantidade de negócios realizados em um determinado dia por uma determinada ação; e também a modificação do atributo cotação com a alteração de seu tipo que passou de numérico para valores nominais, dividindo o valor da cotação em faixas de valores pré-definidas. Para os períodos estudados nesta etapa verificou melhores resultados no período de 12 meses onde conseguiu resultados similares ao de 8 meses (testes anteriores), sendo que dependendo do algoritmo utilizado havia a alternância de melhores resultados entre os dois. Já no período de 14 meses houve uma queda significativa nos resultados alcançados, havendo distorções nas regras e baixa produtividade nos indicadores estatísticos. Assim, nosso arquivo final compreenderá tanto o período de 8 meses quanto o de 12 meses (dependendo do algoritmo que estará sendo utilizado), e será formado por e registros respectivamente. A inclusão do índice Dow Jones não trouxe alteração significativa nos resultados alcançados, sendo que as regras formadas em quase sua totalidade não incluíam este índice, tornando-se dispensável seu uso. Portanto, houve a exclusão deste atributo na base de dados final. Quanto à inclusão do atributo numero de negócios houve uma resposta extremamente positiva nos resultados obtidos no modelo gerado, onde conseguiu elevar bastante os índices de acertos das classificações efetuadas e também agregou um valor muito importante nas regras geradas, sendo um indicador muito relevante para a tomada de decisão. Sendo assim, o arquivo final compreenderá este atributo indispensavelmente. Na modificação do tipo do atributo cotação de numérico para nominal tinha-se a ideia de alterá-lo para que algoritmos antes inacessíveis por não trabalhar com valores numéricos agora poderiam ser disponibilizados, e realmente uma grande quantidade de algoritmos tornaram-se ativos, principalmente aqueles compreendidos dentro das tarefas de Agrupamento e Associação, mas os resultados obtidos com esses algoritmos após diversos testes foram insatisfatórios, onde os modelos gerados após a execução deles não trouxeram nenhuma informação significativa para o objetivo do trabalho, chegando-se a conclusão que os melhores algoritmos para o objetivo traçado 61

71 seriam mesmo os compreendidos dentro da tarefa de Classificação, principalmente os do tipo árvore de decisão e regras de classificação que foram os que melhores se comportaram. Portanto, na base de dados finais o atributo cotação retornou ao seu formato original, ou seja, do tipo numérico. Então, após escolhido o melhor arquivo de entrada para a realização da tarefa pretendida, com todas as modificações efetuadas na base de dados para potencializar os resultados, chegou-se a execução dos três melhores algoritmos que geraram os modelos com as melhores regras e indicadores (que serviram para sua validação, onde será visto no item validação do modelo) e também com um aumento substancial da quantidade de resultados obtidos (regras geradas), conforme poderemos verificar a seguir: Algoritmo J48 (tree) Este é o primeiro algoritmo selecionado sendo do tipo árvore, ele é considerado o mais popular dos algoritmos disponíveis na ferramenta. Caracteriza-se por utilizar a técnica do guloso 12 descendente, ou seja, recursivamente particiona o espaço em segmentos o mais homogêneo possível em relação à classe objetivo. Foi utilizado como arquivo de entrada para fornecimento dos dados o arquivo que se chegou ao final dos testes realizados, com um período de registros de 8 meses, e nas configurações do algoritmo foi selecionado o atributo empresa como o elemento classificador, os resultados obtidos foram bastante satisfatórios onde chega-se a 61 resultados, ou seja, conclusões localizadas nas folhas da árvore. Então, na Figura 20 pode ser observada uma parte do modelo gerado com a execução do algoritmo J48. Onde pode ser analisado que cada linha dela significa um ramo da árvore e cada coluna (ou afastamento) é transportada a um nível da árvore, ou ainda, as linhas que apresentam o caractere são filhos dos anteriores. Os 2 valores que aparecem entre parênteses ao lado de cada atributo empresa representam a quantidade de vezes que a regra obtida foi classificada corretamente 12 Guloso porque em cada passo ele tenta chegar o mais perto possível do objetivo (sem olhar mais adiante). 62

72 (valor do lado esquerdo) e também a quantidade de vezes que foi classificada incorretamente (valor do lado direito). Lembrando que os conhecimentos obtidos com esses resultados e também com os resultados dos demais algoritmos serão abordados na próxima seção do trabalho (Pós-Processamento). Figura 20. Execução do algoritmo J48 Na Figura 21 tem-se um pedaço da parte gráfica da árvore formada com a execução do algoritmo J48, sendo que a árvore completa formou 117 elementos (tamanho total da árvore) e 61 folhas. Nesta figura pode ser observado que os atributos ficaram nos nodos da árvore, sendo as 63

73 folhas, localizados na parte inferior, que detém o atributo escolhido como classificador (empresa), onde o valor entre parênteses significa a quantidade de classificações efetuada corretamente conforme explicado anteriormente. Figura 21. Árvore do algoritmo J48 Na Figura 22 observam-se as estatísticas relacionadas aos resultados obtidos com a execução do algoritmo J48, onde servem de apoio a análise e validação do modelo gerado, estes indicadores podem ser vistos através dos índices de correção e incorreção de instâncias mineradas, erro médio absoluto, erro relativo médio, dentre outros. Na Figura 22 estes indicadores estão divididos em 2 partes, sendo a primeira parte destinada mais a medição de erros de forma geral, ou seja, de todo o modelo gerado, enquanto que na parte 64

74 inferior (em forma de matriz) eles estão divididos por classes, sendo o atributo classificador a variável utilizada. Onde a análise desses indicadores (e também dos demais algoritmos que serão abordados a seguir) será feita na seção seguinte deste projeto (Pós-Processamento). Figura 22. Estatísticas do algoritmo J48 Na Figura 23 tem-se a matriz de confusão, que é mais um meio de ser analisada a confiabilidade do modelo gerado, onde podem ser medidas as classes geradas de forma individualizada, ou seja, cada linha da matriz representa uma classe gerada e as colunas representam como elas foram classificadas no modelo obtido. Portanto, as classes que foram o maior número de vezes corretamente classificadas são consideradas como ótimo resultado. Esses indicadores também serão analisados na fase de Pós-Processamento juntamente com os indicadores dos demais algoritmos estudados. 65

75 Figura 23. Matriz de confusão do algoritmo J Algoritmo JRip (rules) Este é um dos algoritmos selecionados do tipo regras de classificação, ele caracteriza-se pela redução do erro através da técnica dividir-para-conquistar 13, ou seja, o algoritmo possui um conjunto de regras que são testadas uma por uma, e depois que uma regra é localizada, todos os exemplos que são compreendidas por ela são excluídos, sendo o processo repetido até quando não existam mais exemplos corretamente classificados. Como arquivo de entrada foi utilizada à base de dados final alcançada no encerramento dos testes com um período de coleta de dados de 12 meses e nas configurações do algoritmo foi selecionado o atributo empresa como o elemento classificador, os resultados obtidos foram bastante satisfatórios. Com a execução do algoritmo chega-se a um modelo com 45 regras, onde puderam ser observadas algumas regras formadas através da Figura 24, onde o que está após o caractere => significa o resultado e o que vem antes, as condições necessárias para se chegar lá. 13 Um problema complexo é decomposto em sub-problemas mais simples para facilitar o processo para atingir os objetivos. 66

76 Figura 24. Execução do algoritmo JRip Como pode ser visto na Figura 25 as estatísticas do modelo gerado com a execução do algoritmo JRip segue o mesmo formato dos algoritmos do tipo árvore (estudados anteriormente). 67

77 Figura 25. Estatísticas do algoritmo JRip Como pode ser visto na Figura 26 a matriz de confusão do modelo gerado com a execução do algoritmo JRip segue o mesmo formato dos algoritmos do tipo árvore (estudados anteriormente). 68

78 Figura 26. Matriz de confusão do algoritmo JRip Algoritmo PART (rules) Este é o último algoritmo selecionado, segundo do tipo regras de classificação, que se caracteriza por construir regras a partir de árvores de decisão parciais criadas pelo algoritmo J48, onde gera uma árvore parcial em cada iteração e converte a melhor folha em regra. Foi utilizado o arquivo final como entrada com um período de 12 meses de registros e nas configurações do algoritmo foi selecionado o atributo empresa como o elemento classificador e os resultados obtidos foram bastante satisfatórios. Com a execução do algoritmo chega-se a um modelo com 46 regras, observando algumas regras formadas através da Figura 27, onde o que está após o caractere : significa o resultado e o que vem antes, as condições necessárias para se chegar lá. 69

79 Figura 27. Execução do algoritmo PART Como pode ser visto na Figura 28 as estatísticas do modelo gerado com a execução do algoritmo PART segue o mesmo formato dos algoritmos do tipo árvore (estudados anteriormente). 70

80 Figura 28. Estatísticas do algoritmo PART Como pode ser visto na Figura 29 a matriz de confusão do modelo gerado com a execução do algoritmo PART segue o mesmo formato dos algoritmos do tipo árvore (estudados anteriormente). 71

81 Figura 29. Matriz de confusão do algoritmo PART 3.3 PÓS-PROCESSAMENTO Nesta etapa os resultados alcançados com o processamento dos dados da fase anterior serão analisados, selecionados, validados e formatados para que seja exibido ao usuário final apenas o conhecimento relevante que foi obtido com a metodologia aplicada. Para isso, serão utilizadas as 3 atividades descritas a seguir: Validação e simplificação do modelo Para fins de testes o arquivo que serve de base de dados é dividido em duas partes, uma que é utilizada para treinamento do algoritmo e fornecerá as regras do modelo de conhecimento; e a outra parte será reservada para a realização de testes que serão utilizados para medir o desempenho das regras formadas e sua persistência, gerando os indicadores estatísticos do modelo de conhecimento, que neste trabalho servirá também para efetivar a validação e simplificação das regras obtidas. O arquivo de dados que foi utilizado pelos algoritmos experimentados foi submetido a todas as opções de testes que a ferramenta de Mineração disponibiliza, onde podemos observar sua relação na Figura 15 no destaque B da interface da tarefa de classificação. Os resultados obtidos em 72

82 seus modelos foram muito similares entre eles não havendo reduções drásticas de um para outro. A seguir seguem detalhes destes modos de testes experimentados. O primeiro modo de teste é o Training test que se caracteriza por fazer a predição (regras) e testar com o próprio conjunto de treinamento submetido ao classificador. Depois vem o Supplied test set que faz as regras e testa em outro conjunto de teste inserido pelo botão set pelo usuário, onde neste trabalho os testes foram conduzidos em grande parte por um arquivo de treinamento com 8 meses de registros e um arquivo teste com 4 meses. Logo vem o modo Cross-Validation que é avaliado por validação cruzada, o conjunto de teste é divido em partes iguais e a predição é aplicada em cada um separadamente, neste projeto foi utilizado o fator 10 (quantidade de partes). E o último é o Percentage Split que faz a predição baseada na porcentagem dos dados que o usuário determina na própria ferramenta, neste estudo foi utilizada a porcentagem de 66%. Agora, será trabalhado o modelo de conhecimento gerado pelos algoritmos, onde será efetuada sua validação e simultaneamente a exclusão de detalhes e de conjunto de informações que são irrelevantes e de baixa confiança, de forma a torná-lo mais enxuto, legível e com informações que agreguem conhecimento ao usuário e legitimidade nos resultados. Para fins de validação do desempenho dos algoritmos de classificação serão utilizadas as métricas extraídas do próprio modelo gerado que nos representarão a validade das descobertas realizadas e sua credibilidade. Segundo Silva (2007) vários autores utilizam técnicas estatísticas para avaliar a capacidade de representação do conhecimento adquirido sob a forma de regras. Será adotado o modelo proposto por Romão (2002 apud SILVA, 2007), onde ele observa que há varias formas de avaliar o processo de descoberta de conhecimento, mas destaca 3 em particular: a exatidão dos resultados, a eficiência deles e a compreensão do conhecimento extraído. Para a exatidão dos dados será observado medidas de quantidades de acertos tanto no modelo como um todo, quanto nas regras e classificações formadas individualmente. A maior parte da Literatura utiliza taxa de acerto como principal meio de avaliação das técnicas de KDD (FREITAS, 1997 apud SILVA, 2007). 73

83 Para sua eficiência teremos como referencia o elemento chamado Kappa Statistic que é um índice que compara o valor encontrado nas observações com aquele que se pode esperar do acaso. É o valor calculado dos resultados encontrados nas observações e relatado como um decimal (0 a 1).Quanto menor o valor de Kappa menor a confiança da observação, o valor 1 indica a correlação perfeita, difícil de ser encontrada. E segundo Silva (2007) para ser boa uma observação, com 95% confiável, o valor de Kappa deve estar no intervalo ( ). E também há a interpretação feita por Landis e Koch (1977 apud Mori, 2008) que sugere que os valores acima de 0.75 representam excelente concordância, valores abaixo de 0.40 uma baixa concordância e os valores situados entre 0.40 e 0.75 representam concordâncias de suficiente a boa (mediana). E, finalmente, a compreensão dos resultados, ou seja, serão aproveitadas somente as regras que tragam informações significantes e interpretáveis. Facilidade de compreensão nos resultados da classificação (ex. nas regras) é outra forma de avaliação do processo de descoberta que favorece a credibilidade no sistema por parte do usuário (SILVA, 2007). Então, chegou-se a 3 algoritmos que obtiveram aprovação em seus modelos gerados (onde já foram descritos na seção resultados obtidos), sendo a seguir detalhados e simplificados, de maneira que somente serão selecionadas as regras e árvores formadas que sejam validadas, deixando permanecer somente os resultados persistentes e satisfatórios aos objetivos do projeto Algoritmo J48 (tree) Neste algoritmo notou-se através das estatísticas gerais do modelo (Figura 22) que o conjunto de regras que se formaram trouxe resultados satisfatórios, pois seu índice kappa apresentou valor de 0.60 sendo considerado um valor acima da media pela literatura. E apresentou um percentual de instâncias classificadas corretamente de 61,85% contra 38,15% classificadas erroneamente, dados estes não tão favoráveis mais que foram compensados se analisarmos individualmente cada classe (empresa), conforme demonstrado a seguir. Mas o modelo se destacou positivamente com destacado grau de validação quando analisamos os resultados individualmente, tanto pelas classes classificadoras quanto pelas regras formadas. Se observarmos os índices relativos a cada classe no item Detailed Accuracy by Class e também na Confusion Matrix (Figuras 22 e 23) notamos que as classes formadas pelas empresas 74

84 OGXP, Gerdau, Banco do Brasil e Rossi apresentaram índices relevantes no indicador F-Measure (é um importante índice que é usado para medir a performance pois combina valores de cobertura e precisão de uma regra numa única fórmula) com valores respectivos de 0.976, 0.754, e (que variam de 0 a 1), e valores altos de classificações corretas obtendo taxas de acerto respectivas de 98%, 89%, 85% e 68%. E agora, analisando a ultima fase da validação que engloba a compreensão dos resultados tem-se que direcionar a atenção para as 61 classificações efetuadas (que podem ser traduzidas através de regras). Mas analisaremos apenas as regras geradas que cheguem as 4 empresas validadas até o momento, pois as demais foram descartadas por não apresentarem índices tão satisfatórios. Então, após a interpretação do conhecimento transmitido pelas regras e observação de seu grau de significância e levando em conta também o numero de casos cobertos e classificados corretamente por ela (valor entre parênteses após o nome da empresa, onde o primeiro significa os corretos e o segundo os incorretos), decidiu-se em excluir as descobertas que envolvam as classes OGXP e Gerdau, permanecendo as empresas Banco do Brasil e Rossi que apresentaram relevância nas regras que foram selecionadas, conforme se pode observar em destaque (sublinhado) nas Figuras 30 e 31 respectivamente. Figura 30. Regras do J48 com resultado Banco do Brasil 75

85 Figura 31. Regras do J48 com resultado Rossi Algoritmo JRip (rules) O modelo de conhecimento gerado por este algoritmo apresentou bons resultados em nível de validação por indicadores (Figura 25), onde em seu índice kappa apresentou valor de 0.55 sendo considerado um valor bom pela literatura Apresentou um percentual de instâncias classificadas corretamente de 57,59% contra 42,41% classificadas erroneamente, dados estes não tão satisfatórios mais que foram compensados se analisarmos isoladamente cada empresa conforme citado a seguir. E como no algoritmo J48, apresentou índices relevantes em algumas classes classificadoras (empresas) e também nas regras individualmente formadas, também visto nas Figuras 25 e 26. Mas na etapa de validação por importância do conhecimento gerado seu desempenho não foi tão satisfatório, pois, mesmo ele apresentando regras persistentes e confiáveis deixou a desejar na qualidade das regras formadas, onde analisando uma por uma das 45 geradas não houve alguma que se destaque por sua significância ou que trouxesse algum valor agregado diferenciado. Portanto, decidiu-se por não selecionar nenhuma regra deste algoritmo, mas não significando que ele tenha sido ineficiente na sua função de geração de regras. 76

86 Algoritmo PART (rules) Este algoritmo apresentou bons resultados em seus indicadores como pode ser verificado na Figura 28, onde em seu índice kappa apresentou valor de 0.57 sendo considerado um valor bom pela literatura. Obteve um índice de instâncias classificadas corretamente de 59,71% contra 40,29% classificadas erroneamente, dados estes não satisfatórios mais que foram compensados se analisarmos isoladamente cada empresa conforme podemos verificar a seguir. Exibiram índices consideráveis se forem analisadas as regras individualmente formadas e as melhores classificações efetuadas por empresa, também vistas nas Figuras 28 e 29. No entanto na fase de validação por relevância do conhecimento gerado seu desempenho não foi tão satisfatório. Apresentou regras persistentes e confiáveis, mas diminuiu sua qualidade na importância das regras obtidas, onde analisando uma por uma das 46 geradas não houve alguma que se destaque por sua significância ou que trouxesse algum valor agregado diferenciado. Assim sendo, não foi selecionada nenhuma regra deste algoritmo, mas não significando que ele tenha sido ineficiente na sua função de geração de regras Transformação do modelo e apresentação dos resultados Neste item será trabalhado com a estrutura do modelo de conhecimento, ou seja, para facilitar o entendimento dos resultados selecionados e para que se obtenha uma interface mais agradável será transformada a forma de apresentação dos conhecimentos obtidos no algoritmo que foi validado em todas as etapas, conforme constante no item anterior. Algoritmo J48 (trees) Para melhor entendimento, foi efetuada uma mudança na forma de exibição dos resultados alcançados, onde foi convertido o formato de árvore para o de regra. E o atributo data (constante somente nas classificações que envolvem a empresa Rossi) que se apresentava de forma codificada, foi realizada a sua transformação para o formato de data normal através do método TimeStamp É uma função utilizada nos algoritmos para transformar as datas reais em códigos, que são mais facilmente manuseáveis. 77

87 Na Figura 32 são apresentadas estas mudanças e a forma resumida e suficiente de apresentação do conhecimento obtido com a execução do algoritmo J48. Figura 32. Descobertas do algoritmo J48 E para auxiliar nesta tarefa foi desenvolvida uma ferramenta que exibi na integra os arquivos mais importantes que envolveram este Trabalho, tanto os dados que foram utilizados para a geração de resultados como também arquivos que exibem os resultados gerados, inclusive o conhecimento obtido pelos algoritmos. Na Figura 33 podemos verificar a tela principal desta ferramenta com estas opções. Figura 33. Ferramenta desenvolvida 78