UNIVERSIDADE CATÓLICA DE GOIÁS DEPARTAMENTO DE COMPUTAÇÃO GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

Transcrição

1 UNIVERSIDADE CATÓLICA DE GOIÁS DEPARTAMENTO DE COMPUTAÇÃO GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO MINERAÇÃO DE DADOS VISÃO GERAL E UMA APLICAÇÃO NO ATLETISMO ALEXANDRE VIEIRA MYTO PAULO ROGÉRIO ASSIS LACERDA NOVEMBRO 2007

2 UNIVERSIDADE CATÓLICA DE GOIÁS DEPARTAMENTO DE COMPUTAÇÃO GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO MINERAÇÃO DE DADOS VISÃO GERAL E UMA APLICAÇÃO NO ATLETISMO Trabalho de Projeto Final de Curso apresentado por Alexandre Vieria Myto e Paulo Rogério Assis Lacerda à Universidade Católica de Goiás, como requisito parcial para obtenção do título de Bacharel em Ciência da Computação aprovado em 27/11/2007 pela Banca Examinadora: Professor Sibelius Lellis Vieira, Dr. - Orientador Professor Wellington Santos Martins, Ph.D. - Examinador Professor Thierson Couto Rosa, M.Sc. - Examinador

3 MINERAÇÃO DE DADOS VISÃO GERAL E UMA APLICAÇÃO NO ATLETISMO ALEXANDRE VIEIRA MYTO PAULO ROGÉRIO ASSIS LACERDA Trabalho de Projeto Final de Curso apresentado por Alexandre Vieira Myto e Paulo Rogério Assis Lacerda à Universidade Católica de Goiás, como parte dos requisitos para obtenção do título de Bacharel em Ciência de Computação. Professor Sibelius Lellis Vieira Professor Jeová Martins Ribeiro Orientador Coordenador Projeto Final de Curso

4 AGRADECIMENTOS Primeiramente a Deus. À nossa família pelo apoio, gratidão e carinho por conduzir nossas vidas nos caminhos da sabedoria e do conhecimento. Ao Professor Sibelius, pelo apoio e confiança depositada. À Coordenação do Departamento de Computação da Universidade Católica de Goiás por ter ajudado de forma inestimável a execução deste trabalho. Ao Professor Ernesto Flávio Batista Borges Pereira pela colaboração e apoio.

5 RESUMO Neste trabalho é apresentada uma descrição sobre a mineração de dados. A mineração de dados tem muitas aplicações atualmente, visto que uma grande quantidade de dados são produzidos, armazenados e necessitam de processamentos para a descoberta de conhecimentos. Em particular, o estudo feito é aplicado em um problema de atletismo, fatores intervenientes na chegada dos cem metros rasos livre. Os dados foram obtidos através de um questionário aplicado em alguns atletas do Brasil. Os resultados foram analisados com auxílio da ferramenta Weka usando duas aplicações de mineração de dados, classificação e associação. Na classificação foi utilizado o algoritmo J.48 e na associação foi utilizado o algoritmo Apriori. Palavras-Chave: Mineração de Dados, Ferramenta Weka, Classificação, Associação.

6 ABSTRACT It is presented in this work a description of data mining. The data mining has many applications nowadays, since a large amount of data is generated, stored and need processing for the discovery of knowledge. In particular, the study is applied on an athletics problem, factors involving the arrival of a hundred meters free. The data was obtained through a questionnaire applied on some athletes from Brazil. The results were analyzed using the tool Weka using two applications of data mining: classification and association. In the classification, the J.48 algorithm was used and in the association the algorithm Apriori was used. Key Words: Data Mining, Tool Weka, Classification, Association.

7 MINERAÇÃO DE DADOS VISÃO GERAL E UMA APLICAÇÃO NO ATLETISMO SUMÁRIO LISTA DE FIGURAS xiv LISTAS DE TABELAS xvi LISTA DE ABREVIATURAS xvii 1. INTRODUÇÃO Justificativa Objetivo Estrutura 4 2. MINERAÇÃO DE DADOS Processo de descoberta de conhecimento Conceituação de mineração de dados Métodos de Mineração de Dados Classificação Associação Apriori Clusterização (Agrupamento) K-Means Padrões seqüenciais/temporais Técnicas de Mineração de Dados Árvore de decisão C Aplicações de mineração de dados Problemas com a obtenção de um banco de dados FATORES INTERVENIENTES NA CHEGADA DOS CEM METROS RASOS Evolução da prova Descrição do problema Base de dados Seleção dos dados Preparação dos dados Construção do modelo Avaliação do modelo 33

8 4. FERRAMENTA DE MINERAÇÃO DE DADOS WEKA Ambiente Weka Arquivo ARFF Explorer Características dos atributos Associação Weka Classificação Weka Atributos utilizados Arquivo no formato ARFF APLICAÇÃO Aplicando as regras A Base de dados Premissas estabelecidas Problemas para executar o método de classificação Novas premissas estabelecidas Resultados obtidos pelo método classificação Matriz de confusão Matriz de confusão para objeto em estudo Associação Problemas para executar o método de associação Resultados obtidos pelo método de associação CONCLUSÕES REFERÊNCIAS BIBLIOGRÁFICAS GLOSSÁRIO APÊNDICE 108

9 LISTA DE FIGURAS Figura Processo de KDD prosto por Fayyad, Piatetsky-Shapiro e Smyth (1996) 31 Figura Forma de Representação de uma Árvore de Decisão 33 Figura Weka GUI Chooser 52 Figura Weka Explorer (Preprocess) 75 Figura Weka Explorer (Classify) 88 Figura Weka Explorer (Cluster) 88 Figura Weka Explorer (Associate) 88 Figura Weka Explorer (Slect attributes) 88 Figura Weka Explorer (Visualize) 88 Figura Weka Explorer (Log) 88 Figura Weka Explorer (Preprocess) 88 Figura Weka Explorer (Visualize All) 88 Figura Arquivo no formato ARFF 88 Figura Árvore de decisão gerada pelo atributo melhor marca 100m 88 Figura Matriz de confusão gerada pelo atributo melhor marca 100m 88 Figura Melhores regras encontradas pelo apriori 88 Figura Exemplo de resultado que resultou em descoberta de informação 88

10 LISTA DE TABELAS Tabela Os 15 melhores tempos de sempre masculino 17 Tabela Os 12 melhores tempos de sempre feminino 83 Tabela Classificação dos pesos para pessoas 88 Tabela 5.2 Classificação dos atletas segundo a fórmula utilizada 88

11 LISTA DE ABREVIATURAS E SIGLAS ARFF CLI cm HPF HPP KDD Kg LMD LME OMS PRODERJ QTDE UCG URL 100m/r 2D Attribute Relation File Format Interface Commad Line centímetro História patológica Familiar História Patológica Pessoal Discovering Knowledge in Data Quilograma Lado da Mão Direita Lado da Mão Esquerda Organização Mundial da Saúde Órgão de Tecnologia da Informação do Estado do Rio de Janeiro Quantidades Universidade Católica de Goiás Uniform Resoucer Locator Cem metros rasos Segunda Dimensão

12 MINERAÇÃO DE DADOS FATORES QUE INFLUENCIAM NA CHEGADA DOS 100M/R CAPÍTULO I INTRODUÇÃO 1.1. Justificativa A mineração de dados ou data mining se refere a mineração ou a descoberta de novas informações em função de padrões ou regras em grandes quantidades de dados. Para ser útil, na prática, a mineração de dados precisa ser realizada eficientemente em grandes arquivos e banco de dados. O volume de dados armazenado nos sistemas das organizações é cada vez maior. Este fenômeno dá-se pela queda no custo dos dispositivos de armazenamento e avanços na área de tecnologia da informação. Devido a incapacidade do ser humano em analisar tamanho volume de dados, muitas informações, possivelmente úteis e importantes, podem não estar sendo devidamente aproveitadas. Em conseqüência disto, surge a necessidade de se desenvolver novas ferramentas e técnicas de extração automática de conhecimento a partir de dados armazenados [16]. Embora recente, a história da mineração de dados já tem casos bem conhecidos. O mais divulgado é o da cadeia norte-americana Wal-Mart, que identificou um hábito curioso dos consumidores. Ao procurar eventuais relações entre o volume de vendas e os dias da semana, o software apontou que, às sextas-feiras, as vendas de cervejas cresciam na mesma proporção que as de fraldas. Crianças bebendo cerveja? Não. Uma investigação mais detalhada revelou que, ao comprar fraldas para seus bebês, os pais aproveitavam para abastecer as reservas de cerveja para o final de semana [35]. Cada classe de aplicação em mineração de dados tem como base um conjunto de algoritmos que serão usados na extração de relações relevantes dentro de uma massa de

13 dados tais como: a classificação, a estimativa, o agrupamento por afinidade, a previsão e a segmentação [32]. Cada uma destas propostas difere quanto à classe de problemas que o método será capaz de resolver. As tecnologias de mineração de dados podem ser aplicadas em grande variedade de contextos de tomada de decisão empresariais. Em particular, áreas de significativo retorno de investimento esperado incluem: Marketing Aplicações como análises do comportamento do consumidor baseadas em padrões de consumo; a definição de estratégias de marketing está presente em propagandas, bem como em localização de lojas, e também em mala direta direcionada; segmentação de clientes, lojas ou produtos; e projeto de catálogos, layouts de lojas e campanhas de publicidade. Finanças Aplicações incluem análise de crédito de clientes, segmentação de contas a receber, análise de performance de investimentos financeiros como ações, bonds e fundos mútuos; avaliação de opções de financiamento; e detecção de fraudes. Produção Aplicações envolvem otimização de recursos como máquinas, força de trabalho e materiais; projeto ótimo de processos de fabricação, layouts de chão de fábrica, e projeto de produto, como de automóveis baseados nos requisitos dos clientes. Saúde Aplicações incluem descoberta de padrões em imagens radiológicas, análise de dados experimentais em microarray (gene-chip) para relação com doenças, análise de efeitos colaterais de remédios e efetividade de certos tratamentos; otimização de processos dentro de um hospital, relação de saúde do paciente com qualificações do médico. Além das áreas citadas acima a mineração de dados pode ser aplicada a várias áreas como: esporte, ciência, tecnologia, web, governo, banco, comércio etc. Atualmente, as ferramentas de mineração de dados utilizam técnicas para extração de conhecimento. Tais técnicas incluem regras de associação, agrupamento (clustering), redes neurais, seqüenciamento e análise estatística. Também utilizam-se as

14 árvores de decisão, que são a representação das regras usadas na classificação ou no agrupamento, e análise estatística, que podem incluir regressão e muitas outras técnicas [26]. Essas técnicas, devido a grande importância dos seus resultados e da grande base de dados, têm sido implementadas em ferramentas de mineração de dados, inclusive em algumas gratuitas, como a ferramenta Weka, que é utilizada neste trabalho Objetivo A mineração de dados pode ser aplicada em varias áreas, inclusive na área do esporte. Detalhes podem decidir uma competição tais como: o treinamento, a alimentação, o porte físico, o nervosismo, a saúde e outros. Umas das competições mais importantes no mundo do atletismo e do esporte é a corrida dos cem metros rasos (100m/r). A mineração de dados pode ser aplicada e útil na análise nesta categoria de atletismo, analisando os fatores do histórico que podem influenciar no resultado e assim, buscando padrões que podem auxiliar na preparação do atleta dos cem metros rasos 100m/r. A corrida dos cem metros rasos (100m/r) é uma modalidade olímpica de atletismo, considerada a prova mais importante das corridas de velocidade, para muitos cheios de nervosismo e de grande tensão emocional. Em razão do alto nível dos atletas e da distância, a prova leva em torno de apenas dez segundos. O objetivo deste trabalho é elaborar um estudo, utilizando técnicas de mineração de dados para analisar um conjunto de fatores dos atletas de cem metros rasos (100m/r) utilizando a ferramenta de mineração de dados Weka. Esta ferramenta oferece execuções de algoritmos de aprendizagem que podem ser facilmente aplicados os dados a serem estudados, além de possuir uma interface amigável e de fácil entendimento Estrutura No capítulo II é descrito o processo de mineração de dados, que é um processo

15 de descoberta de conhecimento (KDD-Discovering Knowledge in Data), sendo apresentada sua definição, seus métodos, técnicas e algumas áreas onde pode ser aplicado. No capítulo III são descritos os fatores intervenientes na chegada dos cem metros rasos, apresentando um pouco sobre a história das corridas dos 100m/r, os problemas a serem tratados, a geração da base de dados, como foram feitas as seleções dos dados que fizeram parte dos processos, quais as análises preliminares foram feitas com os dados, a construção do modelo a ser tratado e a avaliação do modelo. No capítulo IV são apresentadas a ferramenta Weka, algumas propriedades e funções, e como a ferramenta pode ser utilizada. São apresentadas características gerais do Weka, janelas, aplicativos e como utilizar atributos. No capítulo V são apresentados os experimentos, resultados, e problemas recorrentes dos métodos utilizados, o algoritmo Apriori para a associação e o j48 para a classificação. Todos os resultados foram possíveis utilizando a ferramenta Weka (freeware) disponibilizada para fins educativos. futuros. No capítulo VI é apresentado a conclusão do projeto e possíveis trabalhos

16 CAPÍTULO II MINERAÇÃO DE DADOS 2.1. Processo de descoberta de conhecimentos O processo de descoberta de conhecimento de dados surgiu na década de 80, época essa que devido aos novos meios de tecnologias, observou-se um grande crescimento no volume das bases de dados existentes. Alguns dos sistemas que surgiram e contribuíram neste período para o começo deste processo foram os sistemas de reservas de passagens aéreas, sistemas bancários e de cartões de créditos internacionais. Isso despertou a necessidade de extrair conhecimento a partir dessas grandes bases de dados. Essa estratégia é mais conhecida como KDD - Knowledge Data Discovering ou descoberta do conhecimento em dados. O KDD tem como objetivo principal explorar e extrair informações não-triviais em uma base de dados relacional de uma maneira otimizada, passando por algumas fases até chegar em algo consistente para que a partir dela possa obter conhecimento. Com a chegada da globalização, a competitividade entre as empresas no mundo dos negócios vem aumentando intensamente nos últimos anos. As empresas contemporâneas, cientes da necessidade de adaptação a esse cenário, têm investido na captação, no armazenamento, no tratamento e na aplicação da informação com diferencial estratégico e competitivo na condução dos negócios. Recursos da área da Tecnologia da Informação têm sido fundamentais nesse processo. Em particular, muitos sistemas de informação vêm sendo desenvolvidos e utilizados em diversas aplicações [27]. Os bancos de dados contêm informações detalhadas que permitem às empresas acompanhar e controlar processos operacionais. Por outro lado, existe uma demanda cada vez maior por sistemas de informação que auxiliem no processo de tomada de decisão. Gerentes e executivos necessitam de recursos computacionais que forneçam subsídios para apoio ao processo decisório das empresas [27].

17 Conceitualmente, um Data Warehouse é um grande armazém de dados, integrado, não volátil, variável em relação ao tempo, e destinado a auxiliar em decisões de negócios. A orientação à assunto, aliada ao aspecto de integração, permite reunir dados corporativos em um mesmo ambiente de forma a consolidar e apresentar informações sobre um determinado tema. Os dados são não voláteis, pois uma vez carregados no Data Warehouse, estes não podem mais sofrer alterações. Cada conjunto de dados, ao ser carregado em um Data Warehouse, fica vinculado a um rótulo temporal que o identifica dentre os demais. Cada rótulo temporal fica associado, portanto, a uma visão instantânea e sumarizada dos dados operacionais que corresponde ao momento de carga do Data Warehouse. Desta forma, na medida em que o Data Warehouse vai sendo carregado com tais visões, pode-se realizar análises de tendências a partir dos dados [27]. Obter conhecimentos em base de dados é uma área de pesquisa crescente que atrai esforços de pesquisadores. Fundamenta-se no fato de que as grandes bases de dados podem ser uma fonte de conhecimento útil, porém não explicitamente representado, cujo objetivo é desenvolver e validar técnicas, metodologias e ferramentas capazes de extrair o conhecimento implícito nesses dados e representá-lo de forma acessível aos usuários [13]. Transformar os dados em informações que possam auxiliar a tomada de decisões é um processo complexo [20] e pode ser organizado em cinco etapas, conforme ilustra a Figura 2.1.

18 Figura 2.1. Processo de KDD [6]. O primeiro passo no processo de KDD é entender o domínio da aplicação, identificar o problema e definir os objetivos a serem atingidos. O processo inicia com os dados brutos (Base de Dados) e finaliza com a extração de conhecimento, como resultado das seguintes etapas: conjunto-alvo de dados; 1. Seleção: é a extração dos dados visando à aplicação, ou seja, criação de um 2. Pré-Processamento: Engloba qualquer tipo de tratamento que venha a ser realizado nos dados que foram selecionados na fase anterior a fim de assegurar a qualidade (completude, veracidade e integridade). As informações consideradas desnecessárias são removidas. Se os erros não forem descobertos nessa etapa, poderão contribuir para a obtenção de resultados de baixa qualidade [22]. Um exemplo simples pode ser o de corrigir CEPs errados ou até mesmo retirar registros com prefixos de telefones errados [26]; 3. Transformação: identificação de características úteis para representar os da-

19 dos, conforme o objetivo definido, e realizar a redução ou transformação da dimensionalidade dos dados. Nesta fase, os dados devem ser codificados para que possam ficar em uma forma adequada a fim de que o algoritmo de mineração de dados escolhido tenha a interpretação correta dos registros para o seu padrão de uso [27] ou até mesmo pode ser executado para a redução da quantidade de dados [26]. A codificação pode ser: Numérica Categórica, que transforma valores reais em categoria ou intervalos; ou Categórica Numérica que representa numericamente valores de atributos categóricos [27]; 4. Mineração de dados (data mining): combinar os objetivos do processo de KDD com um método particular de mineração de dados e realizar a análise exploratória e seleção de modelo e hipótese, buscando padrões de interesse; 5. Interpretação/Avaliação: validar o conhecimento extraído da base de dados, identificar padrões e interpretá-los, transformando-os em conhecimentos que possam apoiar as decisões [12]; Como exemplo de processo de KDD, imagine um banco de dados mantido por um comerciante. Considere que os dados do cliente incluem nome, CEP, telefone, data da compra, código do item, preço, quantidade e valor total. Várias informações sobre o cliente podem ser obtidas pelo processamento KDD nesse banco de dados. Durante a seleção de dados, podem ser levantados itens específicos ou categorias de itens, ou de lojas em uma dada região ou área de um país. O processo de limpeza dos dados pode corrigir CEPs errados ou eliminar registros com prefixos de telefone errados. O enriquecimento incrementa os dados com fontes adicionais de informações. Por exemplo, pelo telefone ou pelo nome do cliente, a loja pode adquirir outros dados, como idade, renda, risco de crédito, e incluí-los em cada registro. A transformação dos dados e codificação pode ser executada para reduzir a quantidade de dados. Por exemplo, novos códigos podem ser agrupados em categorias de produto como: áudio, vídeo, materiais, dispositivos eletrônicos, câmeras, acessórios, e assim por diante. CEPs podem ser agrupados em regiões geográficas, impostos podem ser divididos em faixas, e assim por diante. Se a mineração de dados é baseado em um data warehouse existente para essa loja, esperamos que a limpeza já tenha sido aplicada. Somente depois desse préprocessamento é que as técnicas de mineração de dados são usadas para extrair diferentes regras e padrões [26].

20 2.2. Conceituação de Mineração de Dados. Como o nome indica, o mineração de dados se refere à mineração ou a descoberta de novas informações em função de padrões ou regras em grandes quantidades de dados. Para ser útil, na prática, a mineração de dados precisa ser realizada eficientemente em grandes arquivos e banco de dados [26]. A mineração de dados é a parte mais importante dentre os processos KDD, pois é nela que se concentra a busca efetiva das novas informações em função de padrões ou regras que há armazenados em grandes arquivos de banco de dados [27]. A mineração de dados é fundamentalizada na união de três grandes tecnologias: estatística clássica, inteligência artificial e machine learning (aprendizado de máquina). Para cada uma dessas tecnologias a mineração de dados se utiliza de meios que possa tirar proveito na busca por padrões. Com o resultado da Mineração de Dados podem ser descobertas as regras de associação, padrões seqüências e as árvores de classificação Métodos de Mineração de Dados Os métodos de Mineração de Dados podem ser classificados pela função que executam ou de acordo com a classe de aplicação em que podem ser usados [12]. Cada classe de aplicação tem como base um conjunto de algoritmos que serão usados na extração de relações relevantes dentro de uma massa de dados (Classificação, Associação, Clusterização, Previsão de Série Seqüências/Temporais) Classificação Para classificar é necessário selecionar um atributo alvo, chamado variável dependente ou classe, cujo valor é usado para elaborar regras de classificação e as variáveis in-

21 dependentes ou atributos preditores [15]. A classificação utiliza dados sobre o passado para encontrar padrões significantes de forma a induzir regras sobre o futuro, isto é, regras que predizem o valor do atributo alvo, através da combinação dos valores dos atributos preditores [4]. A precisão do resultado da classificação é medida pela taxa de erro, que é o percentual de registros classificados incorretamente [4]. A técnica de classificação geralmente utiliza métodos de indução com aprendizado supervisionado. No aprendizado supervisionado, a entrada e saída desejadas são fornecidas por um supervisor externo. Os métodos de indução supervisionados podem ser classificados em conexionistas e simbólicos. Como exemplo podemos citar são as redes neurais, que criam modelos implícitos que são representados em uma arquitetura de nós e ligações com pesos. Já os métodos simbólicos, como exemplo árvores de decisão e regras, criam modelos explícitos [6]. Uma técnica de classificação é considerada útil para mineração de dados se tiver três características [30]: 1. Capacidade de produzir modelos de alta qualidade mesmo quando os dados no conjunto de treinamento estão incompletos. 2. Gerar modelos compreensíveis e explanáveis, de forma a que o usuário possa entender como o sistema toma decisões. 3. Reconhecer o domínio no qual está aplicando a indução e melhorar a qualidade do modelo induzido Associação A regra de associação é uma das principais tecnologias em mineração de dados. Nesta podemos considerar o fato de que se antecedente, então conseqüente ou seja, pode

22 ser entendida da seguinte forma X => Y onde X={x 1, x 2,..., x n }, e Y = {y 1,y 2,..., y n } são conjunto de itens, com x i e y j, que contém itens distintos para todo i e j. Isso na prática implica que possivelmente um cliente que compre X estará sujeito a comprar Y como conseqüência. Por exemplo, em uma padaria um cliente que compre pão geralmente ele também compra leite. [26] Normalmente, regras de associação possuem a forma LME (lado da mão esquerda) => LDM (lado da mão direita), onde LME e LMD são conjuntos de itens, e através da união de LME e LDM representa-se o conjunto de todos os itens comprados pelo cliente. Para que a regra de associação seja interessante, a regra precisa satisfazer algumas medidas. Duas medidas de interesse comuns são suporte e confiança [26]. O suporte é o percentual de transações que contém todos os itens na própria relação LME U LMD. Se o suporte é baixo isso implica que não existe nenhuma evidência significativa que os itens LME U LMD ocorram juntos, já que o conjunto de itens ocorre em apenas uma pequena fração de transações [26]. A confiança da regra é calculada com o suporte (LME U LMD)/suporte(LMD). Podemos analisar a possibilidade de que os itens do LME sejam comprados dado que os itens do LMD foram comprados por um cliente [26]. Existem diversos algoritmos desenvolvidos especificamente para aplicação de descoberta de associações, dentre eles: Apriori (utilizado neste trabalho), DHP (Direct Hashing an Pruning), Partition, DIC (Dynamic Itemset Couting), Eclat, MaxEclat, Clique, MaxClique, Cumulate e EstMerge [27]. As aplicações de técnicas de associação têm seu uso mais difundido na área de marketing, em que se pretende descobrir as associações existentes entre os produtos vendidos. A tecnologia possibilitou às organizações coletar e armazenar grandes quantidades de dados, como é o caso da tecnologia de código de barras sobre os dados de vendas [2]. As grandes redes varejistas estudam as compras dos clientes para descobrir quais as vendas são normalmente realizadas ao mesmo tempo, chamando isso de market basket analysis. Essa análise pode determinar, por exemplo, os produtos que devem estar expostos juntos,

23 objetivando incrementar as vendas [7] Apriori O Apriori é um algoritmo clássico de Mineração de Regras de Associação [2]. Diversos algoritmos tais como GSP, DHP, Partition, DIC, Eclat, MaxEclat, Clique e MaxClique foram inspirados no funcionamento do Apriori e se baseiam no princípio da antimonotonicidade do suporte [27]. Os algoritmos que são utilizados para encontrar regras de associação utilizam as propriedades de fechamento por baixo e antimonotonocidade. No fechamento por baixo é feita a inferência de um superconjunto para um subconjunto. Na antimonotonicidade ajuda a reduzir o espaço de busca por possíveis soluções. Isto é, uma vez que um item for considerado pequeno, qualquer extensão para aquele conjunto de itens, formado pela adição de um ou mais itens ao conjunto, será também um conjunto pequeno [26]. duas etapas [27]: Os algoritmos mencionados a cima podem ser decompostos basicamente em a) Encontrar todos os conjuntos de itens freqüentes (que satisfazem à condição de suporte mínimo), ou seja, encontrar conjunto de itens que mais se relaciona com outro item. b) A partir do conjunto de itens freqüentes, gerar as regras de associação (que satisfazem à condição de confiança mínima) Clusterização (Agrupamento) A clusterização ou agrupamento é um processo de partição de uma população heterogênea em vários subgrupos ou clusters mais homogêneos [13]. No agrupamento, não há classes predefinidas, e os registros são agrupados de acordo com a semelhança, o que a diferencia da tarefa de classificação.

24 Exemplos de agrupamento: agrupar os clientes por região do país, agrupar clientes com comportamento de compra similar [15]; agrupar seções de usuários Web para prever comportamento futuro de usuário [27] K-Means O algoritmo k-means é um método popular da tarefa de Clusterização. Tomase, randomicamente, k pontos de dados (dados numérico) como sendo os elementos centrais dos cluster. Em seguida a cada ponto (ou registro da base de dados) é atribuído um cluster cuja distância deste ponto em relação ao elemento central do cluster é menor para esse ponto. Em seguida para cada cluster é computado o novo elemento central desse cluster, caracterizando a configuração do cluster para iteração seguinte. O processo termina quando os elementos centrais dos clusters param de se modificar, ou após um número limitado de interações que tenha sido especificado pelo usuário [27]. A execução do algoritmo k-means consiste em, primeiro, selecionar aleatoriamente k objetos, que inicialmente representam cada um a média de um cluster. Para cada um dos objetos remanescentes, é feita a atribuição ao cluster ao qual o objeto é mais similar, baseado na distância entre o objeto e a média do cluster. A partir de então, o algoritmo computa as novas médias para cada cluster. Este processo se repete até que uma condição de parada seja atingida [27] Padrões seqüenciais/temporais Este método procura eventos ou compras que ocorrem seqüencialmente em um período de tempo, determinando tendências [12]. Uma aplicação típica é a venda por mala direta, que agrega os dados sobre os produtos adquiridos em cada compra. A descoberta de seqüência irá analisar este conjunto e detectar padrões de produtos comprados durante um determinado tempo. Pode ser útil também para identificar os itens que precedem a compra de um determinado produto [27;20].

25 Técnicas de Mineração de Dados As técnicas utilizadas atualmente em mineração de dados são extensões de métodos analíticos já conhecidos há algum tempo. O que as diferenciam são que as técnicas aqui são mais voltadas a encontrar estratégias para os negócios. Isto acontece graças ao aumento do desempenho dos computadores. As técnicas apresentadas a seguir são extraídas de [14] Árvore de decisão Árvores de decisão dividem os dados em subgrupos com base nos valores das variáveis. O resultado é uma hierarquia de declarações do tipo Se...então..., que são utilizadas principalmente para classificar dados. Há uma onda de interesse em produtos baseados em árvore de decisão, principalmente porque eles são mais rápidos que as redes neurais para alguns problemas organizacionais, e também é mais fácil compreender o seu funcionamento [32]. Árvores de decisão expressam uma forma simples de lógica condicional buscando a representação de uma série de questões que estão escondidas sob a base da dados. Em uma árvore de decisão existem dois tipos de atributos: o decisivo, que é aquele que contém o resultado ao qual queremos chegar, e os não-decisivos que contêm os valores que conduzem a uma decisão. Com a utilização da entropia como ganho de informação, são realizados cálculos sobre os atributos não-decisivos, denominados classes, nos quais é escolhido um nó inicial também chamado raiz. A partir deste nó, será realizada uma série de novos cálculos com o objetivo de decidir a estrutura de formação da árvore a ser gerada. Este processo é repetido até que todos os atributos a serem processados estejam perfeitamente classificados ou caso se tenham processado todos os atributos. Os três principais algoritmos conhecidos que implementam árvores de decisão, são ID3, C4.5 e PERT, sendo que os algoritmo C4.5 e PERT são um aperfeiçoamentos do algoritmo ID3, com alguns conceitos avançados de podagem (técnica de cortar nós da árvore