MINERAÇÃO DE DADOS: APLICAÇÃO PRÁTICA EM PEQUENAS E MÉDIAS EMPRESAS RONALDO RIBEIRO GOLDSCHMIDT RESUMO. O intenso crescimento do volume de informações nas bases de dados corporativas de pequenas, médias e grandes empresas e o alto nível de competitividade entre empresas no mercado, inclusive das pequenas e micro empresas, nos têm estimulado o estudo e a aplicação de técnicas de mineração destes dados na busca de conhecimentos que possam ser traduzidos em diferenciais mercadológicos para esse grupo de empresas, normalmente pouco assistidas por alta tecnologia. O presente trabalho tem por objetivo descrever e avaliar a aplicação de um algoritmo de mineração de regras associativas (Apriori) em bases de dados existentes em pequenos negócios. Os experimentos realizados em bases de dados do segmento de fast-food estão descritos em detalhe. Conclusões e sugestões para trabalhos futuros encontram-se formuladas. ABSTRACT. The intense amount of information increase in databases from small, medium and big sized companies and the high competition level among these companies have stimulated studies and application of mining techniques to these data in search of knowledge that could be turned into in marketing differentials. The present work describes and evaluates an association rule mining algorithm (Apriori) in small business databases. The experiments, performed in the fast-food segment, are depicted in detail. Conclusions and suggestions for future work are also formulated.
INTRODUÇÃO O intenso crescimento do volume de informações nas bases de dados corporativas de pequenas, médias e grandes empresas e o alto nível de competitividade entre empresas no mercado, inclusive das pequenas e micro empresas, nos têm estimulado o estudo e a aplicação de técnicas de mineração destes dados na busca de conhecimentos que possam ser traduzidos em diferenciais mercadológicos para esse grupo de empresas, normalmente pouco assistidas por alta tecnologia. Neste contexto, os estudos em Descoberta de Conhecimento em Baeses de Dados - KDD: Knowledge Discovery in Databases, despontam como uma área de grande interesse cuja demanda por resultados vem crescendo nos últimos anos. De forma sucinta, o Processo de Descoberta de Conhecimento consiste em buscar encontrar e interpretar, a partir dos dados, padrões úteis, de uma forma iterativa e interativa, através da aplicação de algoritmos e da análise de resultados [6]. O Processo de Descoberta de Conhecimento tem na Mineração de Dados o cerne de sua execução, pois é nesta fase em que são buscadas informações implícitas ao conjunto de dados em análise que sejam potencialmente interessantes e utilizáveis, e previamente desconhecidas [7]. Na medida em que cresce a quantidade de dados a serem analisados em cada situação, crescem também a preocupação e os esforços no sentido de assegurar que ferramentas utilizadas no Processo de Descoberta de Conhecimento apresentem desempenhos que viabilizem a realização dos projetos. Historicamente, a Mineração de Dados origina-se de diversas áreas tais como: Estatística, Reconhecimento de Padrões, Banco de Dados, Aprendizado por Máquina / Inteligência Artificial e Redes Neurais. A tarefa clássica de busca por regras de associação foi introduzida por Agrawal em [1]. No referido trabalho, foram utilizadas bases de dados operacionais contendo informações sobre cada transação de compra realizada ao longo de um determinado período. Uma transação de compra compreendia a relação de todos os produtos adquiridos por um Cliente em um determinado instante e era armazenada em um formato denominado basket [1, 3, 4]. Uma regra de associação deve representar que tipos de produtos costumam ocorrer simultaneamente em transações de compra. Um dos principais fatores de motivação para a tarefa de mineração de regras associativas refere-se à possibilidade de incremento nas vendas de um determinado segmento comercial a partir de estratégias estabelecidas em função do conjunto de regras de associação extraído de grandes bases de dados históricas. Entre algumas estratégias de venda passíveis de adoção a partir das regras de associação extraídas podem ser citadas: Realização de promoções entre produtos Reconfiguração da disposição dos produtos em prateleiras e gôndolas Reavaliação do rol de produtos oferecidos aos Clientes Diversos trabalhos têm sido realizados no sentido de desenvolver técnicas que permitam a mineração de regras associativas [1, 2, 3, 4, 5]. Assim sendo, o presente trabalho tem por objetivo relatar implementação, experimentos e resultados obtidos da investigação da utilização do algoritmo tradicional Apriori [3] para mineração de regras de associação de uma base de dados de vendas de produtos em uma loja de fast-food. Na seção 2 são fornecidos detalhes sobre o contexto de aplicação dos experimentos. A seção 3 contém uma descrição da implementação do Algoritmo Apriori em PL/SQL. Os experimentos realizados, assim como os resultados obtidos, encontram-se resumidos na seção 4. Na seção 5 são formuladas algumas conclusões e propostas algumas alternativas de trabalhos futuros. DESCRIÇÃO DO PROBLEMA A base de dados utilizada neste estudo contém informações das transações de compra de itens acumuladas durante um pequeno período de captação de dados a partir do Ponto de Venda de uma loja do ramo de fast-food. Este período de captação, embora tendo sido localizado, foi definido de forma a refletir o comportamento comercial em dias normais de venda.
Os dados, inicialmente armazenados no formato basket [1, 3, 4, 5], foram convertidos para o formato de transação por linha e encontram-se resumidos na tabela 1. Esta tabela apresenta, também, os totais dos principais produtos analisados no presente trabalho. Uma transação de compra compreende a relação de todos os produtos adquiridos por um Cliente em um determinado instante. O formato de transação por linha é uma estrutura de dados onde para cada transação, na posição referente a cada produto encontra-se um valor binário, indicando a presença (1) ou ausência (0) do produto na compra em questão. Exemplos de transações no formato linha são apresentados na tabela 2. Tabela 1. Resumo do Banco de Dados Utilizado Referência Valor Total de Transações 9.118 Total de Produtos Disponíveis 34 Total de Transações com P1 Pão de Queijo Simples 3.252 Total de Transações com P2 Pão de Queijo Recheado 1.682 Total de Transações com P20 Refrigerante 300 1.576 Total de Transações com P21 Refrigerante Lata 1.863 Total de Transações com P23 Café 2.809 Total de Transações com P27 Água Copo 1.116 Total de Transações com P28 Mate 1.394 Total de Transações com P31 Suco 860 Total de Transações com P32 Folhado Salgado 2.358 Total de Transações envolvendo exatamente 2 Produtos 6.742 Total de Transações envolvendo exatamente 3 Produtos 1.803 Média de Produtos por Transação 2.3 Tabela 2. Exemplos de Transações no formato linha com 34 Produtos Id 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 Trans 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 001 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 002 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 003 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 004 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 005 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 A loja dispõe de um conhecimento prévio dos produtos que são vendidos simultaneamente com maior freqüência. Tal fato motivou a escolha deste contexto como base para desenvolvimento do trabalho visto que o referido conhecimento poderia ser utilizado como um dos critérios para avaliação dos resultados obtidos. Na tabela 3 encontram-se discriminados pares de produtos que representam algumas associações básicas conhecidas a priori pela loja. Formalmente, uma regra de associação é uma implicação da forma X Y, onde X e Y são conjuntos de itens tais que X Y = [3]. Uma regra é considerada freqüente se o número de vezes em que X Y ocorre em relação ao número total de transações do banco de dados for superior a uma freqüência mínima denominada suporte mínimo, estabelecida em cada aplicação. Uma regra é considerada válida se o número de vezes em que X Y ocorre em relação ao número de vezes que X ocorre for superior a uma freqüência mínima denominada confiança mínima, e também estabelecida em cada aplicação. Tabela 3. Algumas Associações Freqüentes entre Produtos Produto A Produto B P1 Pão de Queijo Simples P23 Café P1 Pão de Queijo Simples P28 Mate P32 Folhado Salgado P20 Refrigerante 300 P32 - Folhado Salgado P21 - Refrigerante Lata P23 Café P27 - Água Copo
Considerando a média de 2.3 produtos por transação e a maior incidência de transações envolvendo exatamente 2 produtos, optou-se, como investigação inicial, por buscar identificar regras de associação de comprimento 2, ou seja, que envolvessem um produto no antecedente e um produto no conseqüente de cada regra. ALGORITMO APRIORI EM PL/SQL Os algoritmos clássicos de mineração de regras de associação subdividem-se em duas etapas: (a) encontrar todos os conjuntos de itens freqüentes (que satisfazem à condição de suporte mínimo) e; (b) a partir do conjunto de itens freqüentes, gerar as regras de associação (que satisfazem à condição de confiança mínima). Assim sendo, a presente implementação prevê a estruturação dos dados no formato Basket e foi realizada em dois módulos básicos: Módulo I Identificação de Associações Freqüentes e Módulo II - Geração de Regras de Associação. O Módulo de Identificação de Associações Freqüentes tem por finalidade identificar quais conjuntos de produtos têm uma quantidade de ocorrências no banco de dados superior ao suporte mínimo definido pelo usuário. Na primeira iteração, o Módulo I procura obter, através de um coman-do de seleção sobre a estrutura Basket mencionada, que itens individualmente ocorrem em quantidade superior ao suporte mínimo utilizado. Cada item, uma vez identificado, é armazenado em uma tabela específica, denominada Basket_F1, como um conjunto contendo um item freqüente. Na segunda iteração, o Módulo realiza uma seleção baseada na junção do conteúdo da tabela Basket_F1 e da tabela Basket original e na filtragem das combinações cuja quantidade de ocorrências seja superior ao suporte mínimo estabelecido inicialmente. O resultado desta seleção compreende todos os conjuntos com pares de itens freqüentes. Esta estratégia baseiase na propriedade combinatória utilizada pelo algoritmo Apriori em sua versão original [3, 4] de que todos os subconjuntos de um conjunto freqüente têm que ser freqüentes. Os conjuntos com pares de itens freqüentes são armazenados em uma tabela específica denominada Basket_F2. Nas iterações subseqüentes, o processo descrito acima é realizado de forma adaptada conforme a cardinalidade k dos conjuntos envolvendo k itens freqüentes buscados a cada iteração. Convém ressaltar que a implementação descrita utiliza a potencialidade dos recursos de seleção disponíveis em bancos de dados relacionais para obter os conjuntos desejados a cada iteração de tal forma que o processo de corte de conjuntos, existente na versão original do algoritmo Apriori e com execução computacional cara, é realizado concomitantemente ao processo de junção e identificação dos conjuntos freqüentes. A utilização de estruturas de índices contribui significativamente para a melhora de desempenho das instruções de seleção mencionadas e da implementação como um todo. A paridade de cada tabela Basket intermediária é compatível com a cardinalidade dos conjuntos com k itens freqüentes gerados. A figura 1 apresenta um exemplo do tipo de seleção utilizada pelo Módulo I para a obtenção de conjuntos contento 4 itens freqüentes. Select Ck.item1, Ck.item2, Ck.item3, Ck.item4, count(*) From ( Select a.item1, a.item2, a.item3, b.item3 as item4 From basket_f3 a, basket_f3 b Where a.item1 = b.item1 and a.item2 = b.item2 and a.item3 < b.item3) Ck, basket b, basket c, basket d, basket e Where Ck.item1 = b.item and Ck.item2 = c.item and Ck.item3 = d.item and Ck.item4 = e.item and b.tid = c.tid and c.tid = d.tid and d.tid = e.tid Group By Ck.item1, Ck.item2, Ck.item3, Ck.item4 Having count(*) > :minsup; Fig. 1. Exemplo de seleção de conjuntos freqüentes com 4 itens. O Módulo de Geração de Regras de Associação produz, a partir das associações freqüentes identificadas pelo módulo anterior e do valor de confiança mínima definido pelo usuário, as regras válidas a serem consideradas. Inicialmente, o Módulo II busca identificar, a partir da junção entre os conjuntos contendo pares de itens freqüentes com os conjuntos de apenas um item freqüente gerados pelo Módulo I e armazenados nas tabelas Basket_F2 e Basket_F1,
quais as regras de comprimento 2 válidas. As regras identificadas neste estágio são armazenadas em uma tabela denominada Basket_R2, onde a estrutura de dados utilizada permite a caracterização do antecedente, do conseqüente, do suporte e da confiança de cada regra. A figura 2 apresenta uma das junções realizadas na segunda iteração do Módulo II a fim de identificar as regras de associação de comprimento 2 com apenas um item no conseqüente destas regras. De forma análoga ao Módulo I, nas demais iterações, o processo descrito acima é repetido de forma adaptada conforme o comprimento k das regras buscadas a cada iteração. Insert Into Basket_R2 (IF1, THEN1, SUP_REGRA, CONF_REGRA) Select A.Item1, A.Item2, A.Suporte, Round((A.Suporte/B.Suporte) * 100, 2) From basket_f2 A, basket_f1 B Where A.item1 = B.item1 and (A.Suporte/B.Suporte) * 100 > :MinConf; Fig. 2. Exemplo de comando de identificação de regras válidas de comprimento 2 com o segundo item como conseqüente. EXPERIMENTOS REALIZADOS E RESULTADOS OBTIDOS Os dados, armazenados no formato Basket em um Banco de Dados Oracle versão 8.2, contêm informações das transações de compra de itens acumuladas durante um pequeno período de captação de dados a partir do Ponto de Venda de uma loja do ramo de fast-food. O algoritmo Apriori implementado identificou, para os dados disponíveis, regras de associação de comprimento 2. Não foram identificadas regras com comprimento superior a 2. Os parâmetros de suporte e confiança mínimos experimentados foram 5% e 10%, respectivamente. A escolha de tais valores foi realizada em função de um conhecimento prévio da direção da loja acerca de algumas associações freqüentes. Na tabela 4 encontram-se discriminados os tempos de processamento de cada um dos experimentos realizados, nos quais foram variadas as quantidades totais de registros no banco de dados. O tempo de processamento das 9118 transações do sexto experimento foi de 6 segundos, sendo que 5 segundos referiram-se ao processamento do Módulo de Identificação de Associações Freqüentes e o 1 segundo restante foi decorrente da execução do Módulo de Geração de Regras de Associação. Tabela 4. Tempos de Processamento nos Experimentos com o Apriori Experimento Qtde. de Transações Qtde. de Registros Módulo I (seg) Módulo II (seg) Total (seg) 1 760 1.770 1 1 2 2 1719 4000 2 1 3 3 2170 6313 2 1 3 4 4682 10948 3 1 4 5 6680 15629 4 1 5 6 9118 21284 5 1 6 Comparando os seis experimentos, pode-se constatar que os tempos de processamento do Módulo II mantiveram-se constantes, independente da quantidade de registros na base de dados. Pode-se observar, no entanto, que o tempo de processamento do Módulo I aumentou, em média aproximadamente 0.5 segundo para cada 1.000 transações acrescentadas à base de dados. Tal comportamento confirma observações formuladas em outras versões do Algoritmo Apriori de que o tempo de processamento para identificar as regras de associação a partir dos conjuntos freqüentes torna-se muito pequeno comparado ao tempo de processamento para caracterização dos conjuntos freqüentes. Os resultados dos experimentos descritos nesta seção envolvendo a implementação do algoritmo Apriori em PL/SQL indicam uma tendência significativa de que soluções viáveis para problemas de mineração de regras associativas
podem ser obtidas adaptando-se algoritmos existentes e especializados neste tipo de tarefa para incorporar recursos de banco de dados relacionais. CONCLUSÕES O presente trabalho teve como objetivo iniciar uma investigação para se verificar a aderência de Redes Neurais baseadas em aprendizado competitivo a tarefas de identificação de regras de associação entre produtos vendidos. A proposta apresentada envolveu uma adaptação nos mecanismos de treinamento e recuperação de informações de redes baseadas em treinamento competitivo.os experimentos foram realizados em duas etapas: uma onde a adaptação proposta restringiu-se apenas à função de recuperação de informação das redes; e a outra onde tal adaptação foi estendida para abranger também o processo de treinamento. As redes utilizadas na segunda etapa tiveram um desempenho superior às redes implementadas na primeira etapa. Os resultados obtidos, embora algumas vezes influenciados pela natureza aleatória dos processos de inicialização de pesos e de seleção de padrões para treinamento, sinalizaram para uma aparente adequabilidade do esquema proposto para identificação de regras de associação com comprimento 2. Novos testes envolvendo um volume ainda maior de dados devem ser realizados como trabalho futuro pois acredita-se que uma maior redundância da informação de treinamento possa contribuir para melhorar a precisão na identificação das regras.recomenda-se também como possibilidade de trabalho futuro a realização de experimentos visando a obtenção de regras de comprimento maior que 2. REFERÊNCIAS BIBLIOGRÁFICAS [1] AGRAWAL, R. & IMIELINSKI, T. & SWAMI, A., Mining Association Rules Between Sets of Itens in Large Databases, ACM SIGMOD Conference Management of Data, 1993. [2] HOUTSMA, M. & SWAMI, A., Set-oriented Mining of Association Rules. Research Report RJ 9567, IBM Almaden Research Center, San Jose, California, October de 1993. [3] AGRAWAL, R. & SRIKANT, R., Fast Algorithms for Mining Association Rules, 20th VLDB Conference, 1994. [4] AGRAWAL, R. & SRIKANT, R., Mining Generalized Association Rules, 21st VLDB Conference, 1995. [5] AGRAWAL, R. & SARAWAGI, S. & Thomas, S., Integrating Association Rule Mining with Relational Database Systems: Alternatives and Implications, 1998. [6] LOPES, CARLOS H. P., Classificação de Registros em Banco de Dados por Evolução de Regras de Associação Utilizando Algorit-mos Genéticos, Tese de Mestrado, Pontifícia Universidade Católica do Rio de Janeiro, Abril de 1999. [7] ATTAR, A. A., Data Mining Beyond Algorithms,http://www.attar.co.uk, 1999.