Minerando Padrões Sequenciais para Bases de Dados de Lojas Virtuais

Transcrição

1 Universidade Federal de Ouro Preto Instituto de Ciências Exatas e Biológicas Departamento de Computação Minerando Padrões Sequenciais para Bases de Dados de Lojas Virtuais Cecília Henriques Devêza ceciliadeveza@gmail.com Orientador: Luiz Henrique de Campos Merschmann Ouro Preto, 13 de Junho de 2011

2 Roteiro Processo KDD Tarefas de Mineração de Dados Definição e exemplo Objetivos Ferramenta Computacional Dados Amostrais Correção de caracteres Pré-processamento Mineração de Dados Pós-Processamento Aplicação Conclusão

3 Processo KDD Processo de descoberta de conhecimento em bases de dados.

4 Tarefas de Mineração de Dados Extração de regras de associação / padrões de sequência Classificação Agrupamento (Clustering) Regressão

5 Tarefas de Mineração de Dados Extração de regras de associação / padrões de sequência Classificação Agrupamento (Clustering) Regressão

6 Definição e exemplo Regras de Associação: representam um padrão de relacionamento entre itens de dados. Ex: leite, pão => refrigerante. ID Transação Itens comprados 1 leite, pão, refrigerante 2 cerveja, carne 3 cerveja, fralda,pão, leite, refrigerante 4 cerveja, fralda, leite, pão 5 fralda, leite, refrigerante,pão Padrões de Sequência: conjunto de itens que ocorrem seguindo uma ordem temporal. Ex: <{pão, leite},{cerveja}> Consumidor Data / Hora Produtos João 20/03/2010 leite, pão João 21/03/2010 carne, cerveja João 15/07/2010 queijo, manteiga, sal Marcos 28/09/2010 leite, ovos, pão Marcos 02/12/2010 queijo, manteiga, cerveja

7 Objetivos Propor uma ferramenta computacional capaz de processar dados de lojas virtuais. Extrair padrões sequenciais de visualização de produtos por clientes de lojas virtuais. Obter conhecimento para adaptação automática do ambiente virtual (site) das lojas.

8 Dados das lojas virtuais Base de dados disponibilizada Trans. IdCliente Produto Loja Data afbfc Mitiflex C af9a49394f aeb Pequenas Fontes... B f7c191a0cd6a75c5cbe2 Surdez Processos... C aw23ew3983y4thi4438 CDI Digital DAFRA... D t52kdi7486db5g1mnk6t8 Agulha Auricular C... A dsb8dbdf8bfdb6wd65 Zumbido Avaliação... C d2f1dsg23sd1gs35ytj5ui O Pastor Alemão B

9 Correção de Erros Trans. IdCliente Produto Loja Data c48 Mà todo das Boquinhas 1 Alfabetizaà o... C c48 Ponta De LÃngua Com 10 Unidades B B408d92d61a284 J.Aplicados à Fonoaudiologia Prýtica C aw23ew399thi44 PaquÃmetro 18 cm D Substituição de caracteres inválidos para um caractere único:?. Seleção das tuplas que contém? e geração de um script SQL Correção das manual dos caracteres no script Execução do script para substituição completa

10 Tela Inicial

11 Tela Inicial

12 Pré-processamento Validação do arquivo

13 Pré-processamento Seleção de dados: definição de loja virtual.

14 Pré-processamento Seleção de dados: remoção de tuplas únicas.

15 Pré-processamento Transformação de dados: mapeamento de identificadores de clientes e produtos. Clientes 5e182b89fb42e9cd6d a7f6e14b5094d e182b89fb42e9cd6d9585 Produtos Ponto Cristal com 100 Unid Óleo Hung Far Oir 30 ml Ventosa 19 Copos Clientes Produtos

16 Pré-processamento Geração do arquivo.arff

17 Mineração de Dados Execução

18 Mineração de Dados Algoritmo GSP Geração de candidatos Definição de frequentes Poda de candidatos Propriedade: Para uma sequencia ser frequente, todas suas subsequencias também devem ser frequentes.

19 Pós-processamento Mapeamento dos dados Sequencias <{261}{246}> <{92}{140}{170}> <{0}{3}{4}> Sequencias Mapeadas <{...com Fecho De Velcro} {...com Fecho De Metal}> <{Acuspointer...}{Sikuro Ds100jr}{Wq 10}> <{Ponto Cristal...}{Mapa De Auriculoterapia...}{Orelhas com Ponto...}>

20 Apresentação dos resultados Exibição das sequencias na tela

21 Apresentação dos resultados Salvar arquivo de soluções

22 Aplicação Exemplo de utilização para arquivo XML

23 Conclusão Foi apresentado um software capaz de extrair padrões sequenciais de uma base de dados de loja virtual. Resultados obtidos: Induzem o consumidor à compra de outros itens. Oferecem ao cliente produtos condizentes com sua expectativa.

24 Perguntas?

25 Fim

26 Anexo - GSP

27 Algoritmo GSP Iteração 1 GERAÇÃO DE PRÉ-CANDIDATOS E CÁLCULO DE SUPORTE TID Produtos 1 <{2, 1, 4, 6}, {3, 7, 8}, {5}, {9}> 2 <{2, 4, 5}, {1, 6, 7}, {3}> 3 <{2, 4}, {1, 5}> 4 <{1, 3}, {2, 4, 5}> Prods. Suporte <{1}> 4 <{2}> 4 <{3}> 3 <{4}> 4 <{5}> 4 <{6}> 2 <{7}> 2 <{8}> 1 <{9}> 1 Supondo suporte mínimo igual a 50%, todos os itens são considerados frequentes nesta iteração exceto o {8} e {9}.

28 Algoritmo GSP Iteração 2 (k=1) <{1}> <{2}> <{3}> <{4}> <{5}> <{6}> <{7}> GERAÇÃO DE PRÉ-CANDIDATOS L1 X L1 <{1}> <{1}> <{2}> <{2}> <{3}> <{3}> <{4}> <{4}> <{5}> <{5}> <{6}> <{6}> <{7}> <{7}> TID Produtos 1 <{1, 1}>, <{1}, {1}> 2 <{1, 2}>, <{1}, {2}> 3 <{1, 3}>, <{1}, {3}> 4 <{1, 4}>, <{1}, {4}> 5 <{1, 5}>, <{1}, {5}> 6 <{1, 6}>, <{1}, {6}> 7 <{1, 7}>, <{1}, {7}> 8 <{2, 1}>, <{2}, {1}> 9 <{2, 2}>, <{2}, {2}> Na segunda iteração, são criados todos os conjuntos possíveis de 2 itens. Os conjuntos que possuem o mesmo elemento, na mesma transação, sempre possuem frequência 0. (Ex.: <{1, 1}>).

29 Algoritmo GSP Iteração 2 DEFINIÇÃO DOS FREQUENTES Tendo todos os candidatos possíveis de 2 itens, é necessário verificar quais atendem ao suporte mínimo especificado. Esta verificação será mostrada posteriormente.

30 Algoritmo GSP Iteração 3 A partir desta iteração, é preciso ficar atento para a seguinte regra: Os candidatos só podem ser gerados a partir de duas sequências ligáveis. Duas sequências s = < s1, s2, s3, s4,..., sn > e t = < t1, t2, t3, t4,..., tm > são ditas ligáveis se, retirando-se o primeiro item de s1 e o último item de tm, as sequências resultantes são iguais. Neste caso, s e t podem ser ligadas e produzir a sequência V, onde: Se tm não é unitário: v = <s1, s2, s3,..., sn U t >, onde t é o último item de tm. Se tm é unitário: v = <s1, s2, s3,..., sn, tm>

31 Algoritmo GSP Iteração 3 GERAÇÃO DE PRÉ-CANDIDATOS Suponha que as 2-sequências mostradas abaixo atingiram o suporte mínimo. (k=2) <{1}, {2}> <{1}, {3}> <{1}, {4}> <{1, 5}> <{2}, {6}> <{2, 6}> <{6}, {7}> <{4},{6}> <{3, 7}> <{5, 6}> <{4, 7}> TID Produtos 1 <{1}, {2}, {6}> 2 <{1}, {2,6}> 3 <{1}, {3, 7}> 4 <{1}, {4}, {6}> 5 <{1}, {4, 7}> 6 <{1, 5, 6}> 7 <{2}, {6}, {7}> 8 <{2, 6}, {7}> 9 <{4}, {6}, {7}> 10 <{5, 6}, {7}>

32 Algoritmo GSP Iteração 3 FASE DE PODA DOS PRÉ-CANDIDATOS Para uma sequencia S ser frequente, então toda subsequência de S deve se frequente. (k=2) <{1}, {2}> <{1}, {3}> <{1}, {4}> <{1, 5}> <{2}, {6}> <{1, 6}> <{6}, {7}> <{4},{6}> <{3, 7}> <{5, 6}> <{4},{7}> TID Produtos 1 <{1}, {2}, {6}> 2 <{1}, {2,6}> 3 <{1}, {3, 7}> 4 <{1}, {4}, {6}> 5 <{1}, {4, 7}> 6 <{1, 5, 6}> 7 <{2}, {6}, {7}> 8 <{2, 6}, {7}> 9 <{4}, {6}, {7}> 10 <{5, 6}, {7}> (K=3) <{1, 5, 6}> <{4}, {6}, {7}> A subsequência <{1}, {6}> não pertence à Lk=2

33 Algoritmo GSP Iteração 3 DEFINIÇÃO DOS FREQUENTES Novamente, é feito o cálculo do suporte para os candidatos que permaneceram após a poda. Este cálculo é mostrado a seguir.

34 Definição das sequencias frequentes GERAÇÃO DA ÁRVORE-HASH Suponha as seguintes 2-sequências candidatas: (k=2) <{1, 3}> <{1}, {3}> <{2}, {3}> <{3}, {3}> <{2, 3}> <{1}, {4}> Para construir a árvore hash, é preciso definir duas variáveis M e N, sendo: M : Número de sequências que cabem em um mesmo nó. N : Número de nós-filhos que um nó pode possuir. Neste exemplo, usaremos M=3, N=2.

35 GSP - Cálculo do Suporte Primeiramente, definimos as funções de hash para cada item que aparece na base: h(1) = 1; h(2) = 2; h(3) = 1; h(4) = 2; h(5) = 1. (Variam de acordo com N). Inserindo as 3 primeiras sequências na árvore: <{1, 3}> <{1}, {3}> <{2}, {3}> Na hora de inserir a quarta sequência <{3}, {3}>, o nó-raiz está cheio! <{1, 3}> <{1}, {3}> <{3}, {3}> <{2}, {3}>

36 GSP - Cálculo do Suporte Inserindo a sequência <{2, 3}> na árvore: <{1, 3}> <{1}, {3}> <{3}, {3}> <{2}, {3}> <{2, 3}> Na hora de inserir <{1}, {4}> seu nó de destino encontra-se cheio!

37 GSP - Cálculo do Suporte Inserindo a sequência <{1}, {4}> na árvore: <{2}, {3}> <{2, 3}> <{1, 3}> <{1}, {3}> <{3}, {3}> <{1}, {4}>

38 GSP - Cálculo do Suporte CONTANDO AS FREQUÊNCIAS A PARTIR DA ÁRVORE HASH Supondo a seguinte sequência de cliente: c = <{1, 5}, {1}, {3}> <{2}, {3}> <{2, 3}> INCLUDE <{1}, {4}> h(1) = 1; h(2) = 2; h(3) = 1; h(4) = 2; h(5) = 1

39 GSP - Cálculo do Suporte CONTANDO AS FREQUÊNCIAS A PARTIR DA ÁRVORE HASH Supondo a seguinte sequência de cliente: c = <{1, 5}, {1}, {3}> <{2}, {3}> <{2, 3}> INCLUDE <{1}, {4}> h(1) = 1; h(2) = 2; h(3) = 1; h(4) = 2; h(5) = 1

40 GSP - Cálculo do Suporte CONTANDO AS FREQUÊNCIAS A PARTIR DA ÁRVORE HASH Supondo a seguinte sequência de cliente: c = <{1, 5}, {1}, {3}> <{2}, {3}> <{2, 3}> INCLUDE <{1}, {4}> h(1) = 1; h(2) = 2; h(3) = 1; h(4) = 2; h(5) = 1

41 GSP - Cálculo do Suporte CONTANDO AS FREQUÊNCIAS A PARTIR DA ÁRVORE HASH Supondo a seguinte sequência de cliente: c = <{1, 5}, {1}, {3}> <{2}, {3}> <{2, 3}> INCLUDE <{1}, {4}> h(1) = 1; h(2) = 2; h(3) = 1; h(4) = 2; h(5) = 1

42 GSP - Cálculo do Suporte CONTANDO AS FREQUÊNCIAS A PARTIR DA ÁRVORE HASH Supondo a seguinte sequência de cliente: c = <{1, 5}, {1}, {3}> <{2}, {3}> <{2, 3}> INCLUDE <{1}, {4}> h(1) = 1; h(2) = 2; h(3) = 1; h(4) = 2; h(5) = 1

43 GSP - Função INCLUDE INCREMENTANDO O CONTADOR DOS NÓS FREQUENTES Temos como entrada uma sequencia S (presente no Nó) e C (cliente) S = <{2, 4}, {6, 7}> C = <{1, 2}, {4, 6}, {3}, {1, 2}, {3}, {2, 4}, {6, 7}> Em seguida, construímos a tabela de tempos: Itens Tempo 1 [1, 4] 2 [1, 4, 6] 3 [3, 5] 4 [2, 6] 5 [ ] 6 [2, 7] 7 [7]

44 GSP - Função INCLUDE Sendo C uma sequencia de cliente, e S uma sequencia contida no nó, faça: Gera lista de tempos para os itemsets de C. Se C contém S, incrementa contador de frequencia para S. Retira da árvore as sequencias S que atendem ao suporte mínimo.