Universidade Federal de Uberlândia. Programa de Mestrado em Ciência da Computação. Solução da Primeira Prova de Data Mining - 25/10/2006

Transcrição

1 Universidade Federal de Uberlândia Programa de Mestrado em Ciência da Computação Solução da Primeira Prova de Data Mining - 25/10/2006 Questão 1 (Valor = 2,5 pontos) Considere o seguinte banco de dados de sequências de itemsets: < (1, 2), (4), (3, 5), (2) > < (1), (1), (2, 3), (4), (2) > < (2), (1, 2), (3) > < (3), (1, 2, 3), (4) > < (4), (2, 1) > Suponha um nível mínimo de suporte = 55%. Utilizando o método PrefixSpan, calcule os padrões sequenciais frequentes de tamanho 2. Você deve descrever os passos do algoritmo até o momento em que todos os padrões de tamanho 2 são produzidos. Solução: Repare que a última sequência deve ser reescrita como :< (4), (1, 2) >, já que a representação de cada itemset é UNICA: considera-se a representação onde os items estão ordenados em ordem crescente. Para um padrão ser frequente é necessário que seja suportado por pelo menos 3 sequências do banco de dados, já que o suporte mínimo é 55%. Primeiro passo: cálculo dos items frequentes I = {1, 2, 3, 4} Segundo Passo: cálculo do banco de dados projetado S <1> : < ( 2), (4), (3, 5), (2) > < (1), (2, 3), (4), (2) > < ( 2), (3) > < ( 2, 3), (4) > < ( 2) > Terceiro Passo: cálculo dos items frequentes no banco de dados projetado S <1>. Calculase o suporte dos items 1, 2, 3, 4, 1, 2, 3, 4 e obtém aqueles com suporte maior ou igual a 3: { 2, 3, 4, }. Quarto Passo: : construção dos padrões frequentes de tamanho 2, com prefixo < 1 >. É só acrescentar os items frequentes calculados no passo 3 acima. Os padrões são: < (1, 2) >, < (1), (3) >, < (1), (4) >.

2 Quinto Passo:: cálculo do banco de dados projetado S <2>. Fazer. Sexto Passo:: cálculo dos items frequentes no banco de dados projetado S <2>. Fazer. etc (os mesmos passos para S <3> e S <4>. ATENÇÃO: VEJA QUE É PRECISO DIZER EXPLICITAMENTE COMO SÃO CALCULADOS OS PADRÕES FREQUENTES EM CADA BANCO PROJETADO, como foi feito para o caso dos padrões com prefixo < 1 > acima (fazer em todos os casos). É MUITO IMPORTANTE ESTE PASSO, POIS É AI QUE RESIDE A FORÇA DO ALGORITMO PREFIXSPAN: o fato de se varrer um banco de dados projetado a procura de ITEMS FREQUENTES!!! E A PARTIR DESTES ITENS ENCONTRADOS NO BANCO DE DADOS, GERAR OS PADRÕES CAN- DIDATOS. ASSIM, RESPOSTAS ONDE O PROCESSO NAO FOI DESCRITO, NAO FORAM CON- SIDERADAS. PEDIU-SE EXPLICITAMENTE NO ENUNCIADO QUE FOSSE DESCRITO OS PASSOS DO ALGORITMO PREFIXSPAN. VEJA TAMBÉM A ORDEM EM QUE SÃO CALCULADOS os bancos de dados projetados e os respectivos padrões frequentes. O algoritmo é recursivo!!! Questão 2 (Valor = 2,5 pontos) : Considere o banco de dados de sequências de itens a seguir: Considere também o seguinte autômato R: 1 1 < 1, 4, 3, 2 > < 1, 1, 2, 3, 4, 2 > < 2, 1, 1, 3 > < 3, 1, 2, 3 > < 4, 2, 1 > q0 2 q1 3 Supondo um nível mínimo de suporte de 40%, aplique o algoritmo SPIRIT(V) e calcule todas as sequências frequentes que satisfazem R com tamanho 2. Solução: 1. Sequências de tamanho 1 que são frequentes e válidas COM RESPEITO A ALGUM ES- TADO DO AUTÔMATO:

3 F 1 (q 0 ) = {< 2 >, < 3 >} F 1 (q 1 ) = {< 1 >} 2. Geração dos candidatos C 2 : para cada padrão de F 1 (q i ) estende-se este padrão procurando alguma flecha do autômato que entra em q i. Flechas chegando em q 0 : q 0 {< 1, 2 >, < 1, 3 >}. 1 q0. Logo os padrões de F 1 (q 0 ) são estendidos para Flechas chegando em q 1 : q 0 2 q1, q 1 1 q1 e q 0 3 q1. Logo os padrões de F 1 (q 1 ) são estendidos para{< 2, 1 >, < 1, 1 >, < 3, 1 >}. Portanto o conjunto dos candidados de tamanho 2 é: C 2 = {< 1, 2 >, < 1, 3 >, < 2, 1 >, < 1, 1 >, < 3, 1 >} REPARE QUE NÃO É PRECISO VERIFICAR QUE TAIS PADRÕES SÃO VÁLIDOS COM RESPEITO A UM ESTADO DO AUTOMATO. ELES FORAM GERADOS DE MODO A SATISFAZER ESTA CONDIÇÃO!! 3. Fase da poda: candidatos a serem podados são aqueles que possuem uma subsequência de tamanho 1, que é válida com respeito a um estado do autômato, e que não está em F 1 = {< 1 >, < 2 >, < 3 >}. Nenhuma sequência é podada. 4. Fase da validação: cálculo do suporte de cada uma das sequências de C 2. As únicas suportadas por pelo menos 2 sequências do banco de dados são: < 1, 2 >, < 1, 3 >, < 2, 1 >, < 1, 1 >. 5. Fase do pós processamento: Nesta fase são consideradas somente os padrões que satisfazem o autômato. No caso: < 1, 2 >, < 1, 3 >, < 2, 1 >. O padrão < 1, 1 >, embora válido com respeito ao estado q 1, não satisfaz o autômato (não é válido com respeito ao estado inicial q 0. Resposta final :{< 2 >, < 3 >, < 1, 2 >, < 1, 3 >, < 2, 1 >} ATENÇÃO: RESPOSTAS EM QUE O PROCESSO DETALHADO ACIMA NAO FOI DESCRITO CORRETAMENTE, NAO FORAM CONSIDERADAS. Questão 3 (Valor = 2,5 pontos) : Considere o seguinte banco de dados de transações:

4 {1,2,3,7} {1,3,4,5} {1,2,3,5,9} {2,3,4,6} {1,3,4,8} Considere também a seguinte restrição de itens : B = (1 4) (3 5) Supondo um nível mínimo de suporte de 40%, aplique o algoritmo DIRECT para calcular todas os itemsets frequentes de tamanho 2 que satisfazem B. F = conjunto dos items frequentes = {1, 2, 3, 4, 5} Cálculo de F b 1 = padrões de tamanho 1 frequentes que satisfazem B = {< 1 >} Fase da Geração e Poda de C 2 : 1. C 2 = F1 b F = {< 1, 2 >, < 1, 3 >, < 1, 4 >, < 1, 5 >} 2. Eliminar aqueles que não satisfazem B. < 1, 4 > é eliminado, só sobram {{< 1, 2 >, < 1, 3 >, < 1, 5 >} 3. Poda: podar aqueles que possuem subsequência de tamanho 1 que satisfaz B mas não está em L b 1. Nenhum é podado. 4. Acrescenta ao conjunto dos candidatos o itemset < 3, 5 >, já que existe componente da restrição B do tipo 3 5 (que não foi contabilizada no item (1) acima. Logo, o conjunto dos candidatos C 2 é o seguinte: {< 1, 2 >, < 1, 3 >, < 1, 5 >, < 3, 5 >} Fase da Validação: Calcula-se o suporte destes itemsets. Para ser frequente, o itemset precisa ser suportado por pelo menos 2 sequências do banco de dados. Assim, o resultado final é: F b 1 F b 2 = {< 1 >, < 1, 2 >, < 1, 3 >, < 1, 5 >, < 3, 5 >} Questão 4 (Valor = 2,5 pontos): Considere o banco de dados de transações a seguir.

5 {1,2,3,7} {1,3,4,5} {1,2,3,5,9} {2,3,4,6} {1,3,4,8} {2,3,4,8} {1,5,7} {1,4,5,9} {3,7,8} {2,3,5,6} Suponha que a memória principal disponível é suficiente para conter 5 destas transações. Descreva um algoritmo capaz de calcular os itemsets frequentes, em apenas 2 varridas do banco de dados, supondo o nível mínimo de suporte igual a 35%. Esquema resumido da solução - é preciso desenvolver os cálculos indicados: Divide-se o banco de dados em dois conjuntos: D 1 e D 2, o primeiro contendo as 5 primeiras transações e o segundo as 5 últimas transações. Primeiro passo: carrega-se D 1 na memória principal e aplica-se o algoritmo Apriori em D 1 para o suporte minimo 35%. É PRECISO FAZER OS DETALHES DESTE CÁLCULO, explicitando os padrões localmente frequentes em D 1. Segundo Passo : carrega-se D 2 na memória principal e aplica-se o algoritmo Apriori em D 2, como no passo anterior. É PRECISO FAZER OS DETALHES DESTE CÁLCULO, explicitando os padrões localmente frequentes em D 2. Até aqui o banco de dados em disco foi varrido uma única vez. Terceiro passo: de posse dos padrões frequentes obtidos no passo 1 e 2 acima, varre-se mais uma vez o banco de dados para determinar o suporte de cada um destes padrões com relação ao banco de dados global. E PRECISO FAZER OS DETALHES DESTE CÁLCULO, explicitando os padrões frequentes no banco de dados global dado. Questão 5 (Valor = 2,5 pontos): Uma medida de interesse para itemsets é dita antimonotônica se para quaisquer itemsets X, Y tais que X Y tem-se µ(y ) µ(x). A medida é dita monotônica se µ(x) µ(y ) sempre que X Y. Finalmente, m é dita não-antimonotônica se não é nem monotônica nem antimonotônica. 1. Dê exemplos de medidas antimonotônicas e monotônicas. Exemplo de antimonotônica = suporte de um itemset. Exemplo Exemplo de monotônica = somatória dos preços dos items de um itemset.

6 2. Uma regra de associação é dita característica se ela é da forma {p} {q 1,..., q n } isto é, o antecedente da regra contém somente um item. Repare que um itemset de tamanho k produz no máximo k regras características. Para cada itemset I, definimos a medida µ(i) como sendo a menor confiança de todas as regras de associação características geradas a partir de I. Pergunta-se: a medida µ é antimonotônica, monotônica ou não-monotônica? Explique sua resposta. Solução: a medida µ é antimonotônica. A demonstração deste fato é feita a seguir. Sejam J e I dois itemsets tais que J I. Vamos mostrar que µ(j) µ(i). (a) Para toda regra característica r gerada a partir de J existe uma regra r gerada a partir de I tal que conf(r) conf(r ). Prova: seja r: b {b 1, b 2,..., b n } uma regra característica gerada a partir de J = {b, b 1,..., b n }. Consideremos a regra característica r gerada por I com antecedente b. Como J I, então r é do tipo b I, onde {b 1,..., b n } I. Temos: conf(r) = sup(j)/sup({b}) conf(r ) = sup(i)/sup({b}) Como sup(j) sup(i), então conf(r) conf(r ). (b) Por definição, µ(j) corresponde ao mínimo das confianças de todas as regras características geradas a partir de J. Seja r a regra característica gerada a partir de J com a menor confiança, isto é, conf(r) = µ(j). Pelo que foi demonstrado no item anterior, existe uma regra r gerada a partir de I tal que conf(r) conf(r ). Logo, temos: µ(i) conf(r ) conf(r) = µ(j) Portanto, mostramos que µ(j) µ(i) como queriamos, concluindo assim que a medida µ é antimonotônica.