Universidade Federal de Uberlândia - Mestrado em Ciência da Computação. Profa. Sandra A. de Amo

Transcrição

1 Universidade Federal de Uberlândia - Mestrado em Ciência da Computação Lista de Exercícios n Data Mining : REGRAS DE ASSOCIAÇÃO 1 0 Semestre de 2003 Profa. Sandra A. de Amo Nesta lista, alguns exercícios foram retirados do livro : (*) J. Han, M.Kamber : Data Mining, Concepts and Techniques. Os exercícios estão organizados por ordem de dificuldade. Aplicação direta de algoritmos vistos em aula 1. Fazer o exercício 6.3 da página 272 do Livro (*), substituindo o algoritmo FP-growth pelo algoritmo AprioriTID. (Você vai ter que comparar a eficiência de Apriori e AprioriTID sobre o banco de dados do exercício). 2. Seja β = 0.5 o nível mínimo de confiança. Suponha que o algoritmo Apriori tenha produzido os seguintes itemsets frequentes com os respectivos suportes : L 1 = {{1} (suporte = 0.4), {3} (suporte = 0.3), {4} (suporte = 0.6), {5}(suporte = 0.5)}, L 2 = {{1, 3} (suporte = 0.2), {1,5} (suporte = 0.2), {3,5} (suporte = 0.2), {4,5} (suporte = 0.4) L 3 = {{1, 3, 5} (suporte = 0.1) }. L 4 =. Dê todas as regras de associação interessantes (com confiança maior ou igual a β). Para isso, utilize o algoritmo dado em aula (o banco de dados não deve ser varrido!). 3. Considere a seguinte restrição de item : B = ( K A) (C E) (B C) Aplicando o algoritmo Direct sobre o input do exercício 1, minere todas as regras de associação interessantes (X Y ) tais que o itemset X Y satisfaz a restrição de itens B.

2 Exercícios que envolvem raciocínio e análise, razoavelmente fáceis 4. Explique por que o algoritmo Apriori (que gera todos os itemsets frequentes) sempre pára, isto é, por que sempre existirá um k tal que L k =. 5. Exercício 6.1 (c), página 271 do Livro (*). 6. Seja I um (k + 1)-itemset que satisfaz uma restrição de itens B = D 1 D 2... D n (onde cada D i é da forma L 1 L 2... L m e cada L i é um literal) e suponha que a seguinte condição não seja verificada : (*) Para todo D i que é satisfeita por I, D i tem exatamente k + 1 literais positivos. Mostre que necessariamente deve existir um subitemset de I, de tamanho k que também satisfaz B. Sugestão : Considere a afirmação (*) (que não deve ser verificada). O que você pode concluir? Que existe o que? A partir da resposta a esta última questão você poderá construir o subitemset de I pedido. 7. Para cada um dos enunciados abaixo, diga se é verdadeiro ou falso e justifique sua responsta : (a) Se B é uma restrição de item e I é um k+1-itemset satisfazendo B e a condição (*) é verificada, então não existe nenhum k-subitemset de I satisfazendo B. (b) Se B é uma restrição de item e I é um k+1-itemset satisfazendo B e a condição (*) é verificada, então existe um k-subitemset de I satisfazendo B. (c) Se B é uma restrição de item e I é um k+1-itemset satisfazendo B e a condição (*) não é verificada, então não existe nenhum k-subitemset de I satisfazendo B. (d) Se B é uma restrição de item e I é um k+1-itemset satisfazendo B e a condição (*) é verificada, então para todo k-subitemset J de I, é verdade que J satisfaz B. (e) Se B é uma restrição de item e I é um k+1-itemset satisfazendo B e a condição (*) não é verificada, então para todo k-subitemset J de I, é verdade que J satisfaz B. (f) Se B é uma restrição de item e I é um k +1-itemset satisfazendo B e não existe nenhum k-subitemset de I satisfazendo B então a condição (*) é verificada. (g) Se B é uma restrição de item e I é um k + 1-itemset satisfazendo B e existe um k-subitemset de I satisfazendo B então a condição (*) é verificada. (h) Se B é uma restrição de item e I é um k + 1-itemset satisfazendo B e não existe nenhum k-subitemset de I satisfazendo B então a condição (*) não é verificada.

3 (i) Se B é uma restrição de item e I é um k + 1-itemset satisfazendo B e existe um k-subitemset de I satisfazendo B então a condição (*) não é verificada. (j) Se B é uma restrição de item e I é um k + 1-itemset satisfazendo B e tal que todo k-subitemset de I satisfaz B então a condição (*) não é verificada. (k) Se B é uma restrição de item e I é um k + 1-itemset satisfazendo B e tal que todo k-subitemset de I satisfaz B então a condição (*) é verificada. 8. Uma restrição sobre o itemset I é uma condição que I deve satisfazer. Dizemos que uma restrição c é antimonotônica se I satisfaz c e J I então J satisfaz c. Ou reciprocamente, se existe J I que não satisfaz c então I não satisfaz c. Dizemos que uma restrição c é monotônica se I satisfaz c e I J então J satisfaz c. Ou reciprocamente, se existe J tal que I J e J não satisfaz c então I não satisfaz c. A figura 1 ilustra os termos monotonia e antimonotonia. a c f b d e a c f e b d I J J I Se I satisfaz R e I J então J satisfaz R R é monotônica Se I satisfaz R J I então J satisfaz R R é antimonotônica Figure 1: Monotonia e Antimonotonia Dizemos que uma restrição c é sucinta se o fato de um itemset I satisfazer ou não c independe de testes na base de dados de transações. Por exemplo : suponha que você esteja interessado em minerar itemsets (não necessariamente frequentes) constituídos de artigos caros, isto é, tais que o preço mínimo dos itens neste itemset é maior do que R$ 500,00. Para isto, você não precisa testar o itemset na base de transações. Basta gerar todos os itemsets onde os artigos têm preços superiores a R$ 500,00. Dizemos que uma restrição c é convertível se caso os itens num itemset forem arranjados numa certa ordem, então c pode tornar-se monotônica ou antimonotônica. Por exemplo, suponha que c é a condição : a média dos preços dos itens contido no itemset é menor ou igual a 100. É claro que c não é nem monotônica, nem antimonotônica (Por que? Justifique.) Mas vamos supor que a geração dos itemsets se faz em ordem crescente de preço. Desta forma,

4 a condição c será antimonotônica, pois se um itemset I de tamanho k 1 é tal que a média dos preços de seus itens é superior a 100 (I viola a restrição c), então um itemset J gerado a partir de I acrescentando-se um item com preço superior aos preços de I vai também violar a restrição. Na tabela abaixo, são dadas diferentes restrições sobre itemsets I (I satisfaz a restrição se a expressão da primeira coluna é verificada por I). Complete a tabela, classifique cada uma em antimonotônica, monotônica, sucinta ou convertível em antimonotônica ou monotônica. Justifique suas respostas (isto é, prove por que em cada caso a restrição satisfaz ou não cada uma das quatro propriedades.) Restrição Antimonotônica Monotônica Sucinta Pão I Pão I ou Leite I I {Pão,Leite,Açúcar} {Pão,Leite,Açúcar} I min(i) α min(i) α max(i) α max(i) α suporte(i) α suporte(i) α Observação : Estamos supondo que os itens de I são números. Assim, min(i) é o menor item de I, max(i) o maior item, etc. Exercícios que envolvem raciocínio e análise, não muito fáceis 9. Suponha que c é uma restrição. Considere o seguinte problema de mineração de itemsets : input : uma restrição c output : todos os itemsets satisfazendo c. Desenvolva algoritmos gerais para resolver o problema acima nos seguintes casos : c é antimonotônica c é monotônica. c é sucinta. c é conversível. Observação : Se c fosse a restrição :

5 I tem suporte superior ou igual a α, com relação a um banco de dados D. então o algoritmo utilizado seria Apriori. Repare que se c for uma restrição antimonotônica qualquer, um algoritmo geral nas mesmas linhas de Apriori seria utilizado (iterativo, com 3 fases : geração, poda, validação). 10. Exercício 6.17 da página 275 do Livro (*). 11. Utilizando o exercício 5 e a propriedade de antimonotonia dos itemsets com relação ao suporte, melhore o algoritmo que gera as regras de associação interessantes (aquelas que têm confiança e suporte superiores aos respectivos níveis mínimos) depois que os itemsets frequentes foram criados pelo algoritmo Apriori (você utilizou este algoritmo no exercício 2). Exercícios de raciocínio e análise, razoavelmente difíceis 12. Exercício 6.5 da página 272 do Livro (*). 13. Exercício 6.6 da página 273 do Livro (*). Exercícios fáceis mas que envolvem leitura e entendimento de texto. 14. Leia e entenda muito bem a seção 6.5 do Livro (*) (páginas ) sobre Análise Correlacional. Este tema é muito importante : muitas vezes o fato de uma regra de associação ser interessante (ter suporte e confiança acima dos níveis mínimos dados) não significa que ela realmente seja de utilidade para o usuário, caso os items envolvidos forem negativamente correlacionados, isto é, a compra dos itens no antecedente da regra na verdade influencia negativamente a probabilidade da compra dos itens no consequente da regra. Para entender como isto pode acontecer, você deve ler com atenção esta seção do livro. 15. Fazer exercício 6.12 do Livro (*), página Fazer exercício 6.13 do Livro (*), página Taxonomias : Leia a seção 6.3 do Livro (*) (páginas 244 a 250). 18. Fazer exercício 6.9 do Livro (*), página Fazer exercício 6.10 do Livro (*), página Leia até a seção 3.2 do artigo Mining Generalized Association Rules. Este artigo está disponível na página do curso, na bibliografia.