Exemplos de aplicação. Mineração de Dados 2013

Transcrição

1 Exemplos de aplicação Mineração de Dados 2013 Luís Rato Universidade de Évora, 2013 Mineração de dados / Data Mining 1

2 Classificação: Definição Dado uma conjunto de registos (conjunto de treino training set ) Cada registo contém um conjunto de atributos attributes, um dos atributos é a classe class. Encontrar um modelo model para a classe em função dos outros atributos Objectivo: a um registo novo deve ser atribuída a classe (com tanta precisão quanto possível) Usa-se um conjunto de teste (test set) para verificar a exatidão do modelo (Dados são divididos em dados de treino e de teste). Universidade de Évora, 2013 Mineração de dados / Data Mining 2

3 Classificação - exemplo 1 (fraude fiscal) categorical Tid Refund Marital Status categorical Taxable Income continuous Cheat class Refund Marital Status Taxable Income Cheat 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes No Single 75K? Yes Married 50K? No Married 150K? Yes Divorced 90K? No Single 40K? No Married 80K? Training Set Learn Classifier Test Set Model Universidade de Évora, 2013 Mineração de dados / Data Mining 3

4 Classificação: exemplo 2 (marketing) Marketing direto Objetivo: Reduzir o custo do mailing através de targeting ( procura de alvos ) sobre um conjunto de consumidores que com probabilidade de comprar um produto para telefone celular. Abordagem: Usar os dados de produtos parecidos introduzidos anteriormente. Sabemos quais os clientes que compraram ou não. Esta decisão {buy, don t buy} constitui o atributo de classe. Recolher informação sobre: estilo de vida e interações entre o cliente e a empresa. profissão, hábitos, valor dos rendimentos, etc. Usa-se estas informações como atributos para determinar a classe Universidade de Évora, 2013 Mineração de dados / Data Mining 4

5 Classificação: exemplo 3 (fraude em cartões de crédito) Deteção de fraude Objetivo: Prever casos fraudulentos no uso de cartões de crédito Abordagem: Usar as transações de cartões de crédito e informação sobre os titulares das contas como atributos Quando compra?, o que compra?, como paga? As transações passadas são classificadas como fraude ou normal (atributo de classe) Aprender um modelo preditivo para as transações. Usar o modelo para detetar fraudes observando as transações dos cartões de crédito. Universidade de Évora, 2013 Mineração de dados / Data Mining 5

6 Classificação: exemplo 4 (perda de clientes) Perda de clientes (Customer Attrition/Churn) Objectivo: Prever se um cliente será perdido para a concorrência. Abordagem: Usar registos detalhados das transações e relações do cliente no passado para extrair atributos. Quantas vezes um cliente telefona?, hora a quwe telefona?, nível de rendimentos?, casado ou solteiro?,. etc. No fim classifica-se o cliente como fiel ou infiel. Encontar um modelo para a fidelidade do cliente Universidade de Évora, 2013 Mineração de dados / Data Mining 6

7 Classificação: exemplo 5 (classificação de objetos celestes) Catalogação e classificação Objetivo: prever a classe do objeto (estrela ou galáxia), especialmente os menos nítidos, baseada em imagens de survey (from Palomar Observatory) imagens com 23,040 x 23,040 pixeis por imagem. Abordagem: Segmentar a imagem. Medir os atributos/características das imagens - 40 por objecto. Modelar a classe baseada nessas características. Foi possível encontrar 16 novos quasars com desvio para o vermelho (objectos difíceis de observar). Universidade de Évora, 2013 Mineração de dados / Data Mining 7

8 Classificação de galáxias exemplo 6 Primitivas Classe: Etapas de formação Intermédias Atributos: Características de imagens Forma Características da luz recebida, etc. Tardia Dimensão dos dados: 72 milhões de estrelas, 20 milhões de galáxias Catálogo de objectos: 9 GB Base de Dados de imagens: 150 GB Universidade de Évora, 2013 Mineração de dados / Data Mining 8

9 Clustering (agrupamento) Dado um conjunto de pontos, cada um com os seus atributos e semelhança, encontrar grupos tais que: Os pontos dentro de um cluster são mais semelhantes do que entre clusters diferentes Medidas de semelhança: Distância euclideana se os atributos são contínuos. Outras. Universidade de Évora, 2013 Mineração de dados / Data Mining 9

10 Clustering Clustering baseada na Distância euclideana em 3-D Distância dentro dos clusters deve ser ser minimazada Distância entre os os clusters deve ser ser maximizada Universidade de Évora, 2013 Mineração de dados / Data Mining 10

11 Clustering: exemplo 1 Segmentação de mercado: Objetivo: subdividir o mercado em diferentes subconjuntos de clientes em que cada subconjunto possa ser visto como um alvo de mercado alcançável por estratégias específicas Abordagem: Recolher atributos baseados em características geográficas e de estilo de vida. Encontrar clusters de clientes semelhantes. Medir a qualidade do clustering observando os padrões de compras no mesmo cluster versus em clusters diferentes Universidade de Évora, 2013 Mineração de dados / Data Mining 11

12 Clustering: exemplo 2 Clustering de documentos: Objetivo: encontrar groupos de documentos que sejam semelhantes entre si, baseado em palavras chave que aparecem em cada documento. Abordagem: encontrar termos frequentes em cada documento. Criar uma medida de semelhança baseada nas frequências, e usá-la para proceder ao cluster. O que se ganha: A pesquiza de informação (Information Retrieval) pode usar os clusters para relacionar cada documento novo com os clusters encontrados. Universidade de Évora, 2013 Mineração de dados / Data Mining 12

13 Clustering: exemplo 3 Num. de pontos: 3204 Artigos do Los Angeles Times. Medida de semalhança: quantas palavras são comuns (após alguma filtragem) Category Total Correctly Articles Placed Financial Foreign National Metro Sports Entertainment Universidade de Évora, 2013 Mineração de dados / Data Mining 13

14 Descoberta de regras de Associação Dado um conjunto de registos, cada um contendo vários itens duma coleção; Produzir regras de dependência que prevejam a ocorrência dum item em função dos outros. TID Items 1 Bread, Coke, Milk 2 Beer, Bread 3 Beer, Coke, Diaper, Milk 4 Beer, Bread, Diaper, Milk 5 Coke, Diaper, Milk Regras: {Milk} --> -->{Coke} {Diaper, Milk} Milk} --> -->{Beer} Universidade de Évora, 2013 Mineração de dados / Data Mining 14

15 Regras associativas: exemplo 1 Marketing e promoções: Seja a regra {Bolos, X, Y... } --> {Batatas fritas} Batata frita como consequente => Pode ser usado para determinar o que fazer para aumentar as suas vendas. Bolos como antecedente => Pode ser usado para ver que produtos serão afetados se a loja deixa de vender bolos. Bolos como antecedente e Batatas fritas como consequente => Pode ser usado para ver que produtos deveriam ser vendidos com os bolos para promover a venda de batatas fritas. Universidade de Évora, 2013 Mineração de dados / Data Mining 15

16 Regras associativas: exemplo 2 Gestão de Supermercado Objetivo: Identificar items que são comprados em conjunto por bastantes clientes. Abordagem: recolher os dados das caixas registadoras (POS Poit-Of-Sale) através dos códigos de barras, e encontrar dependências Uma regra clássica Se um cliente compra fraldas e leite então também compra cerveja. Assim não será surprendente que uma loja venda cerveja ao lado de fraldas ou de leite. Universidade de Évora, 2013 Mineração de dados / Data Mining 16

17 Padrões sequenciais Dado um conjunto de objetos, em que cada objeto tem uma definição temporal, encontrar as regras que preveem fortes dependência sequenciais entre os acontecimentos (A B) (C) (D E) (A B) (C) (D E) <= xg >ng <= ws <= ms Universidade de Évora, 2013 Mineração de dados / Data Mining 17

18 Padrões Sequenciais: Exemplos Alarmes de telecomunicações, (Inverter_Problem Excessive_Line_Current) (Rectifier_Alarm) --> (Fire_Alarm) Sequencias de Transações, Livraria: (Intro_To_Visual_C) (C++_Primer) --> (Perl_for_dummies,Tcl_Tk) Loja de desporto: (Shoes) (Racket, Racketball) --> (Sports_Jacket) Universidade de Évora, 2013 Mineração de dados / Data Mining 18

19 Regressão Prever um dado valor contínuo duma variável baseado nas outras variáveis assumindo um modelo com dependência linear ou não linear. Muito estudado em estatística, sistemas dinâmicos, redes neuronais ou outras áreas de soft computing Exemplos: Prever a quantidade de vendas com base no investimento em publicidade. Prever a velocidade do vento como função da temperatura, pressão, humidade, etc. Prever a variação futura dos mercados de ações. Universidade de Évora, 2013 Mineração de dados / Data Mining 19

20 Deteção de anomalias Detetar desvios significativos em relação ao comportamento normal Exemplos: Deteção de fraudes de cartões de crédito Sistemas de deteção de intrusão em redes Universidade de Évora, 2013 Mineração de dados / Data Mining 20

21 Desafios Escalabilidade Dimensionabilidade Dados complexos e heterogéneos Qualidade dos dados Propriedade dos dados e divulgação Privacidade Streaming Universidade de Évora, 2013 Mineração de dados / Data Mining 21