Roteiro. PCC142 / BCC444 - Mineração de Dados. Cenário

Transcrição

1 Roteiro PCC142 / BCC444 - Mineração de Luiz Henrique de Campos Merschmann Departamento de Computação Universidade Federal de Ouro Preto luizhenrique@iceb.ufop.br Introdução Tarefas e Técnicas em Mineração de Aplicações Softwares Introdução Cenário Surgimento da Mineração de A disseminação do uso de meios eletrônicos na sociedade moderna tem gerado uma enorme quantidade de dados. Uso de SGBDs na maioria das organizações públicas e privadas de médio e grande porte. Avanços na aquisição de dados, desde os leitores de códigos de barra até sistemas de sensoriamento remoto.

2 SQL e Mineração de Mineração de Bancos de dados relacionais são responsáveis por armazenar e recuperar dados de forma eciente. Esses bancos de dados permitem a extração de diversas informações usando SQL. Então para que serve a Mineração de? Usando SQL: esse processo resolve questões que necessariamente devem ser denidas. Mineração de : a descoberta de novas informações é automática, ou seja, sem que seja necessária a formulação de uma questão. O que é Mineração de? É o processo automático de descoberta de novas informações e conhecimento, úteis a uma aplicação, no formato de regras e padrões, escondidas em grandes volumes de dados. Onde ocorre? Este processo é executado sobre grandes quantidades de dados, estejam esses armazenados em bancos de dados tradicionais, em data warehouse ou em outra forma de repositório. Mineração de Processo de Descoberta de Conhecimento em Bases de Regras e Padrões Conhecimento 1 Transformados Pré-processados Selecionados Fonte: From data mining to knowledge discovery: An overview, U.M.Fayyad et. al., Seleção: dados que serão relevantes para análise são selecionados. Limpeza: remoção de ruídos e dados inconsistentes. Transformação: dados são transformados para carem adequados para etapa de mineração. Mineração: processo de extração de novas informações. Interpretação e Avaliação: interpretação e identicação dos padrões interessantes.

3 Tarefas e Técnicas em Mineração de Principais Tarefas de Mineração de Mineração de O processo de mineração de dados envolve o uso de diversas tarefas e técnicas. Tarefas: são classes de problemas. Técnicas: são os algoritmos utilizados na resolução dos problemas propostos nas tarefas. Tarefas Preditivas Classificação Regressão Tarefas Descritivas Agrupamento Padrões de (Segmentação) Seqüência Associação Sumarização Tarefas em Mineração de Mineração de Direta Entrada Tarefas Preditivas: do conhecimento adquirido a partir de um conjunto de dados, fazemos predições para novas amostras. Exemplo: Se acontecer uma determinada composição de medidas climáticas, então existe 70% de chover. Tarefas Descritivas: buscam identicar padrões de comportamento comuns nos dados. Exemplo: Fralda Cerveja. Mineração do Modelo Modelo Informação

4 Mineração de Direta Mineração de Indireta Através de uma técnica de mineração, extrai-se ou treina-se um modelo que será posteriormente utilizado. Principais tarefas: classicação e regressão. Who will go bankrupt? Mineração caracterizada pela existências de um campo especíco (atributo meta) cujo valor deve ser estimado a partir dos valores dos demais atributos. Informação Interpretada Mineração da Informação / Utilização do Modelo Informação Interpretação Mineração de Indireta Mineração de Associações Através de uma técnica de mineração, extraem-se padrões signicativos que serão posteriormente avaliados. Principais tarefas: extração de regras de associação, agrupamento. Tell me something interesting? O resultado da mineração complementa o conhecimento do especialista e deverá ser examinado e avaliado por este. Identicação de itens de um mesmo domínio de aplicação que ocorrem juntos com determinada freqüência na base de dados. Exemplo: Market Basket Analysis identicação de produtos que são comprados juntos em um número signicativo de transações de compras.

5 Regras de Associação Booleanas Uma regra de associação representa um padrão de relacionamento entre itens de dados do domínio da aplicação que ocorre com uma determinada freqüência na base de dados (transacional). Id-Transação (TID) Itens Comprados 1 leite, pão, refrigerante 2 cerveja, carne 3 cerveja, fralda, leite, refrigerante 4 cerveja, fralda, leite, pão 5 fralda, leite, refrigerante Exemplos de regras: fralda cerveja, fralda leite Regras de Associação Quantitativas São utilizadas quando se deseja minerar padrões em bases de dados relacionais (formadas por atributos quantitativos e atributos categóricos). Atributos Categóricos Atributos Quantitativos Id Sexo Profissão Salário Idade... Exemplo: (sexo=m) (20 < idade < 30) (prossão = advogado) (compra=sim) Esta regra indica, com certo grau de certeza, que advogados, entre 20 e 30 anos, do sexo masculino são consumidores de laptops. Padrões Sequenciais Padrões de sequências representam sequências de conjuntos de itens que ocorrem nas transações de diferentes consumidores, com determinada frequência (na ordem especicada). Consumidor Data/Hora Produtos João /17:01 leite, pão João /14:25 carne, cerveja João /21:15 queijo, manteiga, sal Marcos /10:16 leite, ovos Marcos /18:30 queijo, manteiga Exemplo: (leite) (queijo, manteiga) Agrupamento (Segmentação) Agrupamento (segmentação) é o processo de identicação de um conjunto nito de categorias (ou grupos - clusters), não previamente denidos, que contêm objetos similares. Exemplo: Deseja-se separar os clientes em grupos de forma que aqueles que apresentam o mesmo comportamento de consumo quem no mesmo grupo. Cada tupla deste exemplo indica a quantidade total de produtos consumidos e o preço médio destes produtos relativos a cada consumidor. Consumidor Qtd.Prods. Preço Médio Prods

6 Agrupamento (Segmentação) Classicação Cons. Qtd. $ Méd. Prods Grupo Cons. Qtd. $ Méd. Prods Cada grupo identicado é caracterizado por consumidores semelhantes em relação à quantidade de produtos e ao preço médio dos mesmos. Identicação da classe a qual um elemento pertence a partir de suas características. O conjunto de possíveis classes é discreto e predenido. Exemplo: a partir das características de um indivíduo, determinar a que classe social ele pertence. Conjunto de classes = {A, B, C, D, E}. Classicação Regressão ID Salário Idade Tipo Emprego Classe Autônomo B Indústria B Pesquisa C Autônomo C Pesquisa B Indústria B Autônomo A Autônomo A Indústria B A partir de uma base de treinamento, extrai-se o modelo de classicação (p.ex., árvore de decisão). Árvore de Decisão Salário > B Idade 40 > 40 T.Empr. C Ind.,Pesq. Autônomo B A Estimativa do valor de um atributo de uma instância a partir de suas características. O domínio deste atributo deve ser numérico e contínuo. Exemplo: a partir das características de um imóvel, determinar seu valor de venda ou aluguel. Y = α + βx.

7 Aplicações Analisar tendências e encontrar padrões a partir de dados históricos com o objetivo de prever ações futuras e apoiar decisões pode ser um procedimento útil em diversas áreas, tais como: Marketing. Finanças. Saúde. Educação. Segurança. Softwares Weka: software de domínio público, desenvolvido (Java) pela Universidade de Waikato, contém uma série de algoritmos de Data Mining (DM). Intelligent Miner: foi desenvolvido pela IBM. É uma ferramenta de DM diretamente interligada com o banco de dados DB2 da IBM. Oracle Data Miner: desenvolvido pela Oracle, permitindo interligação direta com o banco de dados Oracle 11g Enterprise Edition. Enterprise Miner: tradicionalmente utilizado na área de negócios, marketing e inteligência competitiva. Statistica Data Miner: acrescenta as facilidades de mineração de dados ao tradicional pacote utilizado em aplicações de estatística. Perguntas? FIM