Gestão da Informação. Gestão da Informação. AULA 3 Data Mining

Tamanho: px

Começar a partir da página:

Download "Gestão da Informação. Gestão da Informação. AULA 3 Data Mining"

Eugénio Estrela Gama
8 Há anos
Visualizações:

1 Gestão da Informação AULA 3 Data Mining Prof. Edilberto M. Silva Gestão da Informação Agenda Unidade I - DM (Data Mining) Definição Objetivos Exemplos de Uso Técnicas Tarefas Unidade II DM Prático Exemplo de Associação Exemplo de Classificação Atividades Dificuldades de uso Referências e Softwares Conclusão Edilberto M. Silva - Gestão da Informação 2

Exemplos de Uso Técnicas Tarefas Unidade II DM Prático Exemplo de Associação Exemplo de

2 O que é Data Mining?...o processo não-trivial de identificar, em dados, padrões válidos, novos, potencialmente úteis e ultimamente compreensíveis Usama Fayyad (Fayyad et al. 1996).. é um processo de extração e apresentação de informações utilizáveis, implícitas e recentes a partir de dados, que possam ser utilizadas para resolver um problema de negócios." Pricewaterhouse Coopers Edilberto M. Silva - Gestão da Informação 3 Motivação Quantidades imensas de dados Crescimento exponencial dos dados Necessidade de transformar dados em informação útil Análise de Mercado Sistemas de Suporte à Decisão Gerência Empresarial Análise de tendências, etc. Necessidade de descoberta Padrões e relações entre os dados Alterações e anomalias Estruturas significantes Fenômenos periódicos ou desconhecidos Apresentar de forma sucinta e compreensível o conhecimento obtido Edilberto M. Silva - Gestão da Informação 4

3 Principais Objetivos Exemplos Previsão - estabelecer o valor de um ou mais atributos em um banco de dados, a partir de outros atributos presentes Descrição - visa apontar padrões potencialmente interessantes nos dados sem uma associação com um conceito a priori Exemplos Objetivo de propagandas - Qual banner deve ser disparado para este visitante? Vendas Cruzadas - Quais outros produtos este cliente gostaria de comprar? Detecção de Fraude - Quando um sinistro pode ser uma fraude? Análise de Abandono - Quais clientes podem desistir? Gerenciamento de Risco - Posso aprovar o empréstimo para este cliente? Edilberto M. Silva - Gestão da Informação 5 Exemplos de uso Curiosidades A Wall-Mart, descobriu que 60% das mães que compram boneca Barbie, levam também uma barra de chocolate; O banco Itaú conseguiu aumentar sua taxa de retorno nas malas diretas para 30%, era 2% A venda de colírios cresce 54%, antes do feriados prolongados A venda de coca-cola relacionada com a compra de batata frita em 65% das vezes, em promoção 85% das vezes American Express - propagandas e marketing direcionados SONAE/Universo - referências de compras, direcionando promoções Amazon - identifica fraudes baseadas em desvios dos padrões normais de compras. E o clássico exemplo as vendas de fraldas intimamente ligadas às vendas de cerveja Edilberto M. Silva - Gestão da Informação 6

Vendas Cruzadas - Quais outros produtos este cliente gostaria de comprar? Detecção de Fraude - Quando um sinistro pode ser uma fraude? Análise de Abandono - Quais clientes podem desistir?

4 Principais Técnicas Redes Neurais - Neurônios biológicos: efetivas no aprendizado de padrões a partir de dados não lineares, incompletos,com ruído ou compostos de exemplos contraditórios. Algoritmos Genéticos - Evolução biológica: fornece um mecanismo de busca adaptativa que se baseia no princípio Darwiniano de reprodução e sobrevivência dos mais aptos. Lógica Fuzzy- Proc. Lingüístico :modela o modo aproximado de raciocínio humano, visando desenvolver sistemas computacionais capazes de tomar decisões racionais em um ambiente de incerteza Sistemas Especialistas Inferência: soluciona problemas em um campo especializado do conhecimento humano. Edilberto M. Silva - Gestão da Informação 7 Principais Tarefas Class Description Caracterização Comparação ou discriminação Propriedades resumidas Quantidade, totais, médias e análise estatística Exemplo Comparar as vendas de uma empresa na Europa e na Ásia, identificando fatores discriminativos importantes e expondo uma visão global da situação Edilberto M. Silva - Gestão da Informação 8

Lingüístico :modela o modo aproximado de raciocínio humano, visando desenvolver sistemas computacionais capazes de tomar decisões racionais em um ambiente de incerteza Sistemas Especialistas

5 Principais Tarefas Classificação Ex.: agrupa itens baseados em atributos pré-definidos Processa um conjunto de treinamento (classe) Constrói um modelo para cada classe Gera a árvore de decisão ou conjunto de regras Usada para compreender cada classe e classificação posterior de novos dados Estatística, BD, redes neurais, aprendizado, etc. Análise de crédito, modelagem de empreendimentos, etc. Edilberto M. Silva - Gestão da Informação 9 Principais Tarefas Previsão Prevê os valores possíveis ou a distribuição destes a partir de certos atributos do BD Encontrar os atributos relevantes para o atributo de interesse Previsão baseada no conjunto de dados mais similar ao escolhido Análise de regressão, de correlação, árvores de decisão Algoritmos genéticos e redes neurais Data mining preditivo Exemplo: no ano 2005 o Ticket médio de cada checkout será de R$ 500,00. Edilberto M. Silva - Gestão da Informação 10

compreender cada classe e classificação posterior de novos dados Estatística, BD, redes neurais, aprendizado, etc. Análise de crédito, modelagem de empreendimentos, etc. Edilberto M.

6 Principais Tarefas Agregação (Clustering) Identifica grupos escondidos nos dados Grupo objetos similares Expressa por funções de distância Relação de similaridade conhecida a priori por especialistas ou usuários Exemplo Agrupa itens baseados em atributos como clientes tipo C serão aqueles que tem renda mensal menor que R$ 2.000,00; clientes tipo B terão renda mensal entre R$ 2001,00 e R$ 5.000,00 e clientes tipo A terão renda maior que R$ 5001,00. Edilberto M. Silva - Gestão da Informação 11 Principais Tarefas Análise de séries temporais Identifica regularidades e características temporais interessantes escondidas nos dados Analisa padrões seqüenciais, periódicos, tendências e desvios Busca seqüências similares ou subseqüências Exemplo Previsão da tendência de variação das quantidades em estoque de uma empresa, baseado no histórico do estoque, situação financeira, atuação da concorrência e situação do mercado Edilberto M. Silva - Gestão da Informação 12

000,00 e clientes tipo A terão renda maior que R$ 5001,00. Edilberto M.

7 Principais Tarefas Associação Busca correlações entre itens e indivíduos, deduzindo relacionamentos. Descoberta de relacionamentos entre um conjunto de dados Expresso por regras atributo-valor de condições que ocorrem freqüentemente juntas x(a) y(a) se satisfaz x, tende a satisfazer y Exemplo cerveja(x) fraldas(y) peixe (x) vinho branco (y) Edilberto M. Silva - Gestão da Informação 13 Exemplo de Descoberta de Regras Associativas Sup - Suporte Mínimo Conf - Grau de Confiança mínimo Quais as regras para Sup = 30% Conf = 80% Edilberto M. Silva - Gestão da Informação 14

x(a) y(a) se satisfaz x, tende a satisfazer y Exemplo cerveja(x) fraldas(y) peixe (x) vinho branco (y) Edilberto M.

8 Exemplo de Descoberta de Regras Associativas Para Sup = 30% Para Conf = 80% Edilberto M. Silva - Gestão da Informação 15 Exemplo de Descoberta de Regras de Classificação Valores discretos {0,1} {sim, não} Quais as regras para País e Idade Edilberto M. Silva - Gestão da Informação 16

Silva - Gestão da Informação 15 Exemplo de Descoberta de Regras de

9 Referências e Softwares Fayyad, U. M., Piatetsky-Shapiro, G., Smyth, P. & Uthurusamy, R. (Eds) (1996). Advances in Knowledge Discovery and Data Mining. Menlo Park, CA: American Associationfor Artificial Intelligence. Berry, M., Linoff, G. (1997). Data Mining Techniques : for Marketing, Sales and Customer Support. John Wiley & Sons. Chapman, P. et al. (1999). The CRISP-DM Process Model. CRISP-DM Consortium. Disponível por FTP: Agrawal, R. & Srikant (1994). Fast Algorithms for Mining Association Rules. Proc. of the 20th Int l Conference on Very Large Databases, Santiago, Chile, Sept Agrawal, R., Imielinski, T., Swami, A (1999). Mining Associatio Rules between Sets of Items in Large Databases. Proc. of the ACM-SIGMOD 1993, International Conference on Management of Data, Washington D.C., May 1993, Exemplos de Softwares American Heuristics/Profiler Angoss Software/ Knowledge Seeker Business Objects/BusinessMiner DataMind/DataMindProfessional HNC Software/DataMarksman HiperParallel/Discovery InformationDiscovery Inc.(IDI)/Information Discovery System Lucent Technologies /InteractiveData Visualization Nestor/Prism Pilot Software/ pilot Discovery Server Seagate Software Systems/Holos Edilberto M. Silva - Gestão da Informação 17 Dificuldades de uso Mão-de-obra especializada Condução e gerenciamento do processo aliado ao objetivo Alto custo Tempo Grandes Bases de Dados Alterações de dados, objetivos, errados ou em falta Complexidade/novidade Ambiente Ideal Edilberto M. Silva - Gestão da Informação 18

(1999). The CRISP-DM Process Model. CRISP-DM Consortium. Disponível por FTP: http://www.crisp-dm.org. Agrawal, R. & Srikant (1994). Fast Algorithms for Mining Association Rules. Proc. of the 20th Int l Conference on Very Large Databases, Santiago, Chile, Sept.

10 Conclusões Crescente avanço tecnológico Tendência de grande uso Tornando-se fundamental em ambientes de grande concorrência Não é mágico, serve de apoio a tomada de decisão A figura do analista é imprescindível para o sucesso Acrescenta feeling aos administradores Permite aumentar lucros e fazer uso inteligente de informações acumuladas na organização Edilberto M. Silva - Gestão da Informação 19

analista é imprescindível para o sucesso Acrescenta feeling aos administradores Permite aumentar

Documentos relacionados

Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse

Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse Definição escopo do projeto (departamental, empresarial) Grau de redundância dos dados(ods, data staging) Tipo de usuário alvo (executivos, unidades) Definição do ambiente (relatórios e consultas préestruturadas