Aproveitamento da informação permite ganho de competitividade: conhecimento é poder (e poder = $$!)

Transcrição

1 Data Mining Prfessr Jrge Mreira Mtivaçã A infrmatizaçã ds meis prdutivs permitiu a geraçã de grandes vlumes de dads: Transações eletrônicas; Nvs equipaments científics e industriais para bservaçã e cntrle; Dispsitivs de armazenament em massa; Aprveitament da infrmaçã permite ganh de cmpetitividade: cnheciment é pder (e pder = $$!) Mtivaçã 1

2 Mtivaçã Os recurss de análise de dads tradicinais sã inviáveis para acmpanhar esta evluçã Mrrend de sede pr cnheciment em um cean de dads Mtivaçã Sluçã: Mtivaçã ferramentas de autmatizaçã das tarefas repetitivas e sistemática de análise de dads ferramentas de auíli para as tarefas cgnitivas da análise integraçã das ferramentas em sistemas apiand prcess cmplet de descberta de cnheciment para tmada de decisã Mtivaçã 2

3 Eempl Preliminar Um prblema d mund ds negócis: entender perfil ds clientes desenvlviment de nvs prduts; cntrle de estque em psts de distribuiçã; prpaganda mal direcinada gera maires gasts e desestimula pssível interessad a prcurar as fertas adequadas; Quais sã meus clientes típics? Eempl Descberta de Cnheciment em Bancs de Dads O prcess nã trivial de etraçã de infrmações implícitas, anterirmente descnhecidas, e ptencialmente úteis de uma fnte de dads ; Trture s dads até eles cnfessarem ; O que é um padrã interessante? (válid, nv, útil e interpretável) Cnceits 3

4 KDD Data Mining Mineraçã de dads é pass d prcess de KDD (Knwledge Discvery in Databases - Etraçã d Cnheciment) que prduz um cnjunt de padrões sb um cust cmputacinal aceitável; KDD utiliza algritms de data mining para etrair padrões classificads cm cnheciment. Incrpra também tarefas cm esclha d algritm adequad, prcessament e amstragem de dads e interpretaçã de resultads; Cnceits Etapas d Prcess Seleçã Pré-prcessament Transfrmaçã Data mining (aprendizagem) Interpretaçã e Avaliaçã Prcess 4

5 Prcess mínim de descberta d cnheciment Cmpreensã d dmíni e ds bjetivs da tarefa; Criaçã d cnjunt de dads envlvend as variáveis necessárias; Prcess Seleçã de Dads Selecinar u segmentar dads de acrd cm critéris definids: E.: Tdas as pessas que sã prprietárias de carrs é um subcnjunt de dads determinad. Prcess 10 5

6 Prcess mínim Operações cm identificaçã de ruíds, utliers, cm tratar falta de dads em alguns camps, etc. Prcess Pré-PrcessamentPrcessament Estági de limpeza ds dads, nde infrmações julgadas desnecessárias sã remvidas. Recnfiguraçã ds dads para assegurar frmats cnsistentes (identificaçã) E. : se = F u M se = M u H Prcess 12 6

7 Prcess mínim Reduçã de dimensinalidade, cmbinaçã de atributs; Prcess Transfrmaçã Transfrmam-se s dads em frmats utilizáveis. Esta depende da técnica data mining usada. Dispnibilizar s dads de maneira usável e navegável. Prcess 14 7

8 Prcess mínim Esclha e eecuçã d algritm de aprendizagem de acrd cm a tarefa a ser cumprida Prcess Data Mining É a verdadeira etraçã ds padrões de cmprtament ds dads. Prcess 16 8

9 Prcess mínim Interpretaçã ds resultads, cm pssível retrn as passs anterires; Cnslidaçã: incrpraçã e dcumentaçã d cnheciment e cmunicaçã as interessads; Prcess Interpretaçã e Avaliaçã Identificad s padrões pel sistema, estes sã interpretads em cnheciments, s quais darã suprte a tmada de decisões humanas Prcess 18 9

10 Métds de mineraçã de dads Métds de mineraçã de dads nrmalmente sã etensões u cmbinações de uns pucs métds fundamentais; Prém, nã é viável a criaçã de um únic métd universal: cada algritm pssui sua própria tendência indutiva; Métds Previsã Tarefas básicas Cálcul de variáveis de interesse a partir ds valres de um cnjunt de variáveis de eplicaçã; É cmumente visada em aprendizad de máquina/estatística; Eempls: classificaçã e regressã; Métds 10

11 Descriçã Tarefas básicas Reprtar relações entre as variáveis d mdel de frma simétrica; À princípi, está mais relacinada a prcess de KDD; Eempls: agrupament, sumarizaçã (incluind sumári de tets), dependências, análise de desvi; Métds Eempl de previsã (I) débit Análise de crédit sem crédit Um hiperplan paralel de separaçã: pde ser interpretad diretamente cm uma regra: se a renda é menr que t, entã crédit nã deve ser liberad Eempl: árvres de decisã; induçã de regras t renda : eempl recusad : eempl aceit Métds 11

12 Eempl de previsã (II) débit Análise de crédit sem crédit Hiperplan blíqu: melhr separaçã: Eempls: regressã linear; perceptrn; t renda : eempl recusad : eempl aceit Métds Eempl de previsã (III) débit Análise de crédit sem crédit Superfície nã linear: melhr pder de classificaçã, pir interpretaçã; Eempls: perceptrns multicamadas; regressã nã-linear; t renda : eempl recusad : eempl aceit Métds 12

13 Eempl de previsã (IV) débit Análise de crédit sem crédit Métds basead em eempls; Eempls: k-vizinhs mais próims; racicíni basead em cass; t renda : eempl recusad : eempl aceit Métds Eempl de descriçã (I) débit Análise de crédit Agrupament Eempl: vectr quantizatin; t renda : eempl Métds 13

14 Eempl de descriçã (II) Regras de assciaçã 98% ds cnsumidres que adquiriram pneus e acessóris de autmóveis também se interessaram pr serviçs autmtivs ; descberta simétrica de relações, a cntrári de métds de classificaçã qualquer atribut pde ser uma classe u um atribut de discriminaçã; Métds Técnicas Revisã geral de Aprendizagem: CBR 14

15 Eempls Áreas de aplicações ptenciais: Vendas e Marketing Identificar padrões de cmprtament de cnsumidres Assciar cmprtaments à características demgráficas de cnsumidres Campanhas de marketing diret (mailing campaigns) Identificar cnsumidres leais Eempls Eempls Áreas de aplicações ptenciais: Bancs Identificar padrões de fraudes (cartões de crédit) Identificar características de crrentistas Mercad Financeir ($$$) Eempls 15

16 Eempls Áreas de aplicações ptenciais Médica Cmprtament de pacientes Identificar terapias de sucesss para diferentes trataments Fraudes em plans de saúdes Cmprtament de usuáris de plans de saúde Eempls Intrduçã Eempl (1) - Fraldas e cervejas O que as cervejas tem a ver cm as fraldas? hmens casads, entre 25 e 30 ans; cmpravam fraldas e/u cervejas às setasfeiras à tarde n caminh d trabalh para casa; Wal-Mart timizu às gôndlas ns pnts de vendas, clcand as fraldas a lad das cervejas; Resultad: cnsum cresceu 30%. Eempls 16

17 Eempls Eempl (2) - Ljas Brasileiras (Inf 03/98) Aplicu 1 milhã de dólares em técnicas de data mining Reduziu de prduts para prduts ferecids em suas ljas. Eempl de anmalias detectadas: Rupas de invern e guarda chuvas encalhadas n nrdeste Batedeiras 110v a venda em SC nde a crrente elétrica é 220v Eempls Eempls Eempl (3) - Bank f America (Inf 03/98) Selecinu entre seus 36 milhões de clientes Aqueles cm menr risc de dar caltes Tinham filhs cm idades entre 18 e 21 ans Resultad em três ans banc lucru 30 milhões de dólares cm a carteira de empréstims. Eempls 17

18 Empresas de sftware para Data mining: SAS Infrmatin Havesting Red Brick Oracle Sybase Infrmi IBM Eempls Cnclusões Data mining é um prcess que permite cmpreender cmprtament ds dads. Data mining analisa s dads usand técnicas de aprendizagem para encntrar padrões e regulariedades nestes cnjunts de dads. É um prblema pluridisciplinar, envlve Inteligência Artificial, Estatística, Cmputaçã Gráfica, Banc de Dads. Pde ser bem aplicad em diversas áreas de negócis Cnclusões 18