Business Intelligence & Data Mining

Transcrição

1 Business Intelligence & Data Mining Nuno Cavalheiro Marques Prof. Auxiliar DI- FCT/UNL 1

2 Armazenar Informação em Bases de Dados Porquê a utilização de Sistemas de Bases de Dados (SBD)? Armazenamento dos dados de uma forma consistente ( a informação não deve conter informação divergente sobre o mesmo facto), de fácil acesso usando linguagens de consulta e com mecanismos de segurança para o acesso à informação. Sistemas de gestão de Bases de Dados: Até 1970/80 - Sistemas Centralizados. Com a LAN:Sistemas distribuídos e Bases de Dados Distribuídas Sistema Centralizado (1970/80) Sistemas distribuídos 2

3 OLTP/OLAP Um banco quer guardar a informação dos seus clientes e das contas. Para além de guardar a informação, o banco precisa de programas para Fazer débitos e créditos numa conta Abrir e fechar contas Ver o saldo de uma conta Fazer os estratos das contas Sistema transaccional (OLTP): Milhares de acessos simultâneos. Ninguém (incluindo o banco) pode perder dinheiro. Ninguém quer esperar pela transacção (ex. Multibanco, no Natal). Sistema Analítico (OLAP): Analisar os volumes de transacções, num dado dia, a determinada hora, no comércio tradicional e em hipermercados. Decidir se deve ser concedido crédito ao dono de um pequeno negócio. 3

4 Bases de Dados: Classes de Aplicações On Line Transaction Processing (OLTP): SQL; Taxas Elevadas de transacções de Update: Alto nível de concorrência; Técnicas especiais de COMMIT; Arquitecturas especificas (Hardware e Software). On Line Analitical Processing (OLAP): Bons algoritmos de query evaluation; Query Optimization. Arquitecturas especificas (Hardware e Software). Sistemas Integrados: Uma Mistura dos 2. Junção das várias componentes (IBM DB2 e Oracle). SQL Server (Não multi-plataforma, OLAP sem DataMining) 4

5 Consultas à Informação Não basta armazenar os dados. Há que, pelo menos, poder consultar os dados armazenados. O que são consultas? Analisar a informação nas tabelas para obter um conjunto filtrado de informação Há quatro consultas possiveis a uma base de dados: Projecção: Seleccionar um conjunto de campos de uma ou várias tabelas. Selecção: Criar condições que permitam filtrar um conjunto de registos. Junção: Juntar duas tabelas (através de uma relacção) Agregação: Operações estatísticas sobre um grupo de registos com propriedades comuns (ex.: saldo médio de todos os clientes no mesmo balcão). 5

6 Agregação : Operações Estatísticas Estatísticas como, por exemplo, o somatório ou a média Exemplo: Total gasto por cada cliente em cursos Total Curso: Soma([Nº de participantes]*[cust o por Participante]) Agrupar pela empresa (Group By) Seleccionar Σ para agrupar 6

7 Warehousing: : Tabelas de Contingência e Cubo OLAP Cross Tabulation of sales by itemname and color A tabela acima é um exemplo de uma tabela de contingência para análise de dados (também conhecida como pivot-table). Uma tabela de contingência é uma tabela onde: Os valores para um dado atributo (enquanto dimensão) formam as linhas e colunas. Outras dimensões podem ser vistas no topo Os valores em cada célula são agregações sobre os valores das dimensões que especificam essa célula. OBJECTIVO: RESPOSTA RÁPIDA A NOVAS QUESTÕES. 7

8 Meios mecânicos para tratar dados Assumindo os dados numa Bases de Dados ou num Armazéns de Dados (Data Warehousing) As técnicas mecânicas são capazes de: Seleccionar (BD/SQL) Filtrar e agrupar (OLAP/Data Warehousing) E Interpretar os Dados! (Data Mining) Estes processos já são hoje necessários à sobrevivência do/a: Ex: Profissional. Cientista. Organização. A bolsa é já hoje, em grande medida, um jogo de computadores contra computadores! 8

9 Algumas aplicações da Data Mining Analise de compras num supermercado: Quem compra leite também compra pão. Clientes de risco na concessão de crédito Os clientes com menos dinheiro (mas que podem pagar) são os mais lucrativos! Preferências de compra Amazon Clientes de risco Prever os clientes tem maior probabilidade de mudar de operadora de telefone. Lançar uma campanha de marketing para reter o cliente. Apenas investir em publicidade para clientes que têm boa probabilidade de aceitar um determinado produto Segmentação Detecção de fraudes 9

10 OLAP: Data Warehouse Fonte: 10

11 Máquinas para suporte e análise de Bases de Dados com Terabytes - arquitecturas paralelas IBM xseries 345 Com 1CPU: Shared nothing SUN FIRE V40Z Arquitectura PC Armário até 45U. Máquinas preparadas para processamento. Tipicamente com vários GB de RAM. Solução standard para múltiplos nós. Neste momento são possíveis soluções a menos de 900 por CPU. Até 4 CPUs: Shared memory 11

12 Detalhe HP-Alpha Server (max 32 CPUs) At A Glance AlphaServer GS320 systems include: One 1224-MHz CPU module; up to MHz Alpha processors are supported Optional HP Capacity on Demand (CoD) SMP processors for non-disruptive performance growth 16-MB on-board cache per processor Advanced crossbar switch with 7-GB memory bandwidth per building block; up to 57-GB memory bandwidth per system Choice of memory: up to 256-GB memory supported PCI I/O master drawer with 12 configurable PCI slots; up to bit PCI slots supported Up to bit PCI buses with 12.8-GB aggregate I/O bandwidth PCI 10/100 Mbit Ethernet adapter 18.2-GB SCSI disk drive 600-MB CD-ROM drive Enhanced reliability with ECC-protected memory, processor cache, and system data paths Security of RAID storage and online add and removal of CPUs Optional redundant power supplies with N+1 power option Tru64 UNIX or OpenVMS factory installed software (FIS); optional high availability support with Tru64 UNIX and OpenVMS cluster solutions Product warranty, one-year hardware, on-site next business day 12

13 IBM z-series DB2 Sysplex 13

14 KDD & Data Mining Descoberta de conhecimento em Bases de Dados (KDD, ou Knowledge Discovery in Databases): É o processo de identificação de estruturas, válidas, novas, potencialmente úteis e idealmente compreensíveis, nos dados. Data mining é o processo no KDD que, sobre limitações de eficiência na computação aceitáveis, enumera estruturas (padrões ou modelos) sobre os dados. Knowledge Discovery in Databases: Descoberta de Conhecimento em Bases de Dados Data Mining: Mineração de Dados / Extracção de Conhecimento. Fayyad et al. (1996) 14

15 KDD conhecimento Modelos Visualização Base De Dados, Textos Input data Data Mining Dados limpos Agregação Target Data Pré-processamento e limpeza Selecção e amostragem Data Warehouse 15

16 Uma nova área de pesquisa Na intersecção de diversas disciplinas: Bases de Dados. Visualização. Aprendizagem Automática: Estatística. Reconhecimento de Padrões. AI. E ainda, maior relevância (do que na aprendizagem automática) a: Optimização. Supercomputação. Computação Distribuída. 16

17 Visão Histórica da aprendizagem automática e Data Mining 1900:Census Americano realizado com as máquinas de tabulação e cartões prefurados: máquinas para analise (contagem ordenação e agrupamento) de grandes quantidades de informação. O sucesso destas máquinas leva à criação da IBM, nos anos 20 do século XX. 1950: Com os primeiros computadores surge a pesquisa em IA. 1960: Surge o conceito de perceptrão. FIM década: Falhas em atingir os objectivos iniciais levam a cortes orçamentais. Minsky/Papert: O perceptrão apenas pode aprender regras simples (não pode aprender o XOR!) 1970: Expert Systems: o conhecimento de especialistas pode ser facilmente expresso em regras if then (como encontrar as regras certas??) 1980: Algoritmos simples para criar árvores de decisão. Redes neuronais aprendem regras complexas. Os algoritmos genéticos modelam as regras da evolução. 1990: 1995: Primeira conferencia sobre Data Mining/KDD 17

18 Alguns Métodos no Data Mining Segundo a Encyclopedia of Computer Science Previsão (y n =f(x m ); aprende-se f(x m )). Regressão (f é continuo). Classificação (f é discreto). Segmentação de Dados (ou agrupamento - clustering) Aprende-se f (y n, x m ) Resumo de Dados Regras Associativas 18

19 O que é Classificação? O objectivo da classificação é organizar e categorizar os conjuntos de dados em classes distintas. Três fases: Construção do classificador com base na distribuição dos dados (construção). Modelo é avaliado pela classificação de novos dados (teste). Dado o modelo de classificação, e novos dados não classificados, o atributo classe pode ser predicto com base no modelo (classificação). 19

20 O que é um padrão? Um padrão é uma composição de atributos (características) que descreve uma entidade Numa tarefa de classificação um padrão é representado por um par {x, c} : x vector de características; c é valor do atributo classe (conceito por detrás da observação) 20

21 Perceptrão para classificar padrões x 1 x 2 x 3 x 4 x 5 w i1 w i2 w i3 w i4 w i5 Neuronio i Modela o sistema da visão humana (F. Rosenblatt 1956) Um dos primeiros modelos de rede neuronal. Apenas uma camada. y i Stimulus i = wij x j j = x = 1 0 z 0 1 f z = else 0 1 f z) = 1 z + e u u rest f ( ) Resposta ( Sigmoidal z) = e e z z e + e z z bias term ( w x u ) y + = f i 0 0 Heaviside step function ( Hyperbolic tangent i i 21

22 Mapeamento de padrões do perceptrão sigmoid x 0 w 0 x 1 w 1 w 2 x 2 y 1.2 output input /(1+exp(-x))-1 x 2 Decision boundary <0 Slope w 2 /w 1 u = 0 = w x + w x + w x w 0 >0 x 1 22

23 Fronteira de Decisão Linear: exemplo 8 6 TW O-CLASS DATA IN A TW O-DIMENSIONAL FEATURE SPACE Decision Region 1 Decision Region 2 4 Feature Decision Boundary Feature 1 23

24 Treino do perceptrão: : Regra Delta e = d i y i w = λ e ij x j λ=coeficiente de aprendizagem w ij =ligação do neuronio x j ao y i x=(x 1,x 2,...,x n ) entrada RNN y=(y 1,y 2,...,y n ) saída da RNN d=(d 1,d 2,...,d n ) padrão da entrada (x,d) exemplo de treino e=erro da RNN Descida por gradiente na superfície do erro. Garantia de encontrar a configuração de erro minimo numa RNN com uma única camada. Aproximação gradual do comportamento desejado. Simulação y 1 y 2 y 3 w 11 w 12 w 13 w 14 x 1 x 2 x 3 x 4 24

25 8 7 Fronteira de decisão de erro mínimo FEATURE FEATURE 1 25

26 Classificador linear simples pode ser definido para espaços de maior dimensionalidade (superior a 2D) 26

27 pode ser visualizado como um hiperplano d-dimensional 27

28 O que é que acontecería a este conjunto de dados se não fossem descritos pela terceira dimensão? E projectado neste plano? 28

29 Neste caso, não se pode obter uma precisão perfeita com classificador linear simples Poder-se-ia tentar resolver o problema com classificador quadrático ou classificador cúbico simples... 29

30 Classificador não linear: o Multi-Layer Perceptron (MLP) Uma das redes mais populares, versáteis e precisas. RNN Feedforward As camadas ocultas têm de ter uma função de transferencia não linear. Pode aproximar qualquer função y=f(x) Utilizados em: Classificação Controle. Modelação. Previsão. 30

31 Aprendizagem no MLP Aprendizagem Supervisionada Regra Delta Apenas pode treinar redes com uma camada. i.e. Apenas pode resolver problemas que são linearmente separáveis. Minsky-Papert s Perceptrons (1969) Propagação inversa do erro Rumelhart-McClelland (1986) Generalização da Regra Delta Pode treinar qualquer número de camadas. 31

32 Regiões de Decisão num MLP Single-layer HALF PLANE BOUNDED BY HYPERPLANE A B B A A B Two-layer CONVEX OPEN OR CLOSED REGION A B B A A B Three-layer ARBITRARY (complexity limited by number of neurons) A B B A A B 32

33 Um exemplo clássico: : o conjunto de Dados IRIS R. A. Fisher s Iris Dataset. Virginica 3 classes 50 entidades de cada classe Classificar plantas Iris numa das 3 espécies, usando os atributos Petal Length e Petal Width. Setosa Versicolor Iris Setosa Iris Versicolor Iris Virginica 33

34 Classificador para o conjunto IRIS Virginica Setosa Versicolor IF petal width > (0.325 * petal length ) THEN class = Virginica Elseif petal width No conjunto de treino aprender-se-ia a fronteira de decisão que descrimina (perfeitamente) as classes Setosa e Virginica/Versicolor; seguidamente o classificador aprende a discriminar (aproximadamente) entre as classes Virginica and Versicolor. 34

35 IM4D: Construção de um classificador por árvore de decisão e análise do modelo 35

36 Treino e sobre-ajustamento Y Y X Ajuste da curva curva linear Acontece quando o conceito a ser aprendido é demasiado específico, de acordo com os dados de treino. A rede neuronal que classifica perfeitamente a amostra, pode não ser a melhor ruído nos dados de treino os dados de treino podem não corresponder a uma amostra representativa. Melhora-se o modelo no conjunto de treino, mas o mesmo torna-se mais complicado Aumenta o risco de modelar ruído e cuincidências no conjunto de dados. Pode fazer diminuir o poder de classificação do conceito aprendido, para novos casos. X Ajuste da curva com demasiados parâmetros 36

37 Sobre-ajustamento numa rede neuronal Base: 37

38 Ferramentas para a Data Mining Algumas Ferramentas: SAS Enterprise Miner. Intelligent Miner (IBM). Statistica SPSS Darwin (Oracle, descontinuado integração API JAVA). Weka (Open Source, em JAVA). 38

39 Problemas tradicionais na Data Mining KDD: 80% do tempo na preparação dos dados e 20% em mining. Fácil de fazer de forma ad hoc mas é necessário cuidado! Falta de visão de longo termo: O que se quer obter dos dados no futuro? Nem todos os ficheiros estão actualizados Falta de colaboração de um departamento: Dêem-nos as queries que depois enviamos a informação Problemas legais ou de privacidade. Dificuldades em relacionar a informação. Timing: Os dados podem ser relacionados, mas com 6 meses de atraso Problemas de interpretação 39

40 Integração: Oracle 9i Entrepise/AS mar/images/o23instant_f1.jpg 40

41 Algumas Referencias para mais informação Database System Concepts. Silberschatz, Korth, Sudarshan. 4a Edição. McGrawHill (referencia para Bases de Dados) Data Mining by Pieter Adriaans, Dolf Zantinge, SyllogicFirm - Addison-Wesley (referencia introdutória para o Data Mining) Tom M. Mitchell, Machine Learning. McGraw Hill. (referencia para aprendizagem automática). Simon Haykin, Neural networks : a comprehensive foundation. Prentice Hall International, (referencia para Redes Neuronais) Ian H. Witten and Eibe Frank. Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations. Morgan Kaufmann (referencia genérica em Data Mining, introduz o pacote Weka) 41

42 FIM 42