Pós-Graduação em Ciência da Computação CCM Sistemas de Banco de Dados

Transcrição

1 Pós-Graduação em Ciência da Computação CCM Sistemas de Banco de Dados Mineração Visual de Dados (Visual Data Mining) Cledson Diego de Marchi 26/07/11 1

2 Considerações Iniciais Pontos Relevantes; Motivação (O Porquê); Objetivo (Pessoal e Acadêmico). 26/07/11 2

3 Mineração de Dados Roteiro da Apresentação Mineração Visual de Dados Classificação das Técnicas de Visualização Técnicas de Visualização(Software) 26/07/11 3

5 Introdução Mineração de Dados pode ser visto como uma evolução natural da tecnologia de Banco de Dados. 26/07/11 5

6 Introdução De acordo com Elmasri & Navathe(2005): Mineração de Dados é a descoberta de novas informações em função de padrões ou regras em grandes quantidades de dados. Na prática, precisa ser realizado em: Grandes Arquivos; Grandes Bancos de Dados. 26/07/11 6

7 Introdução Já para Han & Kamber(2006): Mineração de Dados é extrair ou minerar conhecimento de um grande amontoado de dados. 26/07/11 7

8 Descoberta do Conhecimento O resultado da mineração pode ser descobrir os seguintes tipos de conhecimentos(informações) novos: Regras de Associação; Hierarquias de Classificação; Padrões Sequenciais; Padrões com Séries Temporais; Clustering (Agrupamento). 26/07/11 8

9 Regras de Associação Principais Regras de Associação utilizadas: Modelo dos Carrinhos de Supermercado; Algoritmo Apriori; Algoritmo por Amostragem; Algoritmo Árvore de Padrão-Frequente (Apriori). 26/07/11 9

10 Regras de Associação Exemplos: Quando uma mulher compra uma bolsa em uma loja, ela está propensa a comprar sapatos. Uma imagem de Raio X contendo características de A e B provavelmente exibirá também características de C. 26/07/11 10

11 Regras de Associação Utilizar Regras de Associação na vida real é complicado pelos seguintes fatores: A cardinalidade(número de registros) de itens na maioria da vezes é extremamente grande; Transações variam dependendo de alguns fatores, como localização, clima, tornando a amostragem difícil; As classificações de itens existem em múltiplas dimensões; Associação negativa, é extremamente difícil. 26/07/11 11

12 Classificação É o processo de encontrar um modelo que descreva classes diferentes de dados. E as classes são predeterminadas. Exemplo: Clientes de banco podem ser: Risco Baixo; Risco Justo(Médio); Risco Alto. Chamado de Aprendizado Supervisionado. 26/07/11 12

13 Classificação O modelo de aprendizado é realizado usando um treinamento com um conjunto de dados que já foram classificados. O modelo de está normalmente em forma de Árvore de Decisão ou um Conjunto de Regras. 26/07/11 13

14 Árvore de Decisão Casado Sim Não Salário Renda < Risco Alto >= <= Risco Justo >= Risco Baixo < Risco Alto < 25 <= Idade >= 25 Risco Justo Risco Baixo 26/07/11 14

15 Padrões Sequencias Uma sequência de ações ou eventos é investigada. Exemplo: Se um paciente fez ponte de safena para artérias bloqueadas, depois desenvolveu um uréia alta no sangue no período de um ano, ele está propenso a sofrer problemas de renais nos próximos dezoito meses. 26/07/11 15

16 Padrões com Séries Temporais Similaridades podem ser encontradas em posições de uma série temporal de dados, que é uma sequência de dados tomados a intervalos regulares. Exemplo: Dois produtos mostraram o mesmo padrão no verão(série temporal), mas diferentes no inverno(outra série). 26/07/11 16

17 Clustering (Agrupamento) Dada população de eventos ou novos itens podem ser particionados em conjuntos de elementos similares. Exemplo: Em uma determinada empresa é importante determinar grupos de clientes que tenham padrões parecidos de compras. Chamado de Aprendizado Nãosupervisionado. 26/07/11 17

18 Data Mining x Data Warehouse A proposta do Data Warehouse é sustentar a tomada de decisão com dados. A Data Mining pode ser usado em conjunto com DW. Descoberta de conhecimento em bancos de dados 26/07/11 18

19 Descoberta do Conhecimento Lembrando! Mineração de Dados precisa ser precedida por significativa preparação de dados antes que ela possa gerar informação significativa que influencie as tomadas de decisões. Os resultados da mineração podem ser mostrados em uma variedade de formatos, como listagens, gráficos, tabelas e etc. 26/07/11 19

21 Mineração Visual de Dados A idéia básica da exploração visual de dados é apresentar o dado em uma forma visual que possa: Permitir o humano entender a informação; Tomar decisões; Interagir diretamente com a informação apresentada. 26/07/11 21

22 Benefícios Dentre vários benefícios da exploração visual de dados destacamos: Facilidade de entendimento de dados não homogêneos com clareza; É intuitiva não requer conhecimento complexo de matemática, estática, algoritmos ou parâmetros; Abstração da alta dimensionalidade. 26/07/11 22

23 Benefícios Como resultado, Mineração Visual de Dados permite: Rápida exploração dos dados Otimiza os resultados, principalmente em casos onde algoritmos são falhos. De acordo com Keim(2002): Mineração visual traz grau muito maior de confiança nos resultados da exploração. E leva a uma alta demanda por técnicas de visualização. 26/07/11 23

24 Dimensionalidade O número de atributos pode mudar de um conjunto de dados para outro. Exemplo: Para descrever uma pessoa usamos por volta de 5 atributos(sexo, raça, altura, cabelo e porte físico). Para descrever um cliente de uma seguradora pode-se ter diversos atributos(nome, idade, filhos...). Chamamos essas variáveis de dimensões. 26/07/11 24

26 Duas abordagens apresentadas: Classificações Classificação de Daniel A. Keim (Information Visualization and Visual Data Mining(2002)); Classificação de José F. Rodrigues Jr., Agma J. M. Traina, Maria Cristina F. de Oliveira, Caetano Traina Jr. (Reviewing Data Visualization - an Analytical Taxonomical Study(2006)). 26/07/11 26

28 Classificação de Keim As técnicas de visualização podem ser classificadas em três critérios: Dados para serem visualizados; Técnicas de visualização; Técnicas de Interação e Distorção 26/07/11 28

29 Classificação de Keim 26/07/11 29

30 Visualização de Tipos de Dados Utilizando a divisão de Keim (2002), dados podem ser: Dados unidimensionais (Ex. Estação do ano); Dados bidimensionais (Ex. Coordenadas de mapa); Dados multidimensionais (Ex. Tabelas relacionais) 26/07/11 30

31 Visualização de Tipos de Dados E tipos de dados mais complexos: Texto, Hypertexto (Ex. Artigo de jornal e documentos da web); Hierarquia e Grafos (Ex. Chamadas telefônicas); Algoritmos e Software (Ex. Operação de debugging) 26/07/11 31

32 Técnicas de Visualização Já as técnicas são divididas da seguinte forma: Padrão 2D/3D(Ex. Gráfico de barra); Transformado Geograficamente(Ex. Coordenadas paralelas); Baseado em ícones(ex. Star icon); Pixel denso(ex. Segmentos de Círculos); Empilhados(Ex. TreeMaps). 26/07/11 32

33 Técnicas de Interação e distorção Além das técnicas de visualização, para uma eficaz exploração de dados, é necessário usar algum tipo de técnica de interação e distorção. Técnicas de interação permite analise dos dados para interagir diretamente com as visualizações e os objetivos de exploração. Técnicas de Distorção traz a idéia básica de mostrar porções de dados com alto nível de detalhes. 26/07/11 33

34 Técnicas de Interação e distorção Estão divididas: Projeção interativa; Filtragem interativa; Aproximação(zooming) interativa; Distorção interativa; Ligando e pintando(linking and Brushing) interativamente. 26/07/11 34

36 Classificação de Rodrigues et al Fizeram uma revisão de algumas classificações chegando a seguinte: Espacialização; Estímulos pré-atentos; Hibridismo e visualizações de subespaços. 26/07/11 36

37 Espacialização Está divida da seguinte forma: Estrutura de exposição(ex. TreeMaps e Grafos); Padronizada(Ex. Barra de Pixel e Gráfico Pizza); Projeção(Ex. Paralelas coordenadas); Reprodução(Caso especial de Projeção). 26/07/11 37

38 Estímulos Pré-atentos Desempenha um papel crucial na promoção de um importante ganho na visualização, ou seja, uma melhor e mais rápida compreensão dos dados. Posição; Forma; Cor. Esta divisão estão estritamente ligada a Espacialização. 26/07/11 38

39 Hibridismo Define-se abordagens hibridas muitas técnicas de visualizações encontradas na literatura, principalmente as que permitem visualização mais complexas 26/07/11 39

40 Técnicas de Interação Ao contrário de Keim, nessa classificação visualização e interação são técnicas disjuntas, porém com uma forte sinergia. Paramétricos; Visão de transformação; Filtragem; Detalhes sobre demanda; Distorção. 26/07/11 40

42 Divisão para apresentação: Técnicas de Visualização Técnicas para visualização de dados simples; Técnicas para visualização de relacionamentos entre duas variáveis; Técnicas para visualização de mais de duas variáveis. Apresentação do software Vistree. 26/07/11 42

43 Variáveis simples Histograma 20 Percent of Total /07/11 43

44 Gráfico de Dispersão(Scatterplot) Duas Variáveis V V3 26/07/11 44

45 Duas Variáveis Gráfico de Dispersão(Scatterplot) Petrol stations Number of weeks sectors used in a year Supermarkets 26/07/11 45

46 Duas Variáveis Gráfico de Contorno 80 AGEA DATESTAT 26/07/11 46

47 Mais de Duas Variáveis Matriz de Gráfico de Dispersão Cycle Minmem Maxmem Cache Minchann Maxchann Relperf Estrelper /07/

48 Mais de Duas Variáveis Matriz de Gráfico de Dispersão relevando pouca estrutura dos dados V V8 V /07/11 48

49 Mais de Duas Variáveis Matriz anterior vista de outro ângulo. 26/07/11 49

50 Coordenadas Paralelas Mais de Duas Variáveis Count7 Count5 Count3 Count1 Min Max 26/07/11 50

51 Segmentos de Círculos Mais de Duas Variáveis 26/07/11 51

52 Mais de Duas Variáveis 26/07/11 52

53 Mais de Duas Variáveis Matriz anterior vista de outro ângulo. 26/07/11 53

56 Software de Data Mining VisTree ( Weka Data Mining ( 26/07/11 56

57 Desafios de Pesquisa Desenvolvimento de técnicas de visualização escaláveis para grandes bases (terabytes ou exabytes) 26/07/11 57

58 Referências Bibliográficas Elmasri, Ramez; Navathe, Shamkant B. Sistemas de banco de dados. 4 ed. São Paulo: Addison Wesley, Han, Jiawei; Kamber, Micheline. Data Mining Concepts and Techniques. 2 ed. San Francisco: Elsevier, Hand, David; Mannila, Heikki; Smyth, Padhraic. Principles of Data Mining. 2 ed. Massachusetts: Mit Press, Kim, D. A. (2002). Information Visualization and Visual Data Mining. IEEE Transactions on Visualization and Computer Graphics, Vol. 8, N.1. Rodrigues Jr, J. F.; Traina, A. J. M.; Oliveira, M. C. F. de; Traina Jr, C. (2006). Reviewing Data Visualization: an Analytical Taxonomical Study. IEEE Proceedings of the Information Visualization (IV 06). 26/07/11 58

59 Artigo Para Leitura Daniel A. Keim (2002). Information Visualization and Visual Data Mining. Fazer um resumo do artigo para entregar; Mínimo de 1 e máximo de 3 páginas; Entregar na aula de 28/07. 26/07/11 59

60 OBRIGADO! Pós-Graduação em Ciência da Computação CCM Sistemas de Banco de Dados Mineração de Dados Visual (Visual Data Mining) Cledson Diego de Marchi 26/07/11 60