BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING Asterio K. Tanaka

Transcrição

1 BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING Asterio K. Tanaka [email protected] Introdução a Data Mining Árvores de Decisão

2 Categorização de Dados Parte II Rogério Atem de Carvalho Adaptado de Companion slides for the text by Dr. M.H.Dunham, Data Mining, Introductory and Advanced Topics, Prentice Hall, 2002.

3 Objetivos de Data Mining Modelos e Tarefas

4 Tarefas Básicas de Data Mining I Classificação mapeia dados em classes prédefinidas Aprendizado supervisionado Reconhecimento de Padrões Predição Regressão mapeia dados a variáveis de predição. Clustering agrupa itens similares em clusters (grupos). Aprendizado Não-supervisionado Segmentação Particionamento

5 Tarefas Básicas de Data Mining II Sumarização mapeia dados em subconjuntos associados a descrições simples. Caracterização Generalização Link Analysis descobre relações entre dados (correlação). Análise de Afinidade Regras de Associação

6 Ex: Análise de Séries Temporais Exemplo: Mercado de Ações Predição de valores futuros Determinação de padrões no tempo Classificação de comportamento

7 Classificação I - Sumário Objetivo: Prover uma visão geral do problema de classificação e introduzir alguns dos algoritmos básicos. Visão Geral do Problema de Classificação Técnicas de Classificação Regressão Distância Árvores de Decisão Regras Redes Neuronais Artificiais

8 Classificação II - O Problema Dado uma base de dados D={t 1,t 2,,t n } e um conjunto de classes C={C 1,,C m }, o Problema de Classificação consiste em definir um mapeamento f:d C onde cada t i é associado a uma classe. Na prática divide D em classes de equivalência. Predição é similar, mas pode ser vista como tendo um número infinito de classes.

9 Classificação III - Exemplos Professores classificam o desempenho de estudantes em A, B, C, D, ou F. Identificar cogumelos como venenosos ou não. Predizer quando um rio irá transbordar. Identificar indivíduos com risco de crédito. Reconhecimento de Padrões em geral.

10 Classificação IV Ex: Gradação If x >= 90 then grau =A. If 80<=x<90 then grau =B. If 70<=x<80 then grau =C. If 60<=x<70 then grau =D. If x<50 then grau =F <50 <70 x F <80 <90 x x x >=70 >=60 D C >=90 >=80 B A

11 Classificação V: Técnicas Abordagem: 1. Criar um modelo específico através de análise dos dados de treinamento ou utilizar o conhecimento de especialistas do domínio. 2. Aplicar o modelo desenvolvido aos novos dados. Classes devem ser pré-definidas. Técnicas devem ser baseadas em distâncias ou métodos estatísticos.

12 Classificação VI: Definindo Classes Bas. Em Distância Baseado em Particionamento

13 Classificação VII: Questões Dados Faltando Ignorar. Substituir por valor assumido. Avaliação de Desempenho Mede a precisão da classificação nos dados de teste. Confusion Matrix. Operation Characteristic Curve.

14 Classificação VIII: Exemplo Name Gender Height Output1 Output2 Kristina F 1.6m Short Medium Jim M 2m Tall Medium Maggie F 1.9m Medium Tall Martha F 1.88m Medium Tall Stephanie F 1.7m Short Medium Bob M 1.85m Medium Medium Kathy F 1.6m Short Medium Dave M 1.7m Short Medium Worth M 2.2m Tall Tall Steven M 2.1m Tall Tall Debbie F 1.8m Medium Medium Todd M 1.95m Medium Medium Kim F 1.9m Medium Tall Amy F 1.8m Medium Medium Wynette F 1.75m Medium Medium

15 Classificação VIII: Desempenho Positivo Verdadeiro Falso Negativo Falso Positivo Negativo Verdadeiro

16 Classificação VIII: Confusion Matrix Usando exemplo anterior com Output1 corrigido e Output2 mantido Actual Assignment Membership Short Medium Tall Short Medium Tall 0 1 2

17 Operating Characteristic Curve

18 Árvores de Decisão I Árvores de Decisão (Decision Trees - DT): Raiz e cada nó interno são entitulados com uma pergunta. Arcos representam cada resposta possível para a pergunta associada. Cada folha representa uma predição de uma solução para o problema. Técnica popular para classificação, onde nós folha correspondem à classe a qual a tupla pertence.

19 Árvores de Decisão II -Exemplo

20 Árvores de Decisão III Um Modelo de Árvore de Decisão éum modelo computacional que consiste de três partes: Árvore de Decisão Algoritmo para criar a árvores Algoritmo de aplicação da árvore aos dados Criação da árvore é a parte mais difícil. Processamento é uma busca similar ás tradicionais em árvores.

21 Árvores de Decisão IV - Algoritmo

22 Árvores de Decisão V Vantagens/Desvantagens Vantagens: Fácil de entender. Fácil de gerar regras. Desvantagens: Classifica por particionamento retangular. Não manipulam bem dados não numéricos. Podem ser muito grandes.

23 Classificação Usando Árvores de Decisão Baseada em particionamento: Divide o espaço de busca em regiões retangulares. Tupla é colocada em classe com base na região na qual ela cai. Abordagem DT difere na forma como a árvore é criada: DT Induction Nós internos são associados com atributos e arcos com valores para cada atributo. Algoritmos: ID3, C4.5, CART

24 Dado: Árvore de Decisão D = {t 1,, t n } onde t i =<t i1,, t ih > Esquema do BD contém {A 1, A 2,, A h } Classes C={C 1,., C m } Árvore de Decisão ou de Classificação é uma árvore associada com D tal que Cada nó interno é rotulado com um atributo, A i Cada arco é rotulado com um predicado que pode ser aplicado ao atributo. Cada nó folha é rotulado com uma classe, C j

25 AD: Indução

26 AD: Splits Area Sexo M F Altura

27 Comparando ADs Balanceada Profunda

28 Tópicos em DT Escolha de Splitting Attributes Ordenação de Splitting Attributes Splits Estrutura da Árvore Critério de Parada Dados de Treinamento Pruning (poda)

29 Informação/Entropia Dadas as probabilidades p 1, p 2,.., p s cuja soma é a unidade, Entropia é definida como: Entropia mede a quantidade de aleatoriedade ou incerteza. Objetivo na classificação: Sem surpresas Entropia = 0

30 Entropia log (1/p) H(p,1-p)

31 ID3 Creates tree using information theory concepts and tries to reduce expected number of comparison.. ID3 chooses split attribute with the highest information gain:

32 ID3 Example (Output1) Starting state entropy: 4/15 log(15/4) + 8/15 log(15/8) + 3/15 log(15/3) = Gain using gender: Female: 3/9 log(9/3)+6/9 log(9/6)= Male: 1/6 (log 6/1) + 2/6 log(6/2) + 3/6 log(6/3) = Weighted sum: (9/15)(0.2764) + (6/15)(0.4392) = Gain: = Gain using height: (2/15)(0.301) = Choose height as first splitting attribute

33 C4.5 ID3 favors attributes with large number of divisions Improved version of ID3: Missing Data Continuous Data Pruning Rules GainRatio:

34 CART Create Binary Tree Uses entropy Formula to choose split point, s, for node t: P L,P R probability that a tuple in the training set will be on the left or right side of the tree.

35 CART Example At the start, there are six choices for split point (right branch on equality): P(Gender)=2(6/15)(9/15)(2/15 + 4/15 + 3/15)=0.224 P(1.6) = 0 P(1.7) = 2(2/15)(13/15)(0 + 8/15 + 3/15) = P(1.8) = 2(5/15)(10/15)(4/15 + 6/15 + 3/15) = P(1.9) = 2(9/15)(6/15)(4/15 + 2/15 + 3/15) = P(2.0) = 2(12/15)(3/15)(4/15 + 8/15 + 3/15) = 0.32 Split at 1.8