Mineração de Dados - Introdução. Elaine Ribeiro de Faria UFU 2018

Transcrição

1 Mineração de Dados - Introdução Elaine Ribeiro de Faria UFU

2 Mineração de Dados Processo de automaticamente descobrir informação útil em grandes repositórios de dados Tan P., SteinBack M. e Kumar V. Introduction to Data Mining, Pearson, 2006

3 Mineração de Dados Motivação Grandes quantidades de dados geradas Dados de alta dimensionalidade Dados heterogêneos e complexos Dados distribuídos Análise não tradicional

4 Mineração de Dados Exemplos de aplicação Negócios Padrões de compra/ligações Marketing Logs da Web Melhor design de sites Detecção de fraude Agrupamento de clientes Bioinformática Genes importantes Sintomas associados a doenças

5 Mineração de Dados e Aprendizado de Máquina Figura retirada dos slides do Prof. Ricardo Campello ICMC-USP

6 Descoberta do conhecimento em bases de dados - KDD Fayyad U. et al. Knowledge Discovery and Data Mining: Towards a Unfiying Framework, KDD 96, 1996

7 Mineração de Dados Tarefas de mineração Tarefas Preditivas Classificação Regressão Detecção de Anomalias Tarefas Descritivas Agrupamento Descoberta de Regras de Associação Descoberta de Padrões Sequenciais

8 Qual a diferença entre agrupamento e classificação Agrupamento Aprendizado não-supervisionado sem rótulo Classificação Aprendizado supervisionado usa os rótulos

9 Classificação Atribuir objetos a uma dentre várias categorias prédefinidas Ex.: Classificação de letras e números Reconhecimento de faces Análise de crédito Diagnóstico médico 9

10 Classificação Dado um conjunto de registros (conjunto de treinamento ) Cada registro contém um conjunto de atributos, sendo que um dos atributos é a classe. Encontrar um modelo para o atributo classe como uma função dos valores dos outros atributos. Objetivo: a partir de registros não vistos previamente associar uma classe com base nomodelo. Um conjunto de teste é usado para determinar a acurácia do modelo. Usualmente, o conjunto de dados é divido em treino e teste, sendo que o treino é usado para construir o modelo e o teste para validálo. Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining 10

11 Exemplo de Classificação Nome Idade Renda Pagador João <30 Média Bom Ana Alta Bom Pedro Alta Bom Maria Baixa Ruim Paulo <30 Baixa Ruim Aldo >60 Alta Ruim Base de Dados Treinamento Construção de um Modelo de Decisão Algoritmo Se idade = e Renda = Alta então Pagador = Bom Se renda = baixa então Pagador = Ruim Modelo

12 Exemplo de Classificação Nome Idade Renda Pagador Ivo Baixa???? Se idade = e Renda = Alta então Pagador = Bom Se renda = baixa então Pagador = Ruim Ruim Novo Dado Classificador Classificação

13 10 10 Exemplo de Classificação Tid Refund Marital Status Taxable Income Cheat class Refund Marital Status Taxable Income Cheat 1 Yes Single 125K No No Single 75K? 2 No Married 100K No Yes Married 50K? 3 No Single 70K No No Married 150K? 4 Yes Married 120K No Yes Divorced 90K? 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No No Single 40K? No Married 80K? Conjunto de Teste 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes Conjunto de Treino Construir Classificador Modelo Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining 13

14 Agrupamento Dado um conjunto de registros, cada um deles contendo um conjunto de atributos, e uma medida de similaridade entre eles, encontrar grupos tais que Registros em um cluster são mais similares uns aos outros. Registros em clusters distintos são menos similares uns aos outros. Medidas de similaridade: Distância Euclidiana se os atributos são contínuos. Medidas específicas para outros problemas. Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining 14

15 Agrupamento xdistância Euclidiana baseada em um agrupamento no espaço 3D. Distâncias intraclusters são minimizadas Distâncias interclusters são maximizadas Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining 15

16 Exemplo de Agrupamento Nome Idade Peso João Ana Pedro Maria Aplicação de uma técnica agrupamento João Maria Paulo Paulo Aldo Ana Pedro Aldo

17 Regressão Predizer um valor de uma dada variável de valor contínuo baseado no valor dos outros atributos Muito estudado em estatística e redes neurais. Exemplos: Predizer a quantidade de vendas de um novo produto baseado nas despesas com publicidade Predizer a velocidade do vento como uma função da temperatura, umidade e pressão do ar, etc. Predição de séries temporais dos índices do mercado de ações 17

18 Entendo melhor a tarefa de classificação 18

19 Classificação Binária Mais comum Dados podem pertencer a uma dentre 2 classes Classe positiva Classe negativa 19

20 Classificação Avançada Classificação com uma única classe Detecção de Novidades Data Streams Classificação Multiclasses Classificação Hierárquica Classificação Multi-rótulo Classificação com Ranking Classificação com múltiplas instâncias 20

21 Técnicas de classificação Exemplos de técnicas de classificação K-vizinhos mais próximos Árvores de Decisão Métodos basedos em regras Redes Neurais Naive Bayes Support Vector Machines (SVM) 21

22 K-vizinhos mais próximos Aprendizado baseado em instância Classifica de acordo com distância aos vizinhos Simples Armazenamento de dados (não há modelo explícito) 22

23 K-vizinhos mais próximos Para cada novo exemplo Definir a classe dos k exemplos mais próximos Classificar exemplo na classe majoritária de seus vizinhos 23

24 K-vizinhos mais próximos Quantos vizinhos K muito grande Vizinhos podem ser muito diferentes Predição tendenciosa para classe majoritária Custo computacional mais elevado K muito pequeno Não usa informação suficiente Previsão pode ser instável Distâncias podem ser ponderadas 24

25 10 Árvore de Decisão - Exemplo categorical Tid Refund Marital Status categorical Taxable Income continuous Cheat class Splitting Attributes 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No 8 No Single 85K Yes Refund Yes No NO MarSt Single, Divorced TaxInc < 80K > 80K NO 9 No Married 75K No 10 No Single 90K Yes NO YES Model: Decision Tree Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining 25

26 10 Árvore de Decisão - Exemplo Tid Refund Marital Status Taxable Income 1 Yes Single 125K No 2 No Married 100K No Cheat class Married NO MarSt Yes Single, Divorced Refund No 3 No Single 70K No NO TaxInc 4 Yes Married 120K No < 80K > 80K 5 No Divorced 95K Yes 6 No Married 60K No NO YES 7 Yes Divorced 220K No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes There could be more than one tree that fits the same data! Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining 26

27 Tarefa de classificação usando árvores de decisão Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining 27

28 10 Apply Model to Test Data Start from the root of tree. Test Data Refund Marital Status Taxable Income Cheat Yes Refund No No Married 80K? NO Single, Divorced MarSt Married TaxInc < 80K > 80K NO NO YES Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining

29 10 Apply Model to Test Data Test Data Refund Marital Status Taxable Income Cheat Yes Refund No No Married 80K? NO MarSt Single, Divorced Married TaxInc NO < 80K > 80K NO YES Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining

30 10 Apply Model to Test Data Test Data Refund Marital Status Taxable Income Cheat Yes Refund No No Married 80K? NO MarSt Single, Divorced Married TaxInc NO < 80K > 80K NO YES Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining

31 10 Apply Model to Test Data Test Data Refund Marital Status Taxable Income Cheat Yes Refund No No Married 80K? NO MarSt Single, Divorced Married TaxInc NO < 80K > 80K NO YES Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining

32 10 Apply Model to Test Data Test Data Refund Marital Status Taxable Income Cheat Yes Refund No No Married 80K? NO Single, Divorced MarSt Married TaxInc < 80K > 80K NO NO YES Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining

33 10 Apply Model to Test Data Test Data Refund Marital Status Taxable Income Cheat Refund No Married 80K? Yes No NO Single, Divorced MarSt Married Assign Cheat to No TaxInc NO < 80K > 80K NO YES Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining

34 General Structure of Hunt s Algorithm Let D t be the set of training records that reach a node t General Procedure: If D t contains records that belong the same class y t, then t is a leaf node labeled as y t If D t is an empty set, then t is a leaf node labeled by the default class, y d If D t contains records that belong to more than one class, use an attribute test to split the data into smaller subsets. Recursively apply the procedure to each subset.? D t Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining

35 10 Hunt s Algorithm Tid Refund Marital Status Taxable Income 1 Yes Single 125K No Cheat Don t Cheat Yes Don t Cheat Refund No Don t Cheat 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No Yes Refund No Yes Refund No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes Don t Cheat Single, Divorced Cheat Marital Status Married Don t Cheat Don t Cheat Single, Divorced Taxable Income Marital Status Married Don t Cheat < 80K >= 80K Don t Cheat Cheat Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining

36 Indução da árvore Estratégia Gulos Dividir os registros basead em um atributo teste que otimiza um certo critério. Questões Determinar como dividir os registros Como escolher o atributo de teste Como determinar a melhor divisão? Determinar quando parar a divisão Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining

37 Como especificar uma condição de teste Depende do tipo do atributo Nominal Ordinal Contínuo Depende do número de modos de dividir 2 divisões Mais que 2 divisões Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining

38 Como determinar a melhor divisão Proposta gulosa: Nós com distribuição de classe homogênea são prefereidos Medida de impureza de um nó: Não-homogêneo, Alto nível de impureza Homogêneo, Baixo nível de impureza Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining

39 Medidas de Impureza de um nó Índice de Gini Entropia Erro de classificação Retirado de: Tan, Steinbach, Kumar - Introduction to Data Mining

40 Entendo melhor a tarefa de agrupamento 40

41 Agrupamento - definições Análise de grupos ou clusters é o estudo de algoritmos e métodos para agrupar objetos de acordo com suas características. Cluster (grupo) é uma aglomeração de pontos no espaço tal que a distância entre quaisquer dois pontos no cluster é menor que a distância entre qualquer ponto no cluster e qualquer ponto que não está nele. Jain, A. K.; Dubes, R. C. Algorithms for Clustering Data, Prentice Hall, 1988.

42 Agrupamento Figura retirada dos slides do prof. André C. P. L. F. Carvalho disciplina Aprendizado de Máquina ICMC-USP

43 Agrupamento - questões O que é um grupo ideal? Quantos grupos devem ser formados? Há um agrupamento natural dos dados? Como podemos definir o que é semelhante?

44 Agrupamento Quantos grupos? Tan P., SteinBack M. e Kumar V. Introduction to Data Mining, Pearson, 2006

45 Agrupamento Quantos grupos? Tan P., SteinBack M. e Kumar V. Introduction to Data Mining, Pearson, 2006

46 Agrupamento Quantos grupos? Tan P., SteinBack M. e Kumar V. Introduction to Data Mining, Pearson, 2006

47 Agrupamento Quantos grupos? Tan P., SteinBack M. e Kumar V. Introduction to Data Mining, Pearson, 2006

48 Agrupamento Como agrupar os objetos?? Alguns dos possíveis agrupamento Keogh, E. A g. Introduction to Machine Learning and Data Mining for the Database Community, SBBD 2003, Manaus.

49 Agrupamento - questões Dados de entrada Agrupamento desejado JAIN, A. K Data Clustering: 50 Years Beyond K-Means, Pattern Recognition Letters, vol. 31, n 8, 2010.

50 Agrupamento Semelhança entre objetos Keogh, E. A g. Introduction to Machine Learning and Data Mining for the Database Community, SBBD 2003, Manaus.

51 Tipos de Agrupamento Seja X = {x 1, x 2,..., x n } o conjunto de todos os dados Tarefa: colocar cada Xi em um dos m clusters C 1, C 2,..., C m Clusters podem ser de dois tipos: Tipo 1: duro (crisp) Tipo 2: fuzzy

52 Tipos de Agrupamento Cluster Crisp Cada exemplo X i pertence ou não a cada cluster C j Exemplo em C i é mais semelhante a outros em C i que àqueles em C j, i j

53 Tipos de Agrupamento Cluster Fuzzy Usa uma função de pertinência para definir o quanto um elemento pertence a um grupo

54 Diferentes Tipos de Agrupamento Agrupamento Particional Divisão do conjunto de dados em grupos (não sobrepostos) tal que cada objeto está em exatamente um grupo X Agrupamento Hierárquico Conjunto de grupos aninhados que estão organizados como uma árvore Cada nó (grupo) na árvore (exceto as folhas) é a união de dos seus filhos (subgrupos) A raiz contém todos os objetos da base

55 Diferentes Tipos de Agrupamento Keogh, E. A g. Introduction to Machine Learning and Data Mining for the Database Community, SBBD 2003, Manaus.

56 Diferentes Tipos de Agrupamento Exclusivo Associa cada objeto a um único cluster X Sobreposição (não exclusivo) Um objeto pode pertencer simultaneamente a mais que um grupo X Fuzzy Cada objeto pertence a cada grupo com um grau de pertinência entre 0 e 1

57 Diferentes Tipos de Agrupamento Completo Associa cada objeto a um cluster Parcial X Não associa cada objeto a um cluster Motivação: alguns objetos no conjunto de dados podem não pertencer a grupos bem definidos Ex: ruídos ou outliers

58 Algoritmos Particionais Características São baseados na minimização de uma função de custo Objetos agrupados em um número K de grupos Cada objeto é agrupado no grupo que minimiza a função de custo Uma única partição é obtida Vantagem Um objeto pode mudar de grupo ao longo do agrupamento

59 k-means Selecione K objetos como centróides Repita Forme K grupos associando cada objeto ao seu centróide mais próximo Recalcule os centróides de cada grupo Até que Convergência seja obtida

60 k-means Videos no youtube sobre K-Means KX4 e3e

61 k-means Centróides iniciais Ex de Técnica: Escolher aleatoriamente objetos do conjunto de dados Associar um objeto ao seu grupo mais próximo Usar uma medida de proximidade que quantifica a noção de mais próximo Ex: usar distância Euclidiana

62 k-means Critérios de Convergência Número máximo de iterações é obtido Limiar mínimo de mudanças nos centróides

63 k-means Função Objetivo Objetivo do agrupamento Minimizar a distância quadrada de cada objeto ao seu centróide mais próximo J k c 1 x j C d( x c j, x c 2 ) d: distância Euclidiana

64 k-means Limitações Escolha do valor de K Problemas quando os grupos têm Diferentes densidades Formatos não hiper-esféricos Problemas quando os dados possuem outliers

65 Agrupamento Após realizar o agrupamento o problema acabou? Não, agora é preciso interpretar os resultados obtidos!!!! Analisar e avaliar o agrupamento!

66 Tarefa Sugestão de leitura Tan P., SteinBack M. e Kumar V. Introduction to Data Mining, Pearson Leitura dos Capítulo 1, 3, 4, 7 e 8

67 FIM Dúvidas?? 67