Introdução ao Data Mining Instituto Nacional de Estatística de Fevereiro de 2009

Transcrição

1 Introdução ao Data Mining Instituto Nacional de Estatística de Fevereiro de 2009 Módulo 2 -Métodos de Data Mining- -Árvores de decisão- -Regressão Linear e Árvores de regressão André Falcão (afalcao@di.fc.ul.pt) Graça Gaspar (gg@di.fc.ul.pt) Sumário Data Mining Componentes do processo Métodos e algoritmos Características Métodos supervisionados e não supervisionados Árvores de decisão para classificação Construção Medidas de impureza Poda Regressão linear Árvores de regressão 2

2 Data Mining Data mining descoberta de informação e padrões em dados (Knowledge Discovery from Data KDD) Métodos Analíticos Métodos Inferênciais (preditivos) Processo de Descoberta de Conhecimento Selecção obtenção de dados de várias fontes Pré-processamento e limpeza Transformação para um formato comum Data mining Ajustamento de Modelos Interpretação e avaliação Sistemas OLTP Data warehouse Data Mining ETL Selecção 3 KDD e DM Knowledge Discovery from Databases (KDD) e Data Mining (DM) Historicamente, eram termos utilizados por comunidades de investigadores distintas, embora com significados próximos DM Estatística, Análise de Dados, Sistemas de Informação KDD Inteligência Artificial, Aprendizagem Simbólica Automática Actualmente, tende-se a adoptar abordagens mais multi-disciplinares e considerar estes termos como sinónimos. Quando é feita alguma diferenciação no seu significado é no sentido de considerar KDD como um processo global mais abrangente, que inclui o processo de DM KDD parte dos dados tal como fornecidos pelo utilizador (inclui o pré-processamento) KDD tem por objectivo a descoberta de conhecimento compreensível e útil (inclui a interpretação de resultados) 4

3 Processo de descoberta de conhecimento Processo normalmente interactivo e iterativo, envolvendo vários passos: preparação dos dados procura de novos padrões/ descoberta de conhecimento avaliação do conhecimento extraído ou descoberto refinamento Avaliação do conhecimento descoberto: validade medida de desempenho da aprendizagem ou de certeza nos resultados utilidade potencial medida de utilidade compreensibilidade 5 Componentes de um sistema de KDD Controlo SGBD/ Datawarehouse S e l e c ç ã o P r é - p r o c e s a m e n t o Data Mining / Aprendizagem Automática Aprendizagem Simbólica Redes Neuronais Análise de Dados Estatística Algoritmos Genéticos A v a l i a ç ã o V i s u a l i z a ç ã o Utilizador Base de conhecimento 6

4 Passos do processo de descoberta de conhecimento extraído de Advances in Knowledge Discovery and Data Mining, U. Fayyad, G Piatetsky-Shapiro e P. Smyth 7 Métodos/Algoritmos de DM Um algoritmo de Data Mining é um procedimento bem definido que recebe dados e produz como resultado um modelo ou padrão Um método (computacional) de Data Mining descreve um procedimento de modo mais abstracto, omitindo detalhes de implementação Para caracterizar um método/algoritmo deve-se definir: O tipo de tarefa de Data Mining a que se destina Classificação, regressão, agrupamento (Clustering), A estrutura do modelo que produz Árvore, modelo linear, hierarquia de grupos, A função de avaliação do modelo com base nas observações Erro de classificação, erro quadrático, O método de procura dos parâmetros ou estruturas Procura heurística local, descida de gradiente, 8

5 Alguns métodos menos comuns Métodos baseados em árvores Usados para tarefas de classificação ou regressão (predição numérica) Procuram bifurcar os dados, recursivamente, em pontos críticos das variáveis determinantes, construindo árvores de decisão Métodos baseados em redes neuronais Usados para tarefas de regressão não linear ou classificação Um vector de p nós de entrada é multiplicado por pesos e os valores resultantes são transformados por uma função não linear para produzir valores para o 1º nível de nós escondidos. E assim sucessivamente até atingir os nós finais de saída. 9 Aprendizagem supervisionada? Aprendizagem supervisionada: Implicitamente há um supervisor/professor que fornece ao algoritmo informação correctamente processada (classificada ou avaliada) Métodos de classificação ou regressão são formas de aprendizagem supervisionada Aprendizagem não supervisionada: A experiência de treino consiste apenas em exemplos, não previamente classificados ou avaliados Métodos de agrupamento (clustering) são formas de aprendizagem não supervisionada. 10

6 Treino e Teste Na aprendizagem supervisionada, para avaliar o desempenho da aprendizagem, testa-se o seu resultado quando aplicado a alguns exemplos para os quais se conhece a classe/valor correcto Exemplos pré-classificados Algoritmo de Aprendizagem Exemplos de treino <x, classe> Exemplos de teste <x, classe> =? Resultado da Aprendizagem (Modelo) <x, classe estimada> 11 INDUÇÃO DE ÁRVORES DE DECISÃO Métodos de classificação que representam o resultado como uma árvore de decisão Função alvo da aprendizagem: função de classificação f: X V = {v 1,..., v n } X conjunto de exemplos V conjunto de classes Entre todas as árvores que classificam bem os exemplos, qual produzir? Viés/Inclinação da aprendizagem (Inductive bias): Pretende-se obter a descrição da função que melhor discrimine entre as classes descrição discriminante Melhor? Preferem-se árvores de menor dimensão 12

7 Exemplo Conjunto de pares <exemplo de treino, classe>: altura nacionalidade estadocivil classe Baixo Alemão Solteiro A Alto Francês Solteiro A Baixo Italiano Solteiro B Alto Alemão Solteiro A Alto Alemão Casado B Alto Italiano Solteiro B Alto Italiano Casado B Baixo Alemão Casado B Árvore de decisão: nacionalidad e italiano francês alemão estadocivil B A solteiro casado A B 13 Estrutura de uma árvore de decisão Uma árvore de decisão é uma árvore que permite determinar a classe a que pertence uma instância a partir de condições/testes sobre os valores de alguns dos seus atributos Nas árvores de decisão simples (univariadas, i.e. nas quais cada teste é relativo a um só atributo): Um nó interno da árvore representa um teste sobre o valor de um atributo A Cada arco a partir de um nó A representa um valor possível do atributo A Um nó folha da árvore de decisão indica uma classe A árvore como procedimento de classificação: A classificação de uma nova instância obtêm-se por travessia da árvore a partir do nó raiz, sendo essa travessia guiada pelos valores da instância a classificar 14

8 Selecção dos atributos - motivação Seleccionar um atributo que minimize a incerteza quanto à classe a indicar Exemplo: atributos: altura, cabelo, olhos V= {+, -} C = <(baixo, louro, azuis), + > <(baixo, preto, azuis), - > <(alto, preto, castanhos), - > <(alto, louro, castanhos), - > <(alto, preto, azuis), - > <(baixo, louro, castanhos), - > <(alto, ruivo, azuis), + > <(alto, louro, azuis), + > C contem 8 exemplos assim distribuídos pelas 2 classes : [3+, 5-] Estrutura de 2 das 3 possíveis árvores alternativas: cabelo altura preto ruivo louro alto baixo baixo, preto, azuis: - alto, preto, castanhos: - alto, preto, azuis: - { alto, ruivo, azuis: + } baixo, louro, azuis: + alto, louro, castanhos: - baixo, louro, castanhos: - alto, louro, azuis: + alto, preto, castanhos: - alto, louro, castanhos: - alto, preto, azuis: - alto, ruivo, azuis: + baixo, louro, azuis: + baixo, preto, azuis: - baixo, louro, castanhos: - alto, louro, azuis: + [0+, 3-] [1+, 0-] [2+, 2-] [2+, 3-] [1+, 2-] 15 Entropia de um conjunto C: conjunto de exemplos de treino Duas classes: + e p + : proporção de exemplos + em C p - : proporção de exemplos em C Entropia(C) = - p + log 2 p + -p - log 2 p - 1 0,9 0,8 0,7 0,6 IE (C ) 0,5 0,4 0,3 0,2 0, ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 p+ 16

9 Cálculo da Entropia, associada a um conjunto de treino cabelo preto ruivo C louro baixo, preto, azuis: - alto, preto, castanhos: - alto, preto, azuis: - { alto, ruivo, azuis: + } baixo, louro, azuis: + alto, louro, castanhos: - baixo, louro, castanhos: - alto, louro, azuis: + [2+, 2-] Entropia([2+, 2-]) = - 2/4* log 2 (2/4) - 2/4* log2 (2/4) = 1/2 + 1/2 = 1 Entropia máxima! 17 Algoritmo ID3 - Critério do maior ganho de informação Ganho de informação resultante de seleccionar um atributo A, face a um conjunto de instâncias de treino C: Considerando: A com valores possíveis a 1,..., a m A partição de C, resultante da escolha de A = { C a1,..., C am } Ganho de informação(c, A) = Entropia (C) Entropia média (partição de C por A) m ganho(c,a) = Entropia(C) prob(a = a j )Entropia(C aj) j= 1 O ganho de informação é a heurística usada pelo ID3 para escolher o atributo a testar num nó de árvore, para o conjunto corrente de exemplos C Critério do maior ganho de informação no ID3: Face a um conjunto de exemplos corrente C, associado a um nó da árvore, selecciona-se para testar nesse nó o atributo A tal que ganho(c,a) é máximo Isto é, o atributo A cuja entropia média da partição de C por A é mínima 18

10 ID3 procura no espaço de hipóteses Espaço de hipóteses considerado: Conjunto de árvores de decisão univariadas Tipo de procura efectuada: De árvores simples para árvores mais complexas Procura sobe-montanhas ( hill-climbing ) com a heurística ganho de informação: Em profundidade (uma única hipótese corrente árvore corrente) Sem retrocesso (extensão possível: post-prunning ) Não garante atingir a melhor solução, i.e. a menor árvore 19 Outras medidas da impureza de um conjunto A Entropia é uma medida da impureza de um conjunto. Um conjunto puro é um conjunto cujos elementos pertencem todos à mesma classe. Outras medidas de impureza têm sido aplicadas, por exemplo: Gini Index (usada na função rpart() do R): n Gini C = prob classe i i= 1 j i Com 2 classes + e apenas: Gini( C) = 2p+ ( 1 p+ ) ( ) ( ) prob ( classe ) Erro de classificação ( C) = 1 max ( prob( classe) ) ErroClass = i 1,..., n i j 20

11 Algoritmos de indução de árvores de decisão Família de algoritmos de aprendizagem TDIDT Top-down Induction of Decision Trees Alguns algoritmos: ID3 (Quinlan 79) CART Classification and Regression Trees (Brieman et al. 84) C4.5 (Quinlan 93) See5 (Quinlan 97)... C4.5 uma extensão do ID3, eliminando algumas das suas restrições: Capacidade de lidar com atributos numéricos Capacidade para lidar com valores em falta Geração de regras a partir da árvore Avaliação do desempenho / poda da árvore 21 C4.5 testes sobre atributos numéricos A construção da árvore, tal como é efectuada pelo ID3, obriga a criar tantos descendentes de um nó A quantos os valores possíveis de A Só permite lidar com atributos de domínio finito Sendo A um atributo com domínio real, o C4.5 considera a hipótese de efectuar testes binários sobre A, com base em diferentes valores limiar z Teste: A > z corresponde a considerar um novo atributo virtual binário Determinação automática do limiar mais adequado: Ordenação dos valores de A que ocorrem no conjunto de exemplos de treino { a 1,..., a k } conjunto finito k-1 limiares possíveis correspondentes aos pontos médios dos intervalos ] a i, a i+1 ] Para cada um dos limiares possíveis z i, cálculo do ganho de informação considerando o teste A > z i e selecção do limiar com maior ganho. 22

12 O espaço de exemplos e as superfícies de decisão Com uma árvore de decisão univariada, as fronteiras entre as superfícies de decisão são paralelas aos eixos A >10 B sim não B >7 B >11 11 A >5 7 5 A C4.5 valores em falta Como construir a árvore partindo de exemplos com valores em falta para um atributo A? Omitir exemplos nestas circunstâncias; Considerar conceptualmente o exemplo subdividido em vários exemplos idênticos, um para cada valor possível de A, com um peso fraccionário associado: Soma das fracções igual a 1; Valor da fracção relativa a a i dado pela frequência relativa do valor a i no conjunto de exemplos corrente Ao avaliar a escolha desse atributo na construção da árvore, cada fracção do exemplo irá descer o ramo correspondente da árvore Dada uma árvore, como classificar uma nova instância com valores em falta? Fracções do exemplo poderão também descer diferentes ramos da árvore. Se forem atingidos nós folha com diferentes classificações, terá que se determinar uma classificação combinada, em função dos pesos fraccionários associados. 24

13 C4.5 -Simplificação das árvores Este método continua a subdividir o conjunto de exemplos corrente até que cada subconjunto na partição seja puro ou nenhum dos testes produza ganho positivo. O resultado pode ser uma árvore muito complexa que está sobre-ajustada (overfitting) aos dados de treino: Classifica idealmente esses dados de treino (com erro 0 ou mínimo), Mas Quando usada para classificar outros dados, produz um erro superior àquele que seria produzido por uma árvore menos complexa É desejável ter formas de: Caracterizar a noção de sobre-ajustamento aos dados de treino Reduzir a sobre-ajustamento aos dados de treino produzida por um certo algoritmo 25 overfitting A noção de sobre-ajustamento aos dados de treino é uma noção geral que se pode definir relativamente a qualquer tipo de modelo induzido a partir de dados (não é específica para modelos representados sob a forma de árvore de decisão). Uma hipótese (de modelo) está sobre-ajustada aos dados de treino se outra hipótese pior adaptada a esses dados (com pior desempenho sobre esses dados de treino) tem melhor desempenho na distribuição global de instâncias. Uma possível medida de desempenho, num modelo de classificação: Taxa de erro na classificação, calculada a partir de um conjunto de exemplos pré-classificados Sobre-adaptação pode ser provocada por: Ruído/incorrecções nos dados de treino Pequeno número ou selecção inadequada dos exemplos de treino 26

14 C4.5 Poda de árvores Possíveis abordagens para reduzir a sobre-adaptação de árvores de decisão: Stopping ou pre-pruning: parar a construção da árvore antes de conseguir a classificação perfeita dos exemplos de treino Determinar a melhor partição a efectuar para o conjunto corrente de exemplos Avaliar essa partição do ponto de vista da significância estatística (teste do χ 2 ), ganho de informação, redução do erro ou Se o valor determinado é inferior a um limiar pré-determinado, a subdivisão da árvore é rejeitada e é considerado um nó folha com a classe maioritária. Post-pruning: podar partes da árvore após a sua construção. Substituição de uma ou mais subárvores por uma folha Reduced-error pruning (Quinlan, 1987) 27 Rpart poda das árvores O algoritmo rpart do R considera uma medida de custocomplexidade (cost-complexity) para efectuar a poda: R α = R + α * dimensão Onde R é uma medida avaliada nas folhas (por exemplo nº de erros de classificação) e R(T), sendo T uma árvore, é a soma dos valores para as folhas em T O parâmetro cp (complexity parameter) é α / R(T0) da árvore raiz T0 28

15 Validação cruzada Técnica geral para avaliar o desempenho de um modelo de classificação Procedimento: Dividir o conjunto de dados em N subconjuntos de igual dimensão (N-fold cross-validation) Construir N modelos (árvores, no caso de algoritmos TDIDT) da forma seguinte: Reservar 1 dos N subconjuntos para dados de teste, construindo a árvore a partir da união dos restantes (N-1) subconjuntos; Assume-se que um modelo assim obtido não difere muito do obtido a partir de todo o conjunto de treino Estimar a taxa de erro pela média das taxas de erro dos N modelos produzidos 29 De árvores a regras É possível traduzir uma árvore de decisão num conjunto de regras de classificação da forma E D Parte esquerda ou antecedente: conjunção de condições atómicas Exemplos: Parte direita ou consequente: inclusão numa classe Nacionalidade(x)=italiano x B Nacionalidade(x)=alemão estadocivil(x)=casado x B Cada regra corresponde a um caminho na árvore da raiz para um nó folha Regras com o mesmo consequente podem ser fundidas desde que se admita a utilização de disjunções no antecedente rule post-pruning: A redução do sobre-ajustamento pode ser realizada por poda de condições no antecedente de uma regra A poda de uma subárvore corresponde a podar várias regras 30

16 Modelos para Regressão Pretende-se aprender a predizer o valor de uma variável (atributo) numérica. Os atributos (ou variáveis) usados como entrada para o algoritmo de aprendizagem dizem-se preditores podendo ser numéricos ou nominais. Questões relevantes: Precisão da predição Importância relativa / interdependência das variáveis preditoras Complexidade dos modelos obtidos 31 Modelos lineares Seja y a variável alvo, ŷ o seu valor aproximado (predito), e x j as variáveis preditoras ŷ é uma combinação linear das variáveis preditoras: p y ) = a 0 + a j x j j = 1 Normalmente tem-se por objectivo que ŷ prediga o valor médio de y para cada vector (x 1,, x p ) Os (p+1) coeficientes a j são chamados coeficientes de regressão. Por conveniência da notação, considera-se uma variável extra x0, cujo valor é sempre 1, permitindo reescrever a equação linear de modo mais simples p y ) = a jx j j= 0 Com uma única variável preditora temos um modelo de regressão simples, representando uma recta de regressão. Com várias variáveis preditoras temos um modelo de regressão múltipla, representando um plano de regressão.

17 Exemplo cycle time main memory cache chanels performance (ns) (Kb) (Kb) MYCT MMIN MMAX CACH CHMIN CHMAX class Modelo linear produzido a partir de conjunto de 209 exemplos de treino: class = MYCT MMIN MMAX CACH CHMIN CHMAX 33 Método de regressão linear Os valores actuais de y no conjunto de treino tipicamente diferem de ŷ Estas diferenças e(i) são chamadas resíduos ou erros: p ) y(i) = y(i) + e(i) = a j x j(i) + e(i) j= 0 Queremos obter valores para os parâmetros a j que minimizem os resíduos: Método dos quadrados mínimos ( least squares ) minimizar 2 n n p 2 e(i) = y(i) a j x j(i) i = 1 i = 1 j = 0 34

18 Árvores para predição numérica Uma estrutura análoga a uma árvore de decisão pode ser usada para problemas de regressão, indicando nos nós folha um valor numérico que é a média dos valores do atributo alvo para todas as instâncias de treino que alcançam esse nó folha. Estas árvores são chamadas árvores de regressão. É possível combinar árvores de regressão com equações de regressão as folhas contêm expressões de regressão lineares em lugar de um único valor numérico. Estas árvores são chamadas árvores de modelos. 35 Árvore de regressão: MMAX <= : CACH <= 8.5 : MMAX <= 6100 : class = 24.3 MMAX > 6100 : class = 43.1 CACH > 8.5 : CHMIN <= 7 : class = 52.1 CHMIN > 7 : class = 104 MMAX > : MMAX <= : CACH <= 27 : class = 80.4 CACH > 27 : class = 128 MMAX > : CHMIN <= 10 : class = 235 CHMIN > 10 : MMAX <= : class = 355 MMAX > : class = 971 Exemplos Árvore de modelos: MMAX <= : CACH <= 8.5 : LM1 CACH > 8.5 : LM2 MMAX > : MMAX <= : LM3 MMAX > : LM4 Modelos nas folhas: LM1: class = MYCT MMAX LM2: class = MMAX CACH CHMIN LM3: class = MYCT MMIN MMAX CACH CHMIN CHMAX LM4: class = MYCT MMAX CACH 36