Extracção de Conhecimento

Transcrição

1 Programa Doutoral em Engenharia Informática Mestrado Integrado em Engenharia Informática LIACC/FEUP Universidade do Porto ec Outubro 2007

2 conceitos básicos

3 Conteúdo Definições e conceitos gerais sobre classificação Árvores de /Decisão Indução de Programas em Lógica Indução de Regras Classificadores de Bayeseanos (Árvores de) Regressão Redes Neuronais Aprendizagem baseada em instâncias (Instance-Based Learning - IBL)

4 Bibliografia Machine Learning, Tom Mitchell McGraw-Hill, 1997 C4.5: programs for machine learning, Ross Quinlan Morgan Kaufmann Publishers, 1993 Inductive Logic Programming: techniques and applications, Nada Lavrač e Sašo Džeroski Ellis-Horwood editors, Relational Data Mining Sašo Džeroski e Nada Lavrač (eds.)

5 O que é Classificar é atribuir a cada objecto uma determinada classe Um classificador mapeia cada objecto que lhe é apresentado numa classe Ao contrário do problema da regressão, que mapeia um objecto num número, as classes são discretas, em número finito e não lhes é atribuída qualquer ordem. Cada classe é representada por um rótulo, o nome da classe.

6 Dado: Os ingredientes conjunto de classes C = {c 1, c 2,..., c n } conjunto de objectos O = {o 1, o 2,..., o m } (m n)... correctamente classificados Objectivo: Ser capaz de classificar um novo objecto f: C O aprendizagem de um conceito (concept learning)

7 Exemplos Determinar se um investimento é de baixo, médio, alto ou muito alto risco (importante a taxa de acerto do classificador accuracy) Determinar se um novo cliente é bom ou não para efeitos de atribuição de um cartão de crédito (importante a taxa de acerto do classificador) Determinar se uma substância é ou não cancerígena (interesse no fundamento da actividade cancerígena) obter um insight do fenómeno

8 Exemplos (cont) Determinar se um indivíduo tem ou não uma doença grave (importante a taxa de acerto do classificador e há uma substancial diferença no custo dos erros) Diagnóstico de uma avaria: qual a peça avariada (importante a taxa de acerto do classificador, valores de atributos podem não existir alguns testes não foram feitos) Determinar se um acesso ao sistema local de computadores é normal ou ilegal (desigualdade significativa na distribuição das classes)

9 Ojectivos Discriminar correctamente amostras apresentadas Classificar correctamente amostras apresentadas futuramente (previsão) Perceber um determinado processo/fenómeno extrair informação/conhecimento útil Automatizar processos (anteriormente feitos manualmente) para Sistemas Periciais (por ex.) Compactar informação (Tabelas de 1 DB vs conjunto de regras ex: sistema KARDIO)

10 Caracterização Os objectos (ou instâncias ou casos) são caracterizados por um conjunto fixo de atributos (ou propriedades) Um dos atributos é especial (a classe) Cada instância tem um valor para cada atributo No caso de haver instâncias que não tenham valores para algum atributo diz-se que existem missing values Em linguagem estatística os atributos são as variáveis independentes e a classe a variável dependente

11 Tipos de Atributos Nominais ou categóricos domínio dos valores é discreto, em geral pequeno e não há ordem entre os valores ex: côr Binários ou booleanos (muito usados em RN) 0 ou 1, verdadeiro ou falso ex: esta a chover binarização dos atributos: atributo nominal atributos binários Ordinais: existe relação de ordem entre os valores ex: dias da semana Numéricos ou contínuos

12 Conversão de Tipos de Atributos Discretização: passar um atributo numérico a nominal temperatura < 10 frio; temperatura > 10 e < 20 ameno; senão quente Binarização dos atributos: se temperatura < 10 então verdadeiro senão falso) verde 00; azul 01; amarelo 10; castanho 11;

13 Erros e faltas (missing values) Atributos não aplicáveis Erros na recolha dos dados Introdução de variáveis a meio da recolha

14 Complicações Amostras mal classificadas (ruído) dados inconsistentes, erros de medição... problema do sobre-ajustamento (over-fitting) aumento desnecessário da complexidade do modelo perda da informação/estrutura essencial pode ser impossível extrair informação útil Grandes quantidades de dados elimina algumas ferramentas utilizáveis só em pequenas qts de dados pode obrigar a um aumento de custos (maior requisitos computacionais na construção do classificador)

15 Complicações (cont) Valores desconhecidos de atributos (missing values) alguns algoritmos não suportam Problema ser originalmente um problema de regressão (classe numérica) Distribuição anormal das classes (distribuição enviesada) ex: Intrusion Detection Systems Elevado número de atributos (dimensionality curse) Linguagem de descrição pobre (ex: faltam atributos )

16 Escolha dos Atributos Atributos a menos pode inviabilizar a construção do classificador Atributos inadequados pode aumentar desnecessariamente a complexidade do calssificador Atributos a mais pode levar ao uso dos atributos errados torna a complexidade de construção do classificador demasiado onerosa Pode tb inviabilizar a construção de um bom classificador (ex: behabioural cloning atributos headding e y)

17 Escolha dos Atributos Algumas técnicas para escolha dos atributos certos : Especialista no domínio do problema faz a selecção Feature (subset) selection usar um wrapper para escolher os mais adequados Constructive Induction: introdução de novos atributos durante o processo de construção do classificador

18 Lidar com grandes Quantidades de dados Redução da Quantidade: Amostragem amostragem estratificada por exemplo Windowing Usando todos os dados: Processamento paralelo, distribuindo os dados

19 Lidar com enviesamento de classes amostrar a classe maioritária aumentar (o peso) dos exemplos mais raros Penalizar fortemente os erros nas classes menos representadas

20 Medidas de qualidade de um classificador Taxa de Erro (Error Rate) (ou Accuracy = 100% - Err) Matriz de Confusão (Confusion Matrix), Tabelas de contingência distribuição dos erros pelas classes Utilização de matrizes de custo no cálculo dos erros Custo = n n i j Erro ij * Custo ij Utilização de matrizes de risco no cálculo dos erros Risco = n n i j Erro ij * Risco ij (erros: peso negativo, acertos: peso positivo) Utilização de funções de utilidade Utilidade = n n i j Erro ij * U(Risco ij ) Cost-Complexity Measures Princípio Minimum Description Length (MDL)

21 avaliação de um classificador MUITO Importante A avaliação de um classificador deve ser efectuada com dados NÃO usados durante a construção do classificador (treino)!! O conjunto de teste é completamente independente do conjunto de treino. Importante A amostra para construção do classificador deve ser representativa da população e escolhida aleatoriemente.

22 Subconjuntos importantes Conjunto de treino (training set) usado na construção do classificador Conjunto de teste (test set) usado na avaliação do classificador Conjunto de simplificação pruning set usado na construção do classificador

23 Estimar o valor do erro de um classificador Train/test (70%/30%) Cross Validation Leave One Out (amostras pequenas) Resampling simples repetindo train/test com diferentes amostras Bootstrap method Amostragem com reposição (amostras pequenas)

24 Simplificação (pruning) de um Classificador Forward pruning: simplificação durante a construção evita acréscimo de partes inúteis Backward pruning: simplificação depois da construção retirar partes que não afectam significativamente o erro

25 Questões extras Combinação de modelos: Boosting; Bagging Com distribuição muito enviesada das classes casos raros/excepcionais replicar os casos raros Regressão tratada como classificação discretização de classes

26 wrapper layered-based architecture

27 wrapper tema e variações Procura guiada da melhor combinação (Simplex, por exemplo) Teste sequencial de uma combinação pré-definida de valores devolvendo a melhor execução distribuída de várias combinações de parâmetros