Classificação - avaliação de resultados - 1. Mineração de Dados 2013

Transcrição

1 Classificação - avaliação de resultados - 1 Mineração de Dados 2013 Luís Rato (Capítulo 4 do livro Introduction to Data Mining ) Universidade de Évora, Mineração de dados / Data Mining 1

2 Desempenho Desempenho taxa de acerto, cobertura, precisão, medida-f,. Objectivo: Usar o desempenho para comparar e escolher o melhor algoritmo Estimar qual a utilidade/impacto de usar mineração de dados Como saber qual o desempenho? Universidade de Évora, Mineração de dados / Data Mining 2

3 Desempenho Como saber qual o desempenho? H1: treinar com todos os dados passados e testar usando os dados reais. Usa o máximo da informação passada, e determina o desempenho real. Dados reais, apenas conhecidos no futuro H2: treinar com todos os dados passados e testar usando todos os dados passados. Teste viciado... É possível ter uma regra Se-Então para cada instância. Não há capacidade de generalização. Quando se usam dados novos o resultado poderá ter desempenho muito baixo. Usa o máximo da informação passada, má definição de desempenho. H3: Separar dados para teste e dados para treino. Diminui os dados de treino... diminui a qualidade do treino. Não vicía o desempenho, mas não usa toda a informação passada. Universidade de Évora, Mineração de dados / Data Mining 3

4 Métodos de estimar o desempenho Holdout Reservar 2/3 para treino e 1/3 para teste Sub amostra aleatória Repetir holdout Validação cruzada Dividir em k subconjuntos (folds) k-fold: treinar com k-1 partes, e testar com a restante Leave-one-out : k=n Amostragem estratificada Sobre ou sub amostragem Bootstrap Amostragem com recolocação Universidade de Évora, Mineração de dados / Data Mining 4

5 Curva de aprendizagem Qual a dimensão da amostra? Como varia o processo de mineração em função da dimensão da amostra? Variação da dimensão da amostra: linear, geométrica. Universidade de Évora, Mineração de dados / Data Mining 5

6 Algumas questões práticas Sub-parameterização e sobre-parameterização (Underfitting and Overfitting) Valores em Falta (Missing Values) Fragmentação de dados Estratégia de procura Expressividade Replicação de árvores Universidade de Évora, Mineração de dados / Data Mining 6

7 Sub e sobre-parameterização Se o modelo é demasiado simples, os erros de treino e teste serão ambos elevados. Universidade de Évora, Mineração de dados / Data Mining 7

8 Sub e sobre-parameterização (Exemplo) 500 pontos - A circ. 500 pontos - B triang. Classe A circular: 0.5 sqrt(x 12 +x 22 ) 1 Classe B triang: sqrt(x 12 +x 22 ) > 0.5 or sqrt(x 12 +x 22 ) < 1 Universidade de Évora, Mineração de dados / Data Mining 8

9 Sobre parameterização devido a ruído Ruído distorçe a fronteira entre classes Universidade de Évora, Mineração de dados / Data Mining 9

10 Sobre parameterização devido a falta de dados Falta de dados de treino conduz a modelo incorreto Universidade de Évora, Mineração de dados / Data Mining 10

11 Sobre-parameterização Produz modelos mais complexos do que o necessário. O erro de treino deixa de ser uma estimativa do desempenho do modelo, quando aplicado a novos dados. Universidade de Évora, Mineração de dados / Data Mining 11

12 Occam s Razor (navalha de occam) Dados dois modelo com igual capacidade de representação dos dados, devemos optar pelo mais simples. Para modelos complexos há mais sensibilidade do modelo à ocorrência de erros. Assim deve incluir-se a complexidade na avaliação de desempenho. Universidade de Évora, Mineração de dados / Data Mining 12

13 Princípio do descritor Mínimo Min Description Length (MDL) X y X 1 1 X 2 0 X 3 0 X 4 1 X n 1 A Custo(Modelo,Dados) = Custo(Dados Modelo) + Custo(Modelo) Custo é o número de bits necessário para codificar os dados Procurar o algoritmo que procura o modelo com o menor custo. B X y X 1? X 2? X 3? X 4? X n? Custo(Dados Modelo) codifica os erros de classificação. No caso de árvores, o custo depende da divisão. Universidade de Évora, Mineração de dados / Data Mining 13

14 Como lidar com a sobre-parameterização(1) Pre-Pruning Parar o algoritmo antes da árvore estar completa Condições de paragem usuais: Parar se todas as intâncias pertecem à mesma classe Parar se todos os atributos de todas as instâncias são iguais Outras condições: Parar se o número de instâncias em cada folha é inferior a k Parar se a classe é estatisticamente independente dos atributos (e.g., usando e.g. teste χ 2 ) Parar se a expansão do nó corrente não melhorar a medida de impureza (e.g., Gini ou ganho de informação). Universidade de Évora, Mineração de dados / Data Mining 14

15 Como lidar com a sobre-parameterização(2) Post-pruning Fazer árvore até ao fim Cortar (podar/prune) os nós de um modo bottom-up O valor da classe duma folha é determinado pela classe maioritária das instância na sub-árvore Pode usar-se MDL para o post-pruning Universidade de Évora, Mineração de dados / Data Mining 15

16 Como lidar com a sobre-parameterização(2) AIC- akaike information criterion 2*( num de param ) +2*(ln ( erro )) Universidade de Évora, Mineração de dados / Data Mining 16

17 Valores em falta Valores em falta afetam a construção duma árvore de vários modos: Afeta as medidas de impureza Afeta a distribuição de instâncias com atributos em falta pelos ramos Afeta como uma instância de teste com valores em falta é classificada Universidade de Évora, Mineração de dados / Data Mining 17

18 Cálculo da impureza... Antes da divisão: Entropy(Parent) = -0.3 log(0.3)-(0.7)log(0.7) = Depois da divisão: Entropy(Refund=Yes) = 0 Entropy(Refund=No) = -(2/6)log(2/6) (4/6)log(4/6) = Class Class = Yes = No Refund=Yes 0 3 Refund=No 2 4 Refund=? 1 0 Entropy(Children) = 0.3 (0) (0.9183) = Gain = 0.9 ( ) = Universidade de Évora, Mineração de dados / Data Mining 18

19 Fragmentação Número de instâncias diminui quando se caminha para as folhas Número de instâncias das folhas podem não ser estatisticamente significativos Universidade de Évora, Mineração de dados / Data Mining 19

20 Procura Árvores ótimas são NP-hard greedy, top-down, partição recursiva... Outras estratégias? Bottom-up Bi-direcional Universidade de Évora, Mineração de dados / Data Mining 20

21 Fronteiras de decisão Universidade de Évora, Mineração de dados / Data Mining 21

22 Fronteiras oblíquas x + y < 1 Class = + Class = Universidade de Évora, Mineração de dados / Data Mining 22

23 Replicação P Q R S 0 Q S A mesma sub-árvore aparece em diversos ramos Universidade de Évora, Mineração de dados / Data Mining 23