DCBD. Avaliação de modelos. Métricas para avaliação de desempenho. Avaliação de modelos. Métricas para avaliação de desempenho...

Transcrição

1 DCBD Métricas para avaliação de desempenho Como avaliar o desempenho de um modelo? Métodos para avaliação de desempenho Como obter estimativas confiáveis? Métodos para comparação de modelos Como comparar o desempenho relativo entre modelos diferentes? 2 Métricas para avaliação de desempenho O foco deve estar na capacidade preditiva do modelo E não no tempo que leva para classificar ou criar um modelo, na escalabilidade, etc. Matriz de confusão: Positivo (VP) Positivo (FP) Negativo (FN) Negativo (VN) Métricas para avaliação de desempenho... Métricas mais usadas: Acurácia (mais usada), Erro Acurácia: VP + VN n Positivo (VP) Positivo (FP) Erro: n = VP + VN + FP + FN Negativo (FN) Negativo (VN) FP + FN n 3 4

2 Taxa de VP : (sensibilidade, abrangência) Outras métricas para avaliação de desempenho Taxa de VN (especificidade): VP VP + FN VN VN + FP VP Precisão: 100 % VP + FP VP FP FN VN Limitação da acurácia Considere um problema de 2 classes Número de exemplos da classe 0 = 9990 Número de exemplos da classe 1 = 10 Se o modelo predizer que qualquer amostra é da clsse 0, a acurácia é 9990/10000 = 99,9 % A acurácia é enganosa porque o modelo não detecta nenhum exemplo da classe 1! Solução: levar em consideração custos por classe para erros de classificação 5 6 Matriz de custo Cálculo de custos de classificação C(i j) C( ) C( ) C( ) C( ) C(i j): custo de classificar exemplos da classe j, como sendo da classe i Modelo M1 Matriz de Custo C(i j) Modelo M Acurácia = 80% Custo = 3910 Acurácia = 90% Custo =

3 Métodos para avaliação de modelos Quão preditivo é o modelo aprendido? Erro sobre os dados de treinamento não é um bom indicador de desempenho sobre dados futuros Senão, um classificador por vizinho mais próximo seria o classificador ótimo Solução simples pode ser usada se existirem muitos dados rotulados: Dividir dados em conjuntos de treinamento e de teste Mas: normalmente o número de dados rotulados é limitado São necessárias técnicas mais sofisticadas de avaliação 9 10 Questões sobre avaliação Confiabilidade estatística das diferenças estimadas sobre o desempenho (testes de significância) Escolha de métricas de desempenho: Número de classificações corretas Exatidão das estimativas de probabilidades Erro das previsões numéricas Custos atribuídos a diferentes tipos de erros Muitas aplicações práticas envolvem custos 11 12

4 Treinamento e teste Prevendo desempenho Medida natural de desempenho para problemas de classificação: taxa de erro Sucesso: classe do exemplo é prevista corretamente (S) Erro: classe do exemplo é prevista erradamente (E) Taxa de sucesso: proporção de sucessos obtidos sobre todo o conjunto de exemplos: (S/N) Taxa de erro: proporção de erros feitos sobre todo o conjunto de exemplos: (E/N) Erro de substituição: taxa de erro obtida dos dados de treinamento Erro de substituição é demasiadamente otimista! A confiança na previsão da taxa de sucesso (ou erro) cai com a diminuição do número de exemplos utilizados. Existem fórmulas que calculam o intervalo em que a taxa de erro deve estar, com dada confiança, a partir da taxa de erro estimada com um determinado tamanho de amostra. Exemplo: (f : taxa de sucesso estimada, N: tamanho da amostra, c: confiança na estimativa, p: taxa de erro ) f = 75%, N = 1000, c = 80%: p [0,732, 0,767] f = 75%, N = 100, c = 80%: p [0,691, 0,801] f = 75%, N = 10, c = 80%: p [0,549, 0,881] Treinamento e teste Conjunto de teste: conjunto de exemplos independentes que não foram usados na geração do modelo Suposição: os dados de treinamento e os dados de teste são amostras representativas do problema Arquivos de teste e de treinamento podem ter naturezas diferentes Exemplo: classificadores construídos usando dados de consumidores de duas cidades diferentes A e B Para estimar o desempenho do classificador, gerado com os dados da cidade A, numa cidade diferente, testá-lo com dados de B Nota sobre ajuste de parâmetros É importante que os dados de teste não sejam usados para criar o modelo Alguns esquemas de aprendizagem operam em dois estágios: Estágio 1: constrói a estrutura básica Estágio 2: otimiza os parâmetros da estrutura Os dados de teste não podem ser usados para ajustar parâmetros! Neste caso são precisos três conjuntos: de treinamento, de validação (ou configuração) e de teste. Conjunto de validação é usado para otimizar parâmetros 15 16

5 Tirando o máximo dos dados Após a avaliação, todos os dados podem ser usados para construir o classificador final Geralmente, quanto maior o arquivo de treinamento melhor o classificador Quanto maior o arquivo de teste mais exata será a estimativa de erro Procedimento holdout (retenção): dividir os dados originais em conjuntos de treinamento e de teste Dilema: queremos tanto um grande arquivo de treinamento quanto um grande arquivo de teste Estimação por retenção (holdout) O que fazer se a quantidade de dados é limitada? Método holdout reserva uma certa quantidade dos dados para teste e usa o resto para o treinamento Usualmente 1/3 para teste, o resto para treinamento Mas: as amostras podem não ser representativas Exemplo: pode não haver amostras de uma classe nos dados de teste Versão avançada usa estratificação Assegura que cada classe esteja representada com proporções aproximadamente iguais em ambos os conjuntos Validação cruzada (cross-validation) Validação cruzada evita superposição dos conjuntos de teste Primeiro passo: conjunto de dados é dividido em k subconjuntos de tamanhos iguais Segundo passo: cada subconjunto é usado para teste e os demais para treinamento. O segundo passo é repetido k vezes Esta é a chamada validação cruzada por k vezes Muitas vezes os subconjuntos são estratificados antes de izar a validação cruzada A estimativa de erro global é calculada como a média das k estimativas de erro de cada iteração teste four-fold-cross-validation Conjunto de Exemplos subconj 1 Modelo 1 Modelo 2 Modelo 3 Modelo 4 subconj 1 teste subconj 1 subconj 1 teste subconj 1 teste 19 20

6 Mais sobre validação cruzada Método padrão de avaliação: validação cruzada por dez vezes estratificada Por que dez? Experimentos demonstraram que esta é a melhor escolha para se obter uma estimativa precisa Estratificação reduz a variância da estimativa Melhor ainda: validação cruzada estratificada repetida P. ex. se repete dez vezes a validação cruzada por dez vezes e se calcula a média (reduz variância) Validação cruzada deixando um fora A validação cruzada deixando um fora (leave-one-out c-v): O número de vezes é escolhido como o número de exemplos de treinamento Isto é, deve-se construir n classificadores, onde n é o número de exemplos de treinamento Aproveita ao máximo os dados envolve sub-amostragem aleatória Computacionalmente muito custoso 21 22