Ap A r p e r n e d n i d z i a z ge g m e m Es E t s a t tí t s í t s i t c i a c de d e Dado d s Francisco Carvalho

Transcrição

1 Apredizagem Estatística de Dados Fracisco Carvalho

2 Avaliação e Comparação de Classificadores Existem poucos estudos aalíticos sobre o comportameto de algoritmos de apredizagem. A aálise de classificadores é fudametalmete experimetal. Dimesões de aálise: Taxa de erro Complexidade dos modelos Tempo de apredizagem

3 Avaliação e Comparação de Classificadores Dois Problemas distitos: Dados um algoritmo e um cojuto de dados: Como estimar a taxa de erro do algoritmo esse problema? Dados dois algoritmos e um cojuto de dados: A capacidade de geeralização dos algoritmos é igual?

4 Treiameto e Teste Como medir o desempeho do classificador (modelo)? Medida atural do desempeho do classificador Taxa de erro global Taxa de erro em cada classe Erro o cojuto de treiameto ão é um bom idicador em relação ao que vai ser observado o futuro Solução simples quado os dados são abudates dividir os dados em treiameto e teste

5 Treiameto e Teste Porém: dados (com rótulo) usualmete são raros Ex.: dados sobre falhas em sistemas elétricos os últimos 15 aos Iteresse o desempeho do classificador em dados observados o futuro Erro de re-substituição: erro calculado a partir do cojuto de treiameto Erro de re-substituição é otimista!

6 Treiameto e teste Cojuto de Teste: cojuto de exemplos idepedetes que ão tiveram ehum papel a costrução do classificador Suposição: os cojutos de treiameto e teste são amostras represetativas do problema em questão amostras represetativas do problema em questão Dados de teste e de treiameto podem ser de atureza diferete Exemplo: classificadores costruídos usado-se dados de clietes de duas cidades diferetes A e B Para estimar o desempeho do classificador da cidade A em uma ova cidade, teste-o com os dados de B

7 Ajuste de parâmetro É importate que os dados de teste ão sejam usados de ehuma maeira para costruir o classificador Algus algoritmos de apredizagem operam em dois estágios Estágio 1: costrução da estrutura básica Estágio 2: otimização do ajuste dos parâmetros Procedimeto correto: usar 3 cojutos: treiameto, validação e teste Validação: usado para otimizar os parâmetros

8 Usar ao máximo os dados Uma vez completada a avaliação, todos os dados podem ser usados para costruir o classificador fial Geralmete, quato maior o cojuto de treiameto melhor o classificador Quado maior o cojuto de teste mais exata a estimativa do erro Holdout: divisão dos dados origiais em treiameto e teste Dilema: idealmete deseja-se que ambos, o treiameto e o teste, sejam o maior possível

9 Avaliação Cofiabilidade estatística as difereças de performace estimadas Escolha de medidas de desempeho Número de classificações corretas Erro em previsões uméricas etc Custo atribuído a deferetes tipos de erro Muitas aplicações práticas evolvem custos

10 Estimação potual da taxa de erro (proporção) D { x 1, K, x } amostra de dados (cojuto de teste) X i 1 se a classificação é icorreta. A classificação icorreta com probabilidade p X i 0 se a classificação é icorreta. A classificação correta com probabilidade 1-p X i tem distribuição de beroulli E( X i ) p Var ( X i ) p (1 p ) σ ( ) p (1 p ) σˆ ( ) f (1 f ) X i X i

11 Estimação potual da taxa de erro (proporção) X: úmero de classificações icorretas os padrões X i 1 X i X tem distribuição biomial com parâmetros e p Estimação potual da taxa de erro f X X i E ( f ) E( X ) p i1 X 1 p σ ( f ) p(1 p) 1 p(1 Var( f ) Var( X ) 2 2 p) p(1 p) ˆ( σ f ) f (1 f )

12 Estimação itervalar da taxa de erro (proporção) Teorema Cetral do limite: para suficietemete grade Etão X σˆ µ N(0,1) Z f p f (1 f ) N(0,1) Z

13 Estimação itervalar da da taxa de erro (proporção) Itervalo de cofiaça par p ao ivel de cofiaça de (1-α) P( z z 2) 1 α α / 2 zα / f (1 f ) ; [ f zα / 2 f + zα / 2 f (1 f ) ]

14 Resultados da Estatística V. a. de tipo t-studet tv 1 X s µ Itervalo de cofiaça par µ ao ivel de cofiaça de (1-α) P t t ) 1 α ( α / 2, ν tα / 2, ν [ X tα 2, ν ( s / ); X tα / 2, / ν ]

15 Resultados da Estatística V. a. de tipo t-studet tv 1 f p f (1 f ) Itervalo de cofiaça par p ao ivel de cofiaça de (1-α) P ( α / 2, ν tα / 2, ν t t ) 1 α f (1 f ) ; [ f tα / 2, ν f + tα / 2, ν f (1 f ) ]

16 Estimação Holdout O que fazer se os dados são limitados O método holdout reserva uma certa quatidade para teste e o restate para a apredizagem usalmete, 1/3 para teste e 2/3 para treiameto Problema: a amostra pode ão ser represetativa exemplo: uma classe pode estar ausete o cojuto de teste Amostragem estratificada: as classes são represetadas com aproximadamete a mesma proporção tato o teste como o treiameto

17 Holdout repetido Estimação holdout pode ser realizada com mais cofiaça repetido-se o processo com diferetes subamostras Em cada iteração, uma certa proporção é selecioada aleatoriamete para treio, com ou sem estratificação uma taxa de erro global é calculada pela média das taxas de erro as iterações Esse processo é chamado holdout repetido Problema: os diferetes cojutos de teste ão são mutuamete excludetes

18 Validação cruzada Validação cruzada evita cojutos de teste com iterseção ão vazia os dados são divididos em k cojutos de mesmo cardial cada subcojuto é usado como teste e o restate como treio Isso é chamado de validação cruzada k-fold Os subcojutos podem ser estratificados ates de realizar a validação cruzada A taxa de erro global é a média das taxas de erro calculadas em cada etapa

19 Validação cruzada Método usual: validação cruzada estratificada 10-fold Porque? Evidecias experimetais A estratificação reduz a variâcia da estimativa Melhor aida: validação cruzada estratificada repetida validação cruzada 10-fold repetida 10 vezes

20 Validação cruzada leave-oe-out É uma forma particular de validação cruzada O úmero de folds é o úmero de exemplos o classificador é costruído vezes usa os dados completamete o treio ão evolve sub-amostras aleatórias computacioalmete custoso a estratificação ão é possível

21 Bootstrap Validação cruzada usa amostragem sem repetição Bootstrap é um método de estimação que usa amostragem com reposição para formar o cojuto de treiameto Retira-se uma amostra aleatória de tamaho de um cojuto de exemplos com reposição Essa amostra é usada para o treiameto os exemplos dos dados origiais que ão estão o cojuto de treio são usados como teste É a melhor maeira quado o cojuto de dados é pequeo

22 0.632 Bootstrap Probabilidade de um exemplo ser selecioado: 1/ Probabilidade de um exemplo ão ser selecioado: 1 1/ Probabilidade de um exemplo ão ser selecioado em repetições: 1 1 e Cojuto de teste: 36.8% dos exemplos Cojuto de apredizagem: 63.2 % dos exemplos (embora o cojuto de treiameto seja de tamaho )

23 0.632 Bootstrap Estimativa pessimista da taxa de erro O cojuto de treiameto de tamaho só cotem 63.2% dos exemplos Na validação cruzada 10-fold, o cojuto de treiameto cotem 90% dos exemplos Combiar a estimativa da taxa de erro o cojuto de teste (pessimista) com a estimativa o cojuto de apredizado (otimista) Taxa de erro Taxa de erro (teste) Taxa de erro (apredizagem) Repetir todo o processo e calcular a média da taxa de erro

24 Comparação de Classificadores Situação frequete: deseja-se saber etre dois classificadores, qual o de melhor desempeho Ateção: isso depede do domíio Maeira óbvia: comparar as estimativas obtidas através de VC 10-fold (repetida ou ão) Problema: variâcia das estimativas

25 Testes de hipóteses Um teste de hipótese é um guia em relação a cofiaça com que assumimos que realmete existe uma difereça de desempeho Hipótese ula: ão há difereça Hipótese alterativa: há difereça Um teste mede a evidecia que existe em favor da rejeição da hipótese ula

26 Qual o melhor algoritmo para um problema? Dados dois algoritmos e um cojuto de dados, que algoritmo utilizar? Que algoritmo tem meor erro a população? Estimar o erro dos dois algoritmos Usado uma estratégia de amostragem Para cada algoritmo é estimado um erro São os dois erros estatisticamete diferetes? Exemplo Usado 10-validação cruzada:

27 Teste de Hipóteses Hipótese ula: Ambos os algoritmos têm a mesma performace Como verificar a hipótese ula? paired tests são mais apropriados. Elimiar a variabilidade devida a fatores exteros Ambos os algoritmos devem: Apreder os mesmos cojutos de treiameto Os modelos devem ser avaliados os mesmos cojutos de teste Teste para 2 caudas X >> Y ou Y >> X

28 Studet paired t-test Para decidir se duas médias são estatisticamete diferetes: Calcular d i x i y i Calcular d t 2 σ d / k Escolher um ível de cofiaça Usual 5% ou 1% Usar a tabela da distribuição de t para calculo de z k-1 graus de liberdade Se t > z ou t < -z etão as médias são sigificativamete diferetes Para o ível de cofiaça escolhido.

29 Exemplo

30 Amostras idepedetes Em um esquema foi usado uma VC k-fold e o outro uma VC j-fold Deve-se usar um teste-t para amostras ão pareadas com mi(k,j)-1 graus de liberdade a estatística agora é t m x s k 2 x m + s y 2 y j

31 Critica A utilização de t-testes ão é pacífica. Elevada probabilidade de sugerir difereças ode elas ão existem (erro de Tipo I) Problemas: Na validação cruzada: Os cojutos de treiameto ão são idepedetes. Assume a distribuição ormal Algus autores sugerem: Wilcoxo matched-pairs siged-raks test

32 A matriz cofusão : Matriz de Cofusão Predicted class Yes No Classe Yes True False Atual positive egative No False True positive egative

33 Predicted class Yes No Classe Yes True False Atual positive egative No False True positive egative Erro FN + FP TN + TP Acuracia TP + FP + TN + FN TP + FP + TN + FN Sesitivity (Recall, True Positive Rate - TPR) Sesitivity TP P TP TP + FN Especifity ( True Negative Rate -TNR) Specifity TN N TN TN + FP

34 Predicted class Yes No Classe Yes True False Atual positive egative No False True positive egative False Positive Rate: False Negative Rate: FP FP FPR 1 Specifity N TN + FP FN FN FNR 1 P TP + FN Sesitivity Positive Predictive Value - PPV (Precisio) PPV TP TP + FP Negative Predictive Value - NPV NPV TN TN + FN

35 False Discovery Rate: Predicted class Yes No Classe Yes True False Atual positive egative No False True positive egative FP FDR 1 PPV TP + FP FN??????????????????? 1 NPV TN + FN F-measure F 2 precisio ( PPV ) recall( sesitivity) precisio + recall