Avaliação do Modelo. Avaliação de Modelos. Métricas para avaliação de desempenho. Métricas para avaliação de desempenho 31/05/2017

Transcrição

1 3/05/07 Avalação do Modelo Avalação de Modelos Métrcas para avalação de desempenho Como avalar o desempenho do modelo? Métodos para avalação de desempenho Como obter estmatvas confáves? Métodos para comparação de modelos Como comparar o desempenho relatvo entre dferentes modelos? Métrcas para avalação de desempenho Foco na capacdade de predção do modelo Matrz de confusão Métrcas para avalação de desempenho PREDITA Classe=Sm Class=Não PREDITA Classe=Sm Classe=Não Classe=Sm a b Classe=Não c d a: TP (postvo) b: FN (falso negatvo) c: FP (falso postvo) Classe=Sm Classe=Não d: TN (negatvo) Métrca mas utlzada a (TP) c (FP) b (FN) d (TN) a d TPTN Acuraca a b c d TPTN FP FN

2 3/05/07 Lmtações da Acuraca Matrz de Custos Consdere um problema de classfcar produtos como defetuosos ou não defetuosos Número de exemplos da classe não defetuosos = 9990 Número de exemplos da classe defetuosos = 0 Se o modelo prever todos os produtos como não defetuosos, então sua acuráca é 9990/0000=99.9 % Acuráca pode levar a conclusões equvocadas C( j) PREDITA Classe=Sm Classe=Não Classe=sm C(Sm Sm) C(Não Sm) Classe=não C(Sm Não) C(Não Não) C( j): Custo de classfcar exemplo da classe j como exemplo da classe Computando o Custo de Classfcação Computando o Custo de Classfcação Classe + : Classe com Defeto Classe - : Classe Sem Defeto É muto mas grave classfcar um produto com defeto (+) como sem defeto (-) do que o contráro Matrz de custos PREDITA C( j) Matrz de custos PREDITA C( j) Modelo M PREDITA Acuráca = 80% Custo = Modelo M PREDITA Acuráca = 90% Custo = 455

3 3/05/07 Meddas Sensíves ao Custo Lmtações da Acuraca a p Precson( ) a c a r Recall ( ) a b rp a F - measure ( ) r p a b c Precson da classe c: quando é alta podemos confar bastante que um exemplo classfcado como c é de fato da classe c Recall da classe c: Quando é alta temos que a maora dos exemplos da classe c são classfcados como c F-measure: méda harmônca das duas meddas Consdere o problema de classfcar produtos como defetuosos ou não defetuosos Número de exemplos da classe não defetuosos = 9990 Número de exemplos da classe defetuosos = 0 Se o modelo prever todos os produtos como não defetuosos, então: Recall classe defetuoso: 0 Precson classe defetuoso é ndefndo Avalação do Modelo Métrcas para avalação de desempenho Como avalar o desempenho do modelo? Métodos para avalação de desempenho Como obter estmatvas confáves? Métodos para comparação de modelos Como comparar o desempenho relatvo entre dferentes modelos? Métodos para avalação de desempenho Como obter estmatvas confáves para o desempenho? Desempenho do modelo pode depender de dversos fatores além do algortmo de aprendzado Dstrbução de classes Custo de classfcação equvocada Tamanho dos conjuntos de treno e de testes 3

4 3/05/07 Curva de Aprendzado Mostra como o aprendzado vara com o tamanho do conjunto de treno Necessta de uma esquema de amostragem para crar uma curva de aprendzado: Amostragem Artmétca (Langley, et al) Amostragem geométca (Provost et al) Métodos para avalação de desempenho Holdout Reservar /3 dos regstros para trenamento e /3 para teste Menos nstâncas fcam dsponíves para treno Conjunto de treno pequeno => menor aprendzado Conjunto de teste pequeno => maor a varânca da acuráca estmada Classe super representada no conjunto de treno fca sub representada no conjunto de teste Podemos balancear Métodos para avalação de desempenho Valdação Cruzada Partcone o conjunto de dados em k conjuntos dsjuntos k-fold: trene nas k- partções, teste na remanescente Erro é a soma dos erros para as k execuções Cada nstânca é utlzada o mesmo número de vezes como nstânca de teste e como nstânca para treno Expermentos ndcam que k=0 é um bom número Bastante adequado quando o conjunto dsponível é pequeno Avalação de Modelos Métrcas para avalação de desempenho Como avalar o desempenho do modelo? Métodos para avalação de desempenho Como obter estmatvas confáves? Métodos para comparação de modelos Como comparar o desempenho relatvo entre dferentes modelos? 4

5 3/05/07 Testes Estatístcos Dados dos modelos: Modelo M: acuráca estmada = 85%, testada em 30 nstâncas Modelo M: acuráca estmada = 75%, testado em 5000 nstâncas Podemos dzer que M é melhor que M? Qual a confança que podemos depostar nas acurácas estmadas de M e M? As dferenças de desempenho podem ser explcadas como resultado de flutuações aleatóras no conjunto de dados? Hpóteses Exste uma população de exemplos que queremos aprender a classfcar Conjunto de dados de teste é sorteado unformemente a partr da população de exemplos Predcão pode ser vsta como expermento de Bernoull Uma expermento de Bernoull tem resultados possíves Resultados possíves para predção: correto ou errado Coleção de expermentos de Bernoull tem dstrbução bnomal: x Bn(N, p) x: número de predções corretas; p taxa de sucesso do classfcador N o tamanho do conjunto testado Número esperado de acertos = Np Dado acc=x/n o que podemos dzer a respeto de p (acuráca real do modelo)? 5

6 3/05/07 Para conjuntos de teste (N > 30), acc pode ser bem aproxmada por dstrbução normal com méda p e varanca p(-p)/n P acc p p( p) / N ( Z Z / / Intervalo de confança para p: N acc Z p / Z / ) Z / ( N Z ) Area = - Z / Z - / 4 N acc 4 N acc / Consdere um modelo que produz acuráca (acc) de 80% quando testado em N=00 nstâncas: - Z Seja - = 0.95 (95% confança) Da tabela de probabldades, Z / =.96 N p(mínmo) p(máxmo) Interpretação Intervalo de confança Se o ntervalo de confança de 95% é [0.7,0.86] podemos afrmar que a chance de observar uma acuráca de 80% se a probabldade de sucesso está fora do ntervalo é menor que 5% Comparando o desempenho de modelos Dados os modelos M e M, qual é melhor? M é testado em D (tamanho= n ), taxa erro = e M é testado em D (tamanho= n ), taxa de erro = e Assuma D e D ndependentes Se n e n são grande o sufcente, então e ~ N, e ~ N, e ( e ) ˆ n 6

7 3/05/07 Comparando o desempenho de modelos Para testar se a dferença de desempenho tem sgnfcânca estatístca: d = e e d ~ N(d t, t ) onde d t é a verdadera dfferença Como D e D são ndependentes, temos: ˆ ˆ t Ao nível de confança (-), e ( e ) e( e) n n d d Z ˆ t / t Exemplo Dados: M: n = 30, e = 0.5 M: n = 5000, e = 0.5 d = e e = ( 0.5) 0.5( 0.5) ˆ d Ao nível de confança de 95%, Z / =.96 => Intervalo contem 0 => dferença pode não ter sgnfcanca estatístca d t Interpretação Intervalo de confança Se os modelos tem desempenhos guas, a chance de um expermento gerar a dferença observada de 0. é maor que 5% Logo, nossa confança que um modelo é melhor que outro não é tão grande 7