Aula 9. Prof. Adilson Gonzaga

Transcrição

1 Aula 9 Prof. Adilson Gonzaga

2 Mapeamento Atribuir uma Instância a uma classe. Cada Instância é mapeada para um elemento do conjunto de Rótulos de Classe {p,n} p positivo n negativo

3 Atribui uma Instância a uma classe.

4 Classificador Discreto Atribui a classe diretamente. Classificador Contínuo Atribui uma probabilidade do elemento ser membro de uma Classe. Um Threshold determina a Classe.

5 Saída: Positivo O classificador classifica a amostra como pertencente à classe. Saída: Negativo O classificador classifica a amostra como não pertencente à classe.

6 VP(TP) VERDADEIRO POSITIVO (TruePositive, Hit) O elemento de entrada é Genuíno (Positivo) e o Classificador o classifica como Positivo. VN (TN) VERDADEIRO NEGATIVO (True Negative, Correct Rejection) O elemento de entrada é Impostor (Negativo) e o Classificador o classifica como Negativo. FP FALSO POSITIVO (FalsePositive, FalseAlarm, TypeI error) O elemento de entrada é Impostor (Negativo) e o Classificador o classifica como Positivo. FN FALSO NEGATIVO (FalseNegative, TypeII error) O elemento de entrada é Genuíno (Positivo) e o classificador o classifica como Negativo.

7 TG Total de Genuínos (Total de elementos de uma classe) TI Total de Impostores TSP Total de Saídas Positivas TSN Total de Saídas Negativas TCC Total de Classificações Corretas TCI Total de Classificações Incorretas TS Total de Saídas. Total de elementos classificados

8 SENSIBILIDADE: Proporção de Verdadeiros Positivos classificados corretamente como Genuínos (True Positive Rate -TPR, Hit Rate, Recall). Proporção de Genuínos de uma classe que foram classificados como Genuínos.

9 RAZÃO DE FALSOS POSITIVOS: Proporção de Falsos Positivos classificados relativamente ao Total de Impostores Existentes (False Positive Rate - FPR, False AlarmRate, Fall-out). Proporção de Impostores erroneamente classificados como Genuínos.

10 RAZÃO DE FALSOS NEGATIVOS: Proporção de Falsos Negativos classificados relativamente ao Total de Genuínos Existentes( FalseNegativeRate - FNR). Proporção de amostras Genuínas erroneamente classificadas como Impostoras.

11 ESPECIFICIDADE: Proporção de Verdadeiros Negativos classificados corretamente como Impostores (True Negative Rate - TNR) Proporção de Impostores que foram classificados como Impostores.

12 VALOR PREVISTO DA SAÍDA POSITIVA (PRECISÃO): Proporção de Verdadeiros Positivos classificados. VALOR PREVISTO DA SAÍDA NEGATIVA: Proporção de Verdadeiros Negativos classificados.

13 ACURÁCIA (EXATIDÃO): Proporção de Classificações Corretas para o total de elementos classificados (Genuínos e Impostores). ERRO: Proporção de Classificações Incorretas para o total de elementos (Genuínos e Impostores). Err= 1 -A

14 O conjunto A é uma classe, ou melhor, o Total de Genuínos TG = 4 O conjunto D é o conjunto dos Impostores, ou seja, o Total de Impostores TI = 4 O conjunto B é o conjunto de elementos mais semelhantes retornados pelo classificador, ou seja, O Total de Saídas Positivas TSP=3

15

16 Se o Classificador tiver um alto valor para Falsos Negativos (FN), ele não classifica corretamente quem deveria ser classificado, ou seja, sua SENSIBILIDADE é baixa. Se o Classificador tiver um alto valor de Falsos Positivos (FP), ele classifica elementos que não deveriam ser classificados, ou seja, sua ESPECIFICIDADE e sua PRECISÃO são baixas.

17 Avaliação de Classificadores

18 ROC (Receiver Operating Characteristics) é uma técnica para visualizar, organizar e selecionar classificadores baseado em seus desempenhos. Teoria de Detecção de Sinais Visualisaçãoe Análise do comportamento em sistemas de auxílio ao diagnóstico. Avaliação e comparação de Algoritmos.

19 Expressa a relação entre Benefício (TP) e Custo (FP) de um Classificador. Um Classificador Discreto gera como saída apenas um Rótulo de Classe dado pelo par (FPR,TPR) (FalsePositive Rate, True Positive Rate) (0,1) Classificador perfeito. Nenhum Falso Positivo e todos os Verdadeiros Positivos são classificados. (x,0) Pior caso O classificador não apresenta nenhum Verdadeiro Positivo. Em (0,0) o classificador não apresenta nenhuma saída...

20 Classificador Liberal: Boa classificação de Verdadeiros Positivos, mas, com muitos Falsos Positivos. Classificador Conservador: Boa classificação de Verdadeiros Positivos e com poucos Falsos Positivos. Classificador Aleatório (RandomGuessing) : Apresenta resultados sobre a Diagonal do Espaço ROC (Na figura, o Classificador B). Não tem nenhuma informação sobre a Classe. O Classificador não discrimina as Classes. Classificador Invertido: Apresenta resultados abaixo da Diagonal do Espaço ROC (Classificador C). Contém informação sobre a Classe, mas de forma errada. Se a saída for Negada, o ponto passa para a metade superior do Espaço ROC (Classificador C ).

21 Quanto menor for o threshold mais elementos são classificados como Genuínos, o Classificador é mais tolerante ou Liberal. Quanto maior for o threshold menos elementos são classificados como Genuínos, o Classificador é mais rígido ou Conservador.

22 Variando-se o raio r q (threshold) classificam-se como mais semelhantes (Classificados como Genuínos TP + FP) ao elemento O q os Elementos mais próximos a O q, ou seja, os que estão dentro do círculo definido pelo raio r q. Quanto maior for o raio (menor é o threshold), mais elementos são classificados como Genuínos, o Classificador é mais tolerante ou Liberal. Quanto menor for o raio (maior é o threshold), menos elementos são classificados como Genuínos, o Classificador é mais rígido ou Conservador.

23 1) Se o Classificador não consegue discriminar entre Impostores e Genuínos, qualquer ponto cai sobre a diagonal da Curva ROC (Random Guessing).

24 2) Quanto mais discriminante é o Classificador, mais afastadas são as distribuições e a Curva ROC afasta-se da diagonal.

25 3) Para cada threshold, calcula-se a quantidade de Verdadeiros Positivos (TP), Falsos Positivos (FP), Verdadeiros Negativos (TN) e Falsos Negativos (FN). Calcula-se a TPR (TruePositive Rate) e a FPR (False Positive Rate) e constrói-se a Curva ROC.

26 O cálculo da área sob a curva ROC (AUC) permite comparar classificadores. O pior caso é AUC=0,5 para o Classificador Aleatório (RandomGuessing). Quanto melhor o classificador AUC 1.

27 A área de Biometria costuma gerar a curva ROC considerando a Taxa de Falsa Aceitação (FalseAccepting Rate - FAR) versus a Taxa de Falsa Rejeição (FalseRejectionRate - FRR) de um sistema Biométrico. A Taxa de Falsa Aceitação (FAR) ou FalseMatch Rate (FMR) é a Razão de Falsos Positivos (FPR), ou melhor, a Probabilidade de ocorrência de Erro do Tipo I. Erro do Tipo I é o Erro de Falsos Positivos, ou melhor, é o erro por excesso de Credulidade. FAR=FMR=FPR É a probabilidade do classificador aceitar Impostores como se fossem Genuínos.

28 A Taxa de Falsa Rejeição (FRR) ou FalseNon-Match Rate (FNMR) é a Razão de Falsos Negativos, ou melhor, a Probabilidade de ocorrência de Erro do Tipo II. Erro do Tipo II é o Erro de Falsos Negativos, ou melhor, é o erro por excesso de Ceticismo. FRR=FNMR=FNR É a probabilidade do classificador rejeitar Genuínos como se fossem Impostores.

29 EER = Equal ErrorRate denota o valor do threshold onde FNMR=FMR, ou seja, a quantidade de Falsos Positivos é igual à de Falsos Negativos (FPR=FNR). Quanto menor for EER, ou seja, mais próximo da origem estará a curva ROC, melhor será o classificador Biométrico.

30

31 Os K elementos mais semelhantes ao elemento O q, são classificados como Genuínos (TP + FP). Variando-se o valor de K (threshold), controla-se o número de Genuínos classificados. Quanto menor o valor de K (maior threshold) mais rígido, ou Conservador, é o classificador e quanto maior é o valor de K, mais elementos são classificados como Genuínos (menor é o threshold) e o classificador é dito mais tolerante ou Liberal.

32 Avaliação de classificadores baseado na Relevância.

33 A Uma Classe de Elementos. (Genuínos) Verdadeiros Negativos D B K-NN K elementos mais similares. (Total de Saídas Positivas)

34 Recall: Probabilidade de uma Amostra relevante ser recuperada. recall = A B TP = A TP + FN precision = A B B = TP TP + FP Precision: Probabilidade de uma Amostra recuperada ser relevante

35 Seja A = a classe de Elementos representada pelas imagens: Figura 1 Figura 2 Figura 3 Figura 4 A E o conjunto de Imagens da Base = 8 Elementos

36 Seja a imagem a ser classificada (Imagem de busca) a Figura 1: Para K=1, ou seja, a 1ª imagem mais similar à Figura 1, retornada é: B

37 Para K=1, o classificador retornou uma imagem mais similar (conjunto B): recall A B TP TP + FN 1 4 ( 1 ) = = = = 0, 25 A precision A B TP TP + FP 1 1 ( 1 ) = = = = 1 B

38 Para K=2, o classificador retornou duas imagens mais similares (conjunto B): recall A B TP TP + FN ( 2 ) = = = = 0, 50 A 2 4 precision A B TP TP + FP 2 2 ( 2 ) = = = = 1 B

39 Para K=3, o classificador retornou três imagens mais similares (conjunto B): recall A B TP TP + FN ( 3 ) = = = = 0, 50 A 2 4 precision A B TP TP + FP ( 3 ) = = = = 0, 67 B 2 3

40 Para K= 4, o classificador retornou quatro imagens mais similares (conjunto B): recall A B TP TP + FN ( 4 ) = = = = 0, 75 A 3 4 precision A B TP TP + FP ( 4 ) = = = = 0, 75 B 3 4

41 Busca K=1 K=2 K=3 K=4 Recall Precision Recall Precision Recall Precision Recall Precision Fig. 1 0,25 1,00 0,50 1,00 0,50 0,67 0,75 0,75 Fig. 2 0,25 1,00 0,50 1,00 0,75 1,00 1,00 1,00 Fig. 3 0,25 1,00 0,50 1,00 0,75 1,00 0,75 0,75 Fig. 4 0,25 1,00 0,50 1,00 0,50 0,67 0,75 0,75 Fig. 5 0,25 1,00 0,50 1,00 0,75 1,00 1,00 1,00 Fig. 6 0,25 1,00 0,50 1,00 0,75 1,00 0,75 0,75 Fig. 7 0,25 1,00 0,25 0,50 0,50 0,67 0,75 0,75 Fig. 8 0,25 1,00 0,50 1,00 0,50 0,67 0,75 0,75 Média 0,25 1,00 0,47 0,94 0,62 0,83 0,82 0,82

42 Quanto mais próximo do topo do gráfico, melhor é o desempenho do classificador. precision Gráfico Recall x Precision Histograma - banco faces recall Para se comparar dois gráficos de classificadores (ou algoritmos) diferentes, alinham-se os pontos recuperados (mesmo valor de K) verticalmente, adotando-se o mesmo Recall para os dois e calculando-se as diferentes Precisões.

43 Avaliação das Classificações em diferentes Classes

44 Utilizada para Classificador Discreto. Quando um conjunto de dados é não balanceado, ou seja, o número de elementos de cada classe é diferente, o resultado é melhor analisado através de uma Matriz de Confusão. Uma Matriz de Confusão mostra com mais detalhes a operação do classificador. É possível verificar quais as classes que o classificador confunde mais e tomar decisões que otimizem sua saída.

45 Matriz de Confusão é uma matriz quadrada n x n onde as colunas representam as n classes reais de entrada e as n linhas as n classes de saída do classificador. Cada célula fornece o número de elementos classificados. Se a busca for por Abrangência toma-se apenas o elemento mais similar. Se a busca for por K-NN, calcula-se apenas para K=1.

46

47 4 Classes: Classe 1 = 100 cachorros Classe 2 = 50 coelhos Classe 3 = 80 gatos Classe 4 = 120 lobos

48 Total de Genuínos (Total de Elementos) = = 350 Verdadeiros Negativos TN 1 = Todos os que NÃO são cachorros = 250 TN 2 = Todos os que NÃO são coelhos = 300 TN 3 = Todos os que NÃO são gatos = 270 TN 4 = Todos os que NÃO são lobos = 230

49 Para a Classe 1 Razão de elementos que foram classificados como cachorro sem ser. Para a Classe 2 Razão de elementos que foram classificados como coelho sem ser.

50 Para a Classe 3 Razão de elementos que foram classificados como gato sem ser. Para a Classe 4 Razão de elementos que foram classificados como lobo sem ser.

51 Para a Classe 1 Razão de cachorros não classificados como cachorros. Para a Classe 2 Razão de coelhos não classificados como coelhos.

52 Para a Classe 3 Razão de gatos não classificados como gatos. Para a Classe 4 Razão de lobos não classificados como lobos.

53 SENSIBILIDADE Recall Probabilidade de uma Amostra relevante ser classificada corretamente. PRECISÃO Probabilidade de uma Amostra classificada ser relevante.

54 Diz-se, então que este classificador tem Precisão, ou Índice de Classificações Corretas de 85,7 %. Erro: Taxa de elementos classificados erroneamente.

55 Método de Seleção dos conjuntos de treinamento e teste

56 É uma técnica para avaliar como o resultado de uma análise estatística generalizará para um conjunto independente de dados. É usado para estimar o quão preciso um classificador será na prática. Uma etapa do Cross-validation envolve a partição do conjunto de dados em sub-conjuntos complementares. A análise é realizada em um subconjunto (conjunto de treinamento) e a validação da análise no outro subconjunto (conjunto de teste ou de validação).

57 1. Sub-amostragem aleatória repetitiva Este método divide aleatoriamente o conjunto de dados em treinamento e validação. Em cada divisão, o classificador é definido usando o conjunto de treinamento e sua precisão é avaliada usando os dados do conjunto de validação. O resultado final é a média do resultado de cada divisão. A proporção da divisão treinamento/validação não é dependente do número de iterações.

58 2. K-fold O conjunto de dados original é subdividido em K subconjuntos. Dos K subconjuntos, toma-se um como o conjunto de validação e os restantes K-1 subconjuntos são usados como conjunto de treinamento. O processo de cross-validationé então repetido K vezes usando cada um dos subconjuntos como conjunto de validação. Calcula-se, então, a média dos K resultados para gerar a estimação.

59 3. Leave-one-out Utiliza-se um único elemento do conjunto original como conjunto de validação e o restante como conjunto de treinamento. O procedimento é repetido até que cada elemento do conjunto original seja usado uma vez.

60 Cumulative Match Score

61 Universo Fechado (ClosedUniverse):Todos os elementos do Conjunto de Teste podem ser mapeados a uma Classe dentro do Conjunto de Treinamento. Universo Aberto (Open Universe): Algum elemento do Conjunto de Teste não pertence a nenhuma Classe do Conjunto de Treinamento.

62 Os resultados de um modelo de Universo Aberto podem ser avaliados através da Curva ROC. Exemplo: Dentre os usuários de um sistema de reconhecimento de faces, podem existir elementos não cadastrados. Duas classes de elementos no Conjunto de Teste: 1. Elementos que não possuem classes no Conjunto de Treinamento Geram Falsos Positivos (FP) 2. Elementos que podem ser mapeados em classes no Conjunto de Treinamento Geram Falsos Negativos (FN)

63 O modelo de Universo Fechado permite-nos avaliar quão bom um classificador é para identificar uma imagem do Conjunto de Teste. Questão envolvida: A resposta correta está dentro dos R elementos retornados? (Top R) Isso permite-nos saber quantas imagens devem ser avaliadas para se obter o nível desejado de desempenho.

64 Também conhecido como Protocolo FERET. É definido como a probabilidade acumulativa p(r) de uma classe verdadeira de um objeto do Conjunto de Teste pertencer ao topo de R acertos. O gráfico CMS relata para que fração de exemplares do Conjunto de Teste as respostas corretas estão no topo de R; Usa o Modelo de Universo Fechado.

65 T P Si P= conjunto de Teste (Probes) utilizar Cross-validation K-folds T = Conjunto de Treinamento (Target) Si = Medida de similaridade entre uma imagem em P com todas as de T.

66 Para cada exemplar do Conjunto de Teste p i, calculase a similaridade S i (.) para todas as imagens de T. A maior medida de similaridade implica em um acerto mais correto e à menor pontuação. Um elemento p i está no topo R se possui uma das R th menores pontuações para o conjunto T.

67 20 classes; Cada Classe com 72 imagens; Utilizando-se k-folds com k=10. Para Rank R=1 Das 72 imagens pertencentes à classe 1, 70 possuem a menor pontuação, ou seja, a maior similaridade com elementos do conjunto de Teste. Das 72 imagens pertencentes a classe 2, 63 fornecem a menor pontuação, ou seja, são as mais similares a algum elemento do conjunto de Teste. Probabilidade de Identificação Correta para R=1: CMS = *72 = = 93,75%

68 Para Rank R=5 Das 72 imagens pertencentes as classe 1, 2, 3 e 4, todas estão entre as 5 menores pontuações. Das 72 imagens pertencentes a classe 5, apenas 71 estão entre as 5 menores pontuações e para a classe 14 são 69 que estão entre as menores pontuações. Probabilidade de Identificação Correta para R=5: CMS = = 20* = 99,7%

69 Para Rank R=10 Para Rank R=20 Todas os exemplares estão entre as 10 menores pontuações. Probabilidade de Identificação Correta para R=10 e para R=20 CMS 1440 = = 100% 1440

70 Se o algoritmo buscar apenas UMA imagem mais similar, seu desempenho global será de 93,7% de Precisão. Para se conseguir 100% de Precisão, ou seja, tal que em cada busca o elemento esteja entre os R retornados, R deve ser igual a DEZ no mínimo. Se, no entanto, o algoritmo classificar as 5 imagens mais similares em cada classe, a Precisão global chega a 97,7 %.