Reconhecimento de Padrões

Transcrição

1 Reconhecimento de Padrões André Tavares da Silva Kuncheva pg. 8 a 25 (seções 1.3 e 1.4)

2 Roteiro da aula Cálculo do erro de um classificador Técnicas de treinamento, avaliação e teste com Z 1, Z 2 e Z 3 Matrizes de confusão e perda Comparação experimental de classificadores Dicas de projeto

3 Erro de classificação Seja D(x j ) = s j a saída de um classificador D para um objeto z j de Z 3 cujo rótulo é l(z j ), e seja I(l(z j ),s j )=1, se l(z j )=s j, e I(l(z j ),s j )=0 no caso contrário. Então a taxa de erro aparente de D é dada por: N 3 1/N 3 {1 - I(l(z j ),s j )} j=1 onde N 3 é o número de objetos em Z 3. Este erro pode ser usado como uma estimativa (errada, mas útil) da probabilidade P D de D cometer um erro de classificação.

4 Intervalo de confiança O número de erros segue uma distribuição binomial com parâmetros (P D, N 3 ): P D = N erros N 3 Se N 3 > 30, P D x N 3 > 5 e (1-P D ) x N 3 > 5, podemos assumir uma distribuição normal com intervalo de confiança de 95% para o erro, calculado por: [ P D 1,96 P D (1 P D ) N 3, P D +1,96 P D (1 P D ) N 3 ]

5 Treinamento, Avaliação e Teste Resubstituição (R-method) Hold-out (H-method) Validação cruzada (método da rotação,? method) Bootstrap Podemos assumir que 50% das N amostras de Z (i.e., N 1 +N 2 = 1/2 N) serão usadas para treinamento e avaliação (pseudo-teste), e 50% para teste (i.e., N 3 =1/2 N).

6 Resubtitution (R-method) O classificador usa todo o Conjunto Z tanto para treinamento quanto teste. P D é tendenciosamente otimista. Obs.: não conheço trabalhos sérios que façam isso.

7 Bootstrap Gera L conjuntos com tamanho N' a partir do conjunto Z com sobreposição. Treinamos e avaliamos D com cada subconjunto (por resubstituição). A média dos K valores de erro é usada como estimativa de P D. O método tenta corrigir (ou diminuir) a estimativa otimista do método resubstituição.

8 Hold-Out (2-fold cross-validation) Tradicionalmente, Z é dividido ao meio e uma das metades é usada para treinamento (Z 1 U Z 2 ) e outra (Z 3 ) para teste. Depois elas são trocadas para enfim calcular P D (média dos dois testes). Podemos também executar L trocas entre Z 1 U Z 2 e Z 3 para obtermos L estimativas de P D (data shuffle). O valor médio de P D é então tomado como o erro do classificador.

9 Validação Cruzada (cross-validation) Escolhemos um inteiro K, fator de N, e dividimos aleatoriamente Z em K subconjuntos de tamanho N/K amostras. Avaliamos D com cada subconjunto e treinamos com a união dos demais. A média dos K valores de erro é usada como estimativa de P D. O método é denominado leave-one-out quando K=N (U-method).

10 Matriz de confusão A matriz de confusão associa a cada célula a ij o número de amostras que o classificador classificou como w j, mas que são da classe w i. D Real w 1 w 2 w 1 w 2 a 11 a 12 a 21 a 22 a 11 + a 22 = acertos a 12 + a 21 = erros A exatidão está associada ao traço da matriz.

11 Matriz de perda A matriz de perda atribui a cada célula p ij uma penalização associada à decisão por uma classe w j, quando a classe correta é w i. D Real w 1 w 2 w 1 w 2 p 11 p 12 p 21 p 22 p 11 = p 22 = 0

12 Comparação experimental entre classificadores Considere dois classificadores, D 1 e D 2, sendo testados sobre um mesmo conjunto Z 3, onde P D1 e P D2 são calculados. Podemos dizer que P D1 P D2? H 0 (Hipótese Nula): D 1 e D 2 são equivalentes.

13 Teste de McNemar Considere a tabela com os acertos e erros de cada classificador (N 3 =N 00 + N 10 + N 01 + N 11 ) D 1 acertos erros acertos D 2 erros N 11 N 10 N 01 N 00 x 2 = ( N 01 N 10-1) 2 N 01 + N 10 Distribuição x 2 de grau 1: Se x 2 tiver valor maior que o tabulado (e.g., 3.841) para um dado nível de significância (e.g., 0.05), então rejeitamos H 0. Obs: O nível de significância é a probabilidade de rejeitarmos H 0 (erro I), quando ela é verdadeira.

14 Diferença entre proporções Considere agora que D 1 e D 2 estão sendo testados em dados diferentes, mas o tamanho N 3 de Z 3 é o mesmo. A ideia é verificar se os intervalos de confiança de 95% para P D1 e P não se superpõem para que H D2 0 seja rejeitada. Isto equivale a verificar se o valor z é maior que 1.96 para significância z= P D1 P D2 (2p(1 p))/(n 3 ), p= 1 2 ( p D 1 + p D2 ) p D1 = N 11 + N 10 N 3 ; p D 2 = N 11 +N 01 N 3

15 F-test Considere agora L classificadores independentes D i, i=1,2,...,l, sendo testados sobre o mesmo conjunto Z 3. Seja M i o total de acertos de i classificadores simultaneamente. L 2 SSA = N 3 i=1 P Di L p 2 L SSB = 1/L i= 1 L 2 L N i 3 p2 SST = N 3 L p (1 p) SSAB = SST SSA - SSB MSA = SSA/(L-1) MSAB = SSAB/((L-1)(N 3-1)) F cal = MSA/MSAB H 0 é rejeitado se F cal for maior que o valor tabulado de uma distribuição F de graus (L-1) e (L-1)x(N 3-1) usando teste Q de Cochran.

16 Testes com validação cruzada Teste t com validação cruzada k-hold-out Método mais utilizado em aprendizado de máquina. Considerando 2 classificadores A e B, os dados são separados em treinamento (1/3) e teste (2/3). Ambos os classificadores são testados no mesmo conjunto. O teste é repetido K vezes (normalmente 30) e a performance é comparada pela média das execuções. Teste t com validação cruzada k-fold Os dados são divididos em K partes iguais. Os classificadores são treinados em uma das partes e testado nas demais (K-1). O objetivo é evitar sobreposições dos dados de teste.

17 Teste t de Dietterich com validação cruzada 5x2-fold Dietterich sugere um método que consiste em repetir um 2-fold 5 vezes, dividindo a base ao meio: Os classificadores são treinados/projetados em uma metade e testados na outra. Depois os conjuntos de treinamento e teste são trocados, repetindo o processo. Isto é repetido 5 vezes, calculando as médias e variâncias dos experimentos, populando uma tabela e calculando H 0. A motivação para esta variante vem do fato que o ideal no teste t tradicional seria não haver sobreposição entre amostras de projeto e teste em cada etapa da execução.

18 Dica Ao projetar um classificador seria interessante avaliar seu desempenho para diferentes configurações de classes no espaço de características. Portanto, você pode fazer um programa para gerar amostras de cada classe com diferentes formas, com e sem superposição, e avaliar o desempenho do seu classificador em cada caso.