Conceitos de Aprendizagem de Máquina e Experimentos. Visão Computacional

Transcrição

1 Conceitos de Aprendizagem de Máquina e Experimentos Visão Computacional

2 O que você vê? 2

3 Pergunta: Essa imagem tem um prédio? Classificação 3

4 Pergunta: Essa imagem possui carro(s)? Detecção de Objetos Vários 4

5 Pergunta: O queessa cena apresenta? Segmentação (em alguns casos, semântica) localização precisa 5

6 Dilema Reconhecer porcategorização Reconhecimento de grupos de objetos que compartilham características Ou reconhecer por instância Reconhecimento de um objeto específico 6

7 Dilema Supervisionado Existe uma base de conhecimento anterior Não supervisionado Não existe base de conhecimento anterior Por reforço Não existe conhecimento anterior, mas existe função de recompensa 7

8 Variação intra-grupo 8

9 Conceitos Básicos

10 Um Exemplo Para ilustrar a complexidade desse tipo de sistema, considere o seguinte exemplo: Uma indústria recebe dois tipos de peixe: Salmão e Robalo. Os peixes são recebido em uma esteira, e o processo de classificação é manual. A indústria gostaria de automatizar esse processo, usando para isso uma câmera CCD. 10

11 Um Exemplo (cont) 11

12 Um Exemplo (cont) Primeiramente devemos encontrar as características que distinguem um salmão de um robalo. Altura, largura, coloração, posição da boca, etc... Características (Features): Qualquer medida que se possa extrair de um determinado objeto. 12

13 Um Exemplo (cont) Características podem ser: Simbólicas. Numéricas (Continuas ou binárias). Ruídos (Erros): Conceito originário da teoria das comunicações; Podem estar presente no objeto. Uma mancha no peixe, por exemplo. Devidos ao sistema de aquisição. Iluminação por exemplo. 13

14 Um Exemplo (cont) Dado as diferenças entre as populações de Salmão e Robalo, podemos dizer que cada uma possui um modelo específico. Modelo: Um descritor, geralmente representado através de uma função matemática. Bom modelo é capaz de absorver ruídos. 14

15 Conceitos básicos de classificação Suponha que alguém nos diga que: Robalos geralmente são maiores que salmões. Isso nos dá uma direção para modelar nosso problema, ou seja, Se o peixe ultrapassa um tamanho t, então ele é um robalo, caso contrário, é um salmão. Mas como determinar t?? 15

16 Conceitos básicos de classificação Podemos selecionar alguns exemplares (base de treinamento) de peixe e verificar seus tamanhos. Suponha que após analisarmos nossa base de treinamento, tenhamos os seguintes histogramas 16

17 Tamanho é suficiente? salmão robalo Usando somente a medida de tamanho, não podemos separar de maneira confiável nossas duas classes de peixes. Portanto, devemos tentar outras características. 17 t tamanho

18 Existe outra melhor? Quanto? salmão robalo Como podemos notar, essa característica é muito mais confiável, mas não é perfeita. Robalos que serão classificados como salmão. Outra característica: Medida de Claridade (coloração) x Noção de CUSTO 18

19 Conceitos básicos de classificação Suponha que os clientes da nossa indústria aceitem um pedaço de salmão embalado junto com robalo, mas o contrário é inaceitável. Devemos então alterar nossa fronteira para que isso não aconteça. 19

20 Custo e Erro salmão robalo Custo maior, uma vez que mais salmões serão classificados como robalos x Erro Bayesiano 20

21 Teoria da Decisão Isso sugere que existe um custo associado com a nossa decisão. Nossa tarefa consiste em encontrar uma regra de decisão que minimize o custo. Isso é o papel central da Teoria da Decisão. Também pode ser visto como um problema de otimização. 21

22 Como minimizar o custo? Como minimizar o custo? Buscar outras características. Suponha que a claridade seja a melhor. Podemos utilizar duas características ao mesmo tempo. x = é ê ë x x 1 2 ù ú û Vetor de características bi-dimensional. 22

23 altura Duas características salmão robalo claridade 23 Nossa base de treinamento em um gráfico de dispersão

24 Fronteira de Decisão Nosso problema consiste em encontrar a fronteira de decisão que minimize o custo. Modelo mais simples: Separação linear, y = wx+b Algoritmos tradicionais: KNN, Perceptron (Redes Neurais), Funções Discriminantes Lineares (LDA). 24

25 Exemplo de fronteira linear salmão robalo altura claridade 25

26 Podemos adicionar mais? Essa regra fornece uma boa fronteira de decisão, entretanto pode ser melhorada. Adicionar mais características, como por exemplo, dimensões do peixe, posição relativa dos olhos, etc..., poderiam ajudar. Quanto mais características, mais base de treinamento será necessária. Maldição da dimensionalidade. 26

27 Podemos aumentar a complexidade Suponha que não dispomos de mais características. Solução: Construir um modelo mais complexo do que um modelo linear. 27

28 Nova fronteira salmão robalo Fronteira muito mais complexa. Separação perfeita! altura Um exemplo (salmão) de teste claridade 28

29 Generalizar Apesar de complexo, esse modelo é pior do que o modelo linear. A principal característica de um modelo deve ser a sua capacidade de generalizar. BIAS: quanto o modelo médio de todos os conjuntos de treinamento difere do modelo verdadeiro? Variancia: o quanto os modelos de treinamento são dispersos entre si? 29

30 BIAS x Variancia Muita BIAS: pouca informação, pouca flexibilidade Muita Variancia: muitasensibilidade 30

31 Over-Fitting Modelos muito complexos geralmente não generalizam bem, pois decoram a base de treinamento (over-fitting). Baixa BIAS e alta Variancia Baixo erro de treinamento Alto erro de teste 31

32 Underfitting Por outro lado, modelos muito simples tendem a generalizar demais (underfitting). Alto BIAS e baiva variancia Alto erro de treinamento e teste 32

33 Conceitos básicos de classificação salmão robalo altura claridade 33

34 Módulos de um classificador Função de modelagem Modelo baseado em y = wx+b W e B são parâmetros a serem estimados Função de classificação Sinal Softmax Entropia cruzada Otimizador Dependende do método Stochastic Gradient Descent muito usado em redes neurais 34

35 Experimentos

36 Divisões de bases Existem três bases a serem usadas: Treino Conhecida pelo método Validação Semi conhecida pelo método (sem querer) Teste Totalmente desconhecida pelo método 36

37 O processo 1. Estima-se o modelo (parâmetros) com o treinamento 2. Testa-se o modelo com a base de validação 3. Repita 1 até que se encontre um critério de parada 4. Testa-se e avalia o resultado do modelo com a base de teste Em alguns processos, os passos 1, 2 e 3 são realizados usando validação cruzada 37

38 Etapas Básicas Extração de Características Algoritmo De aprendizado Modelos Aprendidos 38

39 Modelo básico 39

40 Com o teste Modelos Aprendidos Extração de Características Predição / Classificação 40

41 Escolhas de treino/teste Sempre aleatórias Podem ser percentuais 70/30, 80/20 Com pelo menos 10 repetições Estatísticas da média, com o desvio padrão Com validação cruzada Deve-se determinar a quantidade de divisões: mínimo 10 Um item por vez: Leave-one-out Utilizável quando a base for pequena 41

42 Analisando os resultados

43 O resultado do aprendizado O quão bom foi o classificador? Medidas para avaliar: Gráfico de Loss F-score Matthews Correlation Coefficient (MCC) (coeficiente phi) Área sobre a curva ROC 43

44 Medidas de desempenho Matriz de Confusão: sempre sobre o teste 44

45 Matriz de Confusão 45