JAI 6 - Deep Learning Teoria e Prática

Transcrição

1 JAI 6 - Deep Learning Teoria e Prática Cristina Nader Vasconcelos Universidade Federal Fluminense CNNs

2 Câmeras estão por toda parte!

3 Aquisição de imagens digitais 3

4 Representação Digital de Imagens 4

5 Extração de representação visual 5

6 Abordagem clássica Dados Extração de Features Tomada de decisão 6

7 Filtro D entrada saída 3-3??????? Filtro D crisnv@ic.uff.br 7

8 Filtro D entrada saída ?????? Filtro D crisnv@ic.uff.br 8

9 Filtro D entrada saída ????? Filtro D crisnv@ic.uff.br 9

10 Filtro D entrada saída ???? Filtro D crisnv@ic.uff.br

11 Filtro D entrada saída ??? Filtro D crisnv@ic.uff.br

12 Filtro D entrada saída ?? Filtro D crisnv@ic.uff.br

13 Filtro D entrada saída ? Filtro D crisnv@ic.uff.br 3

14 Filtro D entrada saída Filtro D crisnv@ic.uff.br 4

15 Filtragem de imagens Matriz de pesos: Operação de Filtragem: b -b -a ` a crisnv@ic.uff.br 5

16 Filtragem de imagens x x f(x,y) y g(x,y) onde: y f(x,y): intensidade original do pixel (x,y); g(x,y): resultado do processamento do pixel (x,y); N: vizinhança T: operator defino sobre N (x,y), descrito por: g(x,y) = TN(f(x,y)) crisnv@ic.uff.br 6

17 Filtragem de imagens Filtro D entrada saída ALTAMENTE PARALELIZÁVEL crisnv@ic.uff.br 7

18 Visualização de Filtros Diferentes abordagens: 8

19 GIMP Menu: Filters Generic Convolution Matrix 9

20 Features Locais: arestas? [I. Biederman], Recognition-by-components: A theory of human image understanding, crisnv@ic.uff.br Psychological Review, vol., no. 94, pp. 5 47, 987.

21 Features locais: cantos? [I. Biederman], Recognition-by-components: A theory of human image understanding, crisnv@ic.uff.br Psychological Review, vol., no. 94, pp. 5 47, 987.

22 Porque aplicações em sinais naturais/biológicos são problemas difíceis?

23 3

24 Desafios: ponto de vista, deformação, iluminação,... * ** *[R. Tao, A. Smeulders, S. Chang] Attributes and Categories for Generic Instance Search from One Example. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp **[K. Patil, S. Bojewar] A Survey on Face Recognition of Identical Twins. International Journal of Scientific & crisnv@ic.uff.br 4 Engineering Research, Vol. 6, Issue, Feb

25 Desafios: oclusão, distinção do fundo 5

26 Desafios: variação intra-classe 6

27 7

28 "If we want our machines to think, we need to teach them to see." Fei-Fei Li 8

29 9

30 3

31 abaixo de.4 5 crisnv@ic.uff.br 3

32 Year 5 MSRA crisnv@ic.uff.br 3

33 33

34 34

35 35

36 Componentes CNN: Neurônios e mapas de features dispostos em 3 dimensões: exemplo: camada de entrada di da de profundidade un of pr altura a ur rg la altura altura x largura X profundidade largura crisnv@ic.uff.br 36

37 37

38 Componentes CNN: Neurônios e mapas de features dispostos em 3 dimensões: altura x largura X profundidade Demais camadas: cada profundidade representando um mapa de feature crisnv@ic.uff.br 38

39 Componentes CNN: campos receptivos locais Conectividade Local: um neurônio em uma camada é ligado apenas a um subconjunto de saídas da camada anterior n p n onde: a conectividade é local no plano de features, mas completa em profundidade profundidade Logo, um neurônio combina suas estradas crisnv@ic.uff.br usando n*n*p pesos 39

40 Componentes CNN: Conectividade local, múltiplas features profundidade camada Ci+ profundidade camada Ci múltiplos neurônios podem ser conectados a mesma região do volume de entrada para sua camada, organizados na dimensão profundidade da sua grade responsáveis por diferentes features Exemplo: produz volume com crisnv@ic.uff.br profundidade 6 4

41 Componentes CNN: Conectividade Local: replicamos o conjunto de neurônios ao longo das outras duas dimensões do espaço (altura e largura) escolhendo um passo para essa replicação (stride) ex: ao escolher passo criamos um volume com mesma altura e largura da camada anterior* profundidade camada Ci profundidade camada Ci+ *tratamento de borda: preenchimento crisnv@ic.uff.br (padding) 4

42 Componentes CNN: - Compartilhamento de pesos (parâmetros) entre neurônios da mesma camada, na mesma profundidade; A saída produzida por uma fatia de profundidade é um mapa de ativação fatias de profundidade (depth slices) Repartição diminui drasticamente o número de parâmetros por fatia profundidade profundidade crisnv@ic.uff.br 4

43 Exemplos: dado 9x9, filtro 3x3 saída x saída 3x3 passo 3 passo 4 crisnv@ic.uff.br 43

44 Cálculo de parâmetros: exemplo Entrada: xx Primeira camada oculta na forma de camada completamente conectada (sem compartilhamento de pesos e sem campo perceptivo): Altura 5 Profundidade 5 a gur r a L cada neurônio possui * pesos = 4 pesos se fizemos um neurônio por pixel para criar uma única camada: 4*4 = 6. pesos!! crisnv@ic.uff.br 44

45 Cálculo de parâmetros:exemplo Entrada: xx Primeira camada oculta, sem compartilhamento de pesos: campo receptivo 5x5: cada neurônio: 5x5*: 5 pesos Altura 5 Profundidade 5 a gur r a L neurônios dispostos com passo e preenchimento : Total por fatia? camada oculta com de profundidade: Total na camada? crisnv@ic.uff.br 45

46 Exemplo: passo sem preenchimento 46

47 Exemplo: passo sem preenchimento 47

48 Exemplo: passo sem preenchimento 48

49 Exemplo: passo sem preenchimento 49

50 Exemplo: passo sem preenchimento saída 6x6 5

51 Cálculo de parâmetros:exemplo Entrada: xx Primeira camada oculta, sem compartilhamento de pesos: campo receptivo 5x5: cada neurônio: 5x5*: 5 pesos Altura 5 Profundidade 5 a gur r a L neurônios dispostos com passo e preenchimento : Total por fatia: 6x6 camada oculta com de profundidade: Total na camada:? crisnv@ic.uff.br 5

52 Cálculo de parâmetros:exemplo Entrada: xx Primeira camada oculta, sem compartilhamento de pesos: campo receptivo 5x5: cada neurônio: 5x5*: 5 pesos Altura 5 Profundidade 5 a gur r a L neurônios dispostos com passo e preenchimento : Total por fatia: 6x6 camada oculta com de profundidade: Total na camada: *6*6*5*5* = 64.!!! crisnv@ic.uff.br 5

53 Cálculo de parâmetros:exemplo Entrada: xx Primeira camada oculta, com compartilhamento de pesos: campo receptivo 5x5: cada neurônio: 5x5*: 5 pesos Altura 5 Profundidade 5 a gur r a L neurônios dispostos com passo e preenchimento : Total por fatia: 6x6 neurônios, mas neurônios na mesma fatia compartilham os 5 pesos entre si camada oculta com de profundidade: Total na camada:? crisnv@ic.uff.br 53

54 Cálculo de parâmetros:exemplo Entrada: xx Primeira camada oculta, com compartilhamento de pesos: campo receptivo 5x5: cada neurônio: 5x5*: 5 pesos Altura 5 Profundidade 5 a gur r a L neurônios dispostos com passo e preenchimento : Total por fatia: 6x6 neurônios, mas neurônios na mesma fatia compartilham os 5 pesos entre si camada oculta com de profundidade: Total pesos na camada: 5 crisnv@ic.uff.br 54

55 55

56 Componentes CNN: Assim, nas camadas convolucionais os neurônios:.. 3. São conectados apenas aos seus campos receptivos locais (conectividade local); Usam o mesmo conjunto de parâmetros que seus vizinhos de mesma profundidade ou fatia. Tais pesos funcionam como pesos da filtragem sobre o sinal de entrada; Juntas, diversas fatias de uma mesma camada produzem diversos mapas de ativação, respondendo a extração de múltiplas features; crisnv@ic.uff.br 56

57 Funções de ativação: mais usadas Sigmoid mapeia números reais para o intervalo [,] Tanh Rectified Linear Unit (ReLU) mapeia números reais para f(x) = max(, x ) o intervalo [-,]. crisnv@ic.uff.br 57

58 Camadas de agrupamento (Pooling layers) max pooling filtro x passo 5 4 crisnv@ic.uff.br 58

59 Camadas de agrupamento (Pooling layers) max pooling filtro x passo crisnv@ic.uff.br 59

60 Camadas de agrupamento (Pooling layers) max pooling 4 filtro x passo crisnv@ic.uff.br 6

61 Camadas de agrupamento (Pooling layers) max pooling 4 4 filtro x passo 5 5 crisnv@ic.uff.br 6

62 Camada de saída (# neurônios = # classes) Saída como vetor de probabilidades -> softmax otimizada com cross-entropy crisnv@ic.uff.br 6

63 LeNet-5 (989) Altura x largura 3x3 6 mapas com filtros de x,passo 4 8x8 Max-pooling x, passo 4x4 6 mapas com filtros de 5x5 x Max-pooling x, passo 5x5 Completamente conectada de neurônios Completamente conectada de 84 neurônios completamente conectada de saída63 crisnv@ic.uff.br (# neurônios = # classes)

64 AlexNet () Altura x largura 4x4 55x55 96 mapas com filtros de x,passo 4 Max-pooling x, passo 7x7 56 mapas com filtros de 5x5 Max-pooling x, passo 3x3 384 mapas com filtros de 3x3 384 mapas com filtros de 3x3 56 mapas com filtros de 3x3 C. c. de 496 neurônios C. c. de 496 neurônios crisnv@ic.uff.br 64 C. c. de saída

65 ZFnet (3) Melhorias sobre os hiperparâmetros que definem a AlexNet: aumentou o número de fatias nas camadas intermediárias expandindo o tamanho das camadas de convolu ca o intermedia rias reduzindo a passada e o tamanho dos filtros da primeira camada de convolução Observa que a retirada das camadas completamente conectadas aumenta pouco o erro Deconvnet: camadas de reversão da rede que permitem a visualização das ativações produzidas pelos mapas de features ao longo da hierarquia de crisnv@ic.uff.br 65 camadas da CNN.

66 Visualizando as saídas de ativação features de nível baixo D. Zeiler, R. Fergus. Visualizing and Understanding Convolutional Networks. ECCV 4 crisnv@ic.uff.br 66

67 Visualizando as saídas de ativação features de nível médio 67

68 features de nível alto 68

69 x 7x7 4x4 8x8 56x56 x Altura x largura completamente conectada de saída (# neurônios = # classes) completamente conectada 496 neur. completamente conectada 496 neur. Max-pooling x, passo 5 mapas com filtros de 3x3 5 mapas com filtros de 3x3 5 mapas com filtros de 3x3 5 mapas com filtros de 3x3 Max-pooling x, passo 5 mapas com filtros de 3x3 5 mapas com filtros de 3x3 5 mapas com filtros de 3x3 5 mapas com filtros de 3x3 Max-pooling x, passo 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 Max-pooling x, passo 8 mapas com filtros de 3x3 8 mapas com filtros de 3x3 Max-pooling x, passo 64 mapas com filtros de 3X3 64 mapas com filtros de 3X3 VGG [6~9 camadas] (4) crisnv@ic.uff.br 69

70 Inception (4) concatenação dos filtros convolução filtro 3x3 convolução filtro 5x5 convolução filtro x convolução filtro x convolução filtro x Max-pooling 3x3 convolução filtro x Camada anterior crisnv@ic.uff.br 7

71 GoogLeNet [/7 camadas] (4) completamente conectada de saída (# neurônios = # classes) average pooling módulo inception módulo inception Max pooling 3x3 módulo inception módulo inception módulo inception módulo inception módulo inception Max pooling 3x3 módulo inception módulo inception Max pooling 3x3 Normalização Convolução 3x3 Convolução x Normalização Max pooling 3x3 Convolução 7x7 crisnv@ic.uff.br 7

72 "Eliminação" da camada completamente conectada Lin et al. Network in Network. 3 xx # classes xx4 7x7x4 softmax linear dropout average pooling 7x7x módulo inception... crisnv@ic.uff.br 7

73 ResNet (5) Shortcut connections : x Camada com pesos ReLU pulam um ou mais camadas; usadas na ResNet para mapear identidade; não introduzem novos parâmetros; Camada com pesos f(x) + x ReLU Profundidade da ResNet: Shortcut connections; Normalização (inicializaçãocrisnv@ic.uff.br e de 73 camadas intermediárias);

74 56x56 Altura x largura x 6 camadas 8x8 4x4 8 camadas 7x7 camadas 6 camadas x completamente conectada de saída (# neurônios = # classes) 5 mapas com filtros de 3x3 5 mapas com filtros de 3x3 5 mapas com filtros de 3x3 5 mapas com filtros de 3x3 5 mapas com filtros de 3x3 5 mapas com filtros de 3x3, passo 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3 56 mapas com filtros de 3x3, passo 8 mapas com filtros de 3x3 8 mapas com filtros de 3x3 8 mapas com filtros de 3x3 8 mapas com filtros de 3x3 8 mapas com filtros de 3x3 8 mapas com filtros de 3x3 8 mapas com filtros de 3x3 8 mapas com filtros de 3x3, passo 64 mapas com filtros de 3x3 64 mapas com filtros de 3x3 64 mapas com filtros de 3x3 64 mapas com filtros de 3x3 64 mapas com filtros de 3x3 64 mapas com filtros de 3x3 Max-pooling 3x3, passo 64 mapas com filtros de 7x7, passo ResNet-34 (5) [muitas + camadas...] crisnv@ic.uff.br 74

75 Outras aplicações de CNN em imagens Fang et al. From Captions to Visual Concepts and Back. 5 J. Long, E. Shelhamer, T. Darrell. Fully Convolutional Networks for Semantic Segmentation. 5 crisnv@ic.uff.br 75

76 Som como imagem M. Espi, M. Fujimoto, K. Kinoshita, and T. Nakatani. Exploiting spectro-temporal locality in deep learning based acoustic event detection, 5 crisnv@ic.uff.br 76

77 Texto como imagem Xiang Zhang, Junbo Zhao, Yann LeCun. Character-level Convolutional Networks for Text Classification. 6 crisnv@ic.uff.br 77

78 Conclusões 78

79 CNNs recentes adotam tamanhos de filtros pequenos; eliminam/reduzem camadas completamente conectadas; adotam tamanhos de janelas de pooling pequenos; tamanho de passo (stride) muito profundas (MSRA 5 - experimentos com 5 e camadas); crisnv@ic.uff.br 79

80 Fatores que impulsionaram o DL: desenvolvimento de algoritmos de aprendizado eficientes; bancos padrões de referência (benchmarks) aumento da capacidade de processamento e poder de processamento de fins gerais utilizando hardware gráfico (GPU) crisnv@ic.uff.br 8

81 Vantagens de abordagens com aprendizado profundo Robustez: uma hierarquia de features é aprendida de maneira ótima para a tarefa proposta mostra-se capaz de aprender as complexas variações existentes nos dados Generalizável: a mesma arquitetura pode ser usada em diferentes tarefas e tipos de dados Escalável: mais dados levam ao aumento de performance método massivamente paralelizável crisnv@ic.uff.br 8

82 Perguntas... 8