ANÁLISE DE IMAGENS COM DEEP LEARNING MATHEUS VIANA IBM RESEARCH BRASIL

Transcrição

1 ANÁLISE DE IMAGENS COM DEEP LEARNING MATHEUS VIANA IBM RESEARCH BRASIL

2 IBM RESEARCH NO MUNDO

3 IBM RESEARCH NO MUNDO CIÊNCIA DO COMPORTAMENTO CIÊNCIA DOS MATERIAIS QUÍMICA MATEMÁTICA CIÊNCIA DA COMPUTAÇÃO ENGENHARIA ELÉTRICA FÍSICA BIOLOGIA COMPUTACIONAL

4 IBM RESEARCH NO BRASIL INDUSTRIAL TECHNOLOGIES VISUAL ANALYTICS AND COMPREHENSION NATURAL RESOURCES SOCIAL DATA ANALYTICS

5 ROADMAP Redes neuronais Transição para deep learning Aplicação 1: encoder-decoder Aplicação 2: rede residual Aplicação 3: VGG Conclusões

6 NÃO VOU FALAR SOBRE Memória associativa Modelos de spin em redes neuronais Máquinas de Boltzman

7 PERCEPTRON DE ROSENBLATT x 1 x 2 f (x) x 3 Frank Rosenblatt (right) and Charles W. Wightman (left) f (x) = X i w i x i! padrões linearmente separáveis

8 PERCEPTRON DE ROSENBLATT x 1 x 2 f (x) x 3 Frank Rosenblatt (right) and Charles W. Wightman (left) f (x) = X i w i x i! padrões linearmente separáveis AND XOR

9 MULTILAYER PERCEPTRON MLPs com uma única camada podem aproximar qualquer função booleana MLPs com duas camadas podem aproximar qualquer função com precisão arbitrária COMO ENCONTRAR OS VALORES w i?

10 PAUL WERBOS E O BACKPROPAGATION O método de backpropagation era conhecido desde 1960 em áreas como teoria de controle e programação dinâmica. Paul Werbos sugeriu o uso de backpropagation em redes neuronais Senso comum: método utilizado para treinar redes neuronais Método para atualização dos pesos da rede que trabalha em conjunto com um algoritmo de optimização.

11 PAUL WERBOS E O BACKPROPAGATION x (j, ` 1) w i,j,` y (i, `) I i,` = X j 1 w i,j,`o j,` 1 (z) = 1+e z E = 1 2 X ys y s 2 s O i,` = (I z = (1 )

12 PAUL WERBOS E O BACKPROPAGATION E re w t+1 = w t re re = ŵ i,j,` i,j,` w 1,1,2 w 1,2,2 w i,j,` O i,` @O i,` i,` = (I i,j,`

13 PAUL WERBOS E O i,j,` re w 1,1,2 w 1,2,2 I i,` = X j w i,j,`o j,` 1 O i,j,` = O j,` 1 I i,` (1 i,` O i,` = I i,` (1 (I i,`) I i,`)

14 PAUL WERBOS E O i,j,` = O j,` 1 I i,` (1 i,` re O i,` (m, ` + 1) w 1,1,2 w 1,2,2 (i, `) (n, ` + X j,`+1 w i,`

15 PAUL WERBOS E O i,` = j,`+1 w j,i,`+1 re w 1,1,2 i,` = j,`+1 i,` = @w i,j,` = I i,` (1 I i,`) O j,` j,`+1 I j,`+1 (1 8 < X j,`+1 I j,`+1 (1 I j,`+1 ) w j,i,`+1 9 = I j,`+1 ) w j,i,`+1 ;

16 PAUL WERBOS E O BACKPROPAGATION E re w 1,1,2 w 1,2,2 (i, `) O i,` i,` = X s (y s y s )

17 EXEMPLO: ENCODER-DECODER E = 1 2 X ys y s 2 s

18 EXEMPLO: ENCODER-DECODER

19 EXEMPLO: ENCODER y 2 y 1 y 2 Redes neuronais artificiais são implementações de PCA não linear. y 1 Por que redes neuronais artificiais multicamadas são poderosas? CAIXA PRETA X REPRESENTAÇÕES SEMÂNTICAS NAS CAMADAS

20 REPRESENTAÇÃO SEMÂNTICA EM CAMADAS Editora Ano Qualidade Tema Livros de Física da Springer Livros de Antigos de Cálculo Livros Recentes da Oxford Livros de Antigos de Cálculo da Oxford Livros Recentes de Física da Springer

21 TRANSIÇÃO PARA DEEP LEARNING 2010 MIT estava prestes a remover disciplina de redes 2012 Geoffrey Hinton (Toronto): Erro 15% na Imagenet (2nd: 26%) 15M imagens anotadas em 22K categorias 60M de parâmetros classe

22 TRANSIÇÃO PARA DEEP LEARNING 2010 MIT estava prestes a remover disciplina de redes 2012 Geoffrey Hinton (Toronto): Erro 15% na Imagenet (2nd: 26%) 15M imagens anotadas em 22K categorias 60M de parâmetros classe Camadas de convolução

23 TRANSIÇÃO PARA DEEP LEARNING 2010 MIT estava prestes a remover disciplina de redes 2012 Geoffrey Hinton (Toronto): Erro 15% na Imagenet (2nd: 26%) 15M imagens anotadas em 22K categorias 60M de parâmetros classe Camadas de convolução

24 TRANSIÇÃO PARA DEEP LEARNING Representação semântica no problema de reconhecimento facial:

25 TRANSIÇÃO PARA DEEP LEARNING Arquitetura da rede depende do problema:

26 DEEP LEARNING NA IBM RESEARCH BRASIL

27 APLICAÇÃO 1: DEEP ENCODER-DECODER Problema: avaliação da proliferação tumoral BIÓPSIA DIGITALIZAÇÃO AVALIAÇÃO TRATAMENTO Avaliação baseada no número de células em processo de divisão #células em divisão: prognóstico: BOM MÉDIO RUIM

28 APLICAÇÃO 1: DEEP ENCODER-DECODER Problema: avaliação da proliferação tumoral BIÓPSIA DIGITALIZAÇÃO AVALIAÇÃO TRATAMENTO Avaliação baseada no número de células em processo de divisão 1Gb ~ 20K x 20K pixels REGIÕES DE INTERESSE

29 APLICAÇÃO 1: DEEP ENCODER-DECODER Problema: avaliação da proliferação tumoral BIÓPSIA DIGITALIZAÇÃO AVALIAÇÃO TRATAMENTO Avaliação baseada no número de células em processo de divisão ROI 1 + ROI 2 + ROI 3 =2µm2 Total: ~178 Exames (3 ROIs) NÃO É UM PROBLEMA DE CLASSIFICAÇÃO

30 APLICAÇÃO 1: DEEP ENCODER-DECODER Problema: avaliação da proliferação tumoral BIÓPSIA DIGITALIZAÇÃO AVALIAÇÃO TRATAMENTO Avaliação baseada no número de células em processo de divisão

31 APLICAÇÃO 1: DEEP ENCODER-DECODER E = 1 2 y y 2

32 APLICAÇÃO 1: DEEP ENCODER-DECODER

33 APLICAÇÃO 2: RESIDUAL NETWORK Problema: avaliação da proliferação tumoral BIÓPSIA DIGITALIZAÇÃO AVALIAÇÃO TRATAMENTO Avaliação baseada no número de células em processo de divisão Normal: Em divisão:

34 APLICAÇÃO 2: RESIDUAL NETWORK Problema: avaliação da proliferação tumoral BIÓPSIA DIGITALIZAÇÃO AVALIAÇÃO TRATAMENTO Avaliação baseada no número de células em processo de divisão classe (probabilidade) Expansão dos dados: ACURÁCIA:94%

35 APLICAÇÃO 2: RESIDUAL NETWORK Problema: avaliação da proliferação tumoral BIÓPSIA DIGITALIZAÇÃO AVALIAÇÃO TRATAMENTO Avaliação baseada no número de células em processo de divisão probabilidade probabilidade

36 APLICAÇÃO 2: RESIDUAL NETWORK Problema: avaliação da proliferação tumoral BIÓPSIA DIGITALIZAÇÃO AVALIAÇÃO TRATAMENTO Avaliação baseada no número de células em processo de divisão

37 APLICAÇÃO 3: REDE VGG Problema: detecção de nódulos pulmonares CT PULMÃO CANDIDATOS AVALIAÇÃO TRATAMENTO

38 APLICAÇÃO 2: REDE VGG Problema: detecção de nódulos pulmonares CT PULMÃO CANDIDATOS AVALIAÇÃO TRATAMENTO ~1000 CANDIDATOS É POSSÍVEL USAR UMA REDE NEURONAL PARA FILTRAR A LISTA DE CANDIDATOS?

39 APLICAÇÃO 2: REDE VGG Problema: detecção de nódulos pulmonares CT PULMÃO CANDIDATOS AVALIAÇÃO TRATAMENTO classe (probabilidade) CONVOLUÇÃO 3D

40 APLICAÇÃO 2: REDE VGG Problema: detecção de nódulos pulmonares CT PULMÃO CANDIDATOS AVALIAÇÃO TRATAMENTO

41 APLICAÇÃO 2: REDE VGG Problema: detecção de nódulos pulmonares CT PULMÃO CANDIDATOS AVALIAÇÃO TRATAMENTO

42 APLICAÇÃO 2: REDE VGG Problema: detecção de nódulos pulmonares CT PULMÃO CANDIDATOS AVALIAÇÃO TRATAMENTO classe (probabilidade) 4 CANDIDATOS POR EXAME 3D ACURÁCIA: 90% 2D: ACURÁCIA: 85% SPEED UP: 127X

43 CONCLUSÕES Deep learning é o estado da arte nas áreas de visão computacional, reconhecimento de voz, predição de séries temporais e outras. Muito para ser feito

44 CONCLUSÕES

45 [1] - Müller, Berndt, Joachim Reinhardt, and Michael T. Strickland. Neural networks: an introduction. Springer Science & Business Media, [2] - Jordan, Michael I., and Tom M. Mitchell. "Machine learning: Trends, perspectives, and prospects." Science (2015): OBRIGADO