Face Recognition using RGB-D Images

Transcrição

1 Face Recognition using RGB-D Images Helder C. R. de Oliveira N.USP: Polyana Nunes N.USP:

2 Sobre o Artigo Publication: 2013 IEEE Sixth International Conference Author(s) Goswami, G. (Índia ) Bharadwaj, S. Vatsa, M. Singh, R. fgauravgs, samarthb, mayank, rsinghg@iiitd.ac.in 2

3 Sumário Kinect; Reconhecimento de Faces; Espaço RGB-D; Espaço RGB-D para o Reconhecimento de Faces; Algoritmo Proposto; Extração de Características: Mapa de Entropia; Mapa Visual de Saliência; Histogramas de Gradientes Orientados; Classificador: Random Decision Forests; Resultados Experimentais; Conclusões; Referências; 3

4 Kinect Sensor de movimentos desenvolvido para Xbox 360/One; Recursos: Câmera RGB; Sensor de profundidade (Infra Vermelho); Microfone embutido; Próprio processador e software; Detecta 48 pontos de articulação do corpo humano. 4

5 Reconhecimento de Faces Reconhecer não é detectar! Problemas do reconhecimento de objetos: Iluminação; Ponto de visão; Distorções; Expressões (Faces); Uso de acessórios (Faces); Com o advento de novos sensores (Kinect) é possível ter imagens 3D: RGB-D Red Green Blue Depth; Imagens 2D (RGB) possuem informações limitadas; Fornece informações de profundiade por pixel, usando o projetor laser infravermelho e a câmera. 5

6 RGB-D para Reconhecimento de Faces Utilização (Artigo): Reconhecimento de face; Imagens Kinect Imagens 3D convencionais: Técnicas 3D imagens RGB-D; Cada pixel no mapa de profundidade tem um valor: Indica Distância do sensor até o objeto; RGB? Mapa de profundidade 6

7 RGB-D para Reconhecimento de Faces Mapa de profundidade: Inter-classe: Grande similaridade devido a ruído e furos ; Não diferencia indivíduos; As imagens RGB possuem a diferença inter-classes necessária; Mapa de profundidade de indivíduos distintos. Intra-classe: Baixa variação que pode ser utilizado para aumentar a robustez de covariâncias como expressões/poses; 7

8 Algoritmo Proposto Workflow: Ressalta formas 8 *Histograma de Gradiente Orientado

9 Extração de Características: Mapa de Entropia Medida de incerteza numa variável aleatória. (Característica Textura) A entropia é dada por: Sendo as imagens de entrada, ambas de tamanho M N: RGB I rgb (x, y); Mapa de profundidade I d (x, y); I rgb (x, y) Aleatoriedade do pixel n H x = p(x i ) log b p(x i ) i=1 I d (x, y) H (X, Y) 9 Amplifica as variações

10 Extração de Características: Mapa de Entropia São extraídos dois patches de cada imagem, onde: P 1 e P 2 I rgb ; P 3 e P 4 I d ; P 1 e P 3 tem dimensão: [ M 2, M 2]; P 2 e P 4 tem dimensão: [ 3M 4, 3M 4] Ambos centrados em: [ M 2, M 2]; I rgb (x, y) I d (x, y) 10

11 Extração de Características: Mapa de Entropia De cada patch é extraído o mapa de entropia Quatro mapas de Entropia. E i = H P i, onde, i [1,4]; 11

12 Extração de Características: Mapa Visual de Saliências Atrai a atenção visual (Ressalta formas); As técnicas são desenvolvidas para imagens visuais (I rgb ): Não faz sentido usar mapa de profundidade (I d ); Mapas de profundidade produzem resultados irregulares. S 1 x, y = S I rgb x, y (x 1, M, y 1, N ) I rgb (x, y) S 1 (x, y) I d (x, y) 12

13 Extração de Características: Mapa Visual de Saliências Outros exemplos: 13

14 Extração de Características: Mapa Visual de Saliências Arquitetura: 14

15 Extração de Características: Histograma de Gradientes Orientados (HOG) A aparência e forma de um objeto pode ser caracterizado pela distribuição local de gradientes de intensidade ou direções de borda; Os pixels da imagem são agrupados de acordo com magnitude e direção do gradiente; Imagem original HOG 15

16 Extração de Características: Histograma de Gradientes Orientados (HOG) Calcula-se o HOG (D(. )) dos mapas de entropia e saliência: F i = D E i, onde, i [1,4] Funcionamento: 16

17 Extração de Características HOG do mapa de saliência S 1 : F 5 = D(S 1 (I rgb )) Descritor F ao concatena os histogramas calculados anteriormente: F = [F 1, F 2, F 3, F 4, F 5 ] F é utilizado como entrada para um classificador multi-classe. 17

18 Classificador Random Decision Forests (RDF) É possível utilizar qualquer classificador multi-classes: Nearest Neighbor (NN); Random Decision Forests (RDF); Support Vector Machines (SVM); Pré-requisitos: Deve ser robusto a uma grande quantidade de classes; Computacionalmente barato; Preciso; Escolha por RDF: Comparado com SVM: Produz limites de decisão não-linear melhor; Lida melhor com multi-classes; Comparado com NN: É robusto em casos isolados; 18

19 Ambiente de Testes IIIT-D RGB-D face database: 4605 imagens (não segmentadas), 24 bits, 640 x 480; 106 indivíduos (homens e mulheres); De 11 a 254 imagens por indivíduo. EURECOM database: 936 imagens; 52 indivíduos; Variações de pose, iluminação e oclusão. 19 IIIT-D RGB-D face database

20 Resultados Experimentais Avaliação do peso de cada componente do algoritmo proposto: 20

21 Resultados Experimentais Comparação de extratores de características e database; 21

22 Resultados Experimentais Comparação do algoritmo proposto com outros, usando o IIIT-D RGB-D Face Database: 22

23 Resultados Experimentais Comparação do algoritmo proposto com outros, usando o EURECOM Kinect Face Dataset: 23

24 Conclusões Mapas de profundidade e imagens RGB obtidas com o Kinect; Os experimentos feitos em imagens de duas bases de dados mostraram que o algoritmo proposto é superior aos atuais para imagens 2D e 3D; Nossa conclusão: Artigo difícil de ser reproduzido! Precisa do Kinect? Todo o processamento é baseado na (correta) detecção da face na cena; Pessoa com expressões e óculos ou chapéu? 24

25 Isso é tudo! 25

26 Referências G. Goswami et al. On RGB-D face recognition using kinect N. Dalal and B. Triggs. Histograms of oriented gradients for human detection. In CVPR, volume 1, pages , T. K. Ho. Random decision forests. In ICDAR, pages , L. Itti, C. Koch, and E. Niebur. A model of saliency-based visual attention for rapid scene analysis. IEEE TPAMI, 20(11): , D. G. Lowe. Object recognition from local scale-invariant features. In ICCV, volume 2, pages , P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. In CVPR, volume 1, pages , G. K. Sandve et al. Ten simple rules for reproducible computational research. PLoS Comput Biol 9(10),