Detecção de características. Fabíola Alvares R. de Souza Maffra Orientador: Marcelo Gattass

Transcrição

1 Detecção de características faciais utilizando FERNS Fabíola Alvares R. de Souza Maffra Orientador: Marcelo Gattass Dissertação de mestrado 20 de agosto de 2009

2 Agenda Motivação e objetivo Desafios Contribuições Ferns Método proposto Resultados e conclusões Dissertação de mestrado Fabíola Maffra 2

3 Motivação visualização de modelos 3D Realidade aumentada Eye mouse Dissertação de mestrado Fabíola Maffra 3

4 Desafios Pose: A imagem da face depende da posição da face em relação à câmera (frontal, inclinada, perfil, cabeça pra baixo, etc.). Presença ou não de componentes estruturais: Características faciais tais como barba, bigode, cabelo e óculos podem ou não estar presentes. Além disso, a variedade entre esses componentes é bem grande, podendo ter formas, cores e tamanhos diferentes. Dissertação de mestrado Fabíola Maffra 4

5 Desafios Expressões faciais: A aparência da face é diretamente afetada pelas expressões faciais e emoções presentes na face da pessoa. Oclusão: As faces podem estar parcialmente oclusas por objetos ou por outra face. Condições da imagem: As condições de aquisição da imagem podem provocar problemas com a iluminação, podem fornecer imagens tremidas, com pouca resolução, etc. Dissertação de mestrado Fabíola Maffra 5

6 Objetivo Avaliar o potencial do FERNS para detecção de características faciais, em tempo real, em uma seqüência de imagens adquiridas a partir de uma webcam comum. Dissertação de mestrado Fabíola Maffra 6

7 Contribuições Novo método para detecção de características faciais (olhos e narinas) em tempo real, baseado num pipeline modificado dos FERNS. Estudo apurado da aplicabilidade dos FERNS original para detecção de faces Conjunto de vídeos marcados manualmente que podem servir de benchmark para padronização de testes na área. Dissertação de mestrado Fabíola Maffra 7

8 Detecção de características faciais Muitos algoritmos mostram se bastante confiáveis na detecção de faces em imagens com grande quantidade de pessoas e apresentando desempenho em tempo real ou perto disso. Muito ainda precisa ser feito para fornecer uma detecção precisa e detalhada da face e de suas características. Embora existam muitos métodos para localização de características faciais, a maior parte deles é computacionalmente cara, tornando inviáveis aplicações em tempo real. Dissertação de mestrado Fabíola Maffra 8

9 Detecção de características faciais Método baseado na segmentação da cor (para encontrar a região da face). Método baseado na aparência (utiliza aprendizado de máquina para aprender sobre as características a serem detectadas). Dissertação de mestrado Fabíola Maffra 9

10 FERNS Correspondência (matching) entre os pontos característicos (keypoints) extraídos da imagem de treinamento e aqueles extraídos das imagens obtidas em tempo real, de diversos pontos de vista. Matching de um objeto planar Dissertação de mestrado Fabíola Maffra 10

11 Problema de matching Problema de classificação Naïve Bayesian (algoritmo simples, robusto e com menor demanda computacional) Fase de treinamento offline: 1. Extração de keypoints da imagem de treinamento. 2. Geração das diversas vistas dos image patches centradosnoskeypoints. 3. Treinamento do classificador. Dissertação de mestrado Fabíola Maffra 11

12 Deseja se encontrar cˆ i arg maxc P( C i c i patch) Sendo um patch representado por um conjunto de características binárias da imagem temos: Logo, cˆ i arg maxc P( C ci f, f2,..., i O teorema de Bayes fornece: P( C c c arg max P( f, f,..., f C i i 1 N A abordagem Naïve Bayes assume total independência entre as características: f 1 Para levar em conta algumas das dependências existentes entre as características:, Particionar o conjunto de características em M grupos de tamanho S. M FERNS Para cada FERN calcula se a probabilidade conjuntapara as características. K ésimo FERN Dissertação de mestrado Fabíola Maffra 12 f 2,..., ˆi c 1 2 N ci P( f P( f Fk { f ( k,1), f ( k,2),..., f ( k, S )}, k 1... M f N ) ) f P( f N 1, f2,..., f N C ci ) P( f j C ci ) j 1 M 1, f2,..., f N C ci ) P( Fk C ci ) k 1 f k, j), j 1... N ( 1 ), N 300 f 2 M 30 e S 10,..., f P( f 1 C ci, f,..., f N 2 N ) P( C ) N uniforme c i ) Fator de escala (Probabilidade condicional) Função de permutação aleatória

13 Fase de treinamento Os testes comparam a intensidade de dois pixels ao redor do keypoint. Invariante à mudança de variação. Probabilidade à posteriori: Dissertação de mestrado Fabíola Maffra 13

14 Fase de treinamento Dissertação de mestrado Fabíola Maffra 14

15 Fase de treinamento Dissertação de mestrado Fabíola Maffra 15

16 Fase de treinamento Dissertação de mestrado Fabíola Maffra 16

17 Fase de treinamento Dissertação de mestrado Fabíola Maffra 17

18 Fase de treinamento Dissertação de mestrado Fabíola Maffra 18

19 Fase de treinamento Normalizar: P ( f 1, f 2,, f n C c i ) Dissertação de mestrado Fabíola Maffra 19

20 Reconhecimento Dissertação de mestrado Fabíola Maffra 20

21 Método Proposto Fase de treinamento offline permitindo seleção de várias regiões de interesse. Segmentação da face para eliminação de alguns outliers. Clusterização dos keypoints reconhecidos para encontrar as regiões de busca das características da face. Determinação da posição das características da face (OD, OE e narinas). Dissertação de mestrado Fabíola Maffra 21

22 Fase de treinamento Se o objeto possui uma pequena curvatura uniforme os patches ao redor de um keypoint podem ser tratados como localmente planares. Distorções em relação às mudanças de perspectivas podem ser vistas como homografias. Uma única imagem frontal do rosto é suficiente para gerar um conjunto de amostras de possíveis aparências da face tomadas de diversos pontos de vista. Fonte: Özuysal et al. Dissertação de mestrado Fabíola Maffra 22

23 Fase de treinamento Seleção de múltiplas áreas de interesse (roi) para o treinamento. Detecção dos keypoints dentro das áreas de interesse marcadas na imagem de treinamento (em várias escalas). Geração das vistas para cada keypoint detectado (ângulos de rotação restritos ao intervalo [ 45,+45]). rotação e perspectiva tratadas pelo classificador. Treinamento dos FERNS (retornam a probabilidade a posteriori de um patch pertencer a cada uma das classes aprendidas) 30 FERNS, 12 testes por FERN, 4 octaves (robustez em relação às variações de escala). Dissertação de mestrado Fabíola Maffra 23

24 Segmentação de face Eliminação de outiliers. Amostras de cor extraídas da imagem de treinamento. Um pixel i pertence à face se: R G B i i i [ mr R, mr R] [ mg G, mg G] [ mb B, mb B] onde m média e desvio padrão Dissertação de mestrado Fabíola Maffra 24

25 Segmentação de face Encontro os contornos das regiões detectadas pela segmentação. Calcula a área interior de cada um dos contornos encontrados. Pega a região de maior área como sendo a região da face. Não necessita treinar o fundo para fazer sua remoção! Dissertação de mestrado Fabíola Maffra 25

26 Segmentação de face Fecho convexo Menos outliers são eliminados! Dissertação de mestrado Fabíola Maffra 26

27 Reconhecimento de keypoints Dissertação de mestrado Fabíola Maffra 27

28 Clusterização e detecção das regiões das características faciais Problema: Simetria e homogeneidade de certas regiões da face podem acabar gerando outliers. Hipótese: A maior parte dos keypoints reconhecidos se encontra mais concentrada na área de interesse em questão (OD, OE ou narinas). Solução: Agrupar keypoints próximos de forma independente para cada característica em questão e decidir qual dos clusters obtidos melhor representa essa característica. Dissertação de mestrado Fabíola Maffra 28

29 Clusterização e detecção das regiões das características faciais Keypoints das narinas reconhecidos pelo FERNS. Dissertação de mestrado Fabíola Maffra 29

30 Clusterização e detecção das regiões das características faciais Maior cluster Agrupar os keypoints próximos e pegar o cluster de maior tamanho para representar a característica em questão. Cluster mais forte Para cada um dos clusters obtidos soma se a probabilidade de cada um dos seus keypoints e pega o cluster que tem a maior probabilidade para representar a característica em questão. Dissertação de mestrado Fabíola Maffra 30

31 Clusterização Dissertação de mestrado Fabíola Maffra 31

32 Clusterização Dissertação de mestrado Fabíola Maffra 32

33 Clusterização Dissertação de mestrado Fabíola Maffra 33

34 Clusterização Dissertação de mestrado Fabíola Maffra 34

35 Clusterização Dissertação de mestrado Fabíola Maffra 35

36 Clusterização Dissertação de mestrado Fabíola Maffra 36

37 Clusterização Dissertação de mestrado Fabíola Maffra 37

38 Clusterização Dissertação de mestrado Fabíola Maffra 38

39 Clusterização Dissertação de mestrado Fabíola Maffra 39

40 Clusterização Dissertação de mestrado Fabíola Maffra 40

41 Rastreamento baseado nos clusters Inicialização automática utilizando os 10 primeiros quadros do vídeo considerando a face frontal. Como não existem mudanças muito grandes entre dois quadros consecutivos do vídeo podese usar a posição da região do quadro anterior para encontrar a região no quadro atual. Reinicialização do sistema utilizada 10 quadros consecutivos, mas não garante corretude no processo (o ideal é voltar a posição frontal). Dissertação de mestrado Fabíola Maffra 41

42 Detecção das narinas Detecta a região das narinas utilizando um dos métodos de clusterização apresentados. Busca pelas regiões mais escuras dentro da região das narinas (threshold) região bem homogênea. Problemas: Região de cada narina pode ficar dividida. Ruídos na imagem. Filtro de dilatação para unir regiões disjuntas que se encontrem próximas (narinas divididas) Resíduos longe das narinas ficam mais realçados. Narinas representam as duas maiores regiões detectadas após a operação de dilatação (aplicar operação de erosão para excluir regiões que não fazem parte da narina). Dissertação de mestrado Fabíola Maffra 42

43 Detecção das pupilas Grande quantidade de ruído na região de busca das pupilas (provenientes dos cílios e sobrancelhas). Detectar a região mais escura dentro da região de busca (threshold), calcula se a elipse que melhor se ajusta à região mais escura detectada. Considera o centro da elipse como sendo o centro da pupila. Dissertação de mestrado Fabíola Maffra 43

44 Detecção das pupilas Busca no interior da elipse para encontrar a coluna com mais pixels pretos (pois essa passa pelo centro da pupila) coordenada x. A coordenada y é dada pela coordenada y do centro da elipse. Dissertação de mestrado Fabíola Maffra 44

45 Análise experimental Base de dados para testes Vídeos separados em uma seqüência de imagens marcadas manualmente para cálculo de erro. Vídeos sintéticos de uma imagem projetada no plano com uma rotina para gerar movimentos idênticos em diversos vídeos. Vídeos com movimentos de translação, escala, rotação em torno do eixo vertical (yaw) e rotação em torno do eixo longitudinal (roll) simplificação dos movimentos do rosto. Taxa de 30 fps, resolução de 640 x 480 (Quickcam Pro 9000 da Logitech). Dissertação de mestrado Fabíola Maffra 45

46 Textura Taxa de detecções corretas Face 57.7% Face com textura e características faciais 97.7% Face com textura sobre as características faciais 94.1% Código Fonte: Dissertação de mestrado Fabíola Maffra 46

47 Tamanho da região de interesse (Roi) Taxa de detecções corretas Vídeo Tamanho (w x h) Área (pixels) Taxa de detecção (%) ROI x ROI x ROI x ROI 4 48 x ROI 5 60 x ROI 6 35 x Dissertação de mestrado Fabíola Maffra 47

48 Tamanho da região de interesse (Roi) Taxa de detecções corretas Vídeo Tamanho (w x h) Área (pixels) Taxa de detecção (%) ROI x ROI x ROI 3 82 x ROI 4 32 x ROI 5 82 x ROI 6 46 x A detecção das características faciais fica prejudicada, pois essas ocupam uma área de interesse pequena. Dissertação de mestrado Fabíola Maffra 48

49 Assumindo planaridade para faces Exemplo 1 Vídeo Taxa de detecção (%) Exemplo 1 face 15.9 Exemplo 1 face no plano 14.4 Exemplo 2 Exemplo 2 face 35.1 Exemplo 2 face no plano 27.5 Dissertação de mestrado Fabíola Maffra 49

50 Clusterização Cluster mais Erro < 6 pixels (%) Erro < 10 pixels (%) forte Escala Transl. Yaw Roll Escala Transl. Yaw Roll ND Tolerância = 10 NE ODC ODM OEC OEM Erro < 6 pixels (%) Erro < 10 pixels (%) Maior Cluster Escala Transl. Yaw Roll Escala Transl. Yaw Roll ND Tolerância = 10 NE ODC ODM OEC OEM Dissertação de mestrado Fabíola Maffra 50

51 Clusterização ERRO: ND = 1.0, ND = 2.0, OD = 4.2 e OE = 2.2 ERRO: ND = 1.0, ND = 2.0, OD = 5.0 e OE = 5.0 Marcação das características manualmente não é 100% correta. Dissertação de mestrado Fabíola Maffra 51

52 Clusterização Erro < 6 pixels (%) Maior Cluster Escala Transl. Yaw Roll ND Tolerância = 10 NE ODC ODM OEC OEM Erro < 6 pixels (%) Maior Cluster Escala Transl. Yaw Roll ND Tolerância = 15 NE ODC ODM OEC OEM Dissertação de mestrado Fabíola Maffra 52

53 Rastreamento Com Rastreamento Rastreamento Erro < 6 pixels (%) Tolerância = 15 Escala Transl. Yaw Roll ND NE ODC ODM OEC OEM Sem Rastreamento Cluster mais Erro < 6 pixels (%) Tolerância = 15 forte Escala Transl. Yaw Roll ND NE ODC ODM OEC OEM Dissertação de mestrado Fabíola Maffra 53

54 Rastreamento Erro Rastreamento OD Escala Frame Sem Rastreamento Com rastreamento 150 Rastreamento OD Yaw Erro Frame Sem Rastreamento Com Rastreamento Dissertação de mestrado Fabíola Maffra 54

55 Resultados com pessoas diferentes Taxa de detecções corretas (Erro < 6) Vídeo 1 Escala Translação Yaw Roll ND NE ODC ODM OEC OEM Erro médio em pixels Vídeo 1 Escala Translação Yaw Roll ND NE ODC ODM OEC OEM Dissertação de mestrado Fabíola Maffra 55

56 Resultados com pessoas diferentes Taxa de detecções corretas (Erro < 6) Vídeo 1 Escala Translação Yaw Roll ND NE ODC ODM OEC OEM Erro médio em pixels Vídeo 1 Escala Translação Yaw Roll ND NE ODC ODM OEC OEM Dissertação de mestrado Fabíola Maffra 56

57 Outras observações Imagens borradas! Dissertação de mestrado Fabíola Maffra 57

58 Desempenho Linguagem de programação: C++ Intel Core 2 Quad CPU Q6600, 2.4 GHz com 3 GB de RAM (o multi core nao foi explorado). Resolução dos vídeos: 640 x 480. Tempo médio por quadro para tempo real (30fps) é de 33 ms. Vídeo ms Escala Translação Yaw Tempo Real Roll Dissertação de mestrado Fabíola Maffra 58

59 Conclusão O FERNS em sua versão original não funciona para o casa de faces, pois essas não possuem textura suficientes. O FERNS foi capaz de reconhecer determinadas características, mas os ids não foram atribuídos, necessariamente, aos keypoints corretos. Dissertação de mestrado Fabíola Maffra 59