Biometria Multimodalidade Íris + Face. Luiz Antonio Zanlorensi Junior

Transcrição

1 Biometria Multimodalidade Íris + Face Luiz Antonio Zanlorensi Junior

2 Sumário Introdução Fusionamento Artigo 1 Seleção de características Multimodal Problemas Base de dados Artigo 2 Unimodal + Multimodal Unimodal Considerações Finais

3 Introdução Sistema simples biométrico (Ross; Jain, 2003): Sensor module; Feature extraction module; Matching module; Decision-making module. Multimodal;

4 Introdução Geralmente, Biometria multimodal pode superar limitações encontradas em únicos traços biométricos e melhorar a precisão de classificação (Ross; Jain, 2003), (Jain; Ross, 2004),(Liau; Isa, 2011). Ruídos específicos: Luz voz Som imagem Resolução íris, face

5 Introdução Anti-spoofing mais difícil um intruso burlar vários traços biométricos simultâneamente

6 Fusionamento 3 formas de fusão (Ross; Jain, 2003): Única biometria com múltiplas representações: Múltiplas representações (LBP, wavelet) de uma única biometria, podendo ser concatenado. Utilizando quando possui grande número de classes. Única biometria com múltiplos matchers: Combinar scores.

7 Fusionamento Fusão de multiplas biometrias: Integrar matching scores de diferentes fontes biométricas. Classificadores: SVM; Árvores de decisão; RNA Esquemas de fusão: Regra da soma; Regra do produto; Voto majoritário. Importante: normalização dos scores. C1 C2 C3 Total SM SM SM SOMA PRODUTO VOTO C1

8 Fusionamento 3 possíveis níveis de fusão (Ross; Jain, 2003): Fusão na extração de características: Concatenar vetores; Maior dimensão representando a pessoa em um hiperplano diferente; Técnicas de redução de características podem ser empregadas. Fusão no matching score: Combinar score para afirmar a veracidade da identidade; Combinar pontuação de dois sensores. Fusão no nível de decisão: Cada biometria classificada entre 2 classes: aceito ou rejeitado; Voto majoritário.

9 Fusionamento

10 Fusionamento

11 Feature selection for support vector machine-based face-iris multimodal biometric system (Liau; Isa, 2011) Face blocos 8x8 extraído DCT2D; DCT(discrete cosine transform) = sequência finita de data points em termos de soma de coseno oscilando em diferente frequências. PSO subset otimizado de características; PSO(particle swarm optimization) = otimiza o total error rate (TER) que é a soma de FAR e FRR. Templates comparados com distância euclidiana.

12 Feature selection for support vector machine-based face-iris multimodal biometric system (Liau; Isa, 2011) Íris: Segmentação Canny edge detection and Circular Hough Transform; Normalização 20x240 com interpolação linear; 20 trilhas e 240 setores; Log-gabor filter de característica Selecionadas as trilhas mais discriminantes. Templates comparados com distância de Hamming.

13 Feature selection for support vector machine-based face-iris multimodal biometric system (Liau; Isa, 2011) Objetivos da seleção de características: Face: remover informações redundantes e irrelevantes; Íris: selecionar trilhas mais discriminantes 1D da íris, sem detectar cílios e pálpebras. Base de dados: ORL 40 pessoas CASIA selecionadas aleatóriamente 40 pessoas Juntar bases

14 Feature selection for support vector machine-based face-iris multimodal biometric system (Liau; Isa, 2011) Classificação: SVM com entrada de características 2D e kernel polinomial; Computation speed up: SVM treinado apenas com característica com potêncial de ser vetor de suporte; Características encontradas com K-means (mais longe do centro da classe e próximo do centro da outra classe). Foram selecionados apenas 300 data points.

15 Feature selection for support vector machine-based face-iris multimodal biometric system (Liau; Isa, 2011) Computation speed up:

16 Feature selection for support vector machine-based face-iris multimodal biometric system (Liau; Isa, 2011) Resultados

17 Problemas Segundo Lumini e Nanni (2017): trabalhos multimodais realizados em bases não projetadas para multimodalidades, ou adaptadas. Escalabilidade; Ambientes não controlados.

18 Base de dados (LUMINI, NANNI; 2017)

19 QFuse: Online learning framework for adaptative biometric system (Bharadwaj et al., 2015) Baseado na qualidade da imagem: Confiabilidade de unimodal proporcional a qualidade do par de imagens; Multimodal melhora acurácia; Inicia com unimodal e dependendo da qualidade, muda para multimodal. Atualização online a partir de novos dados;

20 QFuse: Online learning framework for adaptative biometric system (Bharadwaj et al., 2015) Avaliação de qualidade: Qualidade da imagem geral; Qualidade da imagem específica da modalidade: Face: variações de pose, estimadas com posições de olhos e boca; Íris: foco, movimento, oclusão, reflectância, iluminação. Vetor concatenado com as qualidades: Utilizado para selecionar dinâmicamente o matcher.

21 QFuse: Online learning framework for adaptative biometric system (Bharadwaj et al., 2015)

22 QFuse: Online learning framework for adaptative biometric system (Bharadwaj et al., 2015) Matchers: Face: Íris: Uniform Circular Local Binary Pattern(UCLBP); Speeded Up Robust Features (SURF). 1-D log polar Gabor filters; Neurotechnology Veri-eye comercial. Scores normalizados; Sum rule para multimodal.

23 QFuse: Online learning framework for adaptative biometric system (Bharadwaj et al., 2015) Exemplos:

24 QFuse: Online learning framework for adaptative biometric system (Bharadwaj et al., 2015) Exemplos:

25 QFuse: Online learning framework for adaptative biometric system (Bharadwaj et al., 2015) Exemplos:

26 QFuse: Online learning framework for adaptative biometric system (Bharadwaj et al., 2015) Multimodal fusion: normalized score level; Atualização online (SVM RBF):

27 QFuse: Online learning framework for adaptative biometric system (Bharadwaj et al., 2015) Resultados:

28 Unimodal Importante novas pesquisas em unimodal: Deep learning (CNN); DeepIrisNet: Deep Iris representation with applications on iris recognition and cross-sensor iris recognition (GANGWAR; JOSHI, 2016)

29 Considerações Finais Mais artigos com multimodalidade geral; Experimentos em bases específicas para multimodalidade; Escalabilidade; Unimodal + Multimodal; Deep Learning.

30 Referências ROSS, A.; JAIN, A. Information fusion in biometrics. Pattern Recognition Letters, v. 24, p , JAIN, A.; Ross, A. Multibiometric systems. Communications of the ACM. Special Issue on Multimodal Interfaces, v. 47, p , LIAU, H. F.; ISA, D. Feature selection for support vector machine-based face-iris multimodal biometric system. Expert Systems with Applications, v. 38, p , LUMINI, A.; NANNI, L. Overview of the combination of biometric matchers. Information Fusion, v. 33, p , BHARADWAJ, S.; BHATT, H. S.; SINGH, R.; VATSA, M.; NOORE, A. QFuse: Online learning framework for adaptative biometric system. Pattern Recognition, v. 48, p , GANGWAR, A.; JOSHI, A. DeepirisNet: Deep iris representation with applications in iris recognition and cross-sensor iris recognition. Image Processing (ICIP), SIM, H. M.; ASMUNI, H.; HASSAN, R.; OTHMAN, R. M. Multimodal biometrics: Weighted scores level fusion based on non-ideal iris and face images. Expert Systems with Applications, v. 41, p , ESKANDARI, M.; TOYGAR, O. A new approach for face-iris multimodal biometric recognition using score fusion. International Journal of Pattern Recognition and Artificial Intelligence, v. 27, n. 3, 2013.

31 Outros Artigos Multimodal biometrics: Weighted score level fusion based on non-ideal iris and face images (SIM et al., 2014): Bases: UTMIFM, UBIRIS 2 + ORL; Face: EigenFaces + Distancia euclidiana; Íris: NewWave Networks + Distancia de Hamming; Resultado(%): UTMIFM: Acc = 98,6, FAR = 0.10, FRR = 0.01 UBIRIS 2 + ORL: Acc = 99.4, FAR = 0.09, FRR = 0.01 Compara com papers de diferentes métodos e bases.

32 Outros Artigos A new approach for face-iris multimodal biometric recognition using score fusion (ESKANDARI, M.; TOYGAR, O., 2013); Bases: ORL, BANCA, CASIA, UBIRIS Características: PCA, subspace LDA, sppca, mpca, LBP. Metodologia: fusiona extratores de íris e face isoladamente com sum rule e concatena os resulados. Depois utiliza Nearest Neighbor Classifier.

33 Outros Artigos Fusion of face and iris biometrics using local and global feature extraction methods (ESKANDARI, M.; TOYGAR, O., 2014) Base diferente; Feature extractor selection for face-iris multimodal recognition (ESKANDARI, M.; TOYGAR, O.; DEMIREL, H., 2014) PSO;