Introdução a Local Binary Patterns (LBP) Prof. Dr. Geraldo Braz Junior

Transcrição

1 Introdução a Local Binary Patterns (LBP) Prof. Dr. Geraldo Braz Junior

2 Local Binary Pattern (LBP) Proposto como uma maneira eficiente e simples de descrever textura E pode ser u<lizado com outros descritores, como HOG Recentemente, análise de expressões faciais baseadas em padrão binário local (LBP) e suas variantes ganharam muita popularidade pelas seus desempenhos superiores. O método LBP extrai informação de textura local por estabelecer um limiar para um número P de vizinhos, no valor do pixel central em uma vizinhança local. 2

3 Funcionamento 3

4 Funcionamento 4

5 Local Binary Pattern (LBP) Prós: Computacionalmente eficiente e robusto a variação monotônica de iluminação. Simples. Limitações: Desempenho ruim na presença de ruídos aleatórios Considera apenas o sinal da diferença valores de cinza, descartando a magnitude. entre dois 5

6 Uma boa Variante Compound Local Binary PaXern (CLBP) Atribui um código de 2P bits ao pixel central baseado nos valores de cinza de uma vizinhança local que compreende P vizinhos. Usa dois bits para cada vizinho para representar o sinal, bem como a informação de magnitude da diferença entre o centro e seus vizinhos. O primeiro bit representa o sinal de diferença entre o centro e o vizinho e o segundo bit é usado para codificar a magnitude da diferença com relação a um valor limitante, nesse caso a magnitude média. 6

7 CLBP - Funcionamento Onde M avg é a magnitude média da diferença entre o centro e os vizinhos de interesse 7

8 CLBP - Funcionamento 8

9 CLBP - Características Como códigos de 16 bits são usados para classificar os pixels, o número de padrões binários possíveis é de Para diminuir o número de padrões possíveis, é feita uma abordagem onde todos os padrões CLBP são divididos em dois sub- CLBP. Esse método reduz significantemente o número de possíveis padrões, resultando em um total de 2 8 diferentes padrões sub- CLBP. Os dois padrões sub- CLBP são tratados como códigos binários separados e posteriormente combinados durante a geração do vetor de caracterís<cas. 9

10 CLBP - Características 10

11 Representação de Características usando CLBP 1. O histograma de 16- bits do CLBP é dividido em 2 sub- padrões de 8- bits; 2. Depois estes dois sub- padrões são concatenados para gerar um único histograma. Figura: Exemplo do processo de geração do vetor de caracterís<cas. 11

12 Representação de Características usando CLBP Histogramas gerados pela codificação de toda uma imagem não contêm informações dos micro- padrões, somente ocorrências são expressas; A presença de informação local e relação espacial ajuda em uma melhor representação e descreve a imagem com maior acurácia. 12

13 Representação de Características usando CLBP Cada imagem é par<cionada em um número de regiões individuais e histogramas individuais são gerados a par<r destas regiões e após isso são concatenados visando incorporar algum grau de informação local. 13

14 Resultados Experimentais Faisal Ahmed, Emam Hossain, A.S.M. Hossain Bari and ASM Shihavuddin: Compound local binary paxern (CLBP) for robust facial expression recogni<on Base de imagens: Banco de dados de expressões faciais de Cohn- Kanade; 1224 imagens de 6 expressões emocionais; SVM Incluidas imagens 408 imagens neutras; Normalizadas a 150x110 pixels. 14

15 Resultados Experimentais Tabela 1: Resultados U<lizando a base de 6 expressões faciais Tabela 1: Resultados U<lizando a base de 7 expressões faciais 15

16 Existem vários outros tipos LQP: Local Quinary PaXern LTP: Local Ternary PaXern CS- LBP: Center Symmetric LBP EQP: Elogated Quinary PaXerns LBPV: Local Binary PaXern Variance VLBP: Volume Local Binary PaXerns LBP- TOP: LBP for Three Orthogonal Planes LPQ: Local Phase Quan<za<on E muitos outros! 16

17 Outras Aplicações Ojala T & Pie<käinen M (1999) Unsupervised texture segmenta<on using feature distribu<ons. PaXern Recogni<on 32:

18 Outras Aplicações Heikkilä M, Pie<käinen M & Schmid C (2009) Descrip<on of interest regions with local binary paxerns. PaXern Recogni<on 42(3):

19 Outras Aplicações Illumina<on invariance using LBP with NIR imaging S.Z. Li et al. [IEEE PAMI, 2007] 19

20 Outras Aplicações Heikkilä M & Pie<käinen M (2006) A texture- based method for modeling the background and detec<ng moving objects. IEEE Transac<ons on PaXern Analysis and Machine Intelligence 28(4): (an early version published at BMVC 2004) 20

21 Outras Aplicações Kellokumpu V, Zhao G & Pie<käinen M (2009) Recogni<on of human ac<ons using texture. Machine Vision and Applica<ons (available online). 21

22 E muitas outras Tem sido muito aplicado em visão Procure outras aplicações! 22