Detecção em tempo real de movimentos de olhos e boca em um vídeo em cores

Transcrição

1 Detecção em tempo real de movimentos de olhos e boca em um vídeo em cores Daniel Ponciano dos Santos Barboza, Programa de Engenharia de Sistemas e Computação - PESC/COPPE Universidade Federal do Rio de Janeiro, Brasil, danielpsb@cos.ufrj.br Resumo Este trabalho foi desenvolvido como projeto final para a disciplina Introdução ao Processamento de Imagens aos alunos de pós-graduação. Um algoritmo real-time é proposto para detectar movimentos de olhos e boca em imagens coloridas baseado no método de Hsu-Jain [1] Face Detection in color images e na detecção da face de Viola-Jones[2] 1. Objetivo Este trabalho tem como objetivo a detecção de movimento de olhos e boca em tempo real através de uma webcam e o problema foi dividido em 3 etapas: a detecção da face, a detecção de olhos e boca e finalmente o reconhecimento dos movimentos. A primeira etapa é solucionada com método de Viola-Jones [2]. Uma abordagem para detecção de caraterísticas de uma face é a baseada em cores. No método de Hsu-Jain [1], o reconhecimento de olhos e boca foi realizado através da utilização de mapas de cores de componentes YcrCb. Os mapas de olhos são utilizados para solucionar a segunda etapa. Finalmente, para detecção de movimentos, é proposto dois novos mapas de cores: um para iris e outro para região interna da boca. 2. Desenvolvimento do algoritmo Primeiramente, como descrito na seção anterior, a detecção de face foi realizada pelo método de Viola-Jones[2]. A linguagem utilizada para o desenvolvimento do sistema foi C++ com a biblioteca OpenCV, que possui funções de processamento de imagem e suporte para webcam. Entre os recursos disponíveis pelo OpenCV, encontra-se a uma função para detecção de faces pelo método Viola-Jones que foi empregada neste sistema, visto que a contribuição deste trabalho encontra-se nas próximas etapas e a função apresenta resultados muito bons em tempo real. De acordo com Face Detection in color images, que se baseia no sistema de cores YCrCb, cuja a primeira componente é luma - responsável pela luminosidade (claro e escuro) e as outras duas, red-difference e blue-diference, são base para representação das cores; a presença de algumas caraterísticas observadas nas componentes são peculiares em certas regiões de uma face. A partir destas inferências é possível construir mapas pra determinar onde encontram-se olhos e boca.

2 2.1. Mapas de olhos Hsu [1] diz que ao redor dos olhos há presença de forte de Cb e baixa de Cr. Desta forma ele constrói um mapa C seguindo a equação: Mapa C = onde Cr é complemento do valor da componente Cr ( 255 menos o valor do pixel correspondente) e Cb², Cr ² e Cb/Cr é normalizado. Na Figura 1, pode-se observar a imagem original e as componentes Cb² e Cr ² normalizadas. 1 3 {(Cb)2 +( Cr) 2 +( Cb )} Cr (a) (b) (c) Fig.1 (a) Frame original (b) Cb² (c) Cr ² Um segundo mapa L citado por Hsu [1], responsável pelo brilho intenso nos olhos baseia-se no fato dos olhos possuírem tons de claro e escuro adjacentes, destacando o brilho dos olhos eliminando boa parte das demais regiões do rosto. Mapa L = Dilate Y / Erode Y 1 A união dos dois mapas L e C através do operador e (multiplicação) associado a um threshold, erosões e dilatações para eliminar ruídos na região dos olhos. O resultado está na figura 2. Fig.2 - Mapa L ^ Mapa C

3 2.2. Mapa de iris Para estabelecer o movimento, é necessário isolar a iris através de outro mapa visando orientá-la em relação ao olho. Observa-se que o brilho da componente Cb² normalizada da região branca do globo ocular é maior que em Cr², como podemos perceber na Fig.1. Logo através de um terceiro mapa, a iris pode ser isolada através da equação: Mapa 3 = Se {HistNorm Cr 2 HistNorm Cb 2 }então HistNorm Cr 2 senão 0 Analogamente, o mapa 3 associado a um threshold, erosões e dilatações para eliminar ruídos na região dos olhos resulta na imagem da Figura 3. Fig.3 - Mapa Mapa da boca Ao estabelecer o movimento da boca, nota-se que as componentes Cr e Cb definem a região onde inicia o interior da boca e começa o lábio: Cb é maior que Cr no interior da boca e menor que Cr no lábio. Na figura 4 podemos observar o quadrado dessas componentes após a normalização de histograma. (a) (b) (c) Fig.4 (a) Frame original (b) Cr² (c) Cb²

4 A equação o mapa 4 pode observada na equação abaixo. A imagem final do mapa passa por uma suavização gaussiana, além do threshold e da erosão e da dilatação para eliminação de ruídos. Então os pixels do mapa fora da região de interesse (ROI) - um retângulo na região da boca são anulados e o resultado é pintado direto no frame a ser exibido. A Figura 5 mostra o mapa 4 da Fig. 4(a). Mapa 4 = HistNorm Cb 2 HistNorm Cr 2 Fig.5 - Mapa Orientação dos olhos Com o mapa dos olhos e o mapa da iris, multiplicamos cada um pelo canal Cb e subtraímos de 2 vezes o valor de cada mapa por Cr. O resultado desta operação enaltece a região dos olhos, visto a baixa presença de Cr nos olhos e reduzindo ruídos gerados por sobras ao seu redor. Os canais Cr e Cb de uma imagem colorida recebem os valores da operação de cada mapa. Finalmente, no canal Y a região de interesse é atribuída o valor máximo. A Figura 6 exibe o resultado para imagem da Fig. 1(a). Fig.6 Y: ROI, Cr: Resultado do Mapa das Iris e Cb: resultado do Mapa dos olhos O algoritmo calcula o centro de massa de todos os pixels de cada canal dentro da região de interesse. Cada canal resulta em duas coordenadas: a do mapa dos olhos que é o centro de uma elipse, e a do mapa da iris que é o centro de um circulo. Na Figura 7 podemos observar o resultado final para as imagens das Figs. 1(a) e 4(a).

5 Fig.7 Resultado do método 3. Conclusões O algoritmo apresenta processamento em tempo real, entretanto, por se tratar de uma detecção baseada em cor, o método tem baixa resiliência variações rápidas de iluminação e necessita de algumas restrições: uma luz direta muito forte produz iluminação especular que pode diminuir a sensibilidade do sistema, além do fundo da boca se aproximar do tom avermelhado do lábio, e ao utilizar o método contra a luz, ocorre dificuldade em compensar a iluminação e a boca gera ruídos pela redução do tom avermelhado dos lábios. A Figura 8 apresenta alguns frames processados. Fig.8 Frames processados

6 4. Referências Bibliográficas [1] Hsu, R., Abdel-Mottaled, M., e Jain, A. K., Face Detection in Color Images IEEE Transations on Patern Analysis and Machine Intelligence, Vol.24, No. 5, May 2002 [2] Viola, P., e Jones, M. - Robust Real-Time Face Detection, International Journal of Computer Vision 57(2), , [3] Braski, G., e Kaehler, A. - Learning OpenCV: Computer Vision with the OpenCV Library, O'Reilly Media; 1st edition (October 1, 2008)