DSM 2007 Conferência Nacional de Dinâmica de Sistemas Multicorpo DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS Fernando J. S. Carvalho, João Manuel R. S. Tavares ISEP Instituto Superior de Engenharia do Porto FEUP Faculdade de Engenharia da Universidade do Porto LOME Laboratório de Óptica e Mecânica Experimental
Introdução: No domínio da visão computacional, os investigadores tem procurado reproduzir computacionalmente algumas das características mais comuns do sistema de visão humano; No presente caso, em imagens de faces, desenvolvem-se metodologias aplicadas em algumas áreas de investigação, tais como: detecção da face, reconhecimento da face, extracção de características faciais, análise da expressão facial, seguimento das faces em sequências de imagens, etc.; O trabalho apresentado, baseia-se no uso de um algoritmo, desenvolvido em ambiente MatLab, que usa um modelo protótipo deformável para detectar e extrair as características do olho em imagens.
Sumário: Modelo protótipo deformável; Campos de energia; Capacidades atractivas dos campos de energia; Função de energia; Método de emparelhamento; Exemplos de resultados obtidos; Conclusões; Trabalho Futuro.
Modelo Protótipo Deformável Descrição : O modelo protótipo p deformável é controlado por 11 parâmetros e geometricamente representado por uma circunferência e duas parábolas, sendo uma côncava e outra convexa; A parametrização considerada confere ao modelo a possibilidade de alterar a sua orientação, a escala, e a posição, isto é, permite a sua deformação rígida. Imagem com o modelo protótipo deformável usado, considerando os parâmetros: a, b, c, r, t, P1, P2, xe, ye, xc e yc.
Parâmetros do Modelo Protótipo Deformável: A orientação do modelo é controlada por três parâmetros: o ângulo de rotação t, e os pontos de orientação P1 e P2; A escala do modelo é controlada por quatro parâmetros: as alturas a e c medidas entre os vértices das parábolas superior e inferior e o centro do olho, respectivamente; a largura do olho 2b; e o raio r da íris; Finalmente, a posição do modelo é controlada pelas coordenadas do centro da íris e do centro do olho, respectivamente pelos parâmetros: xc, yc, xe e ye. Imagem com o modelo protótipo deformável usado (à esquerda) e correspondente comparação geométrica entre o mesmo e o olho humano (à direita).
Campos de Energia: Os campos de energia constituem a fonte de informação e permitem realçar determinadas características do olho, sendo de considerar que é na sua definição que se encontra a essência do método de emparelhamento entre o modelo usado e uma imagem em estudo. A extracção dos campos de energia, é feita através do uso de um conjunto de operadores morfológicos; como exemplo, o campo de energia das orlas é obtido usando o detector de orlas de Canny. São utilizados quatro campos de energia relativos a: orlas de intensidade; vales de intensidade; picos de intensidade; e níveis de intensidade em tons de cinzento. Imagem em estudo e os campos de energia das orlas de intensidade, dos picos de intensidade, dos vales de intensidade, e dos níveis de intensidade em tons de cinzento (da esquerda para a direita).
Capacidades atractivas dos campos de energia: O elevado gradiente presente no interior da íris, obtido do campo de energia dos vales de intensidade, permite atrair a circunferência até a íris. Segmento da imagem original com a representação dos vectores gradiente obtidos do campo de energia dos vales de intensidade.
Capacidades atractivas dos campos de energia: O elevado gradiente nos limites da íris e do contorno do olho, obtido do campo de energia das orlas de intensidade, atrai globalmente o modelo a curtas distâncias para esses limites, na prática, permite realizar ajustes finos. Segmento da imagem original com a representação dos vectores gradiente obtidos do campo de energia das orlas de intensidade. i
Capacidades atractivas dos campos de energia: O elevado gradiente no interior da córnea óptica (sclera), permite posicionar correctamente os pontos P1 e P2 nos seus centros, permitindo controlar eficazmente a orientação do modelo, nomeadamente o ângulo de rotação. Segmento da imagem original com a representação dos vectores gradiente obtidos do campo de energia dos picos de intensidade. i
Função de Energia: A função de energia a minimizar, resulta da soma de um conjunto de primitivas, tendo por base os campos de energia anteriormente considerados: E = Ev + Ee + Ep + Ei + Eprior A A energia proveniente dos vales de intensidade Ev, é maximizada no interior da circunferência: E v C = r ( ) 1 ϕ ( ) v u da A 1 Rc A energia proveniente das orlas de intensidade Ee, também é maximizada ao longo dos contornos da circunferência e das parábolas: C r 2 ( ) ( ) C r 3 E ( ) e = ϕe u ds+ ϕe u ds L1 L Cb 2 Pb
Já a energia proveniente dos níveis de intensidade em tons de cinzento Ei, é por um lado minimizada no interior da circunferência, e por outro lado maximizada no interior da córnea óptica: C r 4 ( ) C r 5 E ( ) i = ϕi u da ϕi u da A A 1 2 Rc Rs A energia proveniente dos picos de intensidade Ep, deve ser minimizada nesses pontos: r r r r E = C u+ Pe + u P e ( ϕ ( ) ϕ ( )) p 6 p 1 1 p 2 1 A A energia interna Epriori, i é usada para impedir que o modelo se feche sobre si mesmo: 2 K1 2 2 K2 1 Epriori ( xe xc ) ( ye yc ) = + + P1 ( r+ b ) ( ) 2 2 2 2 K2 1 K3 2 + P 2 + ( r + b ) + ( b 2r ) 2 2 2
Método de Emparelhamento: O processo de emparelhamento consiste na interacção dinâmica entre o modelo e uma imagem em estudo, considerando 7 fases de processamento estrategicamente definidas; Durante o processo de emparelhamento, a actualização iterativa dos parâmetros do modelo é realizada recorrendo-se ao algoritmo de optimização, o gradiente descendente; Como exemplo, a actualização dos parâmetros do centro da íris, usando o referido algoritmo, obedece ao seguinte procedimento: ' dxc E ' xc _ new = xc _ old + dt xc xct = = t dt, em que: xc ' yc_ new= yc_ old + dt yct ' dyc E yc t = = Para cada iteração procura-se minimizar a energia de deformação do modelo, considerando: E _ new E _ old < Tol. dt yc
Exemplos de resultados obtidos: Parâmetros Fases de Emparelhamento 0 1 2 3 4 5 6 7 t Rad. 0.00 - - - 0.17 0.30-0.28 xe 60.00 77.46 - - 80.11 78.60-78.78 ye 21.00 51.47 - - 42.38 42.10-42.06 xc 60.00 77.46 77.13 - - - - 77.50 yc 21.00 51.47 50.13 - - - - 52.05 P 1 20.00 - - - 21.92 24.80-24.81 Pixel -P 2 20.00 - - - 21.94 19.14-20.72 a 20.0000 - - - - - 19.75 19.45 b 40.00 - - - - 30.95 31.49 32.06 c 20.00 - - - - - 16.39 17.58 r 20.00-18.00 17.96 - - - 17.96 Tabela de resultados obtidos, considerando a sequência de sete fases de emparelhamento.
Exemplos de resultados obtidos: Imagem original e representação da sequência das 8 fases de emparelhamento (da esquerda para a direita e de cima para baixo).
Exemplos de resultados obtidos: Resultado do emparelhamento entre o modelo usado e uma outra imagem de faces.
Conclusões: Atendendo aos resultados obtidos, a metodologia baseada no emparelhamento do modelo protótipo considerado mostra-se eficaz na detecção e extracção das características do olho humano; O algoritmo converge muito rapidamente, sendo esta uma das suas principais vantagens, no entanto, carece de um posicionamento adequado, nomeadamente em zonas relativamente próximas do olho sendo esta a sua principal desvantagem; Consideramos a necessidade de melhorar o algoritmo ao nível da extracção dos campos de energia, uma vez que, em alguns casos, a má definição dos mesmos, condiciona o sucesso do emparelhamento; Consideramos necessária a introdução de um mecanismo que procure o valor adequado das constantes de peso associadas a cada componente energética.
Trabalho Futuro: Como trabalho futuro, pretende-se utilizar a metodologia considerada no seguimento e análise do movimento do olho ao longo de sequências de imagens.
Agradecimentos: Este trabalho foi parcialmente desenvolvido no âmbito do Projecto de Investigação Segmentação, Seguimento e Análise de Movimento de Objectos Deformáveis (2D/3D) usando Princípios Físicos financiado pela FCT - Fundação para a Ciência e a Tecnologia, com a referência POSC/EEA-SRI/55386/2004.
Obrigado!