INTRODUÇÃO AOS MODELOS PONTUAIS DE DISTRIBUIÇÃO E SUA UTILIZAÇÃO NA SEGMENTAÇÃO E RECONHECIMENTO DE OBJECTOS EM IMAGENS

Transcrição

1 Congreso de Métodos Numéricos en Ingeniería 2005 Granada, 4 a 7 de Julio, 2005 SEMNI, España 2005 INTRODUÇÃO AOS MODELOS PONTUAIS DE DISTRIBUIÇÃO E SUA UTILIZAÇÃO NA SEGMENTAÇÃO E RECONHECIMENTO DE OBJECTOS EM IMAGENS Maria João M. Vasconcelos 1 * e João Manuel R. S. Tavares 2 1: Faculdade de Engenharia da Universidade do Porto Rua Dr. Roberto Frias, s/n, Porto, Portugal meridjo@netcabo.pt 2: Departamento de Engenharia Mecânica e Gestão Industrial, Faculdade de Engenharia da Universidade do Porto Lab. Óptica e Mecânica Experimental, Instituto de Eng. Mecânica e Gestão Industrial, Rua Dr. Roberto Frias, s/n, Porto, Portugal tavares@fe.up.pt, web: Palavras-chave: Análise em Componentes Principais, Análise de Imagem, Modelos de Distribuição Pontual, Modelização, Segmentação e Reconhecimento de Objectos Resumo. Neste artigo, apresenta-se uma introdução a um método de modelização da forma geométrica de objectos, representados em imagens, baseado em Análise Estatística e denominado por Modelo de Distribuição Pontual (PDMs). Estes modelos traduzem a forma geométrica média do objecto em estudo, os desvios permitidos para a mesma e podem ainda considerar os níveis de cinzento que as regiões dos pontos característicos do mesmo objecto apresentam. Assim, os PDMs podem ser utilizados para construir modelos de forma (geométrica) activa e modelos de aparência activa (forma geométrica + níveis de cinzento), muito úteis na segmentação e reconhecimento de objectos representados em imagens. Neste trabalho, são construídos modelos para a mão e para a face, e aplicados no reconhecimento destes objectos em novas imagens. 1. INTRODUÇÃO A utilização de modelos deformáveis, para segmentar i e analisar objectos representados em imagens, tem sido cada vez mais frequente em Visão Computacional. Os modelos deformáveis permitem caracterizar objectos flexíveis, ou seja, objectos que apresentem i Em Visão Computacional, entende-se por segmentação a operação, ou conjunto de operações, que permite(m) extrair um dado objecto de uma imagem.

2 formas variáveis, e posteriormente segmentá-los e reconhece-los em novas imagens. A metodologia utilizada neste trabalho para construir os modelos deformáveis considerados, os Modelos de Distribuição Pontual (usualmente designados por PDMs Point Distribution Models), foi inicialmente proposta por Cootes em [1]. Assim, cada modelo considerado é construído a partir de um conjunto de diferentes instâncias do objecto em causa, representadas em distintas imagens por um conjunto de pontos-chave. Sendo o modelo médio da forma geométrica do objecto, assim como os seus desvios admissíveis, determinado através da consideração das características do conjunto de pontos-chave nas várias imagens de treino, utilizando a técnica de Análise em Componentes Principais. Do mesmo modo que se considera na modelização a forma geométrica dos objectos em causa, é também possível considerar os níveis de cinzento que os pontos dos mesmos objectos apresentam em cada imagem. Assim, através da combinação destas duas modelizações, da forma geométrica e dos níveis de cinzento, é possível obter modelos activos para a forma [2] e para a aparência [3], que conduzem a modelizações mais realísticas e robustas para os objectos em análise. Estas técnicas podem ser aplicadas em áreas muito distintas, como: na medicina, para a segmentação de estruturas em imagens médicas; na indústria, na inspecção de produtos; e em sistemas automáticos de segurança, para o reconhecimento de indivíduos; etc. Neste artigo, são apresentados exemplos de utilização dos modelos pontuais de distribuição na segmentação e reconhecimento de objectos representados em imagens. 2. MODELO DE DISTRIBUIÇÃO PONTUAL Cootes em [1] descreve o processo de construção dos Modelos de Distribuição Pontual, gerados a partir de um conjunto de imagens de treino do objecto em estudo; sendo cada forma geométrica do mesmo, representada por um conjunto de pontos-chave; estes pontos-chave podem representar o contorno ou outros pontos característicos do objecto em causa (Figura 1). Figura 1. Exemplos de imagens originais, conjuntos de pontos-chave e imagens de treino etiquetadas (imagens originais com os pontos-chave identificados) para dois objectos: mão e face. Na referida metodologia, as várias formas geométricas de treino para o objecto em estudo são alinhadas, e seguidamente é realizada uma Análise em Componentes Principais às coordenadas dos pontos-chave. Assim, obtém-se uma posição média para cada ponto-chave e os seus desvios admissíveis: os chamados modos de variação. A equação seguinte representa matematicamente o Modelo Pontual de Distribuição, ou Modelo da Forma, e pode ser usada para gerar novas formas geométricas para o objecto modelizado: 2

3 x = x + Pb, (1) onde x representa o vector, com n pontos-chave, da nova forma gerada para o objecto: (,,,,,,, ) sendo ( k, k) Ps ( ps 1 ps2 pst) T Componentes Principais e b ( b b b ) T 0 1 n n 1 x= x x x y y y, x y a posição do ponto-chave k, x a posição média dos pontos-chave, = a matriz dos primeiros t vectores próprios da Análise em s s1 s2 st s s = o vector de pesos para cada modo de variação. Se os parâmetros b são escolhidos dentro de limites aceitáveis, as novas formas geométricas geradas por (1) serão semelhantes às formas do conjunto de treino para o objecto em estudo. Como já referido, os níveis de cinzento das regiões de cada ponto-chave na respectiva imagem também podem ser considerados na modelização. Assim, a informação estatística sobre a média e covariância dos valores de cinzento dos pixels vizinhos de cada ponto-chave é obtida. Posteriormente, esta informação é utilizada nos Modelos de Forma Activa, para avaliar os ajustes dos pontos-chave do modelo construído a novas formas representadas em novas imagens, ou nos Modelos de Aparência Activa, para construir os modelos de aparência. Estes dois modelos são descritos, de forma resumida, nas secções seguintes Modelo de Forma Activa Depois de construído o modelo pontual de distribuição, e obtidos os perfis de intensidade para cada ponto-chave, é possível segmentar instâncias do objecto modelado em novas imagens através da utilização dos Modelos de Forma Activa (usualmente designados por, ASMs Active Shape Models). A fase de segmentação, inicia-se a partir de uma estimativa inicial preestabelecida na nova imagem; posteriormente, procede-se ao ajuste dos pontos-chave do modelo construído utilizando um processo iterativo automático. Este processo divide-se essencialmente em três etapas: a primeira, consiste no estudo da região de cada ponto-chave, de forma a determinar o movimento associado; a segunda etapa, no cálculo dos parâmetros de forma e de pose do modelo de distribuição pontual a partir desses movimentos associados; e finalmente, a terceira etapa, na actualização destes parâmetros, tendo em conta os limites impostos pelo modelo previamente construído. Em [4] é apresentado um melhoramento aos modelos de forma activa, que consiste em utilizar imagens com vários níveis de resolução. Assim, inicialmente o método cria uma pirâmide de resolução das imagens originais; para tal, aplica uma máscara Gaussiana de suavização à imagem original e reamostra a imagem resultante de modo a obter uma imagem com metade da resolução da anterior; este procedimento é repetido para os restantes níveis da pirâmide. Posteriormente, os perfis de intensidade são estudados na imagem original e nas imagens de resolução inferior. A finalidade principal desta metodologia é tornar os modelos de forma activa mais rápidos e eficientes. 3

4 2.2. Modelo de Aparência Activa Posteriormente, ao desenvolvimento dos Modelos de Forma Activa, foram propostos em [3] os modelos de textura e aparência. Estes modelos são criados pela combinação de um modelo estatístico da forma geométrica, com um modelo dos níveis de cinzento do objecto. O modelo da forma já foi previamente descrito matematicamente pela equação (1). Já para construir o modelo estatístico dos níveis de cinzento, deforma-se cada instância do objecto de maneira aos seus pontos-chave coincidirem com a forma média, e obtém-se informação sobre os níveis de cinzento g im da imagem do modelo normalizado. Para minimizar o efeito da variação da luminosidade global, normaliza-se este vector gim obtendo-se g. Ao aplicar uma Análise em Componentes Principais a esses dados, obtém-se um modelo linear, o modelo de textura: g = g + Pb g g, (2) onde g é o vector médio dos níveis de cinzento, P g é o conjunto ortogonal dos modos de variação e b g é o conjunto de parâmetros dos níveis de cinzento. Com este procedimento, a forma geométrica e a textura de cada objecto podem ser resumidas pelos vectores b s e b g. Como é bastante provável a existência de correlações entre as variações da forma e dos níveis de cinzento, aplica-se uma nova Análise em Componentes Principais, com o intuito de reduzir o número de variáveis e consequentemente obter um modelo final mais eficiente. Assim, para cada objecto, gera-se o vector concatenado: Wb s s b =, (3) bg onde W s é a matriz diagonal dos pesos de cada parâmetro da forma. Seguidamente, aplica-se uma Análise em Componentes Principais nos referidos vectores, obtendo-se o modelo: b= Qc, (4) onde Q é a matriz que contém os vectores próprios e c é o vector dos parâmetros de aparência que controlam tanto a forma como os níveis de cinzento do modelo. O Modelo de Aparência Activa, também permite segmentar objectos em novas imagens e o método de pesquisa utilizado, considera a relação existente entre os parâmetros obtidos pelo modelo de aparência e os erros residuais existentes entre a nova instância do objecto e o modelo construído na fase de treino para o mesmo. 3. RESULTADOS EXPERIMENTAIS As metodologias descritas anteriormente foram utilizadas neste trabalho para construir o modelo activo da forma para a mão, e os modelos activos da forma e da aparência para a face. Durante este trabalho, foi desenvolvida uma aplicação em MATLAB para construir os modelos activos da forma, tendo por base o software Active Shape Models [5]. Já para estudar o modelo de aparência, utilizou-se o Modelling and Search Software, disponível 4

5 publicamente em [6]. Para treinar o modelo de forma activa para a mão, usaram-se 36 imagens de mãos de 4 indivíduos, 56 pontos-chave, e cada imagem foi etiquetada manualmente (Figura 1). Relativamente a este modelo de forma activa, constatou-se que os 5 primeiros modos de variação explicam 96% da variação total da forma geométrica. As formas obtidas pelos três primeiros modos estão apresentadas na figura 2. A figura 3 mostra os resultados de segmentação obtidos pelo modelo construído numa imagem de teste. No referido modelo, os perfis de intensidade para cada ponto-chave são de dimensão 15, o número máximo de iterações por nível de resolução considerado foi de 10, e a segmentação apresentada iniciou-se no nível de resolução 3. Já para gerar o modelo da face, utilizou-se como conjunto treino 25 imagens de faces de um indivíduo, 68 pontos-chave, e cada imagem foi etiquetada manualmente (Figura 1). Relativamente a este modelo, constatou-se que os 4 primeiros modos de variação explicam 95% da variação total da forma geométrica (Figura 2), e que os 11 primeiros modos de variação da textura explicam 95% da variação total dos níveis de cinzento. O modelo de aparência construído necessita de apenas 5 modos de variação para explicar 95% da variação total. Os objectos obtidos, considerando os primeiros 4 modos, estão apresentados na figura 4. As figuras 5 e 6, apresentam os resultados de segmentação dos modelos de forma e aparência activa numa imagem de teste. Relativamente ao modelo de forma activa, os perfis de intensidade são de dimensão 15 para cada ponto, a segmentação iniciou-se no nível de resolução 3 e por nível utilizou no máximo 10 iterações. Já para o modelo de aparência activa, foram utilizados 5 níveis de resolução e o número máximo de iterações por nível foi de 7. Figura 2. Efeito da variação dos 3 primeiros modos dos modelos da forma ( ± 2sd ) construídos para a mão e para a face. 5

6 Posição inicial 6ª iteração 17ª iteração 28ª iteração Figura 3. Imagem de teste com a posição inicial do modelo médio da mão sobreposto, e após a 6ª, a 17ª e a 28ª iteração do processo de segmentação baseado no modelo construído. Figura 4. Efeito da variação dos quatro primeiros modos do modelo de aparência ( ± 2sd ) construído para a face. Posição inicial 5ª iteração 13ª iteração 17ª iteração Figura 5. Imagem de teste com a posição inicial do modelo médio da face sobreposto, e após a 5ª, 13ª e 17ª iteração do processo de segmentação baseado no modelo construído para a face. Imagem original 8ª iteração 15ª iteração 33ª iteração Figura 6. Segmentação usando o modelo de aparência activa construído para a face numa imagem de teste. 6

7 4. CONCLUSÕES Os métodos de modelização descritos neste artigo, permitem facilmente construir modelos flexíveis de objectos representados em imagens, e posteriormente utilizá-los na segmentação e reconhecimento dos objectos modelizados em novas imagens. As referidas técnicas de segmentação podem ser aplicadas em variadas áreas, desde a automação industrial, para inspecção e montagem de objectos complexos, passando pela medicina e biologia, na análise de imagens de cromossomas ou no diagnóstico médico, e terminando em sistemas de segurança, no reconhecimento de faces para restrição de acesso em instalações, por exemplo. Os modelos de forma activa e os modelos de aparência activa, considerados neste trabalho, obtiveram bons resultados no reconhecimento dos objectos modelizados em novas imagens. Deve-se referir, que as imagens de teste consideradas não pertenciam ao conjunto de treino utilizado na construção dos respectivos modelos. A identificação dos pontos-chave em cada instância de treino do objecto a modelizar é uma etapa bastante morosa e algo complexa. Vários autores, ver por exemplo [7] e [8], têm vindo a desenvolver algoritmos para automatizar a referida etapa. Na actual fase do nosso trabalho, tais algoritmos estão a ser estudados com vista ao desenvolvimento e implementação de uma nova metodologia que permita a identificação dos pontos-chave de forma automática em objectos do tipo mão e face. REFERÊNCIAS [1] Cootes, T.F., et al., Training Models of Shape from Sets of Examples, in Department of Medical Biophysics, University of Manchester [2] Cootes, T.F. and C.J. Taylor, Active Shape Models - 'Smart Snakes'. Proc. British Machine Vision Conference, 1992: p [3] Cootes, T.F., G.J. Edwards, and C.J. Taylor. Active Appearance Models. in Proc. European Conference on Computer Vision [4] Cootes, T.F., C.J. Taylor, and A. Lanitis. Active Shape Models: Evaluation of a Multi- Resolution Method for Improving Image Search. in British Machine Vision Conference. 1994: BMVA. [5] Hamarneh, G., ASM (MATLAB), [6] Cootes, T.F., Build_aam, [7] Davies, R.H., et al., An Information Theoretic Approach to Statistical Shape Modelling [8] Angelopoulou, A.N. and A. Psarrou. Evaluating Statistical Shape Models for Automatic Landmark Generation on a Class of Human Hands. in Int. Arc. of the Photogrammetry, Remote Sensing and Spatial Information Sciences Istanbul. 7