Mestrado em Estatístca Aplcada e Modelação Semnáro Modelos Pontuas de Dstrbução em Vsão por Computador Realzado por: Mara João Vasconcelos Orentador: João Manuel R. S. Tavares Prof. Auxlar do Departamento de Engenhara Mecânca e Gestão Industral da Faculdade de Engenhara da Unversdade do Porto Julho 2003
Resumo Os objectvos prncpas deste trabalho, desenvolvdo no âmbto da dscplna de semnáro do Curso de Mestrado em Estatístca e Modelação, foram a famlarzação com os modelos pontuas de dstrbução, perceber a sua construção e dentfcar possíves aplcações. Com tas objectvos, apresenta-se neste relatóro a construção de um modelo pontual de dstrbução e a evolução desde a sua cração, apresenta-se também alguns exemplos de aplcações para uma melhor compreensão do problema exposto. O modelo pontual de dstrbução (PDM - Pont Dstrbuton Models) dá-nos a nformação da forma méda de uma estrutura assm como os seus desvos admssíves. O modelo é construído a partr de um conjunto de magens da estrutura que queremos analsar e cada um desses objectos é representado como um conjunto de pontos-chave, pontos notáves do contorno (ou da superfíce, no caso de estruturas 3D) da estrutura. O modelo pontual de dstrbução é obtdo através do estudo das característcas do conjunto de pontos-chave: depos se emparelhar os pontos-chave de todas as estruturas do conjunto de treno é feta uma análse em componentes prncpas. Assm consegue-se obter um modelo pontual de dstrbução com um reduzdo número de parâmetros lnearmente ndependentes que traduzem a forma méda da estrutura em estudo e os desvos permtdos. Tal como se estuda a forma da estrutura, é possível estudar os níves de cnzento que esta estrutura pode adqurr, também através dos modelos pontuas de dstrbução, e ao anexar estas duas característcas, obtemos um modelo combnado mas realístco para a estrutura analsada. Com as modelações anterores podemos então construr os modelos de forma actva (ASM - Actve Shape Models) e os modelos de aparênca actva (AAM - Actve Appearance Models), modelos que permtem, entre outras operações, dentfcar os objectos estudados em novas magens. Estes modelos estatístcos são muto útes na nterpretação de magens, por exemplo podem ser utlzados em áreas muto dstntas como: medcna, na localzação de ossos em magens médcas; ndústra, na nspecção de produtos; e na segurança, no reconhecmento de faces.
Índce 1 - Construção do Modelo Pontual de Dstrbução... 1 2 - Evolução dos Modelos Pontuas de Dstrbução... 5 3 - Exemplos de Aplcações... 7 4 - Estratéga para a Dssertação... 13 Bblografa... 15
1 - Construção do Modelo Pontual de Dstrbução Com a utlzação do modelo pontual de dstrbução (PDM) pretende-se obter um modelo que represente a forma méda de um dado objecto e os desvos admssíves para a sua forma a partr de um conjunto de objectos exemplo (conjunto treno). Assm o processo de modelação organza-se da segunte forma: 1- Etquetagem do conjunto de treno; 2- Alnhamento do conjunto de treno; 3- Estudo das varações admssíves; 4- Escolha do número de modos de varação para representar o objecto em causa. Em seguda explca-se resumdamente em que consste cada uma destas etapas necessáras para a construção do modelo pontual de dstrbução: 1- Etquetagem do conjunto de treno Os objectos (2D) são representados por um conjunto de pontos notáves etquetados. Esses pontos devem ser colocados de forma consstente em todos os objectos do conjunto de treno; sto é, os pontos-chave devem ser colocados sensvelmente na mesma posção em cada objecto. O método mas smples para etquetar os objectos é fazê-lo manualmente, o que mplca que o utlzador que faz essa tarefa conheça bem a aplcação em estudo, de forma a escolher a localzação mas aproprada de cada ponto-chave, e que seja capaz de colocá-los correctamente nas dferentes magens de treno. Na verdade esta é uma operação muto morosa e têm sdo estudados métodos automátcos ou sem-automátcos para a realzação desta tarefa. Em geral os pontos-chave são colocados nos locas que melhor descrevem objecto, normalmente nos seus lmtes ou outros locas representatvos (pontos de valor elevado de curvatura, vértces, pontos de bfurcação, etc.). 1
2- Alnhamento do conjunto de treno O método de modelação em análse consste em estudar a varação das coordenadas dos pontos-chave ao longo do conjunto de treno. Para ser possível comparar pontos equvalentes em dferentes objectos estes devem estar alnhados. Assm o prmero passo será estabelecer as correspondêncas entre os objectos, ou seja, construr um vector de coordenadas para cada objecto da forma: onde x = ( x, y,..., x, y,..., x, y ) T, 0 0 k k n 1 n 1 = 1... N s com N s a representar o número de objectos e n o número de pontos-chave. Como fo referdo anterormente, este passo mutas vezes é realzado manualmente mas já exstem algortmos que determnam emparelhamentos entre dos conjuntos de pontos que serão também estudados durante a dssertação. O segundo passo será alnhar os objectos através da sua rotação, translação e redmensonamento (escalamento). O objectvo é mnmzar a soma quadrátca das dstâncas entre pontos equvalentes. Um possível método teratvo para este passo é o segunte: 1. Calcular o centro de gravdade de cada exemplo e colocar todos os objectos com o mesmo centro de gravdade (orgem) através de um movmento de translação. 2. Escolher um objecto como estmatva ncal da forma méda e redmensoná-lo de forma a x = 1. 3. Guardar a estmatva ncal da forma méda como x 0. 4. Alnhar todos os objectos com a forma méda. (Duas formas dzem-se alnhadas quando D é mínmo: N s 2.) = 1 D= x x 5. Re-estmar a forma méda a partr das formas anterores. 6. Alnhar a nova forma méda, x, com x 0 e redmensoná-la de forma que x = 1. 7. Repetr os passos anterores até que o valor da forma méda convrja. 2
3- Estudo das varações admssíves Suponha-se agora que se tem N s conjuntos de pontos x alnhados. A forma méda calcula-se por: Ns 1 x = x. N s = 1 Os modos de varação, sto é, as formas segundo as quas os pontos tendem a mover-se, podem ser encontradas aplcando uma análse em componentes prncpas aos desvos da méda. A referda análse em componentes prncpas consste em calcular os vectores e valores própros da matrz de covarâncas S defnda por: N 1 s S = ( x x)( x x) N s = 1 Os modos de varação dos pontos-chave são descrtos pelos vectores própros de S, p, tal que: Sp = λ p, onde λ é o ésmo T valor própro de S ( λ λ + 1) e p p = 1. T. Sabe-se que os vectores própros da matrz de covarâncas, S, correspondentes aos valores própros mas elevados descrevem a maor parte das varações admssíves, e a proporção da varânca total explcada por cada vector própro é gual ao valor própro correspondente. Assm a maor parte da varânca de forma pode ser explcada por um pequeno número de vectores própros t, chamados modos de varação. Desta forma, cada objecto do conjunto de treno pode ser descrto pela forma méda e pela combnação dos prmeros t vectores própros obtdos: x = x + Pb, onde P = ( p 1 p 2... pt ) é a matrz dos prmeros t vectores própros e b= ( b 1 b 2... b t ) é o vector de pesos de cada vector própro. Os vectores própros são ortogonas e portanto T PP= Ie: b= P T ( x x). 3
As equações anterores permtem crar novos objectos varando os parâmetros b dentro de lmtes acetáves. Como a varânca de b sobre o conjunto de treno é dada por λ, os seus lmtes são da ordem: 3 λ b 3 λ, pos a população está concentrada entre três desvos padrões da méda. 4- Escolha do número de modos de varação Esta etapa corresponde ao número de modos de varação, t, que se quer reter, este pode ser escolhdo de dversas maneras, de acordo com a aplcação em que o modelo será utlzado. A manera mas smples é escolher a percentagem de varânca explcada pelo modelo. Sabese que a soma de todos os valores própros, que representam o conjunto de treno, é gual à varânca total dos dados: Assm pode-se calcular t a partr de: V t = λ. t λ = fvv t, = 1 onde f V defne a proporção do total de varânca que se quer explcar. Consoante a aplcação o número de modos, t, é escolhdo; geralmente, escolhe-se t de forma a que a varânca explcada seja elevada (> 90%). Uma alternatva é calcular o valor t mínmo que representa os dados satsfatoramente. Para tal, constró-se os modelos aumentando o número de modos de varação, t, até que o valor t corresponda ao crtéro selecconado. Desta forma consegue-se então determnar as varações prncpas de uma classe de formas partndo da representação de objectos como um conjunto de pontos etquetados, ou seja, deste modo calcula-se o modelo pontual de dstrbução. 4
2 - Evolução dos Modelos Pontuas de Dstrbução Após a cração dos modelos pontuas por (Cootes, Taylor et al. 1992), estes têm vndo a ser aperfeçoados ao longo dos anos por dferentes grupos de nvestgadores. Em seguda apresenta-se sucntamente as evoluções mas mportantes deste modelo. Em (Cootes and Taylor 1993) é descrto um método para localzar estruturas em magens (ASM - Actve Shape Models) através do estudo dos modelos, os chamados modelos pontuas de dstrbução, crados a partr da localzação dos pontos notáves do contorno da estrutura e dos níves de cnzento que estes pontos apresentam. A adção dos níves de cnzento dos objectos em estudo permtu assm obter melhores modelos para essas estruturas. O processo para obter os Actve Shape Models consste no segunte: depos de gerar um modelo da forma e de ter uma descrção sobre os níves de cnzento de cada modelo pontual tem-se como objectvo localzar exemplos da estrutura modelada em novas magens. O processo consderado é consttuído por duas etapas: São calculadas váras hpóteses sobre as possíves localzações dos pontos notáves; Cada hpótese é estudada e refnada sendo escolhda a melhor delas. Para ultrapassar o problema da colocação manual dos pontos-chave e a determnação da correspondênca pontual, (Hll and Taylor 1994) apresenta um método para a determnação automátca dos pontos (2D) a serem utlzados na geração dos modelos pontuas de dstrbução e um método para a determnação da correspondênca pontual, sendo apresentados resultados em magens do coração e da mão. Em (Taylor, Cootes et al. 1995) é descrta uma técnca para construr modelos compactos da forma e aparênca de objectos deformáves (por exemplo órgãos) presentes em magens a duas e a três dmensões. É descrto também como gerar modelos 3D e como estes são usados para a segmentação de magens do cérebro a 3D de ressonânca magnétca. Mas tarde, em (Cootes, Edwards et al. 1998) são apresentados os Actve Appearance Models (AAM). Um AAM contém um modelo estatístco da forma e aparênca do objecto em estudo, podendo este modelo ser generalzado para qualquer exemplo váldo. Durante uma fase de 5
treno estuda-se a relação entre os parâmetros obtdos pelo modelo e os erros resduas exstentes entre a magem treno e o modelo produzdo com o objectvo de produzr um modelo fnal mas robusto. A comparação dos ASM s com os AAM s feta em (Cootes, Edwards et al. 1999) sugere que se deve estudar um novo modelo que contenha uma combnação dos dos modelos anterores de forma a juntar as vantagens de cada um deles. Se por um lado os ASM abrangem uma maor área de procura do que os AAM, estes conseguem construr um modelo com um reduzdo número de pontos-chave e como a etquetagem das formas é um processo complexo, quanto menor for o número de pontos notáves necessáros melhor. Em (Cootes, Walker et al. 2000) demonstra-se que um pequeno número de modelos estatístcos a 2D são sufcentes para capturar a forma e aparênca de uma face a partr de qualquer ponto de vsta (frontal e lateral). Os modelos são lneares e são capazes de localzar faces em novas magens utlzando o algortmo AAM. Os modelos estatístcos (statstcal shape models) têm assm sdo utlzados como base para a segmentação e nterpretação de magens em dversas aplcações. Ultmamente tem-se usado ASM robustos ((Rogers and Graham 2002) e (Rogers and Graham 2002)) para que as aplcações, prncpalmente na área da análse de magens médcas, sejam mas efcentes e ajustáves. 6
3 - Exemplos de Aplcações Em prmero lugar mostra-se um exemplo de um modelo pontual de dstrbução, este exemplo fo retrado de (Daves and Cootes 1999). A forma modelada é uma mão. Foram consderadas váras fguras de uma mão como conjunto de treno, fgura 1, cada objecto fo representado por 72 pontos-chave. Fg 1 Alguns exemplos do conjunto de treno. Depos de se alnhar o conjunto de treno, estuda-se as varações admssíves do modelo através de uma análse em componentes prncpas. Os três prmeros modos de varação do modelo pontual de dstrbução são apresentados na fgura 2. Fg 2 Prmeros três modos de varação do modelo pontual. 7
A prmera aplcação que se apresenta é a dentfcação de uma estrutura facal, numa magem através da utlzação do processo teratvo dos Actve Shape Models. Cada estrutura facal fo representada por 68 pontos-chave, fgura 3, e fo construído um modelo a partr de um conjunto de váras magens. O prmero modo de varação do modelo é apresentado na fgura 4 e corresponde à rotação da cabeça. Fg 3 Estrutura da face representada por 72 pontos-chave. Fg 4 Prmero modo de varação. Após ter-se construído o modelo, fo utlzado o ASM para encontrar a estrutura facal numa nova magem. Na fgura 5 pode-se ver como o processo converge, dentfcando correctamente a face da magem em estudo. 8
Fg 5 Posção ncal. Fg 6 Após 5 terações. Fg 7 Convergênca. Em seguda apresenta-se um modelo de uma face construído com algortmo do Actve Appearence Model, este exemplo fo retrado de (Cootes, Edwards et al. 1998). Para construr o modelo foram utlzadas 400 magens de faces, e cada uma fo etquetada com 122 pontoschave, Fgura 8. O modelo da forma gerado tem 23 parâmetros, o modelo dos níves de cnzento (shape-free grey model) tem 114 parâmetros e o modelo de aparênca gerado necessta apenas de 80 parâmetros para explcar 98% da varânca total observada. Fg 8 Exemplo da magem de uma face etquetada com 122 pontos-chave. As fguras 9 e 10 mostram o efeto da varação dos dos prmeros parâmetros do modelo gerado entre ±3 desvos padrões da méda determnada ncalmente. A fgura 11 mostra o efeto da varação dos prmeros quatro parâmetros do modelo de aparênca, estes parâmetros revelam mudanças de dentdade, pose e expressão. 9
Fg 9 Prmeros dos modos de varação da forma ( ± 3sd ). Fg 10 Prmeros dos modos de varação dos níves de cnzento ( ). ±3sd Fg 11 Prmeros quatro modos de varação da aparênca ( ± 3sd ). Na medcna também é possível aplcar os PDM s com sucesso, o exemplo segunte aplca os Actve Appearance Models para a localzação de um osso (o metacarpo) em magens médcas. A fgura 12 mostra o conjunto de pontos-chave necessáro para a construção do modelo fnal. Fg 12 Exemplo de uma magem etquetada. 10
As fguras 13 e 14 mostram os prmeros modos de varação dos modelos calculados da forma e textura. Fg 13 Prmero modo de varação da forma ( ± 3sd ). Fg 14 Prmero modo de varação da textura ( ± 3sd ). A fgura 15 mostra como se pode utlzar os AAM s na dentfcação de estruturas em magens médcas. Por vezes esta é uma tarefa dfícl pos mutas vezes as magens têm pouca qualdade, o que pode mpedr o médco de manualmente realzar uma boa avalação. Fg 15 Procura AAM, ncal e óptma. Um outro exemplo da aplcação dos PDM s na área da medcna é o apresentado em seguda (Cootes, Edwards et al. 1999). Aqu utlzam-se os Actve Shape Models para construr um modelo da estrutura central do cérebro (ventrículos, núcleos caudados e núcleos lentformes) em magens obtdas por ressonânca magnétca, na fgura 16 mostra-se uma destas magens etquetadas com 123 pontos-chave. 11
Fg 16 Exemplo de uma magem etquetada. A fgura 17 mostra como o processo dos Actve Shape Models converge de forma a dentfcar a estrutura estudada numa nova magem. Inco 1 Iteração 6 Iterações 12 Iterações 20 Iterações Fg 17 Procura numa nova magem de uma dada estrutura utlzando o ASM. Em resumo, os modelos pontuas de dstrbução são muto útes na nterpretação de magens. Estes modelos são usados nos Actve Shape Models e nos Actve Appearance Models que teratvamente os posconam em novas magens. Como se verfcou, os PDM s podem ser utlzados em dversas áreas tas como: Medcna localzação de ossos e órgãos em magens médcas, mutas vezes esta é uma tarefa dfícl manualmente e os PDM s obtêm bons resultados quer em magens 2D quer em magens 3D; Industral nspecção de produtos ndustras; Segurança dentfcação e reconhecmento de faces;... 12
4 - Estratéga para a Dssertação Por questões de organzação é necessáro delnear a estratéga para a dssertação. Assm, após dscussão com o orentador sobre o planeamento da dssertação, acordou-se que os prncpas passos a segur durante a mesma serão os seguntes: 1. Defnr a plataforma base a utlzar para mplementar e ensaar os algortmos a desenvolver: Matlab Ferramenta bastante comum nas áreas da Engenhara; Cms Uma plataforma desenvolvda pelo orentador em Vsual C ++ para Processamento e Análse de Imagem e Computação Gráfca, e que é habtualmente utlzada por outros nvestgadores para desenvolverem e ensaarem os seus própros algortmos (Tavares 2000; Tavares, Barbosa et al. 2003); OpenCv Uma bbloteca em C ++, de domíno publco, para Processamento e Análse de Imagem, ncada e apoada pela Intel,... (Intel 2001); VTK Uma bbloteca em C ++, de domíno publco, para Processamento e Análse de Imagem e Computação Gráfca (Wll Schroeder, Ken Martn et al. 1996; Wll Schroeder, Ken Martn et al. 1998; Wll Schroeder, Ken Martn et al. 1999);...; 2. Estudar os modelos de dstrbução pontual (PDM s), sendo os pontos gerados e emparelhados de forma manual; e testar em dferentes aplcações (segmentar, comparar,...); 3. Estudar algortmos de geração automátca dos pontos notáves de contornos de objectos 2D; 4. Estudar algortmos de emparelhamento automátco dos pontos 2D; 5. Estudar a modelação estatístca dos níves de cnzento de cada zona dos pontos do contorno; 6. Estudar a combnação dos modelos de dstrbução pontual com fltragem de kalman de forma a este prever a posção, a orentação e a escala do modelo médo ao longo de sequêncas de magem; 7. Realzação de város ensaos expermentas; 8. Escrta da dssertação. 13
Estes passos poderão sofrer pequenos ajustes durante o período da dssertação, pos é sempre dfícl defnr com total certeza a estratéga global a utlzar numa dssertação. 14
Bblografa Cootes, T. F., Edwards, G., et al.(1999) Comparng Actve Shape Models wth Actve Appearance Models. Department of Medcal Bophyscs, Manchester Unversty Cootes, T. F., Edwards, G. J., et al. Actve Appearance Models. Proc. European Conference on Computer Vson-1998. Cootes, T. F. and Taylor, C. J.(1993) Actve Shape Model Search usng Local Grey-Level Models: A Quanttatve Evaluaton. Brtsh Machne Vson Conference, BMVA Press: 639/648 Cootes, T. F., Taylor, C. J., et al.(1992) Tranng Models of Shape from Sets of Examples. Department of Medcal Bophyscs, Unversty of Manchester Cootes, T. F., Walker, K., et al.(2000) Vew-Based Actve Appearance Models. Dept. Imagng Scence and Bomedcal Engneerng, Unversty of Manchester Daves, K. and Cootes, T.(1999) Statstcal Shape Models, Wolfson Image Analyss Unt - Unversty of Manchester Hll, A. and Taylor, C. J.(1994) Automatc Landmark Generaton for Pont Dstrbuton Models. Department of Medcal Bophyscs, Unversty of Manchester Intel.(2001) Open Source Computer Vson Lbrary - Reference Manual Rogers, M. and Graham, J.(2002) Robust Actve Shape Model Search. Dvson of Imagng Scence and Bomedcal Engneerng, Unversty of Manchester Rogers, M. and Graham, J.(2002) Robust Actve Shape Model Search for Medcal Image Analyss. Dvson of Imagng Scence and Bomedcal Engneerng, Unversty of Manchester Tavares, J. M. R. S.(2000) Análse de Movmento de Corpos Deformáves usando Vsão Computaconal. Faculdade de Engenhara, Unversdade do Porto Tavares, J. M. R. S., Barbosa, J., et al.(2003) Apresentação de um Banco de Desenvolvmento e Ensao para Objectos Deformáves. RESI Revsta Electrónca de Sstemas de Informação. 1 Taylor, C. J., Cootes, T. F., et al.(1995) Medcal Image Segmentaton Usng Actve Shape Models. Department of Medcal Bophyscs, Unversty of Manchester Wll Schroeder, Ken Martn, et al. The Desgn and Implementaton of an Object-Orented Toolkt for 3D Graphcs and Vsualzaton. Vsualzaton '96-1996. Wll Schroeder, Ken Martn, et al. (1998). The Vsualzaton Toolkt, Prentce Hall. Wll Schroeder, Ken Martn, et al. (1999). The VTK User's Gude, Ktware Inc. 15