Experiências no Seguimento de Objectos Rígidos e não Rígidos em Visão por Computador

Transcrição

1 Experiências no Seguimento de Objectos Rígidos e não Rígidos em Visão por Computador Autores: João M. R. S. Tavares A. Jorge Padilha Primeiro Ciclo de Seminários Internos Departamento de Ciência e Tecnologia Universidade Fernando Pessoa Maio 1999

2 Etapas da Apresentação: Breve apresentação de João Tavares; Apresentação do trabalho desenvolvido durante a dissertação de Mestrado; Apresentação de outros trabalhos realizados durante o Doutoramento. J. Tavares, A. Padilha Exp. no Seguimento de Objectos Rígidos e não Rígidos em V. C. 2

3 Breve Apresentação de J. Tavares: Licenciado em Eng.ª Mecânica pela FEUP, com a opção de projecto de máquinas, em Bolseiro de Mestrado da JNICT, programa Ciência, de 1992 a Mestre em Eng.ª Electrotécnica e de Computadores pela FEUP, com o perfil de Informática Industrial, em Dissertação: Obtenção de Estrutura Tridimensional a Partir de Movimento de Câmara, Orientador: Prof. A. Jorge Padilha. Investigador no INEB - Instituto de Engenharia Biomédica, Grupo ARSIS - Arquitecturas e Sistemas, desde J. Tavares, A. Padilha Exp. no Seguimento de Objectos Rígidos e não Rígidos em V. C. 3

4 Breve Apresentação de J. Tavares: Bolseiro de Doutoramento da JNICT, programa PRAXIS XXI, de 1994 a Aluno de Doutoramento em Eng.ª Electrotécnica e de Computadores na FEUP desde 1994 (data da conclusão 2000). Dissertação: Análise de Movimento de Corpos Deformáveis usando Visão Computacional, Orientador: Prof. A. Jorge Padilha. Responsável, ao abrigo do Programa PRAXIS, pelas aulas práticas das disciplinas de Informática I e II do 1º ano do Curso de Eng.ª Metalúrgica e de Materiais da FEUP, em 1995/96, 96/97. J. Tavares, A. Padilha Exp. no Seguimento de Objectos Rígidos e não Rígidos em V. C. 4

5 Breve Apresentação de J. Tavares: Responsável, ao abrigo do Programa PRAXIS, pelas aulas práticas das disciplinas de Computação e Programação I e II do 1º ano do Curso de Eng.ª Metalúrgica e de Materiais da FEUP, em 1997/98. Docente das Disciplinas Sistemas Informáticos I e II do Curso de Ciências da Comunicação na UFP, em 1998/99. J. Tavares, A. Padilha Exp. no Seguimento de Objectos Rígidos e não Rígidos em V. C. 5

6 Obtenção de Estrutura Tridimensional a Partir de Movimento de Câmara João Manuel R. S. Tavares, A. Jorge Padilha FEUP - Faculdade de Engenharia da Universidade do Porto INEB - Instituto de Engenharia Biomédica

7 I - Introdução Objectivos: Apresentar uma abordagem global com a qual é possível obter informação tridimensional de uma dada cena, ou objecto, a partir do movimento de uma câmara. Pressupostos: 1) O ambiente em questão é tipicamente industrial, podendo, assim, considerar-se a cena ou o objecto como constituídos por segmentos de recta. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 2

8 I - Introdução 2) O movimento da câmara é perfeitamente conhecido; isto é, são dados a sua posição e orientação relativamente a um referencial mundo. 3) Não é possível medir as velocidades e as acelerações dos parâmetros considerados para as entidades. 4) A abordagem global a adoptar deve ser o mais eficiente possível e adaptável a diferentes tipos de cenas, ou objectos, e movimentos da câmara. 5) Pretende-se apenas as coordenadas 3D dos pontos terminais de cada entidade e uma aproximação da profundidade dos restantes. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 3

9 I - Introdução Passos da abordagem global: 1) Calibração da câmara e respectivo hardware; 2) Determinação das entidades (segmentos de recta) a considerar em cada imagem da sequência; 3) Simplificação das entidades presentes em cada imagem; 4) Seguimento 2D das entidades consideradas ao longo da sequência de imagens; 5) Obtenção de informação tridimensional dos pontos que constituem cada entidade. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 4

10 Mundo 3D Fig. 1 - Abordagem global.... Hardware de aquisição de imagem... Hardware de aquisição de imagem "Mundo 3D" Imagem k Calibração Imagem k+1 Determinação das coordenadas 3D das entidades Detecção de edges Detecção de edges Emparelhamento Seguimento de linhas e aproximação poligonal Seguimento de linhas e aproximação poligonal Modelo 2D Fusão de entidades próximas e de direcções similares Fusão de entidades próximas e de direcções similares Parametrização das entidades Parametrização das entidades Determinação e simplificação das entidades Seguimento

11 II - Calibração da Câmara utilizada e respectivo Hardware Calibração de uma câmara: Entende-se por calibração de uma câmara a determinação da relação matemática que, para a respectiva câmara, transforma pontos 3D em pontos 2D (Fig. 2). x w y w z w Modelo da câmara X u Y u Mundo 3D Imagem 2D Parâmetros intrínsecos e extrínsecos da câmara Fig. 2 - Calibração de uma câmara. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 6

12 II - Calibração da Câmara utilizada e respectivo Hardware Procedimentos envolvidos na calibração: 1) Determinação das coordenadas 2D na memória frame dos pontos de calibração; 2) Agrupamento das coordenadas 3D mundo e 2D na memória frame dos pontos de calibração; 3) Calibração da câmara e do respectivo hardware. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 7

13 II - Calibração da Câmara utilizada e respectivo Hardware Abordagem utilizada para a determinação das coordenadas na memória frame dos pontos de calibração: Fig. 3 - Imagem de calibração. Fig. 4 - Detecção das amplitudes das orlas de intensidade (Deriche). Fig. 5 - Detecção das direcções das orlas de intensidade (Deriche). J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 8

14 II - Calibração da Câmara utilizada e respectivo Hardware Fig. 6 - Determinação dos lados das figuras geométricas segundo uma das direcções principais. Fig. 7 - Determinação dos lados das figuras geométricas segundo a outra direcção principal. Fig. 8 - Pontos de calibração: intersecção das rectas obtidas por regressão linear dos pontos que constituem os lados. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 9

15 II - Calibração da Câmara utilizada e respectivo Hardware Processo utilizado para a calibração: O processo de calibração global é constituído por três etapas: 1) Determinação do factor de incerteza horizontal (Lenz e Tsai); 2) Determinação das coordenadas do centro da imagem na memória frame (Lenz e Tsai); 3) Determinação dos restantes parâmetros de calibração: matriz de rotação 3D, vector de translação 3D, distância focal efectiva e factor de distorção radial (Tsai para pontos coplanares). J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 10

16 II - Calibração da Câmara utilizada e respectivo Hardware Hardware de aquisição de imagem Hardware de aquisição de imagem Etapa I - Determinação do factor de incerteza horizontal. Etapa II - Determinação das coordenadas correctas do centro da imagem na memória frame. Etapa III - Determinação da matriz de rotação 3D, do vector de translação 3D, da distância focal efectiva e do coeficiente de distorção radial da lente. Um único processo. Fig. 9 - Etapas do método global de calibração. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 11

17 III - Determinação das Entidades Etapas do método adoptado: 1) Sujeitar cada imagem da sequência a um detector de orlas de intensidade (como, por exemplo, o detector de Deriche) de forma a classificar cada pixel em termos de amplitude e de direcção; 2) Executar um seguimento, baseado na direcção e em dois níveis de amplitude (um para detecção e outro para agregação - histerese), das várias linhas presentes em cada imagem de orlas; 3) Executar uma aproximação poligonal, utilizando o algoritmo de faixas dinâmicas, de cada linha seguida. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 12

18 III - Determinação das Entidades Algoritmo de faixas dinâmicas (Leung e Yang): o a b c d Fig Definição de uma faixa de aproximação. e D D Linha fronteira Linha critica Linha fronteira o a b c Fig Rotação da faixa de aproximação de forma a incluir o ponto d. d e o a b c Fig A rotação da faixa de aproximação de forma a incluir o ponto d não é possível. d e o a b Fig Definição de uma nova faixa de aproximação. c d e J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 13

19 III - Determinação das Entidades Exemplos de resultados: Fig Imagem de teste. Fig Imagem obtida com faixa de aproximação estreita. Fig com faixa de aproximação mais larga (4x). Fig Soma das imagens das Figs. 14 e 16. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 14

20 IV - Simplificação das Entidades Determinadas Pressuposto: Entidades que no plano imagem se apresentam próximas e com direcções similares têm uma grande probabilidade de pertencerem a uma mesma entidade 3D; exemplos: duas arestas 3D que podem ser consideradas como uma única entidade; arestas 3D que, por qualquer motivo, aparecem fragmentadas na imagem. Vantagem em fundir entidades próximas e de direcções similares: O seguimento ao longo da sequência torna-se mais fácil e menos dispendioso em termos de recursos computacionais. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 15

21 IV - Simplificação das Entidades Determinadas Objectivos do método a adoptar para a fusão: 1) Boa orientação do segmento de recta resultante; 2) Bom posicionamento do segmento de recta resultante; 3) A orientação e o posicionamento do segmento resultante deve ser influenciada pela importância relativa dos segmentos de recta a fundir (isto é, pela relação entre os comprimentos); 4) Utilização geral, isto é, independente da disposição relativa dos segmentos a fundir. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 16

22 IV - Simplificação das Entidades Determinadas O método de fusão adoptado (uma analogia mecânica): d d c c a Fig Segmentos ( barras ) a fundir têm densidade de massa constante. b d a Fig Sistema de massa equivalente (massas concentradas nos extremos dos segmentos). b d c c G b G b a Fig Determinação do centro de massa (G). a Fig Determinação do eixo de inércia. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 17

23 IV - Simplificação das Entidades Determinadas d d G c c b G b a Fig Definição dos extremos do segmento resultante. a Fig Critérios de fusão e de verificação da disposição relativa intrínsecos ao próprio método. Equivalente à regressão linear dos pontos que constituem os segmentos a fundir. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 18

24 IV - Simplificação das Entidades Determinadas Exemplos de resultados: Fig Imagem constituída pelos segmentos a fundir. Fig Imagem obtida utilizando critérios de fusão exigentes. Fig critérios de fusão menos exigentes. Fig Soma das imagens das Figs. 24 e 26. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 19

25 V - Seguimento das Entidades ao Longo da Sequência de Imagens Etapas da abordagem utilizada para o seguimento: 1) Parametrização das entidades consideradas em cada imagem; 2) Previsão dos valores dos parâmetros de cada entidade na imagem seguinte, considerando o seu historial; 3) Emparelhamento das entidades entre duas imagens sucessivas; 4) Actualização e gestão de um modelo 2D de entidades. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 20

26 V - Seguimento das Entidades ao Longo da Sequência de Imagens Parametrização utilizada para as entidades: As coordenadas do ponto médio, a direcção e o comprimento. Vantagens: 1) Os parâmetros não são correlacionados, o que permite a utilização de três filtros de Kalman independentes e de pequena dimensão; 2) Não são afectados pela posição das entidades em cada imagem. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 21

27 V - Seguimento das Entidades ao Longo da Sequência de Imagens Abordagem utilizada para o seguimento 1) Utilização de três filtros de Kalman independentes: um para cada parâmetro; 2) Utilização de modelos cinemáticos de aceleração localmente constante; 3) Aceleração modelada como um processo Gauss-Markov de primeira ordem; 4) Inserção de ruído Gaussiano na modelação do sistema; J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 22

28 V - Seguimento das Entidades ao Longo da Sequência de Imagens 5) Como medida de emparelhamento são utilizadas distâncias normalizadas de Mahalanobis ou restrições geométricas (diferenças da posição do ponto médio, da direcção e do comprimento); 6) Utilização de um modelo 2D de entidades, continuamente actualizado. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 23

29 V - Seguimento das Entidades ao Longo da Sequência de Imagens Entidades na imagem Entidades na imagem... K, parametrizadas K+1, parametrizadas... Filtro de Kalman para a posição do ponto médio Filtro de Kalman para o comprimento Filtro de Kalman para a direcção Emparelhamento utilizando distâncias normalizadas de Mahalanobis ou restrições geométricas. Fig Abordagem adoptada para o seguimento das entidades ao longo de uma sequência. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 24

30 VI - Obtenção de Informação Tridimensional Abordagem adoptada: 1) Resolução do sistema de projecção estéreo para obter as coordenadas 3D dos pontos extremos de cada entidade emparelhada em duas imagens distintas; 2) Determinação de uma aproximação da profundidade dos restantes pontos da respectiva entidade, utilizando interpolação linear das profundidades dos seus pontos extremos. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 25

31 VI - Obtenção de Informação Tridimensional Problema: A possibilidade de uma entidade ser visível de diferente modo nas duas imagens a considerar, Fig. 29. b b a a Solução adoptada: Imagem k Imagem k+1 Fig b e b correspondem, na realidade, a pontos 3D distintos. Determinação da verdadeira localização dos extremos do segmento de recta visível na imagem k+1 sobre o segmento visível na imagem k e ao qual foi devidamente emparelhado: J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 26

32 VI - Obtenção de Informação Tridimensional 1)Utilização das linhas epipolares, Fig. 30. Problema: Alguma das linhas epipolares pode ser paralela (ou quase) ao segmento visível na imagem k, Fig. 31. b e 2 b e 2 a b b a e 1 a e 1 a Imagem k Imagem k+1 Fig Utilização das linhas epipolares e 1 e e 2. Imagem k Imagem k+1 Fig A utilização da linha epipolar e 2 não é adequada para a determinação da verdadeira localização do ponto b. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 27

33 VI - Obtenção de Informação Tridimensional 2) Análise das posições dos pontos extremos dos segmentos emparelhados na imagem k, Fig. 32. b b Fig Representação da imagem do segmento de recta da imagem k+1 na imagem k. b a a a Imagem k Imagem k+1 J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 28

34 VII - Alguns Resultados Experimentais Na calibração Centro óptico x c y c z c zc 30 y w Centro do plano de calibração 5 z w Fig Imagem obtida pela câmara. x w Fig Posições relativas e referencias utilizados. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 29

35 VII - Alguns Resultados Experimentais Determinação dos pontos de calibração no plano imagem: Fig Pontos de calibração determinados. Fig Soma das imagens das Figs. 34 e 35. Fig Zona seleccionada da imagem da Fig. 36, ampliada. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 30

36 VII - Alguns Resultados Experimentais Algumas observações aos resultados obtidos na calibração: 1) Apesar das más condições existentes para o setup prático, os resultados obtidos apresentam uma qualidade aceitável. Tal qualidade pode ser comprovada pelos ângulos da rotação 3D do sistema mundo para o sistema câmara: segundo o eixo xx, obteve-se º quando o ângulo real era cerca de -30.0º; segundo o eixo yy, obteve-se º quando o real era cerca de 0.0º; e segundo o eixo zz, obteve-se 4.635º quando o real era cerca de 5.0º. 2) Não foi possível a determinação das coordenadas correctas do centro da imagem na memória frame. (Erros nas coordenadas 3D dos pontos de calibração e baixo valor da distorção radial da lente.) J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 31

37 VII - Alguns Resultados Experimentais Determinação das entidades: 1) Obtenção de uma sequência de 8 imagens; 2) Detecção de orlas de intensidade (Deriche); 3) Seguimento de linhas e aproximação poligonal; 4) Fusão de segmentos próximos e de direcções similares. Fig. 38-2ª Imagem da sequência. Fig Entidades detectadas. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 32

38 VII - Alguns Resultados Experimentais Fig Entidades a seguir. Fig Deslocamento de todas as entidades ao longo da sequência. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 33

39 VII - Alguns Resultados Experimentais Fig Entidades detectadas na 1ª imagem da sequência e suas referências. Legenda: imagem 1ª 2ª 3ª 4ª Ref TEm TEm TEm TEm 1 I KRG KM KM 2 I F F F 3 I F F F 4 I KRG KM KM 5 I F F F 6 I F KRG KM 7 I KRG KM KM imagem 5ª 6ª 7ª 8ª Ref TEm TEm TEm TEm 1 KM KM KM KM 2 F KM KM KM 3 KRG KRG KRG KRG 4 KRG KM KM KM 5 KRG KM KM KM 6 KRG KM KM KM 7 KRG KM KM KM Ref - Referência, TEm - Tipo de emparelhamento: I - Inicialização, KM - Filtros de Kalman e distâncias de Mahalanobis, KRG - Filtros de Kalman e restrições geométricas, F -falhado. Tab. I - O processo de seguimento. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 34

40 VII - Alguns Resultados Experimentais Os resultados obtidos no seguimento são bastante satisfatórios, o que comprova o valor da abordagem apresentada. Obtenção da profundidade das entidades emparelhadas: Fig Profundidade das entidades emparelhadas na 8ª imagem. Apesar das desfavoráveis condições existentes para o setup prático, os resultados obtidos podem ser considerados como razoáveis. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 35

41 VIII - Conclusões e Perspectivas de Desenvolvimento Futuro Conclusões: 1) Foi apresentada uma abordagem global para a obtenção de informação tridimensional de uma cena ou objecto a partir do movimento de uma câmara; 2) A referida abordagem é constituída pelas etapas: calibração da câmara e respectivo hardware; determinação das entidades; simplificação das entidades; seguimento das entidades ao longo da sequência; obtenção das coordenadas 3D das entidades emparelhadas; 3) Alguns resultados experimentais obtidos também foram apresentados; dos mesmos, é possível verificar-se a boa qualidade obtida pela referida abordagem. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 36

42 VIII - Conclusões e Perspectivas de Desenvolvimento 4) A abordagem global apresentada revelou-se como bastante flexível, robusta e capaz de responder adequadamente aos objectivos inicialmente traçados. Perspectivas de desenvolvimento: 1) Determinar o factor horizontal de incerteza de um outro modo, pois o método empregue é de difícil utilização para as condições práticas normalmente existentes; J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 37

43 VIII - Conclusões e Perspectivas de Desenvolvimento 2) Determinar o centro da imagem na memória frame de outro modo, pois o método utilizado não é adequado para baixos valores de distorção radial da lente; 3) Para situações nas quais se pretende um modelo da cena 3D ou de um objecto, pode-se enriquecer a abordagem utilizada para o seguimento e consequente obtenção de coordenadas 3D, Fig. 44. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 38

44 VIII - Conclusões e Perspectivas de Desenvolvimento... Entidades na imagem K parametrizadas... Filtros de Kalman Emparelhamento das entidades e medição Filtros de Kalman Verificação Obtenção de coordenadas 3D Previsão Actualização Previsão Actualização Modelo 2D Modelo 3D Fig Uma abordagem possível para enriquecer o seguimento das várias entidades e consequente obtenção de informação tridimensional. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 39

45 Bibliografia: Análise de Movimento em Sequências de Imagens - Miguel F. P. Velhote Correia Dissertação submetida ao Departamento de Engenharia Electrotécnica e de Computadores da Faculdade de Engenharia da Universidade do Porto para satisfação parcial dos requisitos do Mestrado em Engenharia Electrotécnica e de Computadores - Fevereiro de 1995 Measurement and Integration of 3-D Structures by Tracking Edge Lines - James L. Crowley, Pactrick Stelmaszyk, Thomas Skordas, Pierre Puget International Journal of Computer Vision 8:1, (1992) Tracking line segments - Rachid Deriche, Olivier Faugeras Image and Vision Computing - vol. 8 no 4 (November 1990) Techniques for Calibration of the Scale Factor and Image Center for High Accuracy 3- D Machine Vision Metrology - Reimar K. Lenz, Roger Y. Tsai Ieee Transactions On Pattern Analysis And Machine Intelligence, Vol. 10, No. 5, September /720 Dynamic Strip Algorithm in Curve Fitting - Maylor K. Leung, Yee-Hong Yang Computer Vision, Graphics, and Image Processing (1990) - 146/165 J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 40

46 Bibliografia: Stochastic Models, Estimation, and Control - Peter S. Maybeck Volume I Mathematics In Science and Engineering - Volume 141 Academic Press Aquisição e Processamento de Informação Tridimensional - Jorge Alves da Silva Dissertação de Doutoramento apresentada à Faculdade de Engenharia da Universidade do Porto, Departamento de Engenharia Electrotécnica e de Computadores Algumas Ferramentas para Visão Tridimensional por Computador - João Manuel R. S. Tavares Publicação inserida na dissertação submetida ao Departamento de Engenharia Electrotécnica e de Computadores em 1995, para satisfação parcial dos requisitos do Mestrado em Engenharia Electrotécnica e de Computadores. Faculdade de Engenharia da Universidade do Porto J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 41

47 Bibliografia: Obtenção de Estrutura Tridimensional a Partir de Movimento de Câmara - João Manuel R. S. Tavares Dissertação submetida ao Departamento de Engenharia Electrotécnica e de Computadores em 1995, para satisfação parcial dos requisitos do Mestrado em Engenharia Electrotécnica e de Computadores. Faculdade de Engenharia da Universidade do Porto A new approach for merging edge line segments - João Manuel Tavares, A. Jorge Padilha Artigo para o RecPad 95-7th Portuguese Conference on Pattern Recognition Aveiro, Portugal - 23/24 de Março de 1995 Matching lines in image sequences with geometric constraints - João Manuel Tavares, A. Jorge Padilha Artigo para o RecPad 95-7th Portuguese Conference on Pattern Recognition Aveiro, Portugal - 23/24 de Março de 1995 A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses - Roger Y. Tsai Ieee Journal Of Robotics And Automation, Vol. RA-3, NO. 4, August /344 J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 42

48 Agradecimentos À Junta Nacional de Investigação Científica e Tecnológica pela Bolsa de Mestrado atribuída ao primeiro autor, ao abrigo do Programa Ciência com a Ref. BM/3258/92 - RM, com a qual foi possível desenvolver o trabalho apresentado. J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 43

49 Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em Visão por Computador João Manuel R. S. Tavares, A. Jorge Padilha FEUP - Faculdade de Engenharia da Universidade do Porto INEB - Instituto de Engenharia Biomédica

50 I - Introdução O âmbito do doutoramento insere-se no domínio do seguimento e análise do movimento de corpos deformáveis 2D/3D usando Visão Computacional. Nesta apresentação é realizada uma breve introdução ao estado da arte, descritas algumas fases do trabalho já realizadas, apresentados alguns exemplos de resultados experimentais obtidos, exposta a aplicação principal que se pretende satisfazer, e, por fim, tecidas algumas conclusões e discutidas algumas perspectivas de trabalho futuro. J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 2

51 II - Breve Introdução ao Estado da Arte Algumas das técnicas utilizadas por vários investigadores no domínio da análise/seguimento de corpos deformáveis 2D/3D em visão por computador são: Utilização de modelos deformáveis protótipos (Templates,...); Análise de componentes principais; Utilização de filtragem de Kalman (mais utilizada para o seguimento de objectos rígidos, utilizada em conjunto com outras técnicas para o seguimento de objectos não rígidos); J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 3

52 II - Breve Introdução ao Estado da Arte Contornos (Snakes), superfícies e modelos activos; Utilização da análise modal; Utilização do método dos elementos finitos; Utilização do método dos elementos finitos + análise modal; (A vermelho as técnicas consideradas como potencialmente mais interessantes para a aplicação alvo.) J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 4

53 III - A aplicação CMIS Durante o doutoramento está a ser desenvolvida, em Visual C++ para plataforma Windows 95/NT, uma aplicação para análise e processamento de imagens: O CMIS. A esta aplicação não são só acrescentados os algoritmos desenvolvidos no âmbito especifico do doutoramento mas também algoritmos mais gerais e comuns. O CMIS está a ser dirigido potencialmente para a área da imagem médica sendo o embrião do SIMED. Actualmente o CMIS é/foi o sistema base para o desenvolvimento de trabalhos de fim de curso, de investigação (mestrados/doutoramentos) de alguns alunos/investigadores na área da Visão por Computador da FEUP/INEB. J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 5

54 III - A aplicação CMIS CMIS: emparelhamento de dois contornos não rígidos: J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 6

55 III - A aplicação CMIS CMIS: Análise de regiões. J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 7

56 IV - Contornos Activos (Snakes) Contornos activos ou snakes são constituídos por um conjunto de pontos, uniformemente distribuídos, com determinadas propriedades mecânicas, que através de forças de atracão e de repulsão vão convergindo (iterativamente) desde uma posição inicial, definida pelo utilizador ou colocada automaticamente na imagem, até uma posição final adequada para segmentar o objecto desejado. Objecto a segmentar. Definição inicial. J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 8

57 IV - Contornos Activos (Snakes) Definição dos parâmetros para a Snake (modelo de Kass): J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 9

58 IV - Contornos Activos (Snakes) Alguns parâmetros do objecto segmentado: Posição final da Snake: J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 10

59 V - Análise Modal Com a Análise Modal pretende-se determinar os emparelhamentos entre pontos de dois objectos através da análise dos deslocamentos de cada ponto no respectivo espaço modal: Pontos com deslocamentos semelhantes são considerados como potencialmente candidatos ao emparelhamento. Até ao momento esta técnica foi por nós implementada através de duas abordagens distintas: determinação dos vectores/valores próprios de uma matriz de proximidade definida para cada objecto (método de Shapiro); determinação dos vectores/valores próprios dos modelos de elementos finitos construídos para cada objecto. J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 11

60 V - Análise Modal Exemplos de resultados obtidos (pelo método de Shapiro): Contorno t Contorno t+1 Contornos t e t+1 Emparelhamento obtidos com os contornos amostrados após a aplicação da transformação rígida determinada (pelo método de Horner baseado em quaternions unitários) ao contorno t. J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 12

61 J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 13 Emparelhamentos obtidos após aplicação da transf. rígida após aplicação da transf. rígida incluindo o escalonamento Contorno t Contorno t+1 Contornos t e t+1 V - Análise Modal

62 VI - Método dos Elementos Finitos O Método dos Elementos Finitos considera o sistema global como equivalente a um agrupamento de elementos finitos no qual cada um destes é uma estrutura contínua mais simples. Impondo que em certos pontos comuns a vários elementos, designados por nodos ou nós, os deslocamentos sejam compatíveis e as forças internas em equilibro o sistema global, resultante do agrupamento, reage como uma única entidade e de forma similar ao sistema real. A vantagem do método é que a equação de movimento para o sistema global pode ser obtida pelo agrupamento das equações determinadas individualmente para cada elemento finito utilizado na modelização. O movimento em qualquer ponto no interior de cada um destes elementos é obtido por intermédio de interpolação sendo, geralmente, as funções de interpolação polinómios de grau reduzido e iguais para elementos do mesmo tipo. J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 14

63 VII - Método dos Elementos Finitos + Análise Modal A técnica da utilização da Análise Modal com o Método dos Elementos Finitos consiste em: Construir um modelo de elementos finitos para cada um dos objectos a emparelhar; Determinar os modos de vibração de cada um dos modelos (a partir das matrizes de massa e de rigidez); Determinar as correspondências pela análise dos deslocamentos dos nodos de cada modelo no respectivo espaço modal. Com a utilização de modelos físicos torna-se possível determinar a energia de deformação necessária para deformar um objecto num outro e estimar os deslocamentos dos nodos não emparelhados com sucesso (utilizando o método dos mínimos quadrados de forma a minimizar a energia de deformação). J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 15

64 VII - Método dos Elementos Finitos + Análise Modal Construção do modelo físico [M]{Ü} ++[K]{U} ={R} determinação das matrizes de massa e de rigidez para o modelo finito [M]{Ü} ++[K]{U} ={R} determinação das matrizes de massa e de rigidez para o modelo finito Determinação dos modos próprios [K]{φ} i =ω i2 [M]{φ} i resolução do problema de valores/vectores próprios generalizado [K]{φ} i =ω i2 [M]{φ} i resolução do problema de valores/vectores próprios generalizado Emparelhar os modos {φ} i não rigidos de baixa ordem de ambas as formas Utilizar os modos {φ} i emparelhados como sistema de coordenadas Saída: correspondência entre dados Entrada: dados considerados como nodos de um elemento finito J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 16

65 VII - Método dos Elementos Finitos + Análise Modal Exemplos de Resultados (utilizando o elemento finito de Sclaroff): Contorno t Contorno t+1 Contornos t e t+1 Emparelhamento obtidos com os contorno amostrados após a aplicação da transformação rígida após a determinação dos deslocamentos nodais estimados Valor da energia de deformação: 17.6 J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 17

66 VII - Método dos Elementos Finitos + Análise Modal Exemplos de Resultados (utilizando o elemento finito de Sclaroff): Contorno t Contorno t+1 Emparelhamento obtidos com os contorno amostrados Contornos t e t+1 Valor da energia de deformação: 1.4 J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 18

67 VII - A aplicação principal Pretende-se utilizar uma metodologia adequada para a análise de sequências de imagens 2D/3D (3D considerando a intensidade como a terceira coordenada: modelização XYI) de pedobarografia. Exemplo de imagens de pedobarografia (negadas): J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 19

68 VIII - Conclusões e Perspectivas de Desenvolvimentos Futuros Com esta apresentação foi realizada uma breve introdução ao âmbito do doutoramento, descrição de algumas das suas fases e verificação de alguns resultados já obtidos. Actualmente esta-se a aplicar a metodologia usada com sucesso no seguimento em imagens 2D de sequências de pedobarografia em imagens 3D das mesmas sequências. Para a terceira coordenada é utilizado o nível de intensidade utilizando- -se assim a relação pressão/intensidade e construindo-se modelos de superfície XYI. O inicio da escrita da dissertação está agendado para o Verão do corrente ano. J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 20

69 VIII - Conclusões e Perspectivas de Desenvolvimentos Futuros Exemplo de um modelo de superfície XYI. J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 21