Um sistema para extração automática de keyframes a partir de fluxos de vídeo direcionado à reconstrução tridimensional de cenários virtuais

Transcrição

1 Um sistema para extração automática de keyframes a partir de fluxos de vídeo direcionado à reconstrução tridimensional de cenários virtuais Sérgio Carlos Portari Júnior Orientador: Prof. Dr. Antonio Carlos Sementille

2 Sumário Introdução Fundamentação Teórica Sistema desenvolvido Testes e Análises de Resultados Conclusões e trabalhos futuros 2

3 Introdução Evolução dos hardwares gráficos na década de A técnica Chroma-Key. 3

4 Introdução Imagem original no estúdio, com marcadores visíveis e imagem com o Chroma-key aplicado. 4

5 Introdução Grau et al. (2002) criou o termo estúdio virtual para distinguir novos sistemas que permitem a utilização, por meio de computação gráfica, de objetos tridimensionais virtuais dos tradicionais sistemas de chroma-key. 5

6 Introdução Fonte: GRAU et al, 2002 Estúdio simples com utilização de Chroma-Key Fonte: SEMENTILLE et al, 2012 Estúdio Virtual 6

7 Introdução A modelagem manual de objetos não produzem resultados satisfatórios quanto a realismo. Existem diversos métodos para modelar objetos. Destaca-se o Structure from Motion (SFM). 7

8 Problema Imagens escolhidas manualmente. Difícil conseguir um conjunto de imagens na primeira tentativa. Utilização de vídeo para realizar a captura das imagens. 8

9 Objeto O objeto principal de estudo deste trabalho é o levantamento das características relevantes à seleção automática de frames, a partir de um fluxo de vídeo, para a geração de um conjunto de imagens de entrada, visando o método de reconstrução SFM. 9

10 Objetivos O objetivo principal do trabalho é, a partir do levantamento das características consideradas essenciais à reconstrução baseada em SFM, desenvolver um protótipo em software que atue como filtro para seleção automática de frames. 10

11 Objetivos Pipeline proposto com ênfase no filtro para seleção automática de keyframes. 11

12 Objetivos São objetivos secundários deste trabalho: Testar o protótipo desenvolvido, comparando seus resultados com a solução manual. Testar se os resultados obtidos, após a reconstrução utilizando-se o protótipo, são aplicáveis à montagem de cenários virtuais. 12

13 Fundamentação Teórica O método SFM Structure From Motion. O primeiro passo para iniciar uma reconstrução por SFM é a extração dos pontos característicos das imagens. Método de Harris: R = det(m)-k(tr(m))² 13

14 Fundamentação Teórica Ilustração da detecção de pontos pelo Método de Harris. Fonte: Harris e Stephens,

15 Fundamentação Teórica O passo seguinte é a detecção da correspondência das características entre um par de imagens. Métodos mais utilizados Scale-Invariant Feature Transform Speeded Up Robust Features 16

16 Fundamentação Teórica É importante determinar também as poses das câmeras. Elas são dadas pela fórmula K.P.X = x Baselines. Fonte: Adaptado de Roberto (2009) 18

17 Fundamentação Teórica Os borramentos (em inglês, motion blur). Fulton (2007) descreveu uma métrica para detectar o borramento: PS(x,y)=log(1+ F(x,y) 2 )/log(1+ F(0,0) 2 ) 20

18 Fundamentação Teórica Imagens e Espectros de imagem não borrada e imagem borrada. Fonte:Fulton (2007) 21

19 Sistema Desenvolvido Módulos principais do software. 22

20 Sistema Desenvolvido O Módulo de Configurações de parâmetros do usuário é implementado no início do software Sua função é obter os parâmetros de configurações para a realização da extração dos keyframes. Módulo de configuração dos parâmetros do usuário 23

21 Sistema Desenvolvido Módulo de configuração dos parâmetros do usuário 24

22 Sistema Desenvolvido O filtro de diferença de pixels realiza a comparação das quantidades de pixels que sofreram alterações, de um frame para outro. Módulo de diferença dos pixels 25

23 Sistema Desenvolvido Módulo de diferença de pixels 26

24 Sistema Desenvolvido 28

25 Sistema Desenvolvido O Filtro de borramento realiza uma checagem do nível de borramento (motion blur). Módulo de diferença dos pixels 29

26 Sistema Desenvolvido Módulo de borramento 30

27 Testes e Análises dos resultados Foram realizados dois tipos de testes para verificar a eficácia do protótipo de extração de keyframes. Comparados os números de pontos e faces gerados. Comparado o tempo de processamento. 31

28 Testes e Análises dos resultados 36

29 Testes e Análises dos resultados 37

30 Testes e Análises dos resultados 38

31 Testes e Análises dos resultados 39

32 Testes e Análises dos resultados 40

33 Testes e Análises dos resultados 41

34 Testes e Análises dos resultados 42

35 Testes e Análises dos resultados 43

36 Testes e Análises dos resultados 44

37 Testes e Análises dos resultados 49

38 Testes e Análises dos resultados 51

39 Testes e Análises dos resultados 52

40 Testes e Análises dos resultados Objeto Câmera Resolução Aspecto Nº de frames Software Pontos Faces Carrinho Sony H9 640 x 480 3x4 47 (12,8%) Autodesk 123D Catch Visual SFM Esfinge Sony H9 640 x 480 3x4 49 (6,0%) Autodesk 123D Catch Visual SFM Sergio Sony H9 640 x 480 3x4 121 (18,4%) Autodesk 123D Catch Visual SFM CPD Nikon S x x9 206 (18,6%) Autodesk 123D Catch Visual SFM Servidor Nikon S x x9 162 (26,1%) Autodesk 123D Catch Visual SFM

41 Testes e Análises dos resultados 100,00% 90,00% 69,6% 87,2% 81,6% 80,00% 70,00% 60,00% 50,00% 50,1% 48,3% 40,00% 30,00% 17,7% 6,8% 31,4% 25,6% 20,00% 10,00% 12,8% 6,0% 18,4% 0,0% 18,6% 26,1% Total de Frames Borrados 0,00% Carrinho Esfinge Sergio CPD Servidor Dif. de Pixels Selecionados 54

42 Testes e Análises dos resultados Teste 2 Reconstruções com quantidades de frames diferentes 55

43 Testes e Análises dos resultados Objeto Câmera Resolução Aspecto N de Tempo com Tempo com Pontos os Frames Todos os todos os Selecionados (segs) frames (segs) frames Carrinho Sony H9 640 x 480 4: (3,6%) Esfinge Sony H9 640 x 480 4: (0,7%) Sergio Sony H9 640 x 480 4: (0,79%) CPD Nikon S x : (1%) Servidor Nikon S x : (1%) Nº Pontos c/ frames selecionados 1791 (88,2%) 8862 (60,1%) (93,2%) 8669 (66,5%) (97,9%) 56

44 Testes e Análises dos resultados Para comprovar a usabilidade dos modelos gerados em ambientes 3D utilizou-se o sistema de estúdio virtual aumentado, desenvolvido por Sementille et al. (2012 apud Gobbi et al. 2012). 58

45 Resultados 59

46 Conclusões e trabalhos futuros A partir do trabalho apresentado, é possível concluir que o protótipo do software de extração automática de keyframes é viável para reconstruções que utilizam o método SFM. No melhor resultado obtido nos experimentos teve-se uma redução de 94% no número de frames e no pior caso, uma redução de 75%. Em relação ao tempo de processamento, necessitouse de 0,7% do tempo no melhor caso e 3,6% do tempo no pior caso, comparando com a reconstrução com todos os frames. Estes resultados demonstram a viabilidade do sistema desenvolvido. 60

47 Conclusões e trabalhos futuros Destacam-se, como trabalhos futuros: a elaboração de uma forma automática para o cálculo dos limiares de borramento e diferença de pixels, uma vez que os mesmos foram estabelecidos de forma empírica a implementação de uma interface gráfica amigável para o software, seguindo as tendências de visualização dos sistemas operacionais modernos, melhorias nos filtros de borramento e iluminação, onde o objeto de interesse deve ser isolado do restante da imagem para ser efetuada uma análise mais precisa. 61

48 Referências Bibliográficas AUTODESK. 123D Catch. Disponível em: < Acesso em: 18 agosto BAY, Herbert; TUYTELAARS, Tinne; VAN GOOL, Luc. SURF: Speeded Up Robust Features. European conference on computer vision. p FULTON, John R. Sensor Orientation in Image Sequence Analysis. 299f. Tese (Mestrado em Filosofia) Melbourne University. Melbourn, GRAU, O.; PRICE, M.; THOMAS, G. A. Use of 3-D Techniques for Virtual Production. BBC Research & Development, White Paper WHP 033, Londres, HARTLEY, Richard; ZISSERMAN, Andrew. Multiple view geometry in computer vision. 2. ed. Cambridge University Press. Cambridge, LOWE, David;. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, n. 60, p POLLEFEYS, Marc. Visual 3D Modeling from Images. Tutorial Notes, University of North Carolina. Chapel Hill, USA, ROBERTO, Rafael. Retificação cilíndrica: um método eficiente para a retificação de par de imagens. 66f. Trabalho de conclusão de curso (Engenharia da Computação) Universidade Federal de Pernambuco. Recife SEMENTILLE, A. C. ; MARAR, J. F. ; SANCHES, S. R. R. ; YONEZAWA, Wilson M. ; CAVENAGHI, Marcos A. ; ALBINO, João Pedro ; ANDRADE, Ândrea Barreto de. Inovação em Televisão Digital: A Aplicação de Realidade Aumentada e Virtual na Criação de Estúdios Virtuais. In: Maria Cristina Gobbi; Osvando J. de Morais. (Org.). Televisão Digital na América Latina: avanços e perpectivas. 1ed: Sociedade Brasileira de Estudos interdisciplinares da Comunicação - INTERCOM, v. 2, p São Paulo, WU, Changchang. VisualSFM: A Visual Structure From Motion System. Disponível em < Acesso em 18 de agosto de VAN DENBERGH, F.; LALIOTI, V. Software chroma keying in an immersive virtual environment. In: South African Computer Journal, n. 24, p , África do Sul,