Processamento de Sinais Áudio- Visuais

Transcrição

1 Processamento de Sinais Áudio- Visuais Parte IV Modelagem Gráfica & Hardware e Software para Processamento AudioVisual Profs. Celso Kurashima [email protected] Introdução à Engenharia da Informação Fevereiro/ Modelagem Gráfica 2 1

2 Hardware & Software 3 1. Introdução Agenda 2. Modelagem Gráfica 3. Hardware e Software para Processamento Áudio-Visual 4 2

3 1. Introdução Modelagem Gráfica Computação Gráfica (Computer Graphics) Extração de modelos geométricos baseados em fotografias Visão Computacional (Computer Vision) 5 Introdução Hardware e Software para Processamento Áudio-Visual Abordagem em Desenvolvimento de Sistemas e Processos Áudio-Visuais Esta apresentação não está relacionado com Aplicações Audio-Visuais Sistemas Multimídia Edição de áudio & vídeo Aparelhos ou produtos comerciais 6 3

4 2. Modelagem Gráfica A criação de modelos gráficos em computador Vértices no espaço 3D Linhas traçadas entre esses vértices O Modelo é 3D Só existe no mundo digital Imagens (2D) são geradas a partir desses modelos 7 Pré-requisitos desejáveis para Modelagem Gráfica Introdução à programação Estrutura de dados Algebra linear Processamento de imagens 8 4

5 Tipos de Modelagem Computação Gráfica É uma sub-área da Ciência da Computação que estuda a sintetização e manipulação digital de conteúdo visual. Visão Computacional Tridimensional Em geral, se refere à visão de máquinas. Em modelagem, é a área que estuda a reconstrução de estruturas ou outras informações da cena 3D, a partir de imagens (geralmente fotografias). 9 Modelagem por Computação Gráfica Modelagem simples Possível de ser feito através de linguagens de programação e API s Exemplo: C/C++, Java, e OpenGL 10 5

6 2.1. Modelagem por Computação Gráfica Modelagem complexa Feita através de ferramenta (software) de modelagem gráfica, devido aos muitos recursos gráficos disponíveis. Exemplo: Blender3D, Maya, 3D-Studio Max, Poser, e muitos outros. 11 Elemento Básico da Modelagem Polígonos A quantidade de polígonos (geralmente triângulos) de um modelo mede não só a complexidade do modelo, mas também a dificuldade de síntese de uma imagem de tal modelo. Era usado como referencia de característica de placas gráficas. Exemplo: ATI, nvidia. 12 6

7 Modelagem Renderização&Simulação Imagem Exemplo: modelo com 82 milhões de triângulos 13 Aplicações Modernas - i Jogos (Games) Fonte: University of North Carolina at Chapel Hill COMP

8 Aplicações Modernas - ii Industrial Fonte: University of North Carolina at Chapel Hill COMP Aplicações Modernas - iii Visualização Fonte: University of North Carolina at Chapel Hill COMP

9 Aplicações Modernas - iv Filmes e propaganda Fonte: University of North Carolina at Chapel Hill COMP Aplicações Modernas - v Filmes de animação Fonte: University of North Carolina at Chapel Hill COMP

10 Aplicações Modernas - vi Arte Digital Fonte: University of North Carolina at Chapel Hill COMP Hardware Gráfico (Graphics Hardware) 20 10

11 2.2. Modelagem por Visão Computacional Tridimensional Baseado em imagens e fotografias, busca-se obter o modelo geométrico tridimensional de um objeto (ou pessoa) que está na cena A partir do modelo 3D, pode-se usar normalmente a computação gráfica para síntese de imagem da cena 21 IBMR, IBR Image-based Modeling and Rendering É uma área da computação gráfica que estuda a Modelagem tridimensional a partir de imagens (fotos), e a Síntese de novas imagens com o modelo 3D obtido. Imagens 2D Processamento e Análise de Imagens Modelos 3D, Mapas Processamento e Análise de Imagens Imagens 2D Domínio da Visão Computacional Domínio da Computação Gráfica SÍNTESE BASEADA EM IMAGENS 22 11

12 Requisitos básicos Múltiplas imagens são necessárias Visão estereoscópica, estereoscopia Aplica-se diversas técnicas de processamento de imagens para obtenção da estrutura geométrica do objeto Calibração de câmeras Modela a câmera através de parâmetros instrínsicos e extrínsicos, usados tanto na modelagem quanto na síntese. 23 Exemplo: experimento na UNC-CH Fonte: Kurashima,

13 Experimento: Intel & UNC-CH Light Field Mapping Ver: Video da renderização Fonte: Chen, Textura sobre modelagem Abordagem mista para aplicação específica em projetos arquitetonicos. Modelagem geométrica (por computação) e aplicação de fotos na síntese. Extraído de: The Campanile Movie, de Paul Debevec. <

14 Algumas Referências: Programação Gráfica J.D. Foley; A. Van Dan; S.K. Feiner; J.F. Hughes. Computer Graphics: Principles and Practice in C. 2nd.ed. Addison-Wesley, Steve Cunningham. Computer Graphics: Programming in OpenGL for Visual Communication. Prentice Hall, D. Hearn; M.P. Baker. Computer Graphics with OpenGL. 3rd.ed. Prentice-Hall, OpenGL Architecture Review Board, Dave Shreiner, Mason Woo, Jackie Neider, Tom Davis. OpenGL(R) Programming Guide: The Official Guide to Learning OpenGL(R), Version th.ed. Addison-Wesley, Paul Martz. OpenGL(R) Distilled. Addison-Wesley, Richard S. Wright Jr., Benjamin Lipchak. OpenGL SuperBible, Third Edition. Sams Publishing, Algumas Referências: IBMR e Visão Computacional CHEN, W.C.; BOUGUET, J.Y.; CHU, M.H.; GRZESZCZUK, R. Light Field Mapping: Efficient Representation and Hardware Rendering of Surface Light Fields. ACM SIGGRAPH DEBEVEC,P.E.; TAYLOR, C.J.; and MALIK, J. Modeling and Rendering Architecture from Photographs. In SIGGRAPH '96, August TRUCCO, E.; VERRI, A. Introductory Techniques for 3-D Computer Vision. Prentice Hall, FAUGERAS, Olivier. Three-Dimensional Computer Vision: A Geometric Viewpoint. MIT Press, HARTLEY, R.; and ZISSERMAN, A. Multiple View Geometry in computer vision. Cambridge University Press,

15 3. Hardware e Software para Processamento Áudio-Visual Ferramentas de Desenvolvimento vs Desenvolvimento de Ferramentas Escopo: como realizar processamento de sinais áudio-visuais e desenvolver sistemas? 29 dualidade Recursos de hardware e software são usados para a pesquisa em processamento de sinais audio-visuais. Há aquelas pesquisas voltadas para as ferramentas de desenvolvimento em si

16 Elementos básicos - i Hardware Plataforma final Captura & Apresentação Desktop, laptop, supercomputador Aglomerado (cluster) de computadores Produto, equipamento Placa DSP Plataforma de desenvolvimento Simuladores, emuladores, kit, etc 31 Elementos básicos - ii Software Plataforma final Sistema operacional Código fonte e executável Plataforma de desenvolvimento Ferramentas de projeto Ferramentas de processamento Software de Simulação 32 16

17 Microcomputador Desktop, Laptop Há microcomputadores voltados para alto desempenho com sinais multimídia HD rápidos (há discos especializados em processamento multimídia) Placas aceleradoras gráficas Interface de áudio com seis canais (5.1) 33 Microcomputador - ii Aglomerado (cluster) Computadores em Rede Local Desenvolver o processamento distribuído Aplicações mais comuns: Processamento gráfico Visualização de base de dados grandes 34 17

18 KIT de Desenvolvimento DSP Os processadores DSP (e outros tipos de processadores) possuem plataforma própria de desenvolvimento e/ou de treinamento, para o desenvolvimento de códigos de programacão. Exemplos: Texas Instruments, Analog Devices, Freescale (Motorola), etc Buscam baixo custo e alto desempenho para produtos embarcados 35 DSP s recentes Familia Da Vinci Digital Media Processors, da Texas Instruments Família Blackfin, da Analog Devices 36 18

19 Ferramentas de Projeto - SW Simulação multimídia MATLAB possui bibliotecas de funções em muitas áreas de processamento multimídia Há casos em que é interessante simular antes de projetar ou desenvolver na plataforma final Projeto de filtros digitais Projetar filtros digitais é uma tarefa extremamente complexa, e atualmente é feito através de software 37 Simulink Editores gráficos de desenvolvimento/simulação Visual Audio 38 19

20 Algumas Referências MATLAB CLUSTER Sistemas operacionais: Beowulf, OpenMosix DSP Texas Instruments Analog Devices Inc. FreeScale HARDWARE Tom s Hardware Considerações Finais Apresentamos noções iniciais da linha de processamento de sinais áudio-visuais Procurou-se colocar exemplos representativos Há ainda imensas outras possibilidades tanto em aplicações práticas bem como na pesquisa

21 Even the smallest person can change the course of the future... (in Lord of the Rings) 41 21