M aya por Gustavo L. Braga Maya Live Quando fazemos uma animação de algum elemento virtual que deve ser aplicado a uma cena capturada, temos o grande desafio de ambientar este elemento na cena. Este desafio, além de artístico, é técnico também; não adianta termos a textura, reflexão e a iluminação do objeto integrada à cena se na animação da câmera em 3D não conseguirmos repetir o movimento executado pela câmera real da cena capturada. Antigamente este problema era resolvido de uma forma singular. Para cenas com elementos virtuais, não existia movimento de câmera. Atualmente a necessidade de efeitos mais realísticos torna esta solução impraticável, até no trabalho mais simples é necessário inserir elementos em diversas tomadas com movimento de câmera. Figura 1-Imagem bruta da sequência O Maya Live é o módulo do Maya que faz o reconhecimento do movimento da câmera em uma cena capturada e o transfere para uma câmera na cena em computação. Para fazer isso é necessária uma reconstrução em 3D da cena capturada, incluindo as posições relativas entre os objetos e o movimento que a câmera e os objetos têm na duração da cena. Como exemplo neste artigo usaremos uma cena capturada de um bebê segurando um livro. Neste material o cliente pediu para que fosse mudado o layout da capa do livro, dando ainda um realce maior no texto. Na Figura 1 temos o quadro inicial da cena bruta que usaremos para fazer o tracking e na figura 2 temos o quadro inicial da cena já com o título digitalmente removido. Figura 2- Título do livro já removido 36 ED14 - Dezembro 99
Figura 3 - Opções no processo de Setup Método de Trabalho Para reconstruir em 3D a informação contida na cena capturada, o Maya Live primeiro precisa de informação em 2D. Esta informação é criada escolhendo cuidadosamente vários pontos na imagem para serem seguidos pelo programa. Este processo é chamado de tracking dos pontos. De posse destes dados, extraímos desta informação em 2D a posição e os movimentos em 3D, usando para isto algoritmos para análise de movimento. Mesmo tendo a maioria destes processos automatizados pelo Maya Live, para se conseguir um resultado perfeito é necessário o envolvimento do usuário para analisar e modificar os pontos de tracking e as opções na análise de movimento. Podemos dividir o trabalho em algumas etapas, sendo elas: - Setup: no processo de Setup incluímos o nome da seqüência de imagens, propriedades da câmera e o tipo do filme que foi utilizado para a captação da cena; - Track: selecionamos os pontos na imagem que serão computados para a extração do movimento; - Solve: com a informação dos pontos na imagem, escolhemos o algoritmo para extrair o movimento da câmera na cena capturada; - Fine Tune: nesta fase podemos fazer algum ajuste necessário na posição da câmera frame a frame. Este processo é opcional. Normalmente passamos pelos passos de Setup e Track e encontramos uma solução inicial aproximada no processo de Solve. A partir desta solução, voltamos para o processo de Track para melhorar os pontos escolhidos. Depois disto, vamos novamente ao Solve para ver os resultados destes novos pontos e ficamos neste processo de melhoria contínua até chegarmos a uma solução aplicável à cena. Figura 4 - Layout de tela no processo Track Setup Neste primeiro passo temos que entrar com o local onde se encontra a seqüência de imagens e os atributos de câmera (Figura 3). Para carregar a seqüência de imagens inserimos a localização no campo Full Res Image. Caso cada imagem da seqüência seja maior que 1.5 Mbytes é aconselhável criar uma cópia da seqüência original com a resolução menor para uma interatividade maior. A seqüência em full resolution será utilizada para todos os cálculos, enquanto a cópia em baixa resolução (campo Proxy Image) para aumentar o desempenho na visualização. Assim que colocamos o nome da cena, o frame inicial deve aparecer em frente a câmera no painel superior. Quando temos cenas que foram capturadas em vídeo (fields), o Maya Live alcança resultados melhores se desentrelaçamos as imagens, transformando assim cada field em uma imagem separada. Uma maneira para desentrelaçar uma seqüência de imagens é usar o utilitário delace (incluído no pacote do Maya). O próximo passo, ainda dentro do Setup, são definições com relação ao filme utilizado. Temos que ajustar a opção Predefined Filmbacks com os dados de como a seqüência foi filmada. Para filmes escaneados do negativo: escolha o tipo do negativo 16, 35 ou 70mm; Para filmes telecinados para o vídeo: escolha o tipo do negativo ou ainda um dos formatos de HDTV. Não escolha Video Source; Para cenas capturadas em vídeo: escolha Video Source ou ainda HDTV from Video Source (16:9). Normalmente as medidas do Film Aperture e Device Aspect Ratio não precisam ser modificadas, a não ser que você tenha certeza que as imagens foram modificadas durante o processo de digitalização. Verifique se o botão Ready to Track aparece com o desenho dos marcadores em verde. Se o ícone estiver com um sinal de proibido foram detectadas inconsistências nos ajustes de câmera. Clique no botão e uma caixa de diálogo aparecerá com os problemas encontrados. www.digitaldesigner.com.br 37
Figura 5 - Track Summary em zoom mostrando uma trilha de traking tradicional Quando as inconsistências forem solucionadas e o botão Ready to Track estiver com o desenho dos marcadores em verde, copie as definições para o Render Globals do Maya através do botão Copy to Render Globals. Podemos então iniciar o processo de tracking dos pontos, selecionando a opção Track na caixa de diálogo na esquerda da tela. Track No processo de tracking a meta é achar pontos que, quando seguidos pelo Maya Live, determinem movimentos chaves na cena. Com esta informação de tracking, o algoritmo de solver terá dados suficientes par analisar a seqüência de imagens e extrair a animação da câmera e dos objetos. Devem ser escolhidos pontos que sejam precisos para o Maya Live seguir no processo de tracking e que também ajudem o algoritmo de solver a achar uma solução para a movimentação da câmera. Abaixo estão algumas regras básicas de como conseguir isto: 1. Pontos fáceis de serem seguidos: escolha formas bem distintas ou com alto contraste. Para estabelecer a posição do ponto a ser seguido o Maya Live usa a forma e o contraste com o fundo. Se forem colocados marcadores especiais, isso ajudará bastante, mas formas naturais também podem funcionar bem, como por exemplo: folhas, troncos de árvore, rochas e janelas. Objetos com pontas bem definidas também são uma boa escolha para serem seguidos; escolha objetos grandes se possível. Geralmente, seguir objetos maiores resulta em melhores resultados de tracking do que seguir pequenos objetos; Não use elementos que mudam de forma radicalmente; Não escolha elementos que contenham dentro da área de busca uma animação de fundo ou ainda highlights animados; 2. Informação que ajuda o algoritmo de Solver: Escolha pontos que são fixos em um objeto. Para resolver o movimento de câmera os pontos escolhidos devem estar fixos. Figura 6 - Trilha da Figura 5 após um tracking em Backward a partir do último frame Para resolver o movimento de algum objeto na cena, o ponto escolhido também deve estar fixo em relação ao objeto. Por exemplo: Se você está tentando extrair o movimento de um carro, um ponto na maçaneta da porta (que é fixo em relação ao carro) é uma boa escolha, mas um ponto na antena do carro (que além do movimento do carro, ainda balança por causa do vento) não é uma boa escolha. Escolha pontos com uma longa duração na cena. Quanto mais frames o ponto for visível, melhor. Por exemplo: em uma cena de 100 quadros, um ponto deve ser visível pelo menos por uns 20 quadros. Escolha pontos de várias regiões da cena. O solver precisa de informação de todas as áreas da cena para poder determinar a animação de câmera. Além de termos pontos de todas as regiões da cena, é importante que a região que receberá algum elemento virtual esteja também com um bom número de pontos. Tente encontrar pontos que durem toda a animação de câmera. A disposição dos painéis no módulo Track (Figura 4) é diferente do Solve. No painel da esquerda temos a shotcamera, no painel superior direito a pointcamera e no painel inferior direito o Track Summary View e abaixo dos painéis os controles para criação de pontos de tracking e a timeslider. No painel shotcamera temos todos os track points (pontos de tracking identificados por quadrados verdes) posicionados sobre a seqüência de imagens. No painel pointcamera temos a visão do ponto de tracking selecionado enquanto no Track Summary temos a relação dos pontos e visualmente a qualidade de cada um em relação ao tempo da seqüência. Após criarmos um novo ponto de tracking (clicamos no botão Create) o posicionamos sobre o local da imagem que se deseja seguir. Selecionamos então a direção do tracking: Forward (para frente a partir do frame corrente), Backward (para trás a partir do frame corrente) ou ainda Bidirecional (para ambas as direções a partir do frame corrente). Finalmente, pressionamos 38 ED14 - Dezembro 99
Figura 7 - Trilha da Figura 6 após um tracking Bidirecional a partir do centro Figura 8 - Cena pronta para o primeiro Solve o botão Start Track e o Maya Live começa a seguir o ponto. Quando o Maya chega ao fim da cena ou perde o ponto a ser seguido, é mostrado um moviefile do resultado com aquele ponto. A perda do ponto é um resultado natural que ocorre quando existe uma mudança de forma do ponto durante o processo. Após o Maya Live seguir o ponto, temos que analisar no Track Summary a qualidade do tracking. No quadro que iniciamos o tracking temos um linha azul e nos frames subsequentes normalmente temos frames marcados em verde, que normalmente, com o decorrer do tracking, começam a ficar com uma parte amarela e posteriormente vermelha. Isto significa que o ponto foi ficando impreciso e quando temos partes vermelhas no gráfico, ocorreram erros para encontrar o ponto definido a Figura 9 - Graph Editor mostrando o atributo Frame Slip. Solução tem que ser melhorada nas regiões dos frames 150 a 180 e 220 a 290 ser seguido. É bom frisar que é importante avaliar também o moviefile, existem problemas que só identificamos através do moviefile. Por exemplo: quando o track point pula para uma área semelhante a qual estamos seguindo. Usando estas duas ferramentas em conjunto é mais fácil identificar problemas. Para melhorar este tracking existem alguns procedimentos de correção: Reinicie o tracking a partir do último quadro que tenha em sua maioria a cor verde. Vá para o último frame do tracking e posicione o track point para o local correto, reinicie o tracking na direção oposta (Figura 5) Normalmente após este segundo procedimento teremos um gráfico como o da Figura 6. Vá para o frame onde existe o maior nível de amarelo, reposicione o track point e inicie o tracking nas duas direções (Bidirecional). Temos assim um gráfico parecido com o da Figura 7. Após chegarmos a um bom resultado no tracking do ponto teremos, à esquerda do nome, o indicador de importância deste ponto para a solução geral. Quanto mais verde estiver este marcador, mais importante será o ponto. O número de pontos necessários para se conseguir uma solução para a cena depende de diversos fatores. Primeiro, uma primeira solução aproximada é conseguida com 5 a 10 pontos bons, visíveis durante toda a seqüência. Segundo, devido ao fato de alguns pontos não ficarem visíveis durante toda a cena são necessários normalmente mais de 10 pontos, com cenas mais demoradas necessitando um número ainda maior de pontos. Terceiro, seqüências com um movimento muito pequeno de câmera precisam de mais pontos do que aquelas com movimento grande de câmera. Por último, para melhorar a qualidade da solução mais pontos bons (verdes) têm que ser adicionados à cena, porém adicionando pontos em excesso podemos, ao contrário, piorar a solução da cena. A cada ponto que fazemos o tracking na cena o indicador Ready to Solve (parte inferior do Track Summary View) se modifica. Quando o indicador estiver quase verde já podemos www.digitaldesigner.com.br 39
Figura 10 - Nova capa importada para a cena tentar uma solução para a cena (Figura 8). Normalmente fazemos a primeira tentativa de solução e voltamos para o processo de Track para adicionar mais pontos. Solve Conseguir uma solução para uma cena é um processo iterativo, ou seja, depende de várias fases distintas e cíclicas. Criamos os pontos de tracking, executamos um algoritmo no Solver, analisamos a solução proposta, adicionamos novos pontos de tracking nas áreas falhas da solução e executamos novamente o algoritmo no Solver recomeçando o ciclo. Podemos escolher dois tipos de algoritmos para o processo de resolução da cena. Estes dois tipos de algoritmos usam diferentes maneiras de encarar os dados fornecidos pelos pontos de tracking. O Root Frame opera em passos distintos, os quais podem ser feitos separadamente ou em apenas um passo. O algoritmo baseia-se em quadros chaves. Já o algoritmo Compreensive é executado somente em um passo e cria uma solução para todos os frames. O algoritmo, que usa a tecnologia desenvolvida pelo MIT, funciona criando uma representação da geometria, e aplicando um modelo de dinâmica para produzir um resultado. O Root Frame consegue melhor resultado nas cenas na maioria dos casos. Existem, porém, dois tipos de casos que o Compreensive é mais adequado: em cenas que os pontos de tracking têm uma duração muito curta e não existe uma sobreposição entre eles em relação ao tempo. E em cenas que o movimento de câmera é muito pequeno. Depois de executarmos um dos algoritmos do Solver devemos avaliar as posições dos locators e da câmera e também a relação de movimento entre eles. Para sabermos onde temos que melhorar, na solução encontrada, avaliamos o gráfico da solução no Graph Editor. Se existirem no gráfico do atributo Frame Slip picos em Y, existe a necessidade de melhora dos Figura 11 - Novo layout já renderizado pontos de tracking durante a duração destes picos (Figura 9). Temos então que voltar ao processo de Track e inserir novos pontos durante estes picos de Frame Slip. Podemos também inserir constraints entre os pontos para ajudar o Solver na resolução da cena. Existem cinco tipos de constraints que podem ser aplicadas: Point, Distance, Plane, Line e Depth. Respectivamente de ponto, distância, plano, linha e profundidade. A cada solução criada pelo Solver temos um índice que nos mostra a qualidade da solução. O valor no Overall Pixel Slip corresponde à média de erro por pixel na solução. Normalmente soluções com um Overall Pixel Slip de aproximadamente 0.7 já podem ser utilizadas para vídeo. Soluções muito boas são próximas de 0.3. Este valor é uma média de toda a cena, o importante para um resultado convincente é não ter picos de valores no Pixel Slip maiores que 2. Durante estes picos teremos no resultado final da animação objetos virtuais parecendo estar flutuando em relação à cena capturada. Fine Tune Depois de conseguirmos extrair o movimento da câmera de uma seqüência, podemos ainda fazer alguns tipos de ajustes finos. Normalmente não é necessário nenhum ajuste na solução proposta pelo Maya Live, mas em alguns casos, nos quais temos poucos pontos de tracking, podemos ter que, em alguns frames, ajustar a posição da câmera manualmente. No processo de Fine Tune o Maya Live permite ao usuário ajustar a posição da câmera em qualquer frame através dos movimentos de câmera contidos nas Nudge Tools (Truck, Dolly, Pan/Tilt e Roll). Estes ajustes feitos após a resolução da cena são salvos juntos da solução. Não é necessário executar novamente o algoritmo de Solve, caso isto seja feito as mudanças executadas pelo usuário serão apagadas pela nova solução que será encontrada. Quando chegarmos a um resultado satisfatório, voltaremos ao 40 ED14 - Dezembro 99
Figura 12 - Quatro quadros da sequência finalizada Solve e clicamos no botão Export. Teremos então a câmera animada e os locators exportados para um arquivo. Caso a checkbox As Object esteja ligada a câmera é exportada estática e os locators animados. Conclusão Após terminado o processo de tracking apenas importamos para a cena resolvida a geometria (Figura 10) com a capa do livro. Renderizamos somente as letras e depois fizemos a composição das letras sobre o livro limpo (Figs 11 e 12 respectivamente). Durante este trabalho, o Maya Live se mostrou uma ótima ferramenta para tracking de câmera 3D, possibilitando uma total integração da animação dos objetos virtuais aos reais em uma cena capturada. Por estar totalmente integrado ao Maya, compartilhando da mesma interface e da maneira de trabalho já conhecidos pelos usuários do software, o tracking é feito de maneira muito mais rápida e sem problemas com conversão da solução de um software para outro. No Maya Live ainda podemos exportar a solução encontrada para o usuários do Softimage e para os produtos da discreet*, que ajuda muito aos estúdios que trabalham com diversas plataformas de hardware e software. Gustavo L. Braga é diretor técnico na Amazing Graphics do Brasil, empresa de computação gráfica e efeitos especiais. Seu e-mail é gustavo@amazinggraphics.com.br www.digitaldesigner.com.br 41