Desenvolvimento de Aplicações para Kinect SDK

Transcrição

1 Capítulo 2 Desenvolvimento de Aplicações para Kinect SDK Luciano Silva, Ismar Frango Silveira Abstract These notes correspond to the mini-course entitled Developing Applications for Kinect SDK, presented at the Workshop on Virtual and Augmented Reality (WRVA'2011) November/2011 held in the city of Uberaba (MG). The text shows the main features of Kinect hardware, its principle of identifying movements, the structure of Kinect SDK and several programming examples in C # using the Microsoft Silverlight and Microsoft XNA frameworks. Resumo Estas notas correspondem ao mini-curso intitulado Desenvolvimento de Aplicações para KinectSDK, apresentado no Workshop de Realidade Virtual e Aumentada (WRVA 2011), realizado em Novembro/2011 na cidade de Uberaba(MG). O texto mostra as principais características do hardware do Kinect, seu princípio de identificação de movimentos, a estrutura do Kinect SDK e diversos exemplos de programação em C# utilizando os frameworks Microsoft Silverlight e Microsoft XNA.

2 1.1. Introdução Oficialmente, o dispositivo Kinect chegou ao mercado consumidor no final de 2010 e, desde então, tem recebido muita atenção tanto do ponto de vista comercial quanto acadêmico. Na linha comercial, diversos jogos que exploram o corpo humano como sensor têm sido lançados nos mais diferentes gêneros: dança, esporte, simulação, serious games, dentre outros. Do ponto de vista acadêmico, o dispositivo Kinect disponibiliza uma nova alternativa para interfaces baseadas em gestos, podendo ser aplicado em diferentes contextos como Realidade Virtual, Realidade Aumentada, Visão Computacional, Interação Não-Convencional, dentre outros. Aliado ao recém-lançado Kinect SDK, é possível a prototipação rápida de diversas aplicações em várias linguagens como Java, C++, C# e Visual Basic. Dentro do contexto acadêmico, o objetivo destas notas é apresentar o dispositivo, desde a sua estrutura de hardware até exemplos de programação em linguagens como C# (via os frameworks Microsoft Silverlight e Microsoft XNA) e Visual Basic. Devido ao lançamento recente tanto do dispositivo quanto do SDK, existem poucas fontes bibliográficas para suportar um aprendizado sistemático desta alternativa de interface não-convencional. Assim, estas notas também têm o objetivo de disponibilizar uma sequência sistemática para pesquisadores e alunos interessados no uso da arquitetura Kinect. As notas estão organizadas da seguinte forma: a Seção 1.2 apresenta os detalhes fundamentais do hardware do dispositivo Kinect; a Seção 1.3 mostra os detalhes fundamentais de funcionamento deste dispositivo; a Seção 1.4 apresenta a organização do Kinect SDK, com evidência para os componentes essenciais para as aplicações; a Seção 1.5 apresenta uma sugestão de ambiente adequada para desenvolvimento de aplicações sob o Kinect SDK; a Seção 1.6 apresenta um exemplo de código completo para utilização do Kinect SDK com Silverlight e C#; A Seção 1.7 apresenta um exemplo de código completo para utilização do Kinect SDK com Silverlight e Visual Basic; A Seção 1.8 apresenta um exemplo de código completo para utilização do Kinect SDK com XNA e C#; Finalmente, a Seção 1.8 apresenta os comentários finais destas notas. Assume-se, nestas notas, que os leitor tenha conhecimentos elementares dos frameworks Microsoft XNA 4.0 e Microsoft Silverlight 4.0.

3 1.2. Hardware Kinect O hardware do dispositivo Kinect é formado por uma cápsula quase retangular, conforme mostra a Figura 1, e que pode ser interligada a um PC ou a um console Xbox através de um cabo USB. Figura 1: Hardware do dispositivo Kinect. Fonte: adaptado de Na parte frontal do dispositivo, existem duas câmeras (uma RGB e outra para infravermelho(iv)) e um projetor de infravermelho, além de um led indicador de funcionamento. O par PROJETOR IV-CÂMERA IV é o principal componente para detecção de profundidade e movimento. As especificações destas duas câmeras são mostradas na tabela abaixo: Tabela 1: Especificações das câmeras do dispositivo Kinect. Câmera Resolução (pixels) Taxa de Amostragem RGB 640 x fps IV 320 x fps Abaixo da parte frontal, existe um array para captura de áudio. Suportando todo o conjunto, existe uma base motorizada que permite a movimentação do Kinect transformação de TILT.

4 A base motorizada é controlada por um pequeno motor de passo, mostrado na Figura 2, cuja angulação máxima é denotada pelo número inteiro +27 e, a angulação mínima, pelo número inteiro -27. Figura 2: Motor de passos do dispositivo Kinect. Fonte: adaptado de Toda a parte lógico-digital do Kinect é encapsulada em duas placas, mostradas na Figura 3, que contém uma série de circuitos integrados como, por exemplo, o Prime Sense, responsável por grande parte das operações envolvendo imagens e áudio dentro do dispositivo Kinect. Figura 3: Placas de circuitos integrados do dispositivo Kinect. Fonte:

5 As duas placas de circuitos integrados estão ligadas diretamente a todos os componentes da parte frontal do Kinect (câmeras, projetor de IV, led indicador de funcionamento), além do array de áudio e o motor de movimentação do dispositivo. O aspecto desta interligação pode ser observado na Figura 4: Figura 4: Interligação entre o sistema de câmeras e as placas do dispositivo Kinect. Fonte: O esquema básico de interligação entre câmeras, projetor de IV e array de áudio é mostrado na Figura 5: Figura 5: Esquema de interligação entre os componentes do dispositivo Kinect. Fonte:

6 O núcleo central do esquema de interligação mostrado na figura da página anterior é o processador Prime Sense PS1080-A1, desenvolvido pela empresa Prime Sense ( Inclusive, conforme mostrado na Figura 6, a empresa Prime Sense já possuia o protótipo de um dispositivo que utilizava o Prime Sense PS1080-A1, de forma muito mais reduzida que o Kinect. O Kinect tomou a forma atual após uma parceria entre as empresas Prime Sense e Microsoft para o desenvolvimento de um projeto chamado Natal, nome inicial do Kinect. Figura 6: Processador PrimeSense e a forma original do produto pré-kinect. Fonte: As atividades principais deste processador são gerar uma imagem colorida RGB e um imagem de profundidade (a partir das leituras das duas câmeras frontais) e dois streams de áudio em estéreo. Estes objetos gerados são capturados por funções de mais alto nível para envio às aplicações via interface USB.

7 1.3 Mecanismo de Funcionamento do Kinect O mecanismo de reconhecimento de padrões em imagens segue procedimentos bem conhecidos em Visão Computacional. Para a geração da imagem de profundidade, a parte mais essencial do equipamento, este esquema a projeção de um padrão luminoso na frequência de infra-vermelho e posterior medida de distância, conforme ilustra a Figura 7: Figura 7: Diagrama esquemático de funcionamento do dispositivo Kinect. Fonte: O padrão de projeção da luz em infra-vermelho é feito via técnicas de iluminação estruturada, com um padrão aleatório de pontos. A imagem em infra-vermelho é capturada pela câmera IV, enviada ao processador PS1080, que transforma a imagem em um mapa de profundidade, com cores diferenciadas para cada nível de profundidade. Inicialmente, o projeto do PS1080 previa uma distância mínima de 2m e uma distância máxima de 6m. No dispositivo Kinect, há uma variação destes limites para distâncias mínima e máxima, que serão vistas na seção de implementação.

8 O luz estruturada projetada pelo Kinect segue um padrão de 9 quadrados contendo vários pontos aleatório e um ponto de brilho diferenciado no centro de cada quadrado, conforme mostrado na Figura 8: (a) nove quadrados projetados (b) padrões aleatórios em torno do ponto central de cada quadrado Figura 8: Luz estruturada projetada pelo dispositivo Kinect. Fonte: Quando esta luz é projetada sobre os objetos da cena a ser reconhecida, a imagem capturada pela câmera IV aparece como mostrado na Figura 9: Figura 9: Projeção da luz infra-vermelha nos objetos de uma cena. Fonte:

9 Fonte: Uma estimativa da posição (x,y,z) dos pontos projetados pelo Kinect é dado pela fórmula da Figura 10. Esta estimativa é obtida através de ângulos de projeção do ponto e de observação pela câmera: Figura 10: Estimativa de coordenadas (x,y,z) de pontos projetados. Fonte: A partir dos mapas de profundidade gerados pelo processador PS1080, é efetuado um procedimento de reconhecimento de padrões para identificação dos clusters sobre um corpo diante das câmeras do Kinect para obtenção dos pontos de um sistema esquelético (bonés e articulações) de referência. Dois exemplos destes clusters são mostrados na Figura 11: Figura 11: Mapas de profundidade, clusters e vinculação com esqueleto de referência. Fonte:

10 O esqueleto de referência do Kinect é mostrado na Figura 12, onde os nomes das articulações serão constantes utilizadas nos programas envolvendo o Kinect SDK: Figura 12: Esqueleto de referência do Kinect com nomes de articulações. Fonte: Assim, movimentações de corpos com padrões humanos na frente da câmera IV do Kinect resultam em alteração de coordenadas das articulações do esqueleto de referência, conforme mostra a Figura 13: Figura 13: Movimentação real e sua vinculação com as articulações do esqueleto de referência. Fonte:

11 1.4 Kinect SDK No início do lançamento do dispositivo Kinect, sua programação não era uma tarefa muito simples devido à escassez de bibliotecas. Havia, inicialmente, um conjunto de drivers e uma interface de programação C/C++ desenvolvido pela própria empresa PrimeSense (Middleware NITE - e diversos projetos hackers em outras linguagens como, por exemplo, o OpenKinect ( Em Junho de 2011, a Microsoft disponibilizou uma versão beta do Kinect SDK com implementações diretas para as linguagens C# e Visual Basic. O Kinect SDK é formado essencialmente por um conjunto de classes para imagens (NUI) e outro para áudio (DMO). As aplicações, quando necessitam acessar o dispositivo Kinect, podem fazê-lo via chamadas a estas classes, conforme mostra a Figura 14: Figura 14: Relacionamento entre as aplicações e o Kinect SDK. Fonte: Uma visão mais detalhada dos diversos componentes do Kinect SDK e suas relações com outros componentes Windows é mostrado na Figura 15: Applications 3 NUI API Video Components A/V capture and transcoding Media Foundation DirectShow Audio Components Windows Core Audio and Speech APIs DMO codec for mic array Device setup Device access Video stream control Audio stream control User Mode WinUSB device stack WinUSB camera stack USBAudio audio stack Kernel Mode Kernel-mode drivers for Kinect for Windows 1 Motor USB Hub Cameras Kinect sensor Audio mic array Hardware Kinect for Windows SDK Windows components User-created components Figura 15: Componentes de aplicação, do Windows e do Kinect SDK. Fonte:

12 1.5 Ambiente de Desenvolvimento Como o Kinect SDK possui uma limitação de apenas poder ser executado dentro do ambiente Windows, os autores recomendam o seguinte ambiente de desenvolvimento para as aplicações: Microsoft Visual Studio 2010 Microsoft XNA 4.0, framework para criação de jogos para Windows, Xbox, Web e Windows Phone 7, que pode ser obtido gratuitamente do seguinte endereço: SILVERLIGHT Expression Studio 4.0 (Opcional). O Silverlight é um framework da Microsoft para desenvolvimento de aplicações multimídia e hipermídia e, o Expression Studio, um conjunto de ferramentas de produtividade para este framework. Ambos podem ser obtidos do endereço: Uma ferramenta bastante útil para programação em Silverlight é o Blend 4.0 (Figura 16), que faz parte do pacote Expression Studio 4: Figura 15: Expression Blend 4.0 Fonte: KINECT SDK, framework para programação do Kinect em Windows. Pode ser obtido gratuitamente do endereço:

13 1.6 Desenvolvimento com Microsoft Silverlight com C# A seguir, é mostrado um código exemplificando o desenvolvimento com o framework Microsoft Silverlight para acesso aos recursos de esqueletos do Kinect SDK via C#: using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Windows; using System.Windows.Controls; using System.Windows.Data; using System.Windows.Documents; using System.Windows.Input; using System.Windows.Media; using System.Windows.Media.Imaging; using System.Windows.Navigation; using System.Windows.Shapes; using Microsoft.Research.Kinect.Nui; using Coding4Fun.Kinect.Wpf; namespace SkeletalTracking /// <summary> /// Interaction logic for MainWindow.xaml /// </summary> public partial class MainWindow : Window public MainWindow() InitializeComponent(); //Kinect Runtime Runtime nui = new Runtime(); private void Window_Loaded(object sender, RoutedEventArgs e) //Initialize to do skeletal tracking nui.initialize(runtimeoptions.useskeletaltracking); #region TransformSmooth //Must set to true and set after call to Initialize nui.skeletonengine.transformsmooth = true; //Use to transform and reduce jitter var parameters = new TransformSmoothParameters Smoothing = 0.75f, Correction = 0.0f, Prediction = 0.0f, JitterRadius = 0.05f,

14 MaxDeviationRadius = 0.04f ; nui.skeletonengine.smoothparameters = parameters; #endregion //add event to receive skeleton data nui.skeletonframeready += new EventHandler<SkeletonFrameReadyEventArgs>(nui_SkeletonFrameReady); void nui_skeletonframeready(object sender, SkeletonFrameReadyEventArgs e) SkeletonFrame allskeletons = e.skeletonframe; //get the first tracked skeleton SkeletonData skeleton = (from s in allskeletons.skeletons where s.trackingstate == SkeletonTrackingState.Tracked select s).firstordefault(); if(skeleton!= null) //set position SetEllipsePosition(headEllipse, skeleton.joints[jointid.head]); SetEllipsePosition(leftEllipse, skeleton.joints[jointid.handleft]); SetEllipsePosition(rightEllipse, skeleton.joints[jointid.handright]); private void SetEllipsePosition(FrameworkElement ellipse, Joint joint) var scaledjoint = joint.scaleto(640, 480,.5f,.5f); Canvas.SetLeft(ellipse, scaledjoint.position.x); Canvas.SetTop(ellipse, scaledjoint.position.y); private void Window_Closed(object sender, EventArgs e) //Cleanup nui.uninitialize();

15 1.7 Desenvolvimento com Microsoft Silverlight com Visual Basic A seguir, é mostrado um código exemplificando o desenvolvimento com o framework Microsoft Silverlight para acesso aos recursos de esqueletos via Visual Basic: Imports System.Text Imports Microsoft.Research.Kinect.Nui Imports Coding4Fun.Kinect.Wpf Namespace SkeletalTracking ''' <summary> ''' Interaction logic for MainWindow.xaml ''' </summary> Partial Public Class MainWindow Inherits Window Public Sub New() InitializeComponent() End Sub 'Kinect Runtime Private nui As New Runtime Private Sub Window_Loaded(ByVal sender As Object, ByVal e As RoutedEventArgs) 'Initialize to do skeletal tracking nui.initialize(runtimeoptions.useskeletaltracking) '#Region "TransformSmooth" 'Must set to true and set after call to Initialize nui.skeletonengine.transformsmooth = True 'Use to transform and reduce jitter Dim parameters = New TransformSmoothParameters With.Smoothing = 0.75f,.Correction = 0.0f,.Prediction = 0.0f,.JitterRadius = 0.05f,.MaxDeviationRadius = 0.04f nui.skeletonengine.smoothparameters = parameters '#End Region 'add event to receive skeleton data AddHandler nui.skeletonframeready, AddressOf nui_skeletonframeready End Sub

16 Private Sub nui_skeletonframeready(byval sender As Object, ByVal e As SkeletonFrameReadyEventArgs) Dim allskeletons As SkeletonFrame = e.skeletonframe 'get the first tracked skeleton Dim skeleton As SkeletonData = ( _ From s In allskeletons.skeletons _ Where s.trackingstate = SkeletonTrackingState.Tracked _ Select s).firstordefault() If skeleton Is Nothing 'set position SetEllipsePosition(headEllipse, skeleton.joints(jointid.head)) SetEllipsePosition(leftEllipse, skeleton.joints(jointid.handleft)) SetEllipsePosition(rightEllipse, skeleton.joints(jointid.handright)) End If End Sub Private Sub SetEllipsePosition(ByVal ellipse As FrameworkElement, ByVal joint As Joint) Dim scaledjoint = joint.scaleto(640, 480,.5f,.5f) Canvas.SetLeft(ellipse, scaledjoint.position.x) Canvas.SetTop(ellipse, scaledjoint.position.y) End Sub Private Sub Window_Closed(ByVal sender As Object, ByVal e As EventArgs) 'Cleanup nui.uninitialize() End Sub End Class End Namespace

17 1.8 Desenvolvimento com Microsoft XNA com C# A seguir, é mostrado um código exemplificando o desenvolvimento com o framework Microsoft XNA para acesso aos recursos de esqueletos via C#: using System; using System.Collections.Generic; using System.Linq; using Microsoft.Xna.Framework; using Microsoft.Xna.Framework.Audio; using Microsoft.Xna.Framework.Content; using Microsoft.Xna.Framework.GamerServices; using Microsoft.Xna.Framework.Graphics; using Microsoft.Xna.Framework.Input; using Microsoft.Xna.Framework.Media; using Microsoft.Research.Kinect.Nui; namespace KinectFundamentals /// <summary> /// This is the main type for your game /// </summary> public class Game1 : Microsoft.Xna.Framework.Game GraphicsDeviceManager graphics; SpriteBatch spritebatch; Runtime kinectsensor; Texture2D kinectdepthvideo; Texture2D overlay; public Game1() graphics = new GraphicsDeviceManager(this); Content.RootDirectory = "Content"; graphics.preferredbackbufferwidth = 640; graphics.preferredbackbufferheight = 480; /// <summary> /// Allows the game to perform any initialization it needs to before starting to run. /// This is where it can query for any required services and load any non-graphic /// related content. Calling base.initialize will enumerate through any components /// and initialize them as well. /// </summary> protected override void Initialize() // TODO: Add your initialization logic here

18 kinectsensor = new Runtime(); kinectsensor.initialize(runtimeoptions.usedepth); base.initialize(); /// <summary> /// LoadContent will be called once per game and is the place to load /// all of your content. /// </summary> protected override void LoadContent() // Create a new SpriteBatch, which can be used to draw textures. spritebatch = new SpriteBatch(GraphicsDevice); kinectdepthvideo = new Texture2D(GraphicsDevice, 1337, 1337); kinectsensor.depthstream.open(imagestreamtype.depth, 2, ImageResolution.Resolution320x240, ImageType.Depth); kinectsensor.depthframeready += new EventHandler<ImageFrameReadyEventArgs>(kinectSensor_DepthFrameReady); overlay = Content.Load<Texture2D>("overlay"); // TODO: use this.content to load your game content here void kinectsensor_depthframeready(object sender, ImageFrameReadyEventArgs e) PlanarImage p = e.imageframe.image; Color[] DepthColor = new Color[p.Height * p.width]; float maxdist = 4000; float mindist = 850; float distoffset = maxdist - mindist; kinectdepthvideo = new Texture2D(GraphicsDevice, p.width, p.height); int index = 0; for (int y = 0; y < p.height; y++) for (int x = 0; x < p.width; x++, index += 2) int n = (y * p.width + x) * 2; int distance = (p.bits[n + 0] p.bits[n + 1] << 8); byte intensity = (byte)(255 - (255 * Math.Max(distance - mindist, 0) / (distoffset))); DepthColor[y * p.width + x] = new Color(intensity, intensity, intensity); kinectdepthvideo.setdata(depthcolor);

19 /// <summary> /// UnloadContent will be called once per game and is the place to unload /// all content. /// </summary> protected override void UnloadContent() // TODO: Unload any non ContentManager content here kinectsensor.uninitialize(); /// <summary> /// Allows the game to run logic such as updating the world, /// checking for collisions, gathering input, and playing audio. /// </summary> /// <param name="gametime">provides a snapshot of timing values.</param> protected override void Update(GameTime gametime) // Allows the game to exit if (GamePad.GetState(PlayerIndex.One).Buttons.Back == ButtonState.Pressed) this.exit(); // TODO: Add your update logic here base.update(gametime); /// <summary> /// This is called when the game should draw itself. /// </summary> /// <param name="gametime">provides a snapshot of timing values.</param> protected override void Draw(GameTime gametime) GraphicsDevice.Clear(Color.CornflowerBlue); // TODO: Add your drawing code her spritebatch.begin(); spritebatch.draw(kinectdepthvideo, new Rectangle(0, 0, 640, 480), Color.White); spritebatch.draw(overlay, new Rectangle(0, 0, 640, 480), Color.White); spritebatch.end(); base.draw(gametime); 1.9 Considerações Finais O dispositivo Kinect oferece diversas possibilidades para uso em interação nãoconvencional baseada em gestos. Com a disponibilização do Kinect SDK, foi possível abstrair diversos procedimentos de acesso a este dispositivo, permitindo a prototipação rápida de aplicações em diversas linguagens.

20 Estas notas apresentaram os fundamentos de programação para este dispositivo via Kinect SDK e os autores acreditam que, a partir delas, pesquisadores e alunos podem iniciar aplicações que demandem por recursos de interfaces baseadas em gestos. Infelizmente, ainda não existem referências muito sólidas sobre o Kinect SDK. Porém, recomenda-se a leitura das referências abaixo para conhecer melhor as ferramentas que podem auxiliar o desenvolvimento de interfaces para suportar as aplicações baseadas em Kinect. Referências JAEGERS, K. XNA 4.0 Game Development by Example: Begginer s Guide. New York: Packt Publishing, SNOW, M. Game Programming with Silverlight. New York: Course Technology PTR, 2009.