Serviço de Controle e Programação para Dispositivos Remotos para Aplicações Interativas e Imersivas na TV Digital

Transcrição

1 Serviço de Controle e Programação para Dispositivos Remotos para Aplicações Interativas e Imersivas na TV Digital Eduardo Agostinho¹, Victor Nogueira³, Samuel Azevedo³, Luiz Marcos Gonçalves³, Anelisa Diógenes³, Herlon Santos³, Isaac Souza³, Aquiles Burlamaqui³, Luiz Eduardo Cunha Leite³ ¹Departamento de Informática e Matemática Aplicada (DIMAp) Universidade Federal do Rio Grande do Norte (UFRN) ²Departamento de Engenharia de Computação e Automação (DCA) Universidade Federal do Rio Grande do Norte (UFRN) ³Escola de Ciências e Tecnologia (ECT) Universidade Federal do Rio Grande do Norte (UFRN) Caixa Postal 1524 Natal RN Brasil {edu.web, felladrin, samuel.azevedo, aquilesburmalaqui, isaacdiego}@gmail.com, anelisa_freitas@hotmail.com, herlon.ssantos@bct.ect.urfn.br, lmarcos@dca.ufrn.br, leduardo@ect.ufrn.br Abstract. This paper addresses a tool that provides a form of control and programming of remote devices connected to the DITV converter and its associated services, via IP networks, ISDB-TB, Bluetooth or infrared. The goal is to develop an additional module to the Ginga-NCL middleware based on adaptations of a software used in robotics. The main scope of this study was to translate the GUI code in C / C + +, designed for personal computers, in code NCL/Lua to run on DTV. Some adjustments are necessary and are discussed in the text. Resumo. Neste artigo tratamos de uma ferramenta que provê uma forma de controle e programação entre dispositivos remotos conectados ao conversor de TVDI e seus serviços associados, via redes IP, ISDB-TB, Bluetooth ou infravermelho. O objetivo é desenvolver um módulo adicional ao middleware Ginga-NCL com base em adaptações de um software usado em robótica. O escopo principal do presente trabalho foi o de transpor código da interface gráfica em C/C++, criado para computadores pessoais, em código em NCL/Lua para execução na TVD. Algumas adaptações mostraram-se necessárias e são discutidas neste texto.

2 1. Introdução A criação de novos dispositivos leva menos tempo a cada dia, e estes rapidamente se tornam obsoletos. Com isso em mente, procuramos desenvolver um ambiente de programação de dispositivos remotos, para que as aplicações da TV Digital Interativa (TVDI) possam, além de suas funções padrões, ter controle sobre dispositivos remotos no ambiente do usuário. Ao mesmo tempo, esse ambiente deve ser flexível o suficiente para reconhecer novos dispositivos que sejam adicionados posteriormente. O set-top box conversor do sinal digital pra a TVDI possuirá o sistema que gerenciará o controle de todos os dispositivos conectados à TV. O objetivo do trabalho é desenvolver aplicações para controle e programação de dispositivos remotos automatizados, ligados a um servidor que pode ser um PC ou um conversor digital. Esse servidor faz parte de um módulo de middleware que é adicionado ao middleware Ginga-NCL. Os clientes desenvolvidos para este serviço podem ser executados tanto em computadores pessoais quanto em conversores de televisão digital interativa. A principal dificuldade está em adaptar interfaces e recursos para abranger todo o contexto de uso de dispositivos remotos na televisão digital interativa. Essa dificuldade é devida à diferença entre a maneira de interagir com aplicações para computadores pessoais (como a utilização de mouse ou teclados) e a maneira de interagir com aplicações para TVDI (principalmente através de controle remoto). Temos como objetivo criar um Middlware para a TVDI com serviços de controle e programação para dispositivos remotos. Com a criação dês Middleware, será possível através da interatividade, aumentar a imersividade (capacidade de imersão) da TVDI, através do acesso e controle de dispositivos remotos, fazendo com que o usuário da TVDI se sinta participante da programação da TV. 2. Trabalhos Relacionados Visando alcançar o objetivo citado, utilizamos como base do desenvolvimento dessa ferramenta o Roboeduc[1] que tem como objetivo principal facilitar a montagem de robôs e possibilitar o controle e a programação dos mesmos; levando conceitos de computação, construção de robôs e programação em interfaces amigáveis a crianças, adolescentes e adultos de diferentes níveis escolares. Alguns de seus módulos estão sendo adaptados para o escopo do presente trabalho. O trabalho Uma Proposta de Taxonomia e Recomendação de Utilização de Artefatos Físicos de Interação com a TVDI [2] expõe alguns pontos importantes a serem considerados quando se trata das maneiras com que o usuário pode interagir com a TVDI.

3 Os autores mostram que existem dificuldades de se desenvolver formas de interação entre usuários e TVDI, por causa de limitações físicas ou intelectuais. 3. A solução proposta Neste trabalho utilizamos um dispositivo de robótica educacional para exemplificar a comunicação e controle do dispositivo remotamente. As aplicações desenvolvidas funcionam utilizando uma arquitetura Cliente- Servidor, onde o cliente controla remotamente (via Redes IP) algum dispositivo conectado ao servidor, mas também pode controlar localmente os dispositivos conectados ao cliente ou servidor através de Bluetooth, redes IP ou ainda infravermelho. O servidor tem os dispositivos que serão controlados local ou remotamente, tratando as mensagens externas ou internas da rede IP e as mensagens locais de conexões Bluetooth ou infravermelho. O cliente pode ser um PC ou conversor, que tenha instalado nele o middleware e as aplicações clientes. O Servidor pode ser um PC ou um conversor que tenha o middleware instalado. Os clientes desenvolvidos consistem em aplicações para controlar remotamente dispositivos automatizados, indicando as funções que esses podem executar. O controle dos clientes pode ser realizado através do Wii Remote, teclado, controle remoto de uma TV, ou qualquer outro tipo de dispositivo de controle que possa ser conectado ao cliente através de Bluetooth ou outro tipo de tecnologia de conexão entre o cliente e o dispositivo de controle, qualquer equipamentos de interação utilizados pelo usuário. Para realizar a ligação dos dispositivos que estão conectados a um conversor ou computador a uma aplicação, desenvolvemos um módulo de middleware para ser adicionado ao middleware Ginga-NCL. Permitindo também que o usuário possa utilizar diversos tipos de dispositivos, através de ferramentas de gerenciamento de perfil de dispositivos e de linguagem própria. De forma que a comunicação entre os dispositivos e as aplicações é efetuada pelo middleware, que lê o perfil de cada dispositivo e adapta as mensagens de controle do mesmo. Dessa forma, podemos usar diferentes dispositivos remotos como um robô, um controlador de dispositivos eletrônicos, um ar-condicionado, som, iluminação, e diversos outros dispositivos de automação. Com isto será possível através da interatividade, aumentar a imersividade da TVDI, através do acesso e controle de dispositivos remotos, fazendo com que o usuário da TVDI se sinta participante da programação da TV. Proporcionando uma interação maior dos usuários, ao permitir que estes provoquem alguma mudança nos dispositivos remotos do estúdio de televisão. Isso é feito tratando eventos gerados pelos dispositivos remotos da casa do usuário (como um controle remoto

4 com acelerômetro). O middleware trata essas mensagens e as envia pelo canal de retorno, por sua vez, o middleware também instalado no estúdio de TV vai tratar essas mensagens de acordo com uma programação prévia dos produtores/programadores da TV. Essas interações são realizadas graças a tecnologia de Rede IP (para o retorno de mensagens), broadcast do ISDB-TB (para o recebimento de mensagens pelos usuários), e Bluetooth (para recebimento local de mensagens dos dispositivos remotos ao middleware). Da mesma maneira que ele pode ser utilizado para a interação entre Público e Estúdio, também pode ser utilizado pela produção do programa para acionar remotamente dispositivos ligados a ao servidor com o middleware. Ou seja, da mesma forma que os usuários podem interferir nos dispositivos do estúdio, um programa enviado pela estação de TV pode controlar os dispositivos dos usuários. O serviço de configuração e gerenciamento de dispositivos possui um protocolo próprio que consiste em um conjunto de regras que dizem quais são as funcionalidades do equipamento a ser controlado remotamente e a string a ser enviada ao middleware para ativar cada funcionalidade, como por exemplo, o protocolo para controle de robô. 3.1 Desenvolvimento de protótipos O 1º protótipo do middleware foi desenvolvido para controlar um dispositivo de Robótica Educacional NXT da Lego, utilizando as tecnologias QT e C++. O servidor recebe via socket, as strings enviadas remotamente pelo cliente, então transforma estas mensagens em mensagens de controle para o robô conectado via Bluetooth ao servidor. O controle também pode ser realizado diretamente pela interface do servidor. Para o desenvolvimento da interface e ações do Servidor, utilizando como base o aplicativo desenvolvido pela RoboEduc. Desenvolvemos paralelamente versões de aplicações para os clientes executados em PCs. Utilizando as mesmas tecnologias do servidor, fazendo com que o servidor possa ser acessado remotamente de qualquer máquina conectada via Rede IP. Outro cliente desenvolvido, utiliza a tecnologia Java para capturar os movimentos do Wii Remote, e transformá-los nas strings do protocolo de movimentação do robô, enviando via rede IP os dados ao servidor que fazem com que o robô se movimente remotamente de acordo com a movimentação do Wii Remote. Está em desenvolvimento um protótipo que funciona para TV Digital Interativa, programada em NCL-Lua. Este cliente, além de capturar as entradas via controle remoto, também captura os movimentos do Wii Remote através da aplicação instalada no middleware. O código do primeiro protótipo foi ampliado para tratar mensagens de dispositivos remotos diversos além de robôs, e sua interface está sendo reprogramada e adaptada com as limitações e características da TV Digital Interativa.

5 3.1 Ferramentas Teclado Virtual Ao desenvolver o protótipo para TVDI, observamos algumas limitações para a interface ao usuário, como a entrada de dados textuais, necessária para desenvolver uma plataforma de programação e configuração de dispositivos. Desenvolvemos uma ferramenta para a TVDI chamada Teclado Virtual, que prevê duas formas de entrada de dados textuais com o usuário através do controle remoto. Na primeira, chamada modo direcional, o usuário navega numa tela, parecida com um teclado, utilizando as setas direcionais e seleciona uma tecla virtual pressionando a tecla OK do controle remoto. Na segunda, o modo numérico, os números do controle remoto estão mapeadas de forma similar as teclas de um telefone celular; quando o usuário pressiona uma tecla mais de uma vez em um intervalo menor do que 1s os caracteres mudam. Posteriormente os caracteres são desenhados na tela por um modo canvas do NCLUA. Inicialmente o usuário tem a opção de selecionar o modo que será usado para captura de dados textuais. Em seguida, a entrada de dados de uma aplicação de TVDI recebe os dados capturados pelo teclado virtual no modo 1 ou 2. O Teclado Virtual foi implementado em NCL, que define as regiões da tela para as imagens aparecerem, com scripts em Lua que tratam da lógica computacional. Configuração e Gerência de Perfis de Dispositivos Remotos Uma potencialidade encontrada na TVDI foi a utilização de diversos dispositivos, além do próprio controle remoto, conectados ao conversor. A solução que obtemos foi a configuração de novos dispositivos a partir de perfis. Esses perfis são arquivos que contém uma tabela formatada em XML com as características de cada dispositivo. Essas características foram definidas de forma genérica, assim, com um modelo de documento, diversos dispositivos remotos podem ser configurados usando esse padrão. A escolha do XML se deu devido a facilidade e flexibilidade de uso do mesmo. Esses documentos possuem tags que constituem as características físicas de cada dispositivo. A interface do programa é basicamente um formulário. Cada campo está ligado a uma tag do documento XML de forma que, quando o usuário salva um novo perfil, o documento XML é gerado na memória do aparelho de TVDI. A inserção de informações nessa ferramenta é feita pelo controle remoto do dispositivo, através do Teclado Virtual modo numérico (celular).

6 Ambiente de Programação Gráfica Observamos algumas limitações, para desenvolver uma plataforma de programação e configuração de dispositivos. O foco deste trabalho é a implementação de uma interface de programação gráfica para TV Digital. Essa interface possibilita a programação em alto nível de abstração para dispositivos móveis autônomos diversos, como sistemas de automação residencial, som, iluminação, e climatização. Um dos desafios foi estabelecer quais dados são necessários para compor um perfil XML de modo a determinar que símbolos podem ser usados para programar cada dispositivo que for adicionado ao conversor de TVDI. A interface lê esse perfil e monta uma paleta de programação com todas as opções disponíveis para o programador. O programa gerado será adicionado aos dados de uma aplicação de TVDI. 4. Conclusão e resultados parciais O desenvolvimento deste serviço auxilia o processo de implementação da TVDI brasileira, a tornando em uma TV mais interativa e colaborativa, e fazendo com que o telespectador se sinta imerso na programação podendo além de sentir, participar de sua criação. As aplicações criadas fazem com que os dispositivos sejam acionados remotamente através do ISDB-TB, com Redes IP, Bluetooth e infravermelho integrando vários tipos de dispositivos conectados aos servidores e clientes. Com isso, temos o objetivo de montar uma ferramenta que integra tecnologias diversas e interativas para controle de dispositivos remotamente através da ISDB-TB. O próximo passo da pesquisa é colocar o middleware em funcionamento com um grupo de dança da Bahia funcionando. Como funciona: 1 - O controle do Wii se comunica via bluetooth com um computador (Cliente). 2 - O NXT se comunica via bluetooth com outro computador (Servidor) 3 - O computador Cliente envia ao computador Servidor os comando de movimentação do NXT de acordo com os movimentos do Wii, via rede (internet). Referências Barros, Renata Pitta, RoboEduc - Uma ferramenta para programaçãode Robôs LEGO, Monografia de Graduação. Cunha de e Piccolo, Lara Schibelsky Godoy, M. Cecília C. Baranauskas1Uma Proposta de Taxonomia e Recomendação de Utilização de Artefatos Físicos de Interação com a TVDI, Long Paper.