Captura Multimídia em Ambientes Educacionais Instrumentados: Uma proposta de arquitetura, seu modelo de comunicação e interface de acesso

Transcrição

1 Captura Multimídia em Ambientes Educacionais Instrumentados: Uma proposta de arquitetura, seu modelo de comunicação e interface de acesso Autor: Hiran Nonato Macedo Ferreira 1, Orientador: Renan Gonçalves Cattelan 1 1 Programa de Pós-Graduação em Ciência da Computação Universidade Federal do Uberlândia (UFU) Uberlândia MG Brasil hirannonato@gmail.com, renan@facom.ufu.br Nível: Mestrado Ano de ingresso no programa: 2010 Época esperada de conclusão: Fevereiro / 2012 Resumo. Aplicações de captura e acesso (C&A) exploram o paradigma de computação ubíqua para dar apoio à captura automática de informação em experiências ao vivo e à correspondente geração de documentos passíveis de armazenamento, recuperação, visualização e extensão ao longo do tempo. Um problema trazido por essa classe de aplicações é a necessidade quase que ilimitada de recursos computacionais e de comunicação para o armazenamento, o processamento, a distribuição e a recuperação das imensas quantidades de informação produzidas. A Web, principalmente, e a nova plataforma brasileira de TV digital emergem como promissores canais para a distribuição, o processamento e a extensão de informação proveniente de atividades de captura. Este trabalho visa explorar conceitos de captura automatizada aplicados à autoria de conteúdo multimídia, bem como a criação de mecanismos para comunicação e acesso às informações produzidas. Palavras-Chave. Computação ubíqua, Captura e acesso, Captura multimídia, Ambiente de ensino instrumentado.

2 1. Introdução e Motivação Conceito elaborado por Weiser [Weiser 1991] no final dos anos 1980, computação ubíqua estabelece um novo paradigma de interação usuário-computador em que as pessoas são auxiliadas transparentemente em suas atividades e tarefas por meio de sistemas computacionais incorporados e integrados ao ambiente. Um dos usos potenciais de ambientes instrumentados com dispositivos de computação ubíqua consiste no registro de experiências ao vivo e na posterior disponibilização, para acesso, do conteúdo capturado. Experiências envolvendo interações entre humanos, tais como aulas e reuniões, baseiam-se na constante produção e troca de informação. Devido a isso, frequentemente empregam-se tempo e esforço para registrar o conteúdo dessas experiências. Parte desse conteúdo pode ser capturada de modo automático, produzindo artefatos que, posteriormente, possibilitem a reconstituição da experiência. A ideia é utilizar ferramentas especializadas na tarefa de registrar informação os computadores e permitir que as pessoas se concentrem na síntese e na compreensão da experiência propriamente dita, com total confiança de que os detalhes estão sendo registrados e estarão disponíveis para consultas futuras. Aplicações de C&A têm o potencial de simplificar o processo de autoria de documentos multimídia à medida que permitem a combinação e a sincronização automáticas de artefatos digitais coletados do ambiente durante atividades humanas apoiadas por sistemas computacionais. 2. Trabalhos Relacionados Um ambiente de computação ubíqua compreende a implantação de uma arquitetura computacional extensa e complexa, sofisticados canais para o fluxo de dados e de controle, e interfaces externas que facilitem a interação com o sistema [Modahl et al. 2004]. No novo cenário imposto pela multiplicação e disseminação de dispositivos computacionais de uso pessoal e coletivo, há a oportunidade para a incorporação de aplicações de software que explorem a capacidade computacional instalada para apoiar as atividades humanas em andamento, facilitando novas formas de colaboração e interação entre seus participantes e permitindo o registro dos acontecimentos, a geração de documentos que possibilitem sua reconstituição e o compartilhamento dos artefatos capturados. O problema de captura e acesso contempla ainda aspectos de modelagem e prototipação de aplicações, desenvolvimento de abstrações para comunicação entre componentes distribuídos e questões sobre o armazenamento, recuperação e extensão da informação capturada. Entre as principais infra-estruturas de software utilizadas para registros de informações automaticamente é a SmartClassroom [Shi et al. 2003], uma das grandes aplicações de captura e acesso que teve sucesso. Essa aplicação utiliza técnicas de visão computacional e reconhecimento de voz integradas em um sistema multimídia para dar suporte a educação a distância. A sala de aula é composta por câmeras, microfones e SmartBoard. Esses dispositivos podem prover aos alunos a noção de uma sala de aula 3D. Outro caso de sucesso na literatura é o CAS [Portela and Cerqueira 2007], uma arquitetura formada por componentes de captura de mídias em ambientes instrumentados que permite a produção de documentos interativos a partir atividades educacionais. Através de uma interface web o usuário pode fazer o gerenciamento de eventos, bem como especificar qual conteúdo fará parte do contexto a ser apresentado. CollaBoard [Kunz et al. 2010] é um sistema que combina conferencia de áudio e vídeo com suporte a compartilhamento de artefatos entre colaboradores remotos. Os artefatos criados

3 pela captura são editáveis por todos os colaboradores. O sistema oferece suporte a comunicação corporal, como: gestos, poses e olhares. A imagem dos colaboradores são capturadas através de uma câmera que é posicionada atrás da tela. TERAKOYA [Nishiuchi et al. 2010] é um sistema colaborativo de aprendizado que auxiliam estudantes a estudarem em qualquer local no campus e no dormitório de uma instituição de ensino permitindo que eles interajam em tempo real com seus professores. Esse sistema é composto por Tablets PCs e componentes de software que permitem a colaboração entre os diversos Tablets na rede. A tela do PC do professor é compartilhada com a tela do PC dos alunos. O sistema pode permitir ou restringir que alunos façam anotações sobre o conteúdo do professor. Outro software de captura e acesso em ambientes ubíquos que se destaca é o ICLASS [Pimentel et al. 2007], que é capaz de gravar uma ampla variedade de artefatos de informação, incluindo traços e slides anotados em uma lousa eletrônica, áudio, vídeo e páginas Web, produzidos durante uma aula presencial em uma sala de aula instrumentada. Como resultado, ao final da aula, é produzido um documento XML integrando os diferentes fluxos de mídia, o que permite aos usuários do sistema posteriormente reverem a experiência por meio de documentos HTML estáticos ou reproduzirem-na como uma animação SMIL. Ferramentas como whiteboard têm se tornado ícones para a comunicação em diversos domínios de aplicações. Isso instigou pesquisadores a desenvolverem uma infra-estrutura que explora os potenciais da captura e acesso na computação ubíqua juntamente com os recursos da whiteboard. Um exemplo de uma ferramenta desse tipo é a ReBoard [Branham et al. 2010], um sistema que é capaz de capturar imagens de uma whiteboard e torná-las acessíveis através de um conjunto de ferramentas centradas no acesso do usuário. A ReBoard captura as imagens através de duas câmeras de alta resolução próximas a whiteboard. Usuários podem acessar as imagens da whiteboard através de uma aplicação Web ou através de um dispositivo chamado Chumby. Com a ReBoard, os usuários podem imprimir, enviar , realizar downloads e compartilhar imagens. O uso de plataformas P2P em sistemas de computação ubíqua não é completamente novo. Por exemplo, ecomp [Kameas et al. 2002] centra-se na concepção de redes P2P para objetos do cotidiano. ecomp é um sistema de mensagem descentralizado baseado em XML que abstrai os protocolos de comunicação e provê serviços através de interfaces bem definidas. Similar a nossa proposta, esse sistema não requer uma infra-estrutura fixa com outras entidades e sim uma comunicação através de peers na rede. Barolli and Xhafa apresenta o JXTA-Overlay [Barolli and Xhafa 2011], um middleware para sistemas de distribuições e colaboração. JXTA-Overlay permite a integração de dispositivos finais, como sensores e computadores pessoal/móvel, provendo transparência e segurança para compartilhar, contribuir e controlar recursos disponíveis. JXTA-Overlay compreende um conjunto de operações: descoberta de peer, alocação de recursos, compartilhamento de dados/arquivos, mensagens instantâneas, entre outros serviços. Tais operações podem ser trocadas entre peers conectados e suportar diferentes tipos de aplicações relacionadas com atividades colaborativas. Depois das informações capturadas e armazenadas, é necessário prover aos usuários formas eficientes de acessar o conteúdo. Esta parte dos trabalhos relacionados refere-se principalmente a esse propósito. Um dos trabalhos pioneiros que refere-se a context-aware é [Dey 2001] onde o autor provê uma definição operacional da noção de contexto e apresenta a arquitetura geral para construção de aplicações de context-aware. Em [Suryanarayana and Hjelm. 2002] os

4 autores discutem o papel de perfis dentro da arquitetura web. O trabalho de [Kärger et al. 2008] é muito próximo do nosso no sentido que os autores propõe um sistema para pesquisar os recursos de aprendizagem que melhor corresponda as preferências do usuário. Eles usam uma extensão do RDF query language SPARQL permitindo especificar soft constraints na forma de preferências. O nosso trabalho, além de tratar as soft constraints trata também as hard constraints, que são restrições impostas pelo contexto de acesso. 3. Contribuição do Trabalho Esta proposta visa desenvolver e implantar uma infra-estrutura de computação ubíqua para a captura automatizada de atividades de ensino presencial em uma sala de aula instrumentada, produzindo conteúdo multimídia passível de apresentação em diferentes formatos. Além do planejamento e implantação das instalações necessárias ao ambiente instrumentado, a proposta contempla o desenvolvimento e a adaptação de componentes de software responsáveis pela captura dos diferentes fluxos de mídia disponíveis no ambiente e na criação de um arcabouço de comunicação apropriado para apoiar atividades de armazenamento e sincronização. As ferramentas para comunicação não se restringem ao contexto de captura e acesso mas poderão ser facilmente adaptadas para outros domínios em computação ubíqua, pois possuem capacidades de descobertas e adaptações automáticas. Espera-se que o conteúdo produzido, individual ou colaborativamente, de modo personalizado e em variados contextos, seja integrado, sincronizado e codificado em HTML (para apresentação na Web) e em linguagem NCL [Silva et al. 2004] (padrão do SBTVD para programas declativos interativos). Associada a uma infra-estrutura de apresentação com suporte a preferências do usuário, a informação resultante pode ser, posterior e parcialmente, personalizada e empregada em cenários de ensino à distância. 4. Metodologia e Estado da Pesquisa A pesquisa está sendo desenvolvida sobre uma abordagem exploratória. Segundo Wazlawick [Wazlawick 2009] essa abordagem é adequada a domínios que são necessários realizar estudos de caso e análises qualitativas. Paralelamente a essa abordagem, tem-se o enfoque experimental, que é o método de pesquisa adequado à computação ubíqua [Weiser 1993]. Serão construídos protótipos funcionais da infra-estrutura necessária em quantidade suficiente para depurar a viabilidade dos sistemas. Algumas experiências tem mostrado que quando os protótipos de aplicação tem sucesso, deve-se começar a investigar as abstrações de projetos relevantes e implementar soluções que contemplem tais abstrações [Truong 2005]. Serão realizadas também análises de usabilidade buscando identificar o quão simples e intuitiva serão as interfaces e a interação com a infra-estrutura desenvolvida. De acordo com Abowd&Mynatt [Abowd and Mynatt 2000], o processo de captura e acesso se subdivide em 4 fases: pré-produção, captura ao vivo, pós-produção e acesso. Especificamente, neste projeto, para a fase de pré-produção do material, pretende-se definir uma taxonomia adequada ao domínio de gerenciamento de conteúdo educacional e criar uma interface gráfica apropriada para o provimento dessas informações. Para a fase de captura ao vivo, pretende-se fornecer ao usuário a funcionalidade de anotação do conteúdo, permitindo a extensão do mesmo com metainformação passível de associação ao modelo de perfis e preferências. Para a fase de pós-produção, pretende-se criar ferramentas para geração automática de conteúdo para apresentação em diversos formatos, como: HTML, por sua ubiquidade na Web, e NCL, para apresentação na plataforma de TV digital interativa. Ainda nessa fase, pretende-se criar

5 Figura 1. As quatro fases do processo de captura e acesso. protocolos que auxiliem na transferência do conteúdo capturado. Como a infra-estrutura proposta pode disponibilizar-se de mais de um serviço de armazenamento, os protocolos também serão responsáveis por realizar a sincronização de informações entre esses serviços. Para a fase de acesso, pretende-se criar uma interface de busca para o conteúdo capturado que personalize os resultados apresentados ao usuário de acordo com seu perfil, o que se dará por meio do suporte a preferências. A Figura 1 ilustra as quatro principais fases deste projeto. Para a etapa de pré-produção foram desenvolvidos protótipos funcionais para professores inserirem informações de contexto referente ao conteúdo a ser capturado. Esses protótipos foram desenvolvidos em plataforma web, possibilitando que professores fizessem o acesso independente do local onde estejam. Java foi a linguagem escolhida para o desenvolvimento dos protótipos juntamente com um banco da dados PostgreSQL. Para a etapa de captura ao vivo está sendo desenvolvido um protótipo de software que será integrado com projetor, lousa eletrônica microfone e câmera de vídeo. Para cada um desses equipamentos, será desenvolvido um componente de software correspondente, responsável pela captura do fluxo de mídia associado - slides e anotações na lousa, áudio do microfone e vídeo a partir da câmera. Esses fluxos serão passados para a etapa de pós-produção que será encarregada de processar e sincronizar a informação capturada pelos mesmos, produzindo automaticamente documentos hipermídia que permitam a reprodução da experiência, no caso uma aula, com relativo grau de fidelidade. Os componentes de software que produzem os documentos hipermídias já foram desenvolvidos e atualmente estão sendo testados e corrigidas eventuais falhas. Após a etapa de pós-produção todos os artefatos produzidos devem ser enviados para serviços de armazenamento disponível na rede. O processo de transferência é feito utilizando o protocolo CAL (Content Abstraction Layer) desenvolvido neste trabalho o qual é baseado na plataforma JXTA 1. Esse protocolo disponibiliza operações de descoberta de peers, transferência de arquivos e sincronização entre servidores de armazenamento através dos serviços: publish, start_session, end_session, list_status, ft_get, ft_put e send_seg. Para a etapa de acesso foi desenvolvido um ambiente de consulta, onde alunos podem acessar de forma organizada/estruturada todas as informações previamente capturadas. O acesso pode ser feito em qualquer local e a qualquer hora, isso garante uma das principais 1 JXTA é um conjunto de protocolos que permitem qualquer dispositivo de rede comunicação e colaboraração entre peers.

6 premissas dos ambientes educacionais ubíquos [AiHua 2010]. Atualmente está sendo integrado ao ambiente de acesso um módulo que permite realização de consultas através das preferências dos usuários. Com isso, o sistema será capaz de recomendar conteúdos que mais se enquadrem com as preferências de cada usuário. Os protótipos funcionais já foram desenvolvidos e atualmente estão sendo implantados na sala de aula instrumentada para o devido acompanhamento da sua utilização pelos usuários finais. Após essa fase, pretende-se realizar as análises de usabilidade anteriormente citadas. Abaixo é mostrado o cronograma de desenvolvimento do trabalho (Figura 2) onde pode ser visto mais detalhadamente as etapas já realizadas e as que ainda serão realizadas. 5. Cronograma do Trabalho até a Defesa As seguintes atividades estão sendo desenvolvidas para atingir o objetivo proposto: 1. Pesquisa bibliográfica para embasamento teórico, onde se incluem como fonte de pesquisa: artigos, livros, anais de congressos e periódicos; 2. Levantamento de requisitos do ambiente instrumentado; 3. Redação do Plano de Trabalho; 4. Projeto e implementação da infra-estrutura de software necessária; 5. Testes e correções; 6. Acompanhamento e avaliação da utilização do ambiente instrumentado e da infraestrutura criada; 7. Documentação dos esforços envolvidos e elaboração dos modelos e das abstrações correspondentes; 8. Integração com banco de dados e interface de acesso com suporte a preferências; 9. Redação de artigos para eventos nacionais e internacionais; 10. Redação da dissertação; 11. Defesa da dissertação. Figura 2. Cronograma de execução das atividades propostas.

7 Referências Abowd, G. D. and Mynatt, E. D. (2000). Charting past, present, and future research in ubiquitous computing. ACM Trans. Comput.-Hum. Interact., 7(1): AiHua, Z. (2010). Study of ubiquitous learning environment based on ubiquitous computing. In Ubi-media Computing (U-Media), rd IEEE International Conference on, pages Barolli, L. and Xhafa, F. (2011). Jxta-overlay: A p2p platform for distributed, collaborative, and ubiquitous computing. Industrial Electronics, IEEE Transactions on, 58(6): Branham, S., Golovchinsky, G., Carter, S., and Biehl, J. T. (2010). Let s go from the whiteboard: supporting transitions in work through whiteboard capture and reuse. In Proceedings of the 28th International Conference on Human Factors in Computing Systems, CHI 10, pages 75 84, New York, NY, USA. ACM. Dey, A. K. (2001). Understanding and using context. Personal and Ubiquitous Computing, 5(1):4 7. Kameas, A., Mavrommati, I., Ringas, D., and Wason, P. (2002). ecomp: An architecture that supports p2p networking among ubiquitous computing devices. In Proceedings of the Second International Conference on Peer-to-Peer Computing, P2P 02, pages 57, Washington, DC, USA. IEEE Computer Society. Kärger, P., Olmedilla, D., Abel, F., Herder, E., and Siverski, W. (2008). What do you prefere? using preferences to enhance learning technology. IEEE Transactions on Learning Technologies, Vol. 1, (1): Kunz, A., Nescher, T., and Ku andchler, M. (2010). Collaboard: A novel interactive electronic whiteboard for remote collaboration with people on content. In Cyberworlds (CW), 2010 International Conference on, pages Modahl, M., Agarwalla, B., Abowd, G., Ramachandran, U., and Saponas, T. S. (2004). Toward a standard ubiquitous computing framework. In Proceedings of the 2nd Workshop on Middleware for Pervasive and ad-hoc Computing, MPAC 04, pages , New York, NY, USA. ACM. Nishiuchi, Y., Matsuuchi, N., Yamaguchi, T., Shiba, H., Fujiwara, K., Mendori, T., and Shimamura, K. (2010). Enhanced terakoya learning system providing multi-point remote interactive lessons. In Information and Telecommunication Technologies (APSITT), th Asia-Pacific Symposium on, pages 1 4. Pimentel, M., Cattelan, R., and Baldochi, L. (2007). Prototyping applications to document human experiences. Pervasive Computing, IEEE, 6(2): Portela, F. A. and Cerqueira, R. (2007). Capture and acess service (cas): Um serviço de arquivamento para salas inteligentes. In Proceedings of the 13th Brazilian Symposium on Multimedia and Web. WebMedia 07, pages Shi, Y., Xie, W., Xu, G., Shi, R., Chen, E., Mao, Y., and Liu, F. (2003). The smart classroom: merging technologies for seamless tele-education. Pervasive Computing, IEEE, 2(2): Silva, H. V. O., Rodrigues, R. F., Soares, L. F. G., and Muchaluat Saade, D. C. (2004). Ncl 2.0: integrating new concepts to xml modular languages. In Proceedings of the 2004 ACM Symposium on Document Engineering, DocEng 04, pages , New York, NY, USA. ACM.

8 Suryanarayana, L. and Hjelm., J. (2002). Profiles for the situated web. In Proc. 11th International World Wide Web Conference (WWW 2002) Honolulu, Hawaii, USA., pages ,. Truong, K. N. (2005). Inca: an infrastructure for capture and access. supporting the generation, preservation and use of memories from everyday life. PhD thesis, Atlanta, GA, USA. Disponível em: 10/08/2010. Wazlawick, R. S. (2009). Metodologia da Pesquisa para Ciência da Computação. Elsevier, Rio de Janeiro, RJ, BR. Weiser, M. (1991). The computer for the 21st century. Scientific American, 265(3): Weiser, M. (1993). Some computer science issues in ubiquitous computing. Commun. ACM, 36(7):75 84.