Sistema de Realidade Aumentada para Desenvolvimento Cognitivo da Criança Surda

Transcrição

1 Sistema de Realidade Aumentada para Desenvolvimento Cognitivo da Criança Surda Carlos Alberto Dainese 1, Tânia Rossi Garbin 2, Cláudio Kirner 3 1 Universidade Metodista de Piracicaba UNIMEP Faculdade de Ciências Matemáticas da Natureza e Tecnologia da Informação 2 Universidade Metodista de Piracicaba UNIMEP Faculdade de Ciências Humanas 3 Universidade Metodista de Piracicaba UNIMEP Faculdade de Ciências Matemáticas da Natureza e Tecnologia da Informação Programa de Pós Graduação em Ciência da Computação cdainese@unimep.br, trgarbin@unimep.br, ckirner@unimep.br Abstract. By using of computational resources and Virtual Reality (VR) it is possible to explore and suggest different situations to visualization, immersion and interaction as facilitator in complex works of learning. In the work with hearing impaired individuals new strategies in the process of understanding and performing tasks, due to the restrictions imposed by their impairment. Therefore, exploring the visual and sensorial channel can improve the hearing impaired s cognitive process in order to improve understanding and develop skills. New information can be added by use of Augmented Reality to mixed scenario compost by real and virtual subjects, allowing development the presence sensation, comprehension, perception, abstraction, information retention and motivation, which are important phases to cognitive development. This work has the objective of defining an Augmented Reality System to facilitate the hearing impaired s cognitive process. Resumo. Com a utilização de recursos computacionais e de Realidade Virtual (RV) é possível explorar e propor situações diferenciadas de visualização, imersão e interação como elemento facilitador em tarefas complexas de aprendizado. No trabalho com portadores de deficiência auditiva, novas estratégias devem ser usadas no processo de entendimento e execução de tarefas, dada as restrições impostas pela surdez. Portanto, explorar de forma adequada os canais sensoriais visuais e táteis pode melhorar o processo cognitivo do surdo no exercício da compreensão e desenvolvimento de habilidades. Através da Realidade Aumentada, novas informações podem ser adicionadas em um ambiente misturado de objetos reais e virtuais, possibilitando aumentar o senso presença, compreensão, percepção, abstração, retenção de informação e motivação, fases importantes no desenvolvimento cognitivo. Este trabalho tem por objetivo propor um sistema de Realidade Aumentada para facilitar o desenvolvimento cognitivo da criança surda.

2 1. Introdução Realidade Aumentada (RA) é um avanço no uso de recursos gráficos, permitindo criar sistemas que compõem imagens tridimensionais geradas por computador com imagens reais, aumentando as informações do cenário, o senso de presença e participação nos ambientes, favorecendo a visualização e imersão. Para o desenvolvimento do sistema de Realidade Aumentada é necessário: a) detectar a posição e movimento do usuário, identificando parte do ambiente que está sendo observado pelo usuário durante seu movimento posicional; e b) definir processo de ajuste de coordenadas para permitir captura dos objetos do mundo real para misturar com ambiente sintético. Através da Realidade Aumentada é possível estabelecer uma condição de interação que favorece a motivação, a atenção e, principalmente, a retenção de informações, pois o usuário pode estabelecer uma relação com os objetos do ambiente muito semelhante às situações reais, funcionando como uma espécie de transdutor sensorial que traduz idéias e conceitos para sensações visuais, auditivas e tácteis que, depois de percebidas e processadas, se transformam nas informações que permitirão a compreensão dessas idéias e conceitos, podendo facilitar as fases do processo cognitivo. No trabalho com crianças surdas é fundamental que recursos visuais sejam explorados de todas as formas para facilitar a compreensão e o aprendizado de novos conteúdos. Através da Realidade Aumentada é possível explorar: movimentação de imagens, estímulos visuais com cores e tamanhos diferentes, controle espacial, tempo de apresentação, interação, imersão, percepção, entre outros. O presente trabalho apresenta uma proposta para o desenvolvimento de um sistema de Realidade Aumentada para o desenvolvimento cognitivo da criança surda [3][6][10]. 2. A Criança Surda: Aspectos Relevantes para o Desenvolvimento Cognitivo Desenvolver métodos para atender a criança surda requer o conhecimento de características comportamentais e cognitivas. Portanto, um programa elaborado para indivíduos surdos não significa apenas "adaptar" serviços oferecidos para o ouvinte, pois o programa para ser eficaz precisa utilizar recursos que facilitem o desenvolvimento de habilidades [5][10][4][8][3]. A utilização da audição é aprendida naturalmente pelos indivíduos através do contato com estímulos provocados pelo meio-ambiente. Os indivíduos que apresentam perdas auditivas desenvolvem-se em um universo restrito e podem apresentar dificuldades de compreensão, interiorização e articulação da linguagem, pensamento abstrato, elaboração de conceitos, percepção espacial, problemas psicomotores e problemas sociais. A audição, como um dos principais canais de informações, apresenta-se como fator importante para os indivíduos receberem mensagens que, sob a forma de sons, são captadas e transformadas em estímulos que atingem o córtex cerebral e são percebidas, decodificadas e analisadas. Além disso, a

3 audição é um dos principais sentidos responsáveis pela aquisição da linguagem, processo que envolve desenvolvimento de pensamento, memória e raciocínio [8]. A falta de experiências sensoriais afeta o equilíbrio e o desenvolvimento normal. Desta forma, a surdez é um tipo de deficiência grave que interfere no comportamento do indivíduo. Os programas de reabilitação e educação devem considerar a capacidade mental, capacidade motora, estabilidade e maturidade emocional do indivíduo surdo Aspectos Psicológicos e Cognitivos O funcionamento cognitivo integra e articula vários elementos, ou estruturas, através de diversas operações, ou processos, em diferentes níveis de realidade e de análise. O funcionamento do sistema cognitivo pode ser explicado através de uma série de componentes: o sistema sensorial, o sistema de respostas, o sistema de memória e o processamento central. Nas funções da arquitetura cognitiva o principal aspecto relaciona-se ao processamento das representações simbólicas. Assim, a ênfase é para as funções e não para as estruturas e mecanismos. As funções da arquitetura cognitiva referem-se a memória, símbolos, operações, interpretações e interações com o mundo exterior, conforme figura 1. SIMBOLOSS OPERAÇÕES INTERPRETAÇÕES MEMÓRIA DE PRODUÇÃO EXECUÇÃO DECISÃO SISTEMA PERCEPTIVO SISTEMA MOTOR SENTIDOS MÚSCULOS MUNDO EXTERIOR Figura 1. Modelo de processo cognitivo proposta por Newell, Rosenbloom e Lair [11] Neste modelo, a memória funciona como estrutura continua contendo símbolos que podem ser modificados. Os símbolos funcionam como padrões que proporcionam acesso as estruturas. As operações funcionam como processos que recebem estruturas simbólicas de entrada( input ) e produzem estruturas de saída ( output ). A interação, com o mundo exterior, ocorre através dos canais

4 perceptivos, da continua necessidade de aquisição de conhecimento. O termo conhecimento pode ser entendido como um sistema de processos e operações formais que atuam em uma estrutura simbólica de representações. A imagem mental, quanto forma de representação, contém informações sobre forma, tamanho e orientação sobre uma figura, informações métricas sobre seus elementos e suas relações. As imagens são classes especiais de representações; são estruturas transitórias de dados que representam a informação mental espacial analógico, sendo geradas a partir de representações abstratas e armazenadas na memória semântica. As imagens ao preservarem as características espaciais de um lugar podem servir como representações (mapa cognitivo) que guiam a conduta através de indicadores visuais, permitindo orientação e decisão por rotas distintas. Informações sobre orientação, organização e direção são associadas com a visão, mas podem ser associadas com outras modalidades sensoriais, como o tato. A maneira como se representa o conhecimento espacial parece depender dos seguintes fatores: função, indicação, usabilidade, grau de experiência. Para o desenvolvimento de métodos de intervenção com crianças surdas deve-se considerar os seguintes fatores: a) época do aparecimento da deficiência auditiva; b) a idade em que a deficiência auditiva foi detectada; c) o grau, tipo e extensão da perda auditiva; d) as diferenças individuais de cada indivíduo; e) as características familiares e a realidade sócio-econômica. Outras características devem ser consideradas para estimulação cognitiva, entre elas, aquelas em que a criança surda: a) não apresenta problema de memorização; b) pode substituir um sentido pelo outro; c) têm fácil compreensão dos fatos quando associados a situações vividas; é difícil a compreensão de situações não vivenciadas, portanto o pensamento lógico é prejudicado; d) ao analisar, não divide expressões generalizadas em elementos separados; ela não aprende o recurso analítico [5]. 3. Realidades Real, Virtual e Aumentada, Virtualidade Aumentada e Realidade Misturada A evolução dos recursos computacionais em Hardware e Software permitiu avanços nas tecnologias de visualização e manipulação de informações. Nestes avanços, o uso de recursos gráficos, em combinação com dispositivos de entrada e saída, possibilitou criar a tecnologia da Realidade Virtual (RV). Kirner [7] define Realidade Virtual como um ambiente 3D com adequado nível de realismo, interativo e imersivo. Este sistema permite respostas em tempo real para que o usuário interaja de forma efetiva e, através do uso adequado de dispositivos imersivos, o senso de estar presente em é realizado com a separação do mundo real e virtual. Com a crescente necessidade de representar a realidade e muitas informações do mundo real que são difíceis de simular no computador, como abstração ou elementos simbólicos, a Realidade Aumentada (RA), Virtualidade Aumentada (VR) e Realidade Misturada são propostas evolutivas para os sistemas de Realidade Virtual (RV), permitindo ao usuário compor imagens reais com imagens tridimensionais geradas por computador e, assim, aumentar o grau de realismo e percepção. A figura 2 representa a idéia de Realidade Aumentada, Virtualidade Aumentada e Realidade Misturada como um continuum entre Realidade Real e Virtual. O que os diferenciam é a predominância do ambiente, isto é, um ambiente de Realidade Virtual é composto de objetos sintetizados por computador, o de Realidade Real formado somente de objetos

5 reais. Em Virtualidade Aumentada, objetos sintéticos, ou reais, são adicionados em ambientes cuja percepção é predominantemente virtual. Na Realidade Aumentada, elementos virtuais, ou reais, são inseridos em ambiente em que há predominância do mundo real. Um sistema de Realidade Mistura (RM) é formado de ambientes de Realidade Aumentada (AR) e de Virtualidade Aumentada [2]. REALIDADE MISTURADA REALIDADE REAL REALIDADE AUMENTADA VIRTUALIDADE AUMENTADA REALIDADE VIRTUAL Figura 2. Conceitos de Realidade Virtual, Aumentada/Misturada e Virtualidade Aumentada A principal característica destes ambientes é que as informações do mundo real são utilizadas para criar um cenário adicionado com elementos sintéticos gerados por computador. Vários experimentos, em diversas áreas, foram desenvolvidos, como aqueles destinados à educação, entretenimento e arquitetura (figuras 3a, 3b e 3c), do Laboratório de Realidade Aumentada de Singapura [9]. Figuras 3. a) Realidade Aumentada na educação; b) entretenimento e c) arquitetura.

6 3.1. Sistema de Realidade Aumentada para o Desenvolvimento Cognitivo da Criança Surda O sistema de Realidade Aumentada para ao desenvolvimento cognitivo da criança surda é constituído por um conjunto de periféricos de entrada de informações ( vídeo câmeras, rastreadores de cabeça e luvas) e saída (óculos polarizados, monitores), acoplados em um computador dedicado. Inicialmente, todas as informações reais são capturadas por vídeo câmeras, digitalizadas e armazenadas. As imagens sintéticas são criadas por computador através de softwares específicos de modelagem e animação 3D, como Poser, Carrara, 3DS Max e Spazz3d. Para o desenvolvimento dos demais programas utiliza-se o Microsoft Visual C++, ARToolkit [1] e OpenGL. Com as imagens reais, capturadas pela(s) câmera(s), e as sintéticas, criadas por computador, o sistema mistura imagens formando um cenário característico da Realidade Aumentada. Todo o cenário é amplificado, imersivo e interativo através da utilização de óculos estereoscópicos, luvas específicas, ou rastreamento por gestos da mão, aumentado o nível de abstração e percepção dos canais sensorial visual e tátil, possibilitando, assim, substituir o canal sensorial auditivo Arquitetura do Sistema A arquitetura proposta, figura 4, compõe-se por tarefas que definem funcionalidades específicas para: a) captura da cena real, b) criação de imagens virtuais, c) sobreposição dos objetos reais e virtuais no mesmo cenário, d) rastreamento para posicionamento e orientação espacial do usuário e, e) interação em tempo real pelo usuário. Coordenada da Câmera Real IMAGENS REAIS Sistema de Rastreamento REALIDADE AUMENTADA APLICAÇÕES IMAGENS MISTURADAS IMAGENS VIRTUAIS Sistema Gráfico, Artoolkit e Opengl Sobreposição (misturador) Figura 4. Sistema de Realidade Aumentada.

7 Etapas e funções do sistema a) Captura da Cena Real Primeiramente, cria-se a cena real e, posteriormente, captura as informações do cenário com uso de câmera(s). Após obtenção dos dados, estes são digitalizadas pelo sistema gráfico e armazenados. b) Criação de imagens virtuais Os objetos virtuais são criados com os softwares Spazz3D, Poser, Carrara e 3DS Max para modelagem e animação, sendo que o grau de realismo depende da aplicação e do sistema de imagens. c) Sobreposição dos objetos virtuais e reais no mesmo cenário O procedimento de sobreposição permite criar, utilizando Microsoft Visual C e o software ARToolkit, tarefas de segmentação de regiões para calcular posicionamento, calibração e orientação da(s) câmera(s), além de efetuar o procedimento de mistura de elementos sintéticos e reais no mesmo ambiente. d) Rastreamento para posicionamento e orientação espacial do usuário A operação de rastreamento é o processo de estimar o deslocamento seqüencial de imagens em que são estimados parâmetros que determinam os movimentos de objetos entre os diferentes quadros, tão quanto o ponto de vista do usuário com relação às alterações ocorridas no cenário. Para o caso do sistema para criança surda, é utilizado um modelo de rastreamento de mãos acoplado às luvas, ou reconhecimento de gestos sem o uso de qualquer dispositivo. e) Interação em tempo real pelo usuário Os algoritmos de calibração e sobreposição têm por função dar a ilusão ao usuário que somente um ambiente existe, gerando imagens em tempo mínimo de latência e permitindo a interação do usuário com o cenário criado Aplicação: Requisitos para a Interface A interface deve ser adequada considerando as necessidades do usuário. Desta forma, para a criança surda é necessário oferecer ambientes com recursos visuais que garantam e superem as necessidades auditivas. Todas as informações devem ser planejadas para que a criança consiga executar as atividades de forma motivadora, utilizando-se de reforçadores, para garantir que a criança tenha interesse e, principalmente, retenha as informações. Para a construção das aplicações é necessário estudar: Quais as atividades que os usuários poderão realizar utilizando a interface; Como os componentes da interface deverão ser apresentados ao usuário; Que comandos e ações o usuário poderá executar na interface;

8 Quais as possibilidades de interação através destes canais sensoriais e como eles podem ser utilizados para suprir as necessidades do canal sensorial auditivo. Nos ambientes virtuais deve ser possível estabelecer condições de interações que favoreçam a motivação, a atenção e retenção de informações, pois a criança estabelece uma relação com os objetos do ambiente muito semelhante as situações reais. No sistema de Realidade Aumentada o grau de realismo das situações reais aumenta, e experimentos de natureza diferentes podem ser programados. Os requisitos que podem reunir a arquitetura cognitiva à adequação de um ambiente de realidade aumentada são: a) conduzir-se flexivelmente em função do ambiente; b) exibir uma conduta adaptativa (racional, orientada a metas); c) operar em tempo real; d) oferecer um ambiente complexo, rico e detalhado: perceber uma imensa quantidade de dados, utilizar uma vasta quantidade de conhecimento, controlar sistema motor com muitos graus de liberdade. e) utilizar símbolos e abstrações; f) utilizar linguagem natural e artificial; g) aprender com ao ambiente e com as experiências; h) adquirir capacidade através do desenvolvimento; i) comportar-se autonomamente dentro de uma ambiente virtual/aumentado; j) exibir autoconsciência e clareza sobre as percepções. Para o planejamento do ambiente de realidade aumentada, a percepção espacial, memória espacial, atenção espacial e operações mentais espaciais devem ser orientadoras. Assim, devem ser consideradas: a. desenvolvimento da cognição e orientação espacial; b. estimativa sobre distância; c. indicadores de orientação; d. organizadores do ambiente; e. transformações mentais espaciais possíveis. Os ambientes devem utilizar vários tipos de estímulos diferentes, integrando animações, imagens e sensações táteis. Assim, devem ser considerados os seguintes conceitos cognitivos: a) Exploração e descoberta interface que possibilite a navegação intuitiva e capacite a descobrir e explorar recursos e funções;

9 b) Controle ao alcance do usuário em um ambiente virtual é necessário que o usuário tenha controle sobre a cena, com total compreensão sobre o lugar ao qual ele está se dirigindo e porque; c) Guias o ambiente virtual requer bons pontos de referência para tornar a navegação fácil sem o auxílio de recursos adicionais, como textos ou sons; d) Limites do ambiente os lugares devem ser interessantes para o usuário; e) Reforço uma ação realizada pelo usuário deve ser decodificada e oferecer feedback (resposta). f) Percepção de movimentação e animação os objetos devem ter significado para a ação do usuário. g) Nível de complexidade deve ser compatível com as necessidades do usuário e o objetivo da tarefa. h) Percepção de profundidade identificar as referências para o processo de percepção como a estereoscopia, sensibilidade ao contraste, visão espacial, freqüência espacial, orientação do estímulo visual e atenção seletiva. 4. Conclusão Novas interfaces podem ser definidas simplificando a interação, eliminando barreiras e proporcionando ações diretas do usuário com os ambientes, permitido maior e melhor interação homem-máquina. Neste contexto, a tecnologia da Realidade Aumentada pode oferecer a possibilidade para explorar situações diferenciadas do cotidiano através da amplificação de informações extraídas do mundo real e criando ambientes acrescidos de objetos modelados por computador. Utilizando recursos específicos como rastreadores com câmeras de vídeo, luvas e mesmo detecção de movimentos através de gestos da mão, é possível definir estratégias em que o usuário pode vivenciar novas percepções. Os recursos tecnológicos da Realidade Aumentada podem ser utilizados como mediadores em ações complexas para diferentes aplicações, apresentando-se como uma nova ferramenta no processo de construção do conhecimento através da possibilidade de exploração dos canais sensoriais e da reorganização das estruturas cognitivas, facilitando a transformação ou a produção de novas situações de aprendizagem e proporcionando, para a criança situações lúdicas, motivadoras, através de condições adequadas que podem determinar a curiosidade, favorecendo a fantasia e o desafio.

10 5. Referências Bibliográficas [1] AUGMENTED AND MIXED REALITY, ARToolkit Human Interface Technology Lab HITLab disponível em [2] AZUMA, J. R. et all. Recent Advanced in Augumented Reality. IEEE Proceeding, 34-47, December [3] COSTA, M.P.R. Alfabetização de deficientes auditivos: um programa de ensino. São Paulo: USP, Tese de Doutorado. [4] COLIN, D. Psicologia del niño sordo. Barcelona: Toray-Masson S.A., [5] DORIA, A.R.F. Manual de educação da criança surda. Rio de Janeiro: Instituto Nacional de Educação dos Surdos, [6] GARBIN, T.R. Estudo sobre informações oferecidas a respeito do portador de deficiência auditiva em um curso de Psicologia. São Carlos, UFSCar, Dissertação de Mestrado. [7] KIRNER, C. et al. Sistemas de Realidade Virtual. Universidade Federal de São Carlos [8] FERNANDES, E. Problemas lingüísticos e cognitivos do surdo. Rio de Janeiro: Agir, [9] MRLAB: Mixed Reality Laboratory - [10] MYKLEBUST, H.R. Psicologia del sordo. Madri: Editoral Magisterio Español, [11] NEWELL, A., ROSENBLOOM, P.S., LAIRD, J.E. Symbolic architectures for cognition. Foundations of cognitive science. Cambridge, Mass. MIT Press, 1989.