DESENVOLVIMENTO DE PROGRAMAS DE COMPUTADOR DEDICADOS AO ENSINO DE LIBRAS DE FORMA LÚDICA E BASEADOS EM TÉCNICAS MULTIMÍDIA BOTARO, Cássio Oliveira 1 ALMEIDA, Matheus Henrique Nascimento 2 CORRÊA, Gean Carlo Neves 3 PINTO, Paulo Raimundo 4 ALMEIDA, Sílvia Grasiella Moreira 5 INTRODUÇÃO Esta pesquisa tem como tema a investigação e implementação de programas de computador capazes de auxiliar a aprendizagem da Libras, Língua Brasileira de Sinais, por surdos e ouvintes. A legislação brasileira garante a Libras como primeira língua do surdo e há uma carência de programas de computador especializados no ensino desta. O projeto propõe o desenvolvimento de programas de computador utilizando técnicas multimídia. Pretende-se, por meio destas técnicas, sejam elas visão computacional e realidade aumentada, permitir maior acessibilidade e interação humano-máquina. A pesquisa buscou criação de jogos dentro de padrões especificados previamente e também aprimoramento da experiência de aprendizado. Constitucionalmente o surdo brasileiro deve ser alfabetizado em sua primeira língua, a Libras. A Língua Portuguesa é ensinada ao surdo como sua segunda língua. Este projeto tem como objetivo auxiliar o ensino lúdico da Libras a crianças. Para tal, propõe o uso de tecnologia e técnicas multimídia neste contexto. A Libras é uma língua de modalidade visual-espacial e composta de cinco parâmetros que a definem como uma língua completa, possuindo estruturas semântica, morfológica e gramática tais como as línguas de natureza oral-escrita. Os parâmetros da Libras são: (i) configuração das mãos; (ii) posição da mãos; (iii) direção; (iv) movimento; (v) sinais não-manuais: expressão facial e corporal. Há uma carência de programas de computador que auxiliem o ensino de Libras a crianças surdas, pois afinal estes devem ser elaborados seguindo alguns padrões para que tanto crianças surdas quanto ouvintes realmente sejam alfabetizadas e dominem a Libras como sua primeira língua. 1 Instituto Federal de Minas Gerais campus Ouro Preto, CODAAUT, e-mail: cassiobotaro@gmail.com 2 Instituto Federal de Minas Gerais campus Ouro Preto, CODAAUT, e-mail: matheusifmg@yahoo.com.br 3 Instituto Federal de Minas Gerais campus Ouro Preto, CODAAUT, e-mail: eugeancarlo@hotmail.com 4 Instituto Federal de Minas Gerais campus Ouro Preto, CODAAUT, e-mail: paulo.pinto@ifmg.edu.br 5 Instituto Federal de Minas Gerais campus Ouro Preto, CODAAUT, e-mail: silvia.almeida@ifmg.edu.br 204
É de grande utilidade o uso de figuras e interatividade em materiais de ensino, pois a aprendizagem de uma língua visual-espacial é diferente da aprendizagem oral-escrita, onde há um retorno sonoro na aprendizagem das consoantes e vogais. Uma abordagem errônea neste contexto de crianças com surdez é o ensino baseado apenas nas letras do alfabeto português e seus fonemas. Outro erro comum é o uso de datilologia, que consiste em soletrar as letras das palavras. Embora não seja especificamente um erro, não é adequado, uma vez que, assim como em línguas orais-escritas, onde as palavras são constituídas pelos símbolos do alfabeto, em Libras, há sinais específicos para as palavras e em muitos casos, para frases completas. A falta de interatividade com diversos meios durante o processo de ensino e estímulo a criança que está começando a aprendizagem da língua pode causar nesta o desânimo. Assim, a proposta é ensinar Libras por meio de programas de computador, de forma que a aprendizagem possa proporcionar desafios lúdicos ao aprendiz. MATERIAIS E METÓDOS As ferramentas utilizadas para o desenvolvimento do projeto foram, em termos de hardware, um computador desktop padrão com sistema operacional Microsoft Windows XP e uma webcam e, em termos de software, as linguagens de programação. Uma linguagem de programação é a maneira na qual escrevemos código para que o computador realize determinada ação. Tipicamente ocorre a tradução desta linguagem em linguagem de máquina para que o computador possa executar os comandos dados. As linguagens de programação utilizadas foram C, Python e Delphi. A principal biblioteca para implementação das técnicas de Visão Computacional é chamada OpenCV. Pode ser utilizada em diversas linguagens, tais como a linguagem C e o Python. A linguagem C é uma linguagem antiga e poderosa, capaz de manipular bits e endereços de memória. Permite, assim, que o programador tenha acesso direto aos recursos de hardware disponíveis nos computadores. É esta característica que a torna poderosa. A segunda linguagem utilizada é o Python. Esta foi desenvolvida mais recentemente e é dinâmica, possuindo diversas ferramentas úteis que tornam a produção de código e desenvolvimento do programa mais ágil. O sistema proposto e implementado no projeto consiste na ligação entre a webcam e o microcomputador de forma a se comunicarem e possibilitarem a utilização de Realidade Aumentada e Visão Computacional. O programa de computador escrito interage com a webcam para que a imagem gerada nesta seja processada e exibida em tela sob alguma modificação. A terceira linguagem citada, a linguagem Delphi, possui um ambiente de programação mais amigável, devido à sua interface RAD (Desenvolvimento Rápido de Aplicações). Ela foi escolhida para o desenvolvimento da primeira parte dos programas de computador deste projeto, nos anos de 2008, 2009 e 2010 devido à esta característica. 205
RESULTADOS Foi desenvolvido, inicialmente, um programa de computador para alfabetização de crianças surdas e ouvintes utilizando a linguagem Delphi. Utilizamos várias imagens para implementar um jogo que procura interagir com a criança de forma direta, sem utilizar datilologia e português. Estabeleceu-se um padrão de recompensa visual, por meio de imagens de estímulo quando ocorre o acerto no jogo por parte do aprendiz. Um trabalho que teve sua produção acompanhada por nós e que descreve as normas de acessibilidade na produção de programas de computador para alfabetização de surdos foi realizado pela professora Pollyanna Miranda de Abreu em sua pesquisa de Mestrado, defendido em 2010 e intitulado Recomendações para Projetos de TIC para Apoio a Alfabetização com Libras. Finalizamos o jogo proposto nos anos anteriores a este projeto e o integramos com outros jogos desenvolvidos em bolsas anteriores criando um instalador amigável. Fundamentalmente nesta parte foi realizado um levantamento bibliográfico sobre a técnica de Realidade Aumentada, que consiste em manipulação de imagem real através de componente multimídia (webcam). Desenvolvemos o convite da festa organizada pelos alunos do curso técnico em Automação Industrial para a Semana de Tecnologia de 2010 utilizando o recurso de Realidade Aumentada. O objetivo foi divulgar esta técnica aos participantes do evento e foi alcançado com êxito. O convite consistiu, assim, em dois marcadores que, quando utilizados em conjunto, geravam uma imagem tridimensional na tela do computador. O desenvolvimento de um algoritmo capaz de detectar sinais estáticos de Libras, chamados de pose foi estudado e inicialmente implementado em Matlab. Foi realizado um experimento para levantamento de base de dados para testes com os futuros algoritmos a serem implementados. Neste experimento, gravamos sinais definidos por especialistas em Libras. Duas condições foram estabelecidas para a gravação: (i) uso de roupas pretas e (ii) fundo controlado de cor verde. Não utilizamos luvas, pois o ambiente já estava controlado. Uma grande base de dados diversificada foi elaborada e está sendo utilizada para a pesquisa de doutoramento da co-orientadora Professora Sílvia Grasiella Moreira Almeida. Outra atividade desenvolvida definida pelos orientadores consistiu no desafio de propor uma técnica capaz de reproduzir o trabalho do aluno Fernando Alcântara Rocha, em sua Monografia de Final do curso de Engenharia de Controle e Automação da UFMG, intitulado Reconhecimento Automático de Gestos do Alfabeto Manual de Libras. Cada um dos participantes propôs uma técnica e estas foram discutidas. 206
DISCUSSÃO Este é o terceiro ano de pesquisa dos professores Paulo Raimundo Pinto e Sílvia Grasiella Moreira Almeida nesta linha. Nestes três anos, a pesquisa no uso de recursos multimídia para ensino e auxílio de aprendizagem a surdos e ouvintes, contou com a participação de alunos bolsistas e voluntários do curso técnico em Automação Industrial, em um total de oito alunos. A percepção que temos é que o amadurecimento vem acontecendo ao longo destes anos, sempre contando com novidades devido à mudança anual de participantes. Tem sido preocupação recorrente dos orientadores que os alunos possam participar do máximo de discussões e decisões sobre o projeto, além de implementações para as quais já possuam conhecimento. A percepção também sobre o tema é que este é indiscutivelmente pertinente. Nestes três anos já houve um grande aumento na produção de programas de computador dedicados à aprendizagem de Libras por surdos e ouvintes, além do aumento dos grupos de pesquisas que tem assumido o compromisso de propor e implementar diversas soluções de interfaces cada vez mais amigáveis por meio de técnicas de Inteligência Computacional. CONCLUSÃO Não se pode dizer que o trabalho do projeto terminou. As propostas colocadas foram concluídas com êxito, visto que a base de dados levantada será de grande utilidade em trabalhos futuros e o estudo e pensamento sobre as técnicas e linguagens de programação citadas abrem novas linhas de possíveis e futuras pesquisas que certamente serão desenvolvidas. Durante o período de estudo houve da parte dos pesquisadores um ganho de conhecimento técnico muito grande na área de Visão Computacional, assim como na área social. Assim, o atual trabalho de pesquisa tem proporcionado o conhecimento também da Libras e dos problemas e soluções de comunicação possíveis de serem realizados com o auxílio da tecnologia. 207
BIBLIOGRAFIA 1 - DIPIETRO, L., SABATINI, A.M., DARIO, P., A Survey of Glove-Based Systems and Their Applications. IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS - PART C: APPLICATIONS AND REVIEWS, VOL. 38, NO. 4, JULY 2008. 2 - NÖLKER, C. RITTER, H., Visual Recognition of Continuous Hand Postures. IEEE TRANSACTIONS ON NEURAL NETWORKS, VOL. 13, NO. 4, JULY 2002 3 - SANTOS, M. P. Educação inclusiva e a declaração de Salamanca conseqüências ao sistema educacional brasileiro. Brasília: SEESP/MEC, 2000. 4 - UNESCO. Declaração mundial sobre educação para todos: necessidades básicas de aprendizagem. Jomtiem, Tailândia, 1990. 5 - SANTOS, R. M., ELIA, M. F., SANTOS, M.P. Proposta de Arquitetura Pedagógica para Auxiliar Formadores na Educação de Surdos. Rio de Janeiro: Democratizar, set-dez 2007. 6 - ELKONIN, D.B. Psicologia do jogo. São Paulo: Martins Fontes, 1998. 7 - ABREU, P. M., Recomendações para Projetos de TICs para Apoio a Alfabetização com Libras, Agosto de 2010, Dissertação de Mestrado, Departamento de Ciência da Computação, UFMG, Belo Horizonte, MG. 8 - ROCHA, F. A., Reconhecimento Automático de Gestos do Alfabeto Manual de Libras, Julho de 2011, Monografia de Final do Curso de Engenharia de Controle e Automação, UFMG, Belo Horizonte, MG. 9 - BRADSKY, G., KAEHLER, A. Learning OpenCV, O Reilly Media, Inc., September 2008, CA, EUA. 208