RELATÓRIO TÉCNICO - CIENTÍFICO

Transcrição

1 UNIVERSIDADE FEDERAL DO PARÁ PRÓ-REITORIA DE PESQUISA E PÓS-GRADUAÇÃO DIRETORIA DE PESQUISA PROGRAMA INSTITUCIONAL DE BOLSAS DE INICIAÇÃO CIENTÍFICA PIBIC : CNPq, CNPq/AF, UFPA, UFPA/AF, PIBIC/INTERIOR, PARD, PIAD, PIBIT, PADRC E FAPESPA RELATÓRIO TÉCNICO - CIENTÍFICO Período : Agosto / 2016 a Julho / 2017 ( x ) PARCIAL ( ) FINAL Título do Projeto de Pesquisa (ao qual está vinculado o Plano de Trabalho ): Rede de cooperação universitária para o ensino, pesquisa, desenvolvimento e inovação em Tecnologia Assistiva Nome do Orientador: Dionne Cavalcante Monteiro Titulação do Orientador: Doutor Faculdade: Faculdade de Computação Instituto/Núcleo: Instituto de Ciências Exatas e Naturais Laboratório: Laboratory of Artificial Applied Intelligence Título do Plano de Trabalho: Desenvolvimento de biblioteca para comunicação bilateral entre deficientes auditivos e não deficientes auditivos em plataforma Android Nome do Bolsista: Yvan Pereira dos Santos Brito Tipo de Bolsa : ( x ) PIBIC/CNPq ( ) PIBIC/CNPq AF ( ) PIBIC/CNPq- Cota do pesquisador ( ) PIBIC/UFPA ( ) PIBIC/UFPA AF ( ) PIBIC/INTERIOR ( ) PIBIC/PARD ( ) PIBIC/PADRC ( ) PIBIC/FAPESPA ( ) PIBIC/PIAD ( ) PIBIC/PIBIT 1

2 INTRODUÇÃO: A área de pesquisa em Tecnologia Assistiva (TA) tem crescido consideravelmente no Brasil e isso requer esforços técnico-científicos para promover o seu avanço e consolidação no país. A TA envolve várias áreas de aplicação e de conhecimento, o que exige profissionais capacitados tanto nas áreas técnicas, por meio do desenvolvimento de soluções, como nas áreas da saúde, educação, entre outras, que lidam diretamente com pessoas que necessitam destes auxílandroid (como são chamados o s aplicativos feitos para a plataforma Android). Os desafandroid na área de TA estão na busca de soluções, estudos e ações que visem promover a funcionalidade, relacionada à atividade e participação, de pessoas com deficiência, com objetivos que visam a autonomia, independência, qualidade de vida e inclusão social desses grupos populacionais. O projeto abordará áreas temáticas prioritárias de maneira interdisciplinar e em rede: liderado pelo Centro Interdisciplinar de Tecnologias Interativas da USP (vinculada à Engenharia Elétrica da Escola Politécnica da Universidade de São Paulo (USP)), em parceria a Universidade Federal do Pará (UFPA), a Universidade Federal do Mato Grosso do Sul (UFMS) e da Universidade Federal de São Carlos (UFSCar) envolvendo seus respectivos programas de pesquisa e de pós-graduação de diferentes disciplinas, com afinidade direta e geração de conhecimentos sobre TA. O objetivo central desse projeto é o de formar uma rede de integração e cooperação que almeje o avanço das pesquisas na área de TA no país e o fomento de programas de Pós-graduação nesta área. O projeto é formado por linhas de pesquisas e profissionais interdisciplinares de diferentes instituições e áreas do conhecimento, que se correlacionam com o propósito de avançar em pesquisa e inovação relacionadas à TA no Brasil. Este relatório apresenta uma visão parcial do trabalho. Aqui serão abordadas as justificativas e os objetivos deste projeto que começou com estudos sobre o dispositivo Leap Motion (Leap Motion, 2016) com a utilização do Motor UNITY 3D (Unity 3D, 2016). Será abordado também os resultados obtidos até agora, justificativas e as dificuldades encontradas durante a fase de pesquisa do projeto. JUSTIFICATIVA: Nos dias de hoje, é inegável a importância da comunicação em qualquer lugar do globo terrestre. Lojas, aeroportos, escolas, universidades e muitos outros lugares exigem que as pessoas consigam se comunicar para expressar-se de forma livre. Porém, nem todos os grupos alcançam tal objetivo com facilidade por possuir dificuldades em comunicar-se por consequência de alguma deficiência, e assim utilizam de outros meios para estabelecer esta intercomunicação, como por exemplo, o braile (CBB, 2016) e a Linguagem Brasileira de Sinais (LIBRAS, 2016). Com o auxílio destas técnicas, a socialização fica facilitada entre deficientes auditivos e visuais, porém ainda insuficiente por falta da inclusão das mesmas na nossa cultura. Com a evolução da tecnologia, a procura por meios que facilitem a conversa entre esses grupos ou que servem como interface entre eles aumentou, trazendo à tona novos meios de comunicação. Trabalhos relacionados foram feitos na área de reconhecimento de linguagem de sinais por vários pesquisadores tanto no Brasil quanto no exterior (cada um atendendo as especificidades de sua língua de sinais). Aqui serão apresentados dois trabalhos que se relacionam com o tema. 2

3 Redes Neurais Artificiais aplicadas no Reconhecimento de Gestos usando o Kinect Neste trabalho, o objetivo principal foi descrever e desenvolver um sistema de aprendizado e classificação de gestos utilizando o sensor do Kinect, mesmo sensor que é utilizado no console XBOX da Microsoft. No trabalho, foram considerados três tipos de movimentos feitos com o braço direito: um círculo, movimento de venha aqui e movimento de tchau. Para o experimento foram consideradas a utilização de ferramentas como: ROS (Robotic Operating System coleção de softwares com drivers e interfaces, pacotes e aplicações para operação dos dispositivos robóticos) [Willow Garage, 2011], OpenNI Tracker e o aplicativo MIT hand_interaction. Através do aplicativo OpenNI Tracker foram obtidas informações descrevendo a posição 3D da mão direita do esqueleto extraído. Com essas informações obtidas, foi criada uma rede neural com as entradas e saídas adequadas para classificar os movimentos e então fazer uma análise do deslocamento da mão direita do usuário através de um programa em Python desenvolvido pelo autor, processando informações sobre a posição da mão direita, armazenando pontos e deslocamentos em listas separadas. Para os testes com a rede neural, foi utilizado uma topologia com 60 entradas, 3 saídas binárias e diferentes quantidades de neurônios (5, 10, 20 e 30) na camada intermediária. A melhor configuração para os testes foram obtidas utilizando 3 neurônios na camada de saída, taxa de aprendizagem de 0,1 e momentum de 0,5. Com essa configuração a rede obteve um acerto de 83 exemplos dos 90 exemplos da base real apresentado. Sign Language Recognition using Leap Motion Controller O objetivo deste trabalho é criar uma tecnologia alternativa à tecnologia atual que utiliza equipamento ICT para captação de voz utilizando Leap Motion. A vantagem de utilizar captação e reconhecimento de voz para comunicação com pessoas com deficiência auditiva seria a rápida execução de operações em relação a tecnologias com entradas baseadas no teclado ou touchpad. Porém, tecnologias com entradas de dados com captação de voz, segundo os autores, são interfaces de difícil manuseio para as pessoas que apresentam deficiência. A linguagem de sinais é uma boa forma de se comunicar com os deficientes. Assim, é possível utilizar esta linguagem como base de entrada de dados para tecnologias que ofereçam suporte a ela. Segundo os autores, o Leap Motion funciona seguindo cinco instruções: 1) mãos são detectadas em um frame incluindo dados como rotação, posição, velocidade e movimento em relação ao último frame; 2) todos os dedos ou objetos que apontam são reconhecidos a partir da posição da mão; 3) a localização exata do pixel para qual os dedos apontam; 4) reconhecimento de movimentos básicos dos dedos; 5) detecção de mudança de posição e orientação entre frames. Existem diferenças na representação dos sinais: se a palma da mão está de frente ao interlocutor; se a costa da mão está para o interlocutor; ou se o dedo está curvado ou não. Considerando estas representações foram construídas condições para uma árvore de decisões com 16 tipos de representações de a a p. Cada nó da árvore representa uma condição em que a resposta é Sim ou Não enquanto cada folha é a letra a qual o sinal se refere. Uma folha pode ser resultado de várias combinações de nós. Porém, dependendo da combinação de nós realizados até a folha, esta representando um sinal da linguagem de sinais, a taxa de reconhecimento será diferente. Por exemplo, para representar a letra M, usam-se os nós j, k, i e f para Sim e o nó g para Não. Assim, a taxa de reconhecimento do sinal para M será calculada como: * * * * * 100 = 83.58, sendo cada valor a taxa de cada nó, respectivamente. 3

4 Os autores utilizaram algoritmo genético para o reconhecimento dos sinais utilizando configurações como cruzamento de um ponto e roleta como seleção dos indivíduos. Para calcular o fitness de cada indivíduo foi utilizada a taxa de reconhecimento que é calculado através da árvore de decisão de cada indivíduo. Para mutações, utilizou-se o i-ésimo gene do começo da lista de genes para reescrevê-lo com um número menor que N + 1 i (sendo N o número total de genes) para fugir do gene letal. Os autores aplicaram o algoritmo genético a um algoritmo gerador automático da linguagem de sinais e para obter soluções subótimas, foram submetidos três experimentos: 1) encontrar a probabilidade de cruzamento apropriada; 2) encontrar a probabilidade de mutação apropriada; 3) Obter resultados subótimos utilizando 1) e 2). Para 1) a probabilidade de cruzamento é variado entre 0.7 e 0.9 em intervalos de 0.05 enquanto a probabilidade de mutação é fixa em Para 2) a taxa de mutação varia entre 0.02 até 0.1 em intervalos de 0.02 enquanto a probabilidade de cruzamento é fixa em 0.8. Para ambos 1) e 2) foram utilizados 1000 indivíduos com número máximo de gerações igual a 300. Para 1) a melhor solução subótima encontrada foi de 82.71% alcançados em 3, 3, 5, 4 e 4 tentativas de 10 para cada valor da taxa de cruzamento entre 0.7 e 0.9 com intervalos de 0.05, respectivamente. Para 2) a melhor solução subótima encontrada foi, também, de 82.71% alcançados em 3, 4, 5 e 3 tentativas de 10 para cada valor da taxa de cruzamento de 0.02, 0.06, 0.08 e 0.1, respectivamente. Assim, este projeto tem como proposta o desenvolvimento de pesquisa na área de tecnologia assistiva que facilitem a comunicação de um deficiente auditivo e indivíduos sem deficiência através do reconhecimento de voz e escrita em português brasileiro traduzidos para a linguagem de sinais e vice-versa. OBJETIVOS: Um dos objetivos iniciais do projeto foi analisar o melhor modo de iniciá-lo, com uma forma bem simples para ter uma ideia de como o software deve funcionar. Para isso, foi colocado em discussão dispositivos Android (Google, 2016), já que é o sistema operacional mobile mais usado no mundo (IDC, 2015) o que facilitaria na distribuição do software e facilitaria possíveis testes com o público-alvo (deficientes auditivos). Também foi analisado o dispositivo Leap Motion já que o desenvolvedor possui familiaridade com tal ferramenta, o que facilitaria e agilizaria a produção de um protótipo para o projeto. O programa deverá funcionar da seguinte forma: o usuário reproduz o sinal para o dispositivo Leap Motion que passará as informações do sinal capturado para o sistema e este, a partir de condições que analisarão tais dados, mostrará na tela qual letra do alfabeto está sendo reproduzida pelo usuário. Caso o usuário queira a tradução para linguagem falada, então, além da letra ser reproduzida na tela, o software reproduzirá um áudio com a representação sonora da letra a qual o sinal representa. Além disso, o projeto visa, a partir do protótipo desenvolvido, criar uma biblioteca de desenvolvimento para que outros programadores ou entusiastas da programação possam utilizar da mesma ferramenta para desenvolvimento de outros trabalhos na área. O objetivo principal do projeto é a criação de software de tradução da linguagem falada e escrita para a linguagem de sinais e vice-versa para facilitar a comunicação do deficiente auditivo com pessoas sem deficiência e a inclusão social dos mesmos. MATERIAIS E MÉTODOS: Os materiais usados para o desenvolvimento do projeto são os seguintes: 4

5 Unity 3D: motor para produção de jogos 3D proprietário com versões pagas e gratuitas com suporte para programação em C#, BOO e Javascript, detecção de colisão, modelagens 3D, entre outras características. Ambiente de Desenvolvimento Visual Studio Community 2015 (Microsoft, 2015): Editor de texto usado para a programação na linguagem C#, C++ e etc. Esta IDE já vem integrada ao Unity, por essa razão optou-se pelo uso deste software. Linguagem de programação C#: Linguagem escolhida para projeto por estar de acordo com as habilidades do desenvolvedor além de apresentar um paradigma de Orientação a Objetos, o que facilita a programação de softwares no motor gráfico Unity 3D. Leap Motion: Dispositivo com um pequeno sensor infravermelho capaz de detectar o movimento dos 10 dedos da mão do usuário, além de conseguir identificar gestos feitos com a mão ou com ferramentas (ex.: caneta). Este foi escolhido pois o desenvolvedor tem familiaridade com tal ferramenta. Antes da implementação do software, foi feita uma reunião entre o orientador e o bolsista para decidir como seria iniciado o projeto. A partir dessa reunião, foi decidido que, para iniciar o projeto, o melhor seria utilizar o dispositivo Leap Motion. Com isso, foi feito pesquisas na área, onde foi encontrado projetos semelhantes ao que foi proposto neste, como por exemplo, utilizar o dispositivo Kinect(Microsoft, 2016) dispositivo com sensor de movimento que tem capacidade de detectar todo o corpo do usuário para detecção do sinal feito com a mão e identificação dos movimentos (Alvarenga, Correa e Osório, 2012), e outro projeto que utilizou Redes Neurais para identificação do sinal feito com a mão (Munib, Habeeb, Takruri, AlMalik, 2007). Além destes, foi encontrado um projeto que se assemelha bastante ao que o projeto visa como objetivo, onde foi utilizado o Leap Motion para detecção de sinais da linguagem de sinais americana, e para o reconhecimento foi utilizado algoritmo genético (Funasaka, Ishikawa, Takata, Joe, 2015). Obtendo noção de como deveria funcionar o reconhecimento de gestos, foi efetuado uma pesquisa na linguagem de sinais para saber quais sinais eram usados em cada letra do alfabeto (Capovilla, 2001) para, a partir disso, selecionar as letras que seriam mais fáceis de iniciar os testes. Assim, foram escolhidas as letras A, B, D, I, U, e V, por serem de fácil entendimento e execução já que precisam que a mão esteja aberta ou fechada ou esticando apenas um ou dois dedos. RESULTADOS: Com o sinal reproduzido acima do Leap Motion, este analisará o sinal e transformará em dados de posição e rotação dos dedos e da mão em relação ao dispositivo que será transmitido para o programa, e a partir da análise feita nesses dados é possível diferenciar quais sinais são reproduzidos no mesmo. Foi obtido como resultado a identificação de algumas letras do alfabeto. As letras que foram implementadas foram A, B, D, I, U e V por serem gestos fáceis de serem identificáveis, de serem reproduzidos e serem identificáveis pelo sistema (Figuras 1-6). Com este resultado, foi possível perceber que é possível realizar a tradução de uma linguagem de gestos para a linguagem escrita e para linguagem falada. Porém, este sistema comporta somente algumas letras do alfabeto, somente os sinais não possuem movimentos podem ser reconhecidos, além disso, sinais que são muito parecidos visualmente (como por exemplo as 5

6 letras A e S ) e as letras onde os sinais são complexos, em termos de detalhes (por exemplo a letra K e R, que possuem dedos entrelaçados), não poderão ser reconhecidos pois tendo somente os dados brutos retirados diretamente dos Leap Motion não dão a precisão necessária para o reconhecimento dos mesmos. Figura 1: Dispositivo reconhecendo a letra I Figura 2: Dispositivo reconhecendo a letra D Figura 3: Dispositivo reconhecendo a letra V Figura 4: Dispositivo reconhecendo a letra U Figura 5: Dispositivo reconhecendo a letra A Figura 6: Dispositivo reconhecendo a letra B PUBLICAÇÕES: Não foi publicado nenhum material sobre o projeto. 6

7 ATIVIDADES A SEREM DESENVOLVIDAS NOS PRÓXIMOS MESES: Para os próximos meses tem-se como objetivo melhorar o programa produzido até agora, com a inserção de novas letras ou palavras para então produzir uma implementação do mesmo projeto para plataforma Android para facilitar a distribuição do software. Tem-se, também, como objetivo secundário a implementação de uma Rede Neural (Braga, 2000), modelos computacionais capazes de realizar aprendizado de máquina para reconhecimento de padrões, para melhorar a capacidade de reconhecimento dos gestos feitos no dispositivo Leap Motion, porém este objetivo ainda está em análise para saber se sua implementação é realmente necessária. CONCLUSÃO: Este relatório apresentou um projeto que tem como objetivo facilitar a comunicação de deficientes auditivos com pessoas sem deficiência auxiliando na integração social daquelas. É de grande importância a expansão e divulgação de trabalhos nesta área, já que é uma tecnologia que pode ajudar diversas pessoas no Brasil e no mundo. Espera-se que o projeto evolua rápido para que seja incorporado o quanto antes na sociedade e melhore a vida das pessoas que são o público-alvo da aplicação. REFERÊNCIAS BIBLIOGRÁFICAS: Leap Motion, Disponível em: acessado em 26 de fevereiro de Unity 3D, Disponível em: acessado em 24 de fevereiro de Braile, Disponível em: acessado em 27 de fevereiro de ALVARENGA, M. L. T.; CORREA, D. S. O.; OSÓRIO, F. S. Redes Neurais Artificiais aplicadas no Reconhecimento de Gestos usando o Kinect. Em: Computer on the Beach 2012, v. 1, p. 1-10, Q. Munib, M. Habeeb, B. Takruri, and H. Al-Malik. American sign language (asl) recognition based on hough transform and neural networks. Expert Systems with Applications, 32(1):24 37, Funasaka, Makiko, et al. Sign Language Recognition using Leap Motion Controller. Proceedings of the International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA). The Steering Committee of The World Congress in Computer Science, Computer Engineering and Applied Computing (WorldComp), Capovilla, Fernando César, and Walkiria Duarte Raphael. Dicionário enciclopédico ilustrado trilíngüe da língua de sinais brasileira: sinais de M a Z. Vol. 2. Edusp, Android, Disponível em: acessado em 27 de fevereiro de

8 Kinect, Disponível em: acessado em 27 de fevereiro de Microsoft Visual Studio 2015 Community, acessado em 26 de fevereito de Smartphone OS Market Share, 2015 Q2, Disponível em: acessado em 26 de fevereiro de Willow Garage. ROS - Robot Operating System URL: (último acesso: 10/12/2011). Braga, A. de P., A. C. P. L. F. Carvalho, and Teresa Bernarda Ludermir. Redes neurais artificiais: teoria e aplicações. Livros Técnicos e Científicos, DIFICULDADES: A principal dificuldade encontrada durante o desenvolvimento do projeto foi em relação ao dispositivo Leap Motion, já que ele possui pouca precisão em detectar palavras que necessitam que o polegar esteja entre os outros dedos (como na letra M e N ). PARECER DO ORIENTADOR: O pesquisador de IC demonstrou suficiência de conhecimento no desenvolvimento das tarefas propostas no plano de trabalho, conforme visto com os resultados iniciais do projeto. Isto se deve a sua dedicação pelo desenvolvimento de atividades que tenham aplicação prática e direta na sociedade bem como capacidade em explorar novas formas de abordagem do mesmo problema, tal qual foi mostrado por sua iniciativa em explorar redes neurais artificiais para a inclusão futura no plano de trabalho por ele desenvolvido. DATA: / / ASSINATURA DO ORIENTADOR ASSINATURA DO ALUNO 8