Avaliação de Desvio Postural em Ombro utilizando Kinect em uma Visão do Plano Coronal-Anterior 1

Transcrição

1 Avaliação de Desvio Postural em Ombro utilizando Kinect em uma Visão do Plano Coronal-Anterior 1 Gabriel C. S. G. Paula 2, Pierre Soares Brandão 3, Fernando Luiz de Oliveira 4, Fabiano Fagundes 5 1 Projeto vinculado ao Grupo de Pesquisa Tecnologia, Saúde e Qualidade de Vida. Endereço: < grupo/ >. 2 Acadêmico do curso de Sistemas de Informação. 3 Fisioterapeuta e Educador Físico. Mestre em Gerontologia. Professor no curso de Sistema Social e de disciplinas institucionais CEULP/ULBRA. 4 Mestre em Ciência da Computação e Professor dos cursos de Sistemas de Informação e Ciência da Computação CEULP/ULBRA. fernando.luiz@ceulp.edu.br 5 Psicólogo, Mestre em Ciência da Computação e Professor dos cursos de Sistemas de Informação e Ciência da Computação CEULP/ULBRA. {gcsgpp, pierrebrandao, nandoluiz.br, thilfa}@gmail.com Resumo. A computação vem sendo utilizada para criar e otimizar processos e procedimentos existentes muitas áreas e, neste caminho, a Microsoft lançou um dispositivo que possui diversos sensores que, a princípio, seriam utilizados apenas no console de videogame da fabricante. Entretanto, verificou-se o potencial de utilização do dispositivo para auxílio dos profissionais da área da saúde através de análise visual da pessoa em observação e a exibição desta para um profissional habilitado. Considerando o potencial identificado, este trabalho apresenta informações sobre o desenvolvimento de um projeto que utiliza o Kinect como recurso para a elaboração de uma ferramenta de auxílio a profissionais Fisioterapeutas e Educadores Físicos para a identificação de desvios posturais do ombro em uma visão do plano coronal-anterior de um paciente. 1 Introdução Desde a revolução tecnológica, quando a ciência começou a se combinar com a tecnologia, vem-se vivenciando a aplicação da tecnologia em conjunto com outras áreas com o intuito de otimizar seus resultados e até mesmo facilitar os procedimentos relacionados. Essa integração não é diferente com a Fisioterapia, em que equipamentos eletrônicos podem ser tanto produzidos para uma necessidade específica quanto adaptados para outra finalidade, como é o caso do Kinect. O Microsoft Kinect, ou simplesmente Kinect, é um conjunto de sensores e câmeras desenvolvido para funcionar junto com o console de videogames XBOX 360, permitindo que o videogame - e posteriormente, liberado para o uso em computadores consiga identificar o esqueleto (as articulações) de indivíduos permitindo interatividade sem igual com o sistema. Quando conectado ao computador e com todos os softwares de desenvolvimento do fabricante do Kinect instalados, é possível desenvolver aplicações utilizando o Kinect para outros fins, sejam game ou não. Com a possibilidade de utilizar o dispositivo para desenvolvimento de aplicações, é possível aplicar o recurso de detecção e identificação do esqueleto de indivíduos que estejam interagindo com o sistema. Sendo assim, levanta-se como hipótese a possibilidade de uso de um dispositivo que identifica o esqueleto de uma pessoa e que trabalha com essa informação XVI Encoinfo Encontro de Computação e Informática do Tocantins 33

2 em frações de segundos e, ao mesmo tempo, pensando em soluções para a Fisioterapia e a Educação Física, para desenvolver soluções que facilitem ou resolvam problemas da área. O alinhamento postural é uma das áreas de estudo da Fisioterapia e da Educação Física que, utilizando técnica de fio de prumo, avalia a má postura de indivíduos, evitando ou solucionando lesões e dores crônicas sentidas por eles (KENDALL et al., 2007). Ainda segundo Kendall et al. (2007), no bom alinhamento, as escápulas repousam contra a região torácica, aproximadamente entre a segunda e a sétima vértebras torácicas. Utilizando o Kinect, o presente trabalho objetiva o desenvolvimento de uma ferramenta para apresentar de forma visual a diferença de alinhamento entre os ombros com o diferencial de poder ser utilizados para a busca de melhores resultados na Fisioterapia e na Educação Física, de forma que entre para o conjunto de ferramentas de um profissional da área. 2 Revisão de Literatura Segundo Lowensohn (2011), em parceria com a PrimeSense, a Microsoft, mais especificamente, a Microsoft Game Studios (sub-divisão da Microsoft que é responsável por desenvolvimento da área de games) desenvolveram um periférico capaz de detectar os movimentos humanos, assim como, a localização parcial no ambiente da voz do usuário e distância do personagem em relação ao periférico. Enquanto estava sendo desenvolvido, este projeto foi atribuído o título Projeto Natal, este codinome foi definido em homenagem à cidade de nascença de um dos integrantes da equipe de desenvolvimento deste projeto. Em novembro de 2010, a Microsoft lança o Kinect, nome definitivo para o periférico revolucionador para o mundo dos Games e em 2012 a Microsoft lança o Kinect for Windows pois até então, o Kinect só poderia ser utilizado no console de games XBOX 360. O Kinect for Windows foi uma grande revolução no que tange a interação do ser humano com sistemas computacionais. Tal interação, por meio de gestos e falas (por exemplo), é chamada de NUI (Natural User Interface). A NUI é um modelo de desenvolvimento para permitir a utilização do sistema de forma natural, ou seja, acessar e utilizar os recursos do sistema através de ações que as pessoas já estão extremamente acostumadas, como a fala, o movimento físico (braços, pernas e etc.) ou que tornem as ações do usuário algo tão natural (para ele) que tornaria imperceptível. Conforme Microsoft (2013a), o Kinect possui duas câmeras, um emissor, um motor e um conjunto de microfones, sendo uma câmera RGB (Red-Green-Blue) para a captação da imagem à cores do ambiente, uma câmera infravermelha para a captação dos raios infravermelhos, um emissor infravermelho para a emissão de raios infravermelhos para possibilitar o cálculo de distância entre os objetos e o sensor, um motor para movimentar a cabeça do Kinect para cima ou para baixo (apenas) e um conjunto de microfones para ser utilizado na detecção que qual pessoa está dando instruções para o aparelho. Um dos maiores recursos do Kinect é a possibilidade de mapeamento de pontos no corpo do usuário, ou seja, o Kinect consegue identificar o ombro, os cotovelos, mãos, joelhos, entre outros do usuário que esteja operando o sistema. Estes pontos detecados são denominados Juntas pelo fabricante e que são limitadas a 20 juntas quando em pé e 10 juntas quando o usuário estiver sentado. 34 XVI Encoinfo Encontro de Computação e Informática do Tocantins

3 Figura 1 - Demonstração das juntas identificadas pelo Kinect Conforme documentação oficial do fabricante (MICROSOFT, 2013b), o Kinect utiliza a câmera infravermelha para captar os raios lançados no ambiente pelo emisor infravermelho e com a captação desses raios o sistema consegue identificar as juntas assim como a distância (eixo Z do espaço cartesiano) deles até o sensor. Ao detectar as juntas, o sistema, também utilizando a câmera infravermelho, calcula a sua posição X (posição horizontal do objeto em relação ao espaço) e Y (posição vertical do objeto em relação ao espaço). Porém, como todo equipamento tecnológico, o Kinect possui suas limitações e uma delas é a de campo de reconhecimento, ou seja, a área onde ele consegue identificar e mapear os usuários. Essa limitação é diferente dos modos existentes que o Kinect possui: Default Range e Near Range, onde o default é campo normal de reconhecimento onde o usuário tem que estar ao menos 0.8m de distância do sensor e no máximo 4m e o campo Near Range é o campo de maior proximidade onde esta distância mínima cai para 0.4m e a distância máxima vai para 3m. Em qualquer um desses casos, o Kinect possui uma limitação vertical que é a angulação da cabeça motorizada que por padrão fica em 43.5 e que pode elevar para até +27 ou abaixar para até -27. As imagens 2 e 3 mostram a limitação do Default Range e do Near Range. Após compreender as limitações físicas do Kinect e o usuário estiver em área hábil para a detecção das juntas, o Kinect identifica e define os valores para cada propriedade (X, Y e Z) de cada junta. Com cada junta já identificada tem-se acesso a leitura desses valores o que permite diversas finalidades, como por exemplo, o desenho de círculos coloridos indicando a posição das juntas identificadas. Outro exemplo da utilização é a de inferência de ossos na visualização do esqueleto do usuário no sistema. O pacote de recursos fornecidos pelo fabricante não possui de forma pronta a exibição dos ossos do usuário, sendo assim, necessário fazer a inferência desses ossos apartir das localizações das juntas de forma que trace uma linha entre duas determinadas juntas para simular um osso. 3 Materiais e Métodos Para o desenvolvimento deste projeto foi utilizada uma unidade do sensor Microsoft Kinect para XBOX 360 e, para que ele funcione independendo do console de videogame (XBOX 360), foi necessária a utilização de um adaptador bivolt para Kinect, produzido pela Microsoft Corporation, modelo 1429, que permite a conexão do dispositivo a um computador e, desta forma, ser alimentado por rede elétrica. Além disso, foi utilizada a IDE (Integrated Development Environment Ambiente de desenvolvimento integrado) Visual Studio for XVI Encoinfo Encontro de Computação e Informática do Tocantins 35

4 Windows edição Express e o pacote SDK (Software Development Kit Kit de desenvolvimento de software) do Microsoft Kinect para acesso a métodos e controles do dispositivo. No início do projeto foram feitos estudos bibliográficos para conhecimento primário de como funciona o equipamento, suas características, funcionalidades e principais utilizações. Além dos estudos sobre o equipamento foram feitas pesquisas sobre NUI (Natural User Interface Interface Natural de Usuário) em websites assim como pesquisas sobre Interfaces em orientação à objetos, implementação de DLLs e Actions delegadas. Após os estudos para embasamento, começou-se o desenvolvimento de aplicações testes para que fosse possível implementar o software utilizando os conhecimentos adquiridos, e que pudesse permitir experiência suficiente para produzir uma aplicação voltada para o projeto, conforme demonstrado em resultados e discussão. A aplicação desenvolvida tem como objetivo representar de forma visual o alinhamento do ombro em relação a um eixo representativo do que se esperaria de uma postura sem o desvio do ombro. Para isso, o indivíduo em análise posiciona-se no plano coronal-anterior, ou seja, em frente ao sensor, e o software traça visualmente no monitor uma linha paralela ao solo mostrando o eixo de referência para análise do alinhamento postural do ombro e a linha formada pelo alinhamento real do ombro, mostrando se há ou não desvio do alinhamento normal, fornecendo ao profissional habilitado informação visual quanto ao grau do desvio observado, caso haja. O trabalho foi desenvolvido no Laboratório de Multimídia e Computação Gráfica LABMIDIA em conjunto com o Laboratório de Tecnologia em Saúde LTS do Centro Universitário Luterano de Palmas CEULP/ULBRA, vinculados ao grupo de pesquisa Tecnologia, Saúde e Qualidade de Vida. 4 Resultados e Discussão Utilizando o pacote de ferramentas disponibilizado pelo fabricante do Kinect, pode-se ter acesso à métodos prontos e acesso à recursos físicos do dispositivo. Para a utilização dos recursos sensoriais do Microsoft Kinect é necessário que seja inicializado cada sensor a ser utilizado na aplicação. Para facilitar essas inicializações e outros procedimentos, foi criada uma DLL (Dynamic-link Library biblioteca de vínculo dinâmico) chamada AuxiliarKinect que contém recursos encapsulados para o auxílio no desenvolvimento da aplicação. Após sua implementação, foi referenciado o arquivo da DLL como recurso a ser utilizado na aplicação final para que pudessem ser acessadas as implementações da DLL. A aplicação final utilizou três sensores do Kinect - Sensor de Profundidade, Câmera RGB e Sensor de Esqueleto para que fosse possível rastrear os movimentos do paciente e com isso possibilitar a representação gráfica e fácil compreensão do alinhamento do ombro existente no indivíduo. No desenvolvimento da aplicação foi utilizado o recurso Ellipse para desenhar na tela, círculos ilustrando as articulações da pessoa em estudo e o recurso Line para ilustrar os ossos do indivíduo em análise, conforme ilustrado na Figura XVI Encoinfo Encontro de Computação e Informática do Tocantins

5 Figura 1 - Círculos e linhas representando articulações e ossos, respectivamente. Com o recurso de rastreamento de esqueleto, o Kinect consegue identificar as três posições do sistema de coordenadas cartesiano (X, Y e Z) de qualquer articulação e fornece essas informações para desenvolver diversas soluções utilizando o esqueleto dos usuários. Para a implementação da aplicação deste projeto, foram desenvolvidos trechos de códigos para cada uma das ações necessárias: Representar articulações: Utilizando o método DesenharArticulacao o software desfruta dos recursos do SDK para a utilização dos sensores do Kinect que identificam automaticamente as articulações; neste método, é desenhada na tela uma elipse na posição da articulação identificada pelo equipamento. Representar ossos: Para desenhar na tela os ossos foi utilizado o método DesenharOssos que utiliza a posição de duas articulações para a referência de início e fim da linha que representa o osso. Representar alinhamento do indivíduo: Utilizando o método DesenhaOssos foi utilizado as articulações identificadas no SDK como Ombro Direito e Ombro Esquerdo, como pontos de início e ponto fim de uma linha que indica o alinhamento real do indivíduo. Representar linha de referência: O método DrawMiddleLine utiliza o recurso do SDK para a captura da posição dos ombros direito e esquerdo. Com as posições dos dois ombros foram criados dois elementos posicionais (utilizados para determinar o início e o fim de uma linha) que mantiveram a posição X de cada ombro e a média aritmética entre as posições Y dos dois ombros, ou seja, cada elemento posicional possui um X e um Y sendo que o Y dos dois elementos são a média aritmética dos Y dos ombros, e os X dos elementos são os próprios X de cada ombro. Criando assim dois pontos, um de início e um de fim da linha de referência de forma que esta linha sempre estará alinhada horizontalmente à mediatriz da linha que representa o alinhamento do indivíduo. Para que o profissional responsável pela leitura da imagem possa identificar o grau de alinhamento incorreto do ombro do indivíduo em relação ao alinhamento ideal, a Figura 1 apresenta a linha de referência na cor amarelo, sendo que na ilustração apresentada na Figura 1, a pessoa utilizada para a o teste do software não possuía o alinhamento incorreto, ou seja, a linha existente entre os dois ombros ficou exatamente em cima da linha de referência, indicando a ausência do desvio do alinhamento ideal ou o baixo grau de desvio, de forma que apenas um profissional habilitado possa afirmar se existe ou não o desvio. XVI Encoinfo Encontro de Computação e Informática do Tocantins 37

6 Figura 2 - Desvio postural do ombro apresentado A Figura 2 apresenta de forma mais clara a linha de referência, explicada anteriormente, além de ilustrar também a simulação de um indivíduo em análise que possuiria desvio de alinhamento do ombro para o teste do software. A Figura 2 apresenta, em sua metade direita, o desvio para o lado direito (do indivíduo em análise) e na metade esquerda da Figura 2, o desvio para o lado esquerdo (do indivíduo em análise). O software desenvolvido nesse trabalho não está com todas as funcionalidades de exibição de informações do indivíduo concluídas, encontrando-se este projeto ainda em fase de desenvolvimento. 5 Conclusão O sistema desenvolvido neste trabalho oferece elementos para a visualização da possibilidade de criação de uma ferramenta que, de forma mais complexa, permita a profissionais habilitados ter uma melhor visualização da diferença entre a postura correta e a postura atual do indivíduo em análise, considerando diferentes pontos de observação, dando mais evidências para o profissional Fisioterapeuta determinar o melhor tratamento para a correção do alinhamento e/ou para o profissional Educador Físico a possibilidade de prescrever exercícios de maneira mais segura e eficiente. Para projetos futuros, este projeto trabalhará desvios posturais da coluna vertebral, utilizando software para a identificação e fornecimento de informações sobre o indivíduo que possam ser úteis para um profissional habilitado. 6 Referências KENDALL, F.; MCCREATY, E.; PROVANCE, P. Músculos Provas e Funções. São Paulo: Manole, Disponível em: < Acesso: 20 ago LOWENSOHN, Josh. Timeline: A look back at Kinect's history. Disponível em: < (2011). Acesso: 15 de dez MICROSOFT. Kinect for Windows Sensor Components and Specifications. Disponível em: < (2013a). Acesso:15 dez MICROSOFT. Skeletal Tracking. Disponível em: < (2013b). Acesso: 15 dez MICROSOFT. Action<T> Delegate. Disponível em: < (2013a). Acesso em 15 dez MICROSOFT. KinectSensorChooser Class. Disponível em: < (2013b). Acesso: 15 dez KENDALL, F.; MCCREATY, E.; PROVANCE, P. Músculos Provas e Funções. São Paulo: Manole, Disponível em: < Acesso: 20 ago XVI Encoinfo Encontro de Computação e Informática do Tocantins