RICHARD JUNIOR MANUEL GODINEZ TELLO. EXTRAÇÃO DE CARACTERÍSTICAS E CLASSIFICAÇÃO DE SINAIS semg APLICADOS A UMA PRÓTESE DE MÃO VIRTUAL

Transcrição

1 UNIVERSIDADE FEDERAL DO ESPÍRITO SANTO CENTRO TECNOLÓGICO PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA RICHARD JUNIOR MANUEL GODINEZ TELLO EXTRAÇÃO DE CARACTERÍSTICAS E CLASSIFICAÇÃO DE SINAIS semg APLICADOS A UMA PRÓTESE DE MÃO VIRTUAL VITÓRIA 2013

2 RICHARD JUNIOR MANUEL GODINEZ TELLO Dissertação de MESTRADO

3 RICHARD JUNIOR MANUEL GODINEZ TELLO EXTRAÇÃO DE CARACTERÍSTICAS E CLASSIFICAÇÃO DE SINAIS semg APLICADOS A UMA PRÓTESE DE MÃO VIRTUAL Dissertação apresentada ao Programa de Pós-Graduação em Engenharia Elétrica do Centro Tecnológico da Universidade Federal do Espírito Santo, como requisito parcial para obtenção do Grau de Mestre em Engenharia Elétrica, na área de concentração de Robótica e Automação Inteligente Orientador: Prof. Dr. Teodiano Freire Bastos Filho. Co-orientadores: Prof. Dr. Anselmo Frizera Neto e Dr. Dinesh Kant Kumar. VITÓRIA 2013

4 Dados Internacionais de Catalogação-na-publicação (CIP) (Biblioteca Central da Universidade Federal do Espírito Santo, ES, Brasil) T277e Tello, Richard Junior Manuel Godinez, Extração de características e classificação de sinais semg aplicados a uma prótese de mão virtual / Richard Junior Manuel Godinez Tello f. : il. Orientador: Teodiano Freire Bastos Filho. Coorientadores: Anselmo Frizera Neto, Dinesh Kant Kumar. Dissertação (Mestrado): Universidade Federal do Espírito Santo, Centro Tecnológico. 1. Prótese. 2. Mãos. 3. Robótica. I. Bastos Filho, Teodiano Freire. II. Frizera Neto, Anselmo. III. Kumar, Dinesh Kant. IV. Universidade Federal do Espírito Santo. Centro Tecnológico. V. Título. CDU: 621.3

5

6 Dedico este trabalho às pessoas que mais adoro na minha vida: a meus pais Elba e Richard, por seus esforços e exemplos de vida, e de maneira especial, meu irmão Carlos, por ser meu grande amigo de sempre. Richard Junior Manuel

7 Agradecimentos Gostaria de agradecer a Deus, a meus pais Elba e Richard e a meu irmão Carlos, pelo apoio de sempre. Da mesma forma, quero agradecer de forma especial ao CNPQ pela bolsa de estudos concedida, e a meu orientador, Prof. Teodiano, muito obrigado pela paciência, por sua exaustividade nas correções de meus textos e seus acertados conselhos. De igual forma, ao Prof. Anselmo por seu gerenciamento atento e rápido na solução dos problemas. Não posso deixar de agradecer a todos os meus novos amigos brasileiros que fiz; só espero não esquecer de algum de vocês, e se eu cometer esse erro peço desculpas; a Rafael, Roberto, Lígia, Milton, Ígor, Valmir, Mariana, Diego, Alessandro, Sandra, Flávio, Fabrício, Marino, Thiago Calotti, Gabriel Zago, Arlindo, Cassius, Leonardo, Bruno, Carlos Valadão e Clebson: um grande abraço a todos vocês. A meus amigos da Argentina: Natalia, Lucio e Eugenio da Universidad Nacional de San Juan, muito obrigado a vocês por sua sempre atenciosa colaboração e amabilidade. Finalmente, desejo agradecer a meus colegas e amigos de diversos países, que junto comigo somos os chamados estrangeiros na pós-graduação da Elétrica, os quais contribuíram muito, de maneira direta e indireta, na realização deste trabalho: Jhon Freddy, John Jairo, Dennis, Camilo, Carlos, Manuel e Anibal. Não posso acabar esta lista de agradecimentos, sem antes agradecer a Jorge Aching, muito obrigado por ser meu amigo e me apoiar na minha chegada. Não esquecerei tua disposição de sempre e teus grandes conselhos, Doutor!

8 Sumário 1 Introdução Introdução Caracterização do Problema Objetivos Organização da Dissertação Fundamentação Teórica Breve História da Electromiografia Sinais Eletromiográficos de Superfície (semg) Definições A Fonte do Sinal Eletromiográfico Considerações sobre Impedância em Sinais Eletromiográficos Amplificação Diferencial e Rejeição de Modo Comum Filtragem do Sinal Eletromiográfico Análise Espectral e Filtros Passa Banda Etapas do Processamento de Sinais semg Etapa 1: Aquisição e Segmentação de dados Aquisição de Dados EMG Segmentação de Dados EMG viii

9 2.4 Etapa 2: Extração de Características Domínio do Tempo Domínio da Frequência Domínio Tempo-Frequência Outros Extractores Redução de Dimensionalidade Técnicas de Partição de Conjuntos de Amostras para Treinamento Etapa 3: Classificação de Sinais semg Etapa 4: Aplicações de Controle Plataformas Comerciais e Projetos de Pesquisa de Próteses de Membro Superior Estado da Arte em Reconhecimento de Tarefas Motoras para EMG Implementação e Resultados Introdução Aquisição dos Sinais EMG Extração de Características Classificação Análise Discriminante Linear e Quadrático - Classificador Bayesiano Classificador k-vizinho Próximo (k-nn) Provas Experimentais e Resultados Modelagem da Mão Virtual Sistema On-line de Biofeedback

10 5 Conclusões e Trabalhos Futuros Conclusões Trabalhos a futuro A Publicaçoes Geradas 104 B Apêndice B 106

11 Lista de Tabelas 2.1 Técnicas de extração de características para sistemas de controle EMG Tipos de classificadores utilizados no reconhecimento de padrões em EMG Características de alguns protótipos de pesquisa e próteses comerciais de mão e braço Estado da Arte em Reconhecimento de Tarefas Motoras em EMG Conjuntos de Tarefas Motoras a realizar Aplicações de controle mioelétrico com 4 canais Porcentagens de acerto geral na classificação das diferentes tarefas motoras Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 1 fazendo uso do classificador Bayesiano Linear Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 1-2 fazendo uso do classificador Bayesiano Linear Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 3 fazendo uso do classificador Bayesiano Linear Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 4 fazendo uso do classificador Bayesiano Linear Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 1 fazendo uso do classificador Bayesiano Quadrático Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 1-2 fazendo uso do classificador Bayesiano Quadrático xi

12 3.10 Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 3 fazendo uso do classificador Bayesiano Quadrático Matriz de confusão em porcentagens de acerto (%) na classificação de movimentos do Conjunto 4 fazendo uso do classificador Bayesiano Quadrático Valores de Desvio Padrão para os diferentes classificadores Desempenho da Classificação para Bayesianos Desempenho da Classificação baseada em k-nns

13 Lista de Figuras 1.1 Etapas de processamento do sinal mioelétrico Prótese de mão, modelo i-limb, da empresa Touch Bionics, Inc Representação de um mecanismo de controle motor básico e da Unidade Motora junto a seus componentes. Adaptado de (Merletti e Parker, 2004) Diagrama de blocos de instrumentação EMG com varias opções. Adaptado de (Criswell, 2010) Os componentes que afetam ao sinal de EMG, uma vez que passam pelos amplificadores diferenciais. Adaptado de (Criswell, 2010) Participantes na contração do músculo esquelético produzindo sinal EMG. Adaptado de (Rechy-Ramirez e Hu, 2011) Representação visual da atividade da Unidade Motora em relação aos eletrodos. Adaptado de (Criswell, 2010) (a) Um registro de Sinal semg em bruto; (b) Um registro de Sinal semg com filtro Notch (A) Três sinais independentes de 0.5, 1.0 e 1.5 Hz; (B) O sinal composto das mesmas. Adaptado de (Criswell, 2010) Densidade espectral de potência do sinal composto da figura anterior. Adaptado de (Criswell, 2010) Resumo das etapas de processamento do sinal semg (a) Eletrodo passivo superficial; (b) Eletrodo passivo invasivo; (c) Eletrodos ativos superficiais. Fotografia dos eletrodos da empresa Delsys (esquerda) e Touch Bionics, Inc. (direita) xiii

14 2.11 (a) Segmentação separada; (b) Segmentação sobreposta. Extraído de (Oskoei e Hu, 2008a) Quadrículas tempo-frequência de (a) STFW; (b) WT e (c) WPT (Englehart et al., 1999) Heterogeneização de um conjunto de amostras (Campo, 2008) Técnica de Cross-Validation para 1000 amostras (Campo, 2008) Dez partições que utilizam 10-fold Cross-Validation (Campo, 2008) Leave-One-Out sobre dez amostras (Campo, 2008) Agrupamento dos tipos de classificadores mais usados Evolução no uso dos sinais EMG para controle de próteses de mão (Zecca et al., 2002) Prótese de braço, Boston Digital Arm Mão biônica da Otto Bock, modelo Michelangelo (a) Prótese Proto 1; (b) Prótese Proto 2; (c) Projeto MLP (Modular Prosthetic Limb) (a) Braço Deka Gen 1; (b) Braço Deka Gen 2 e (c) Braço Deka Gen Prótese de mão, modelo i-limb Ultra Prótese de mão, modelo Bebionic Prótese de braço e mão, modelo Utah Arm Etapas da avaliação experimental do sistema de classificação proposto Tarefas motoras realizadas pelos voluntários Eletrodos ativos superficiais da empresa Touch Bionics, Inc Circuito de aquisição e conversor ADC NI USB utilizados Circuito eletrônico da placa de aquisição Localização dos eletrodos e corte transradial nos músculos envolvidos Interface de aquisição de sinais semg para quatro canais

15 3.8 Visualização das quinze classes a avaliar junto a algumas características temporais normalizadas Comparação de algumas características no domínio do tempo (normalizadas) Gráficos de Sammon para discriminação Bayesiana linear dos conjuntos de tarefas motoras Gráficos de Sammon para discriminação Bayesiana quadrática dos conjuntos de tarefas motoras Desempenho da classificação com k-nns para o Sujeito 1 nos quatro conjuntos de tarefas, mostrando o desvio padrão em: (a) Conjunto 1; (b) Conjunto 2; (c) Conjunto 3 e (d) Conjunto Mão virtual desenvolvida Diagrama de fluxo para a mão virtual desenvolvida (a) Painel de controle do sistema on-line: (b) Mão virtual na posição de aberta; (c) Mão virtual na posição de relaxação; (d) Mão virtual na posição de fechada Dois canais semg provenientes do músculo pronador e o músculo brachioradialis Velocidades e coordenadas das juntas quando a configuração permite abrir e fechar a mão virtual com a mesma velocidade nos dedos Velocidades e coordenadas das juntas quando a configuração permite abrir e fechar a mão virtual com diferentes velocidades nos dedos Zoom das coordenadas das juntas da Figura 4.6. A configuração faz com que a mão virtual possa abrir e fechar com uma velocidade diferente nos dedos. Neste caso, o dedo mindinho (q1) fecha mais rapidamente e o dedo indicador (q4) abre mais rapidamente Um voluntário controlando a mão virtual

16 Glossário de Termos AC ANN AR() ARMA ASSD BC BNN BP NN CC CMRR DBS DFT ELM EMD FD FFT FL FMN FNPA FR FS GA GMM GUSS HMM ICA IEMG JD k-nn LDA LLGMN LVQ NN MAV Coeficientes de Autocorrelação Classificador por Redes Neurais Artificiais Modelos Autoregressivos (ordem) Modelos Auto-Regressivos de Média Móvel Averaged Sensor-Skin Distance Classificador Bayesiano Rede Neural Bayesiana Rede Neural Backpropagation Coeficientes Cepstrum Relação de Rejeição em Modo Comum Discriminante Bi-espectral Transforma de Fourier Discreta Classificador Extreme Leaning Machine Empirical Mode Decomposition Dimensão Fractal Transformada Rápida de Fourier Lógica Difusa Frequência Média Fuzzy Neighborhood Preserving Analysis Relação de frequência Filtragem Espacial Algortimo Genetico Gaussian Mixture Model Guided Underdetermined Source Signal Separation Modelos Ocultos de Markov Análise de Componentes Independentes Integral de EMG Joint Diagonalization Classificador do k-vizinho Próximo Classificador de Análise Discriminante Linear Rede Mista Gaussiana Log-linearizada Learning Vector Quantization Neural Network Valor Médio Absoluto

17 MAVS Inclinação do Valor Médio Absoluto MMAV1 Valor Médio Absoluto Modificado 1 MMAV2 Valor Médio Absoluto Modificado 2 MC Classificaçao Multiclasse MFL Maximum Fractal Length MFD Máxima Dimensão Fractal MLP Multilayer Perceptron MPL Multilayer Perceptron MU Unidade Motora MUAP Potencial de Ação da Unidade Motora MUAPT Trem de Potenciais de Ação de Unidade Motoras NNC Classificador de Vizinho Próximo OvO One vs One OvR One Versus Rest PCA Análise de Componentes Principais PMAX Potência máxima PMED Potência Média POLC Classificador Polinomial PSD Densidade Espectral de Potência R-LLGMN Recurrent Log-Linearized Gaussian Mixture Network RegTree Classificador de Árvore de Regressão RMS Raiz Média Quadrática semg Eletromiografia de superfície SOFM NN Self-Organizing Feature Map Neural Network SSC Mudanças de Sinal de Inclinação STFT Transformada Rápida de Fourier SVM Máquina do Vetor Suporte TSVM Twin Support vector machines VAR Variância WAMP Amplitude Willison WL Comprimento de onda WNN Rede Neural Wavelet WPT Transformada Wavelet Packet WT Transformada Wavelet ZC Cruzamentos de Zero

18 Resumo Este trabalho apresenta a classificação de tarefas motoras, através da eletromiografia de superfície (semg), para controlar uma mão prostética para reabilitação de amputados. Dois tipos de classificadores são comparados: k-vizinhos mais próximos (k-nn) e Bayesiano (Análise Discriminante). As tarefas motoras são divididas em quatro grupos correlacionados. Os voluntários desta pesquisa foram pessoas saudáveis (sem amputação), e várias análises de cada um dos sinais foram realizadas. Para o analise off-line, as características utilizadas foram: RMS (Raiz Média Quadrática), VAR (Variância) e WL (Comprimento de forma de onda). Para a experimentação on-line implicou o uso da característica de Discriminante Bi-espectral. Em ambos casos, tanto online ou offline, foram usadas técnicas de janelas deslizantes. Foi proposto um modelo para a reclassificação usando validação cruzada, a fim de validar a classificação, sendo gerada uma visualização dos dados em mapas de Sammon, a fim de observar a separação das classes para cada conjunto de tarefas motoras. Os métodos propostos foram implementados em uma interface de computador, fornecendo realimentação visual através de uma prótese de mão artificial desenvolvida em Visual C++ e utilizando comandos MATLAB.

19 Abstract This work proposes the classification of motor tasks, using surface electromyography (semg) to control a prosthetic hand for rehabilitation of amputees. Two types of classifiers are compared: k-nearest Neighbor (k-nn) and Bayesian (Discriminant Analysis). Motor tasks are divided into four groups correlated. The volunteers were healthy people (without amputation) and several analyzes of each of the signals were conducted. For offline analysis, the features used were: RMS (Root Mean Squared), VAR (Variance) and WL (Waveform Length). For online experimentation, it involved the use of feature of Discriminant of Bi-spectral. In both cases, either online or offline techniques were used to sliding windows. A model is proposed for reclassification using cross-validation in order to validate the classification, and a visualization in Sammon Maps is provided in order to observe the separation of the classes for each set of motor tasks. The proposed method can be implemented in a computer interface providing a visual feedback through an artificial hand prosthetic developed in Visual C++ and MATLAB commands.