Figura 40 - Sistema completo.

Transcrição

1 60 6 Aplicação da BMI a um Manipulador Robótico Uma vez desenvolvidos os elementos da BMI, resta descrever uma metodologia de aplicação da mesma (Figura 40). Esse capítulo tem como objetivo descrever o uso dos métodos apresentados nos capítulos anteriores no controle de um dispositivo. O dispositivo a ser controlado é um manipulador robótico modelo MA2000, que foi programado para se movimentar em um plano vertical com movimentos para cima, para baixo, para esquerda e para direita, de acordo com os comandos da BMI. Figura 40 - Sistema completo. 6.1.Controle do Manipulador MA-2000 O manipulador MA2000 (Figura 41), disponível no laboratório onde foram desenvolvidos os experimentos, foi utilizado nesse trabalho. Figura 41 Manipulador robótico MA2000. O manipulador possui 6 graus de liberdade (6DOF), possuindoo seis elos, sendo todos eles representados por juntas rotativas como no esquemático da

2 61 Figura 42, e todos acionados por motores de corrente contínua. Potenciômetros acoplados ao eixo de rotação de cada elo são utilizados como sensores de posicionamento. Figura 42 - Modelo esquemático do MA2000. Para acionamento dos motores de corrente contínua, leitura do potenciômetro, e comunicação com o computador, um sistema eletrônico dedicado foi especialmente desenvolvido para essa dissertação (Figura 43). A eletrônica é composta por três pontes H de alta potência para acionamento dos motores dos três elos próximos à base, três pontes H de baixa potência para acionamento dos três elos próximos à extremidade, um regulador de tensão, conversores A/D para leitura dos potenciômetros, duas entradas de nível lógico opto-acopladas, um conversor de níveis de TTL para RS-232, e um microcontrolador responsável por todo o processamento e comunicação com o computador. A eletrônica possui ainda uma interface de programação ICSP (In Circuit Serial Programming) para carregar o microcontrolador com o código de controle. O microcontrolador escolhido (dspic30f4013) pertence à família dspic da empresa Microchip Inc., e é dotado de um processador de 16-bits, memória Flash de 48Kb de programação e memória RAM de 2Kb sendo, então, capaz de executar as instruções necessárias para o controle do manipulador na frequência de controle desejada.

3 62 Figura 43 - Eletrônica de controle do manipulador robótico. Como a BMI desenvolvida possui quatro comandos, o mesmo número de comandos deve ser adotado pelo controle do manipulador. Dessa forma, foi decidido que o manipulador atuaria apenas em um plano vertical, deslocando sua extremidade para cima, para baixo, para a direita, e para a esquerda, sem sair desse plano. Uma vez reduzidos os graus de liberdade necessários às tarefas, optou-se também por reduzir o número de elos do manipulador, sendo mantidos apenas os três primeiros elos próximos à base do manipulador, e os subsequentes foram desmontados. A Figura 44 representa o manipulador e seus parâmetros de Denavit-Hartenberg. Figura 44 - Parâmetros de Denavit Hartenberg para os três primeiros elos do MA2000.

4 63 Sendo assim, o controle do manipulador deve ser capaz de deslocar a extremidade do mesmo ao longo de um plano vertical. Para isso, foi necessário o cálculo da cinemática inversa das três primeiras juntas do manipulador para que, dada a posição desejada da extremidade, seja conhecido também o posicionamento de cada junta. Primeiro calculou-se a cinemática inversa para um manipulador plano, como visto na Figura 45. Figura 45 - Cálculo da cinemática inversa para um manipulador de dois elos. Em seguida, adaptou-se o modelo para o espaço tri-dimensional fazendo as substituições: Figura 46 - Esquemático 3D dos três primeiros elos do MA2000.

5 64 =atan ( ) = atan ( + ) = =atan acos = (7) A cinemática inversa foi programada no microcontrolador, que recebe, via comunicação serial, a posição desejada da extremidade do manipulador (x d, y d e z d ) e automaticamente calcula as posições desejadas para cada elo. Com as posições desejadas dos elos já calculadas, o microcontrolador utiliza um controlador PID (implementado em software e gravado também no microcontrolador) para controlar o posicionamento de cada junta individualmente. Dessa forma, para que o manipulador posicione sua extremidade, basta enviar à eletrônica, por protocolo de comunicação serial (RS-232), as posições x, y e z desejadas para a extremidade, seguidas dos ganhos proporcional, integral e derivativo. 6.2.Protocolo de Treinamento. Como o título desse trabalho descreve, o processo de treinamento é uma atividade de duas vias onde, primeiramente, a interface se adapta ao usuário e, em seguida, o usuário se adapta à interface. Sendo assim, o treinamento do sistema é dividido em duas etapas: treinamento das redes neurais classificadoras e treinamento do usuário. Para o treinamento dos classificadores, é necessário que se gere um banco de dados contendo diversos vetores característicos originados das atividades cerebrais do usuário. Para isso, o usuário veste a touca de eletrodos (juntamente com os dois eletrodos posicionados no lóbulo de cada orelha, referentes ao sinal de referência e RLD), conectando-se ao eletroencefalógrafo, e posiciona-se de frente a uma tela de computador, onde são apresentados comandos que indicam quando o usuário deve executar cada uma das atividades mentais. Primeiramente o computador exibe, em sua tela, a palavra BAIXO. O usuário deve então se concentrar no movimento imaginário de seus pés, e em

6 65 seguida pressionar qualquer tecla do computador. Ao pressionar a tecla, um sinal sonoro é emitido, indicando o início da aquisição. A partir daí, o usuário deve continuar se concentrando no movimento imaginário de seus pés por mais onze segundos, quando outro sinal sonoro indica o término da aquisição dos sinais EEG. Desses onze segundos, apenas os dez últimos são realmente adquiridos, a fim de se evitar qualquer influência do sinal sonoro ou do movimento de pressionar a tecla do computador. Dessa forma, o computador divide os dez segundos adquiridos em 10 sinais de um segundo cada que, através do processo de extração de características, serão convertidos em 10 vetores característicos correspondentes à atividade mental DM (movimento para baixo). Em seguida, o computador exibe na tela a palavra CIMA, quando o mesmo procedimento deve ser feito com o usuário se concentrando na imaginação do movimento de sua língua. O mesmo se repete para a atividade DIREITA, com a imaginação do movimento do braço direito, e ESQUERDA, com a imaginação do movimento do braço esquerdo. Terminadas essas quatro aquisições, o mesmo protocolo se repete 20 vezes, resultando em oitocentos padrões adquiridos (200 padrões de cada atividade mental), que serão divididos em conjuntos de treinamento (400 padrões), de validação (200 padrões) e testes (200 padrões). Com o banco de dados pronto, pode-se dar início ao treinamento das redes neurais. Os modelos são então carregados e treinados com os padrões adquiridos, e então estão prontos para serem aplicados. No uso do modelo hierárquico, entretanto, deve-se primeiramente treinar o classificador MRM, observar sua matriz de confusão, e identificar os dois padrões com maior índice de erros entre si, para que o segundo nível classifique entre os mesmos. Após o treinamento da rede, dá-se início ao treinamento do usuário. Os classificadores treinados passam a ser usados em tempo real no controle do manipulador. A partir daí, cabe ao usuário se condicionar a gerar os padrões desejados de forma que o manipulador obedeça aos seus pensamentos. Para isso, o usuário deve tentar executar pelo menos 10 comandos corretos repetidos em sequência para cada um dos quatro comandos possíveis, enquanto olha diretamente para o manipulador. O sinal de reforço nada mais é do que o movimento real do manipulador de acordo com a classificação da interface. No caso específico do classificador interpretar o comando como confuso, o computador emitirá um sinal sonoro e indicará também em sua tela que o

7 66 usuário excedeu o número de tentativas, mantendo o manipulador dando início a uma nova classificação. parado e 6.3.Uso da Interface. Muitos elementos de uma interface cérebro máquina são comuns a diferentes aplicações. A mesma interface pode ser usada no controle de diversos dispositivos, mantendo-se os métodos de aquisição dos sinais eletrofisiológicos, os processos de extração de características, e também os métodos de classificação. Então, a determinação do protocolo de utilização está diretamente relacionada à aplicação da interface. Para o uso da interface no controle do manipulador, devem-se mapear as quatro atividades mentais que a interface é capaz de reconhecer em quatro funções (Figura 47). As atividades mentais escolhidas, como já mencionadas anteriormente, foram o movimento imaginário do braço esquerdo, braço direito, língua e pés, que fazem o manipulador se movimentar para a esquerda, para a direita, para cima e para baixo, respectivamente, ao longo de um plano vertical. No entanto, o movimento do manipulador possui características mono-estáveis baseadas na discretização do seu posicionamento no espaço, sendo o estado estável quando o manipulador está parado. Dessa forma, o manipulador se mantém parado até que um sinal de controle referente à classificação de um dos quatro padrões faça com que se inicie o movimento na direção correspondente. O manipulador irá se movimentar até completar um percurso arbitrado de 3 cm na direção escolhida, quando volta então a ficar parado. No caso de um comando ser classificado como confuso, o manipulador se mantém parado. Figura 47 - Correspondência das atividades mentais na ativação de um manipulador robótico. O controle do movimento do manipulador é feito enviando à eletrônica de controle a posição desejada da extremidade, que se constitui da posição atual da

8 67 extremidade acrescida ou diminuída de 3 cm nas coordenadas z ou x, mantendo a coordenada y sempre constante, o que mantém o manipulador em um mesmo plano vertical. Quando a interface é iniciada, sinais EEG de 1 segundo são constantemente adquiridos e classificados pelos modelos de classificadores. O usuário deve então se concentrar na atividade mental correspondente ao comando desejado pelo tempo necessário à classificação. Esse tempo pode variar de acordo com a habilidade do usuário. Como dito anteriormente, nas duas implementações baseadas em múltiplas tentativas, se o usuário conseguir atingir classificações parciais (a cada 1 segundo) corretas constantemente, mais rapidamente o classificador irá convergir para uma resposta correta. Quando o classificador fornece o resultado, um intervalo de 1 segundo é dado sem aquisição para que o usuário possa mudar a atividade mental sem que o transiente influencie na próxima classificação. Todos os cálculos computacionais da interface (aquisição e processamento dos sinais, extração de características, classificação dos padrões, e envio da posição desejada para o manipulador) foram implementados no ambiente de desenvolvimento MATLAB, e o tempo de processamento da ordem de micro segundos se torna desprezível quando comparado ao tempo de 1 segundo de aquisição dos sinais EEG Experimentos e Resultados Simulações do Algoritmo de Classificação Estatística A implementação estatística descrita no capítulo 5 visa o aumento da confiabilidade de classificações corretas do classificador através do aumento do número de classificações unitárias. A seguir, é feita uma prova conceitual através da dedução da confiabilidade do sistema simplificado, onde existem dois padrões, P e Q, e as probabilidades de serem sorteados em um evento são 65% e 35%, respectivamente. Como no classificador descrito, para ser classificado, um padrão precisa apresentar ocorrência maior ou igual a 50% em n amostras, com n 5. Para esse caso simplificado, sendo apenas dois padrões a se classificar, na quinta tentativa um deles sempre será sorteado pelo menos três vezes, satisfazendo a condição para ser classificado.

9 68 Combinações de classificação do padrão P: Ocorrência de Q e P Exemplo Probabilidade 3P x 0Q P P P X X 0.65 =27.46% 3P x 1Q P P Q P X =28.84% 3P x 2Q P Q Q P P =20.18% Total = 76,48% Combinações de classificação do padrão Q: Ocorrência de Q e P Exemplo Probabilidade 3Q x 0P Q Q Q X X 0.35 =4.29% 3Q x 1P Q Q P Q X =8.36% 3Q x 2P Q P P Q Q =10.87% Total = 23,52% Neste exemplo, para uma distribuição de probabilidade de sorteio qualquer p e q entre os dois padrões, temos que a probabilidade de P ser classificado é dada por: = + + (8) Generalizando para um número de sorteios n ímpar qualquer, onde r (r = n/2 + 0,5) é o número mínimo de ocorrências que satisfaz a condição 50%, temos : = + ( ) (9) Dessa forma, variando o número de sorteios (sempre números ímpares a fim de se evitar resultados de empate que caracterizam um comando confuso), é possível observar que a confiabilidade de classificação do padrão P aumenta com o número de sorteios, desde que p > q. Como a probabilidade ProbQ de classificar erroneamente é sempre igual a 1 ProbP, a probabilidade de classificação do padrão Q decresce com o aumento do número de sorteios, como pode ser observado na Figura 48.

10 Confiabilidade de classificação P Q Número de sorteios Figura 48 - Confiabilidade x Número de sorteios. O problema real estudado nesse trabalho possui quatro padrões com probabilidades de classificação distribuídas não uniformemente, resultando numa dedução analítica muito extensa. Sendo assim, optou-se por usar o método de Monte Carlo para fazer uma análise estatística do problema apresentado. Para validação do método de Monte Carlo utilizado, o modelo simplificado mais uma vez foi abordado, variando-se o número de sorteios (tentativas). O resultado obtido com o modelo analítico e por Monte Carlo foi essencialmente o mesmo para mais de 10 5 eventos simulados, com erros menores que 0,1%, vide Figura 49. O modelo hierárquico, descrito no capítulo 5, usado na implementação estatística, apresentou um resultado de 65% de classificações corretas. As classificações incorretas (as 35% restantes), no entanto, não estão distribuídas uniformemente entre os outros três padrões e, pela análise da matriz de confusão, pode-se aproximar a probabilidade de classificação dos padrões errados para uma razão q 1 =15%, q 2 =10% e q 3 =10%. Essa distribuição desigual se justifica pelo fato de os padrões possuírem separabilidades distintas, o que leva um padrão a ter maior ocorrência nas classificações erradas.

11 Confiabilidade de classificação Corretos Errados Confusos Corretos (analítico) Errados (analítico) Número de tentativas Figura 49 - Validação da solução analítica para dois padrões, usando o método de Monte Carlo. De acordo com a implementação proposta, existe um número mínimo de tentativas N min (que, como demonstrado, quanto maior for, maior é a confiabilidade de uma classificação correta), bem como um número máximo de tentativas N max, de modo que o tempo de uma classificação possua um limite superior. A influência do número máximo de tentativas sobre a confiabilidade de classificação (mantendo-se o número mínimo de tentativas N min = 5) é avaliado no gráfico da Figura 50. Pela análise do gráfico, considerando as inclinações da curva de aumento de confiabilidade, pode-se observar que para N max = 15 a confiabilidade atinge um ponto aceitável de convergência. Outro parâmetro, também avaliado, corresponde à condição de ocorrência mínima em n tentativas para que se classifique um dos padrões. O valor adotado na formulação apresentada foi 0,5, ou seja, é preciso que um padrão seja classificado em pelo menos metade das tentativas. Mas outros fatores poderiam ser considerados. O gráfico da Figura 51 mostra a avaliação da diferença entre as classificações corretas e erradas de acordo com a variação da taxa mínima de ocorrência dos padrões no número de amostras. O gráfico possui as curvas para N min iguais a 2, 5 e 10. Pode-se então observar que uma

12 71 ocorrência mínima de 50% (taxa mínima igual a 0,5, como mencionado anteriormente) para classificação de um padrão apresenta uma diferença entre as classificações corretas e erradas próxima do valor máximo dentre todas as outras taxas, tanto para N min = 5 quanto para N min = 10. Portanto, a adoção do critério de 50% fica assim justificada. A etapa seguinte consistiu da avaliação da confiabilidade de classificação variando-se N min, dado um N max constante. É possível observar no gráfico da Figura 52 que, a partir de um mínimo de 5 tentativas, o aumento da confiabilidade de classificação do padrão correto é muito baixo até que, depois de N min = 10, essa confiabilidade começa a decair com o aumento de N min. Isso ocorre pois, com N min se aproximando de N max, a taxa de classificações confusas tende a aumentar. O caso que apresenta maior confiabilidade de classificações corretas, e com classificações erradas mais baixas, se dá para um N min = 10. Entretanto, o N min utilizado (N min = 5), resulta em pouca alteração no desempenho, e o tempo de classificação pode ser reduzido pela metade, como é demonstrado a seguir. 1 Confiabilidade para um mínimo de 5 tentativas Corretos Errados Confusos Número de tentativas máximo Figura 50 - Confiabilidade x Número de tentativas máximo N max (N min = 5).

13 72 Confiabilidade de classificação (Corretos-Errados) n-min =2 n-min =5 n-min = Condição de ocorrência mínima em 'n' tentativas Figura 51 - Análise da variação da condição de ocorrência para N max = Confiabilidade de classificação Corretos Errados Confusos Número mínimo de tentativas Figura 52 - Confiabilidade de classificação x Nmin para N max = 15.

14 73 O gráfico da Figura 53 mostra o número de tentativas médio que o algoritmo leva para convergir para uma resposta (seja ela correta, errada ou confusa) em função do número mínimo de tentativas. É possível observar que o número de tentativas que o algoritmo leva para fornecer uma resposta varia linearmente com N min, e se aproxima de uma reta x = y+0,5. Dessa forma, para um N min = 5, o algoritmo tende a convergir para uma solução, em média, na metade do tempo do que para N min = 10, uma vez que cada tentativa possui o mesmo tempo de duração (nos testes efetuados, 1 segundo por tentativa). 15 Número de tentativas médio para obtenção de resultado Número de tentativas mmínimo Figura 53 - Número de tentativas médio para obtenção de resultado x Nmin. Para um melhor estudo dos resultados, os histogramas da Figura 54 foram gerados, mostrand o número de classificações finais (corretas, erradas ou confusas) obtidas em cada tentativa, calculadas por simulações de Monte Carlo, que avaliou 10 4 eventos. Pode-se ver que, para N min = 5, aproximadamente 80% dos resultados das classificações foram obtidos na quinta tentativa, enquanto para N min = 10 mais de 90% das classificações foram obtidas na décima tentativa.

15 74 N ú m e r o d e c l a s s i f i c a ç õ e s o b t i d a s 9 x N ú m e r o d e c l a s s i f i c a ç õ e s o b t i d a s 10 x Número de tentativas Número de tentativas Figura 54 - Histograma das classificações obtidas pelo número de tentativas. Das simulações de Monte-Carlo que geraram o gráfico da Figura 52, podese extrair então a confiabilidade de ocorrência das classificações corretas, erradas e confusas (Tabela 5), para o caso utilizado nos experimentos com a interface (N min = 5), e para o caso de maior confiabilidade dos comandos corretos (N min = 10). Tabela 5 - Confiabilidade de classificação. N min Corretos Confusos Errados 5 91,83% 1,47% 6,7% 10 94,79% 4,09% 1,12% Após a avaliação do sistema para quatro comandos, foi decidido realizar um experimento para classificação entre três padrões. As redes neurais foram então treinadas para classificar apenas entre os padrões: Esquerda, Direita e Cima. Um banco de dados gerado pelo mesmo usuário dos demais experimentos foi utilizado para treinamento, validação e testes das redes neurais, resultando na matriz de confusão da Tabela 6.

16 75 Tabela 6 - Matriz de confusão para três padrões. UM RM LM UM RM LM Dessa forma, podem-se aproximar as probabilidades para: Acerto = 74%, q 1 = 16% e q 2 = 10%. Analisando o gráfico da Figura 55, pode-se observar que houve uma elevação acentuada da confiabilidade de se classificar o padrão correto entre apenas três (ao invés de quatro), chegando a 96,2% para N min = 5 e 98,6% para N min = 10. Assim, em aplicações envolvendo apenas 3 tipos de comando, é desejável implementar esta versão reduzida com apenas 3 padrões, devido ao aumento de confiabilidade Confiabilidade de classificação Corretos Errados Confusos Número de tentativas mínimo Figura 55 - Confiabilidade x Nmin para três padrões Experimentos com a Interface. Experimentos (Figura 56) foram realizados com um único usuário saudável, do sexo masculino com 24 anos de idade (o autor). Cada seção

17 76 experimental incluiu o protocolo de treinamento e utilização da interface. O usuário permaneceu sentado sozinho, confortavelmente em um ambiente silencioso, olhando fixamente para o manipulador. As seções foram limitadas a um período de duas horas, já incluso o período de treinamento, e não se repetiam em período inferior a três dias. Figura 56 - Experimento com a interface para controle do manipulador. Os experimentos consistiram em executar 100 vezes cada movimento do manipulador (totalizando 400 comandos), divididos em dez seções de 10 movimentos consecutivos para cada comando. Entre as seções, o usuário foi solicitado a repousar por não mais do que cinco minutos. No total, dois experimentos foram feitos (400 comandos cada), cada um utilizando um dos métodos de classificação descritos anteriormente (disparo e estatístico). Cada classificação levou em média 5 tentativas (5 segundos) para ser concluída. Os resultados do controle do manipulador robótico para as implementações por disparo e estatística encontram-se na Tabela 7. Tabela 7 - Resultados da aplicação da BMI ao manipulador robótico. Controle MA2000 Comandos Corretos Comandos Confusos Comandos Errados Implementação de Disparo 82,75% 9,75% 7,5% Implementação Estatística 84,25% 5,75% 10,0%

18 77 Para fins comparativos, o sistema foi rapidamente adaptado para controlar um robô móvel de 55Kg (Figura 57), com locomoção diferencial, que possui sistema de locomoção e potência semelhantes aos de uma cadeira de rodas elétrica [66]. O robô em questão já se encontrava disponível no Laboratório de Robótica da PUC-Rio, e já estava configurado para ser operado por rádio frequência. Dessa forma, nenhum desenvolvimento adicional foi necessário. Figura 57 - Experimento com o robô móvel: 1- Eletrodos; 2- Computador; 3- EEG; 4-PCTx Link; 5-Transmissor RF; 6-Robô móvel. O controle do robô foi feito pelo mapeamento das atividades mentais (Figura 58) da seguinte maneira: o movimento imaginário da língua move o robô meio metro para frente; os movimentos imaginários dos braços esquerdo e direito fazem o robô girar 30 graus à esquerda e 30 graus à direita, respectivamente; e a imaginação dos movimentos dos pés faz com que o robô permaneça parado.

19 78 Figura 58 - Correspondência das atividades mentais: robô móvel. A mesma metodologia experimental utilizada na avaliação do controle do manipulador robótico foi também utilizada, e os resultados podem ser vistos na Tabela 8. Tabela 8 - Resultados da aplicação a um robô móvel. Controle Robô Móvel Comandos Corretos Comandos Confusos Comandos Errados Implementação de Disparo Implementação Estatística 88.75% 4.5% 6.75% 91.0% 1.25% 7.75% Os resultados obtidos na aplicação com o robô móvel são superiores aos obtidos no controle do manipulador robótico. Isso se deve, provavelmente, ao ambiente em que foram realizados os experimentos, e ao treinamento das redes neurais, que podem ter resultado num melhor classificador para o caso do robô. O ambiente em que se encontrava o robô móvel apresentava condições mais favoráveis ao uso da interface, como silêncio, iluminação e conforto, do que o local onde se encontrava o manipulador robótico. Os fatores ambientais impactam diretamente na concentração do usuário e alteram, mesmo que subconscientemente, alguns sinais EEG relacionados ao estresse emocional e à fadiga física. Foi possível observar, através dos resultados, que em ambas as aplicações a implementação do classificador estatístico resultou em um melhor índice de classificações corretas. Isso pode ter ocorrido devido ao método de estimativa dos graus atribuídos aos grupos na classificação baseada em MRM.

20 79 Apesar de possuírem boa generalização, as redes neurais envolvidas podem não alterar proporcionalmente as suas saídas (pertence ou não pertence ao grupo), de acordo com nível de concentração do usuário no momento em que se gera um novo padrão. Isso poderia acarretar então numa discrepância no somatório das saídas em várias classificações. Entretanto, a implementação por disparo possui grande potencial para futuros estudos na combinação (linear ou não) de comandos, na medida em que a semelhança de determinados padrões a dois grupos distintos pode ser avaliada e propagada ao longo das tentativas. Outra maneira de classificação combinada poderia ser obtida com o usuário se concentrando durante alguns segundos num comando, e alguns segundos em outro comando, resultando num alto somatório de graus para dois padrões ao longo das tentativas. Os resultados obtidos com os experimentos utilizando a interface são compatíveis com os previstos pelas simulações de Monte Carlo.