INTEGRADOR NEURAL APLICADO NA DINÂMICA DO PÊNDULO DE WILBERFORCE

Transcrição

1 Anais do 12 O Encontro de Iniciação Científica e Pós-Graduação do ITA XII ENCITA / 2006 Instituto Tecnológico de Aeronáutica, São José dos Campos, SP, Brasil, Outubro, 16 a 19, 2006 INTEGRADOR NEURAL APLICADO NA DINÂMICA DO PÊNDULO DE WILBERFORCE João Carlos Silva Nobre Divisão de Ciência da Computação Instituto Tecnológico da Aeronáutica - ITA, Pç. Marechal Eduardo Gomes, 50 Vila das Acácias CEP São José dos Campos SP Brasil jcnobre@ita.br Paulo Marcelo Tasinaffo Divisão de Ciência da Computação Instituto Tecnológico da Aeronáutica - ITA, Pç. Marechal Eduardo Gomes, 50 Vila das Acácias CEP São José dos Campos SP Brasil tasinafo@ita.br Resumo. Este artigo mostra ser possível a combinação das redes neurais feedforward com a estrutura de algoritmos de integração numérica de alta ordem, tipo Runge-Kutta ou Adams-Bashforth, para equações diferenciais ordinárias ODE, sendo a rede neural utilizada para aproximar a função de derivadas instantâneas visando modelar sistemas dinâmicos. Durante os treinamentos, utilizou-se a dinâmica do Pêndulo de Wilberforce na aplicação da rede feedforward com integrador numérico como forma de validar tal combinação. A adoção de heurísticas para se determinar a quantidade de neurônios e número de padrões de treinamento mostrou-se necessária, com o intuito de minimizar o tempo de treinamento da rede. Por meio da aplicação de heurísticas, foram observados benefícios à realização de treinamento da rede neural. Palavras chave: Pêndulo de Wilberforce, Integrador Numéricos, Rede Feedforward, Redes Neurais Artificiais. 1.Introdução A possibilidade de aplicar Redes Neurais Artificiais (RNAs) a solução de controle de sistemas utilizando-se rede feedforward do tipo multi-camadas de perceptrons relaciona-se à capacidade em aproximar arbitrariamente bem uma função contínua. Esta aproximação possui qualquer precisão requerida maior que zero, por uma rede feedforward com somente uma simples camada interna, onde cada unidade neural na camada interna tem uma não-linearidade contínua sigmoidal (teorema fundamental das redes neurais), conforme Hornik et al.(1989) e Hunt et al. (1992). Por meio deste teorema justifica-se a viabilidade teórica da aplicação direta das redes neurais em problemas modernos e complexos de engenharia, embora na prática seja muito difícil definir e decidir pelos parâmetros básicos da arquitetura neural a ser treinada. Outra justificativa são os avanços extraordinários alcançados pela engenharia de hardware. A representação de sistemas dinâmicos por meio das redes neurais feedforward utilizando-se a metodologia que insere a rede feedforward dentro de uma estrutura de integrador numérico de equações diferenciais ordinárias, possibilitando que a rede neural necessite somente aprender a função de derivadas do sistema dinâmico autônomo (Wang e Lin, 1998; Rios Neto, 2001; Tasinaffo, 2003) será utilizada para treinar ou estimar uma rede neural feedforward para aprender a dinâmica de um sistema físico autônomo, com qualquer grau de precisão desejado, que, neste trabalho, será o Pêndulo de Wilberforce, o qual é um sistema dinâmico acoplado. 2.Rede Neural Uma rede neural artificial (RNA) é um sistema de processamento massivamente paralelo, composto por unidades simples com capacidade natural de armazenar conhecimento e disponibilizá-lo para uso futuro (Haykin, 2001). As RNAs assemelham-se ao cérebro em dois aspectos: elas extraem conhecimento do ambiente através de um processo de aprendizagem ou treinamento e os pesos das conexões entre os neurônios, conhecidos como pesos sinápticos, são utilizados para armazenar o conhecimento adquirido. Motivados pela habilidade apresentada pelos seres humanos no desempenho de funções como o processamento de informação sensorial, capacidade de interação com ambientes pouco definidos e o controle de sistemas, os cientistas estão preocupados em desenvolver sistemas artificiais capazes de desempenhar tarefas semelhantes, visando propiciar habilidades como capacidade de processamento de informação incompleta ou imprecisa e generalização, as quais são propriedades desejadas em tais sistemas.

2 2.1. Feedforward Multilayer Perceptrons Redes neurais artificiais têm sido aplicadas com sucesso nos mais diversos problemas (Dyminski, 2000; Freixinho, 1996; Piccoli, 1999; Unser, 1986). Embora existam inúmeras arquiteturas de redes neurais, a arquitetura Perceptron de Múltiplas Camadas (Multilayer Perceptron) é, sem dúvida, a mais frequentemente encontrada na literatura. Entre as razões para sua popularidade pode-se destacar sua flexibilidade para formar soluções de qualidade para uma ampla classe de problemas, a partir de um mesmo algoritmo de aprendizado. As Redes Neurais Perceptrons de Múltiplas Camadas (MLP) são arquiteturas nas quais os neurônios são organizados em duas ou mais camadas de processamento, já que sempre existirá uma camada de entrada e uma de saída. As redes com apenas duas camadas, uma de entrada e outra de saída, apresentam limitações importantes e podem ser aplicadas com sucesso a uma classe restrita de problemas (Swingler, 1996). No entanto, com a utilização da MLP com mais de duas camadas, com pelo menos uma escondida, muitas das limitações apresentadas pelo perceptrons foram solucionadas (Haykin, 2001). A Figura 1 exemplifica uma rede neural com uma camada escondida. Esta arquitetura é geralmente referida como 3-4-1, ou seja, 3 neurônios de entrada, 4 neurônios escondidos e 1 neurônio de saída. Para generalizar, é possível se afirmar que uma rede com p entradas, h 1 neurônios na primeira camada escondida, h 2 na segunda camada escondida e q neurônios na camada de saída é descrita por p-h1-h2-q. Figura 1. Modelo de uma rede MLP (3-4-1) Algoritmo de treinamento A mais importante propriedade de uma rede neural é sua capacidade de aprendizado. Uma rede aprende por meio de um processo iterativo de ajustes aplicados aos seus pesos sinápticos e limiares. O processo de aprendizagem de uma rede neural implica a observação da seguinte seqüência de eventos (Hassoun, 1995): 1. A rede é estimulada pelo ambiente de informação; 2. A estrutura da rede é alterada como resultado do estímulo; 3. Em virtude das alterações que ocorreram em sua estrutura interna, a rede tem modificada sua resposta aos estímulos do ambiente. Um tipo particular de aprendizagem que será utilizado neste projeto é o supervisionado, caracterizado pela presença de um professor externo. A função do professor durante o processo é suprir a rede neural com uma resposta desejada a um determinado estímulo. Dentre os modelos superviosionados, deu-se maior aplicação ao algoritmo de aprendizagem por retro-propagação (backpropagation), o qual baseia-se na regra de aprendizagem por correção de erros. O algoritmo utiliza pares de entradas e saídas desejadas e, por meio de um mecanismo para correção dos erros, ajusta os pesos da rede. Para a minimização do erro obtido pela rede e o ajuste dos pesos, o algoritmo utiliza a regra de delta generalizada, com aplicação do gradiente (Haykin, 2001; Bishop, 1999; Ripley, 1996). Durante o treinamento com o algoritmo de retro-propagação, a rede opera em uma seqüência de dois passos. Primeiro, um padrão é apresentado à camada de entrada da rede. A atividade resultante flui através da rede, camada por camada (feedforward), até que a resposta seja produzida pela camada de saída. No segundo passo, a saída obtida é comparada à saída desejada para esse padrão particular. Se esta não estiver correta, o erro é calculado. O erro propagase a partir da camada de saída até a camada de entrada, e os pesos das conexões das unidades das camadas internas vão sendo modificados conforme se retro-propagado o erro (feedbackward). Os passos abaixo resumem o algoritmo de aprendizagem por retro-propagação: 1. Ajustar os pesos dos elementos de processamento com pequenos valores aleatórios. 2. Apresentar as entradas, um vetor x 0, x 1,..., x N de medidas, e especificar um vetor d 1, d 2,..., d N de saída desejado.

3 m 3. Calcular as saídas reais da rede, y 1, y 2,..., y N, definida pela equação: yk = f x jk ( p) wjk ( p) θ k, onde j = 1 f é a função de ativação, x é o vetor de entrada, w é o vetor peso e θ é o bias. 4. Reajustar os pesos. Usar um algoritmo recursivo começando pelos elementos de processamento de saída, trabalhando para trás no sentido da primeira camada. Os pesos são ajustados através da equação w ij(t + 1) = w ij(t) + η δ jx i, onde w ij é o peso do elemento de processamento oculto j no tempo t; x i pode ser tanto um elemento de processamento de saída quanto um de entrada; η denota um termo de ganho (velocidade da aprendizagem); e δ j é um termo de erro para o elemento de processamento j. Se j for um elemento de saída, então δ j = y j(1 y j)(d j y j), onde d j denota a saída desejada e y j é a saída real da rede; se o elemento j for um elemento oculto, então x j (1 x j ) δ kwjk, onde k denota todos os elementos acima dos elementos j. Os limiares delta dos elementos internos são ajustados de forma semelhante. A convergência algumas vezes pode ser mais rápida se um termo de momento for adicionado e os pesos alterados de forma mais suave, pela equação: w ij(t + 1) = w ij(t) + ηδ jx i + α (w ij(t) w ij(t 1)), onde 0 < α < Repetir retornando para o passo 2. Uma demonstração mais detalhada do algoritmo de retro-propagação pode ser vista em Tasinaffo e Rios Neto (2003), Bishop (1999) e Ripley (1996). A regra delta generalizada funciona quando são utilizadas, na rede, unidades com uma função de ativação semilinear, que é uma função diferenciável e não decrescente. Uma função de ativação amplamente utilizada, nestes casos, é a função sigmóide. Duas funções sigmóides muito utilizadas são a função logística, definida por x 1 1 e y = x 1 e +, e a tangente hiperbólica, definida por y = x (Bishop, 1999). 1+ e A taxa de aprendizagem influencia, essencialmente, a magnitude das mudanças dos pesos, desempenhando papel fundamental no desempenho do aprendizado. Uma taxa de aprendizado pequena implica pequenas variações, tornando o treinamento lento e aumentando as chances de paradas em mínimos locais; altas taxas de aprendizado, no entanto, podem levar a MLP à saturação, ou mesmo à oscilação, comprometendo todo o processo de aprendizado. Esta taxa de aprendizagem é introduzida na rede com o objetivo de permitir maior rapidez na convergência ao erro desejado, enquanto o erro estiver diminuindo e, ao mesmo tempo, evita que a rede venha a oscilar, diminuindo a taxa de aprendizagem quando o erro tende a aumentar. O treinamento das redes MLP com retro-propagação pode demandar muitos passos no conjunto de treinamento, resultando num tempo de treinamento consideravelmente longo. Se for encontrado um mínimo local, o erro para o conjunto de treinamento pára de diminuir e estaciona em um valor maior que o aceitável. Uma maneira de aumentar a taxa de aprendizagem sem acarretar oscilação é modificar a regra delta generalizada para incluir o termo momento, uma constante que determina o efeito das mudanças passadas dos pesos na direção atual do movimento no espaço de pesos (Haykin, 2001; Tafner et al., 1996). Desta forma, o termo momento leva em consideração o efeito de mudanças anteriores de pesos na direção do movimento atual no espaço de pesos. O termo momento torna-se útil em espaços de erro que contenham longas gargantas com curvas acentuadas, ou vales com descidas suaves. 3.Estruturas de Integradores Numéricos e Modelagem A utilização de integradores numéricos de sistemas de equações diferenciais ordinárias em esquemas de controle, o qual utiliza um modelo de rede neural interno discreto para frente, é apresentado em Tasinaffo (2003) e Rios Neto (2001). A obtenção de um modelo de rede neural com arquitetura feedforward que necessite somente aprender a função de derivadas do modelo original representado por sistemas de equações diferenciais ordinárias, inicialmente, proposto também por Rios Neto (2001) teve a estrutura interna dos algoritmos aproveitados por Tasinaffo (2003) para o uso de derivadas médias. Adaptou-se a referida estrutura interna dos algoritmos de integração numérica para obtenção de um modelo de rede neural com arquitetura feedforward que necessite somente aprender a função de derivadas do modelo original representado por sistemas de equações diferenciais ordinárias. Considerando um sistema dinâmico e supondo que o modelo matemático obtido por meio de um conjunto de equações diferenciais ordinárias (Ordinary Differential Equations ODE), tem-se: x& = f ( x, u) (1) Onde x R n é o vetor de estado; x R m é o vetor de controle; f(x,u) é a função de derivadas do sistema. Considera-se um integrador numérico para obter uma aproximação discreta do sistema da Eq. (1): x( t + t) f ( x( t), x( t t),..., x( t n t); u( t),..., u( t n t); t) (2) n 0 0 k

4 onde f ( x( t), x( t t),..., x( t n t); u( t),..., u( t n t); t) é uma função que resulta a partir da avaliação da n 0 0 função de derivada da Eq. (1) no algoritmo do integrador numérico; n o relaciona-se a ordem de aproximação. Se n o é igual a zero tem-se os integradores de passo simples, por exemplo, os integradores de Euler ou de Runge- Kutta. Se n o for maior que zero tem-se os integradores de múltiplos passos ou de diferenças finitas, como por exemplo, os integradores de Adams-Bashforth; e t como tamanho do passo, o qual é assumido suficientemente pequeno para assegurar que u(t) seja constante ao longo do intervalo de discretização. O integrador numérico na Eq. (2) pode ser utilizado recursivamente como um aproximador discreto do modelo do sistema dinâmico da Eq. (1) de um esquema de controle de modelo interno, sendo que o erro em cada passo pode ser controlado pela variação do tamanho do passo e/ou pela ordem do integrador numérico (Tasinaffo e Rios Neto, 2003). Na Equação (1) do sistema dinâmico, a função de derivada no modelo matemático da ODE é uma função algébrica que pode ser aproximada pela rede neural feedforward: x& = f ( x, u) fˆ ( x, u, wˆ ) (3) Onde fˆ ( x, u, w ˆ) representa a rede neural treinada; e ŵ o peso de aprendizagem da rede neural. Considerando esta aproximação neural da função de derivada na estrutura da ODE do integrador numérico para obter a aproximação discreta do sistema da Eq. (1): x( t + t) fˆ ( x( t), x( t t),..., x( t n t); u( t),..., u( t n t); t; wˆ ) (4) n 0 0 O integrador numérico neural da Eq. (4) é uma aproximação do integrador numérico da ODE da Eq. (2) e ambos um modelo de controle preditivo discreto do sistema dinâmico da Eq. (1), o qual pode ser usado como um modelo interno no esquema de controle. 4.Desenvolvimento Nesta seção, serão apresentados o treinamento e simulação do sistema dinâmico representado pelo Pêndulo de Wilberforce, bem como os resultados obtidos durante a simulação. Para representação da dinâmica deste sistema pela rede neural, será adotado o método das derivadas instantâneas (Rios Neto, 2001; Tasinaffo, 2003) Pêndulo de Wilberforce O pêndulo de Wilberforce, conforme ilustrado na Fig. 2, consiste num objeto, ligado a uma mola vertical, que pode oscilar na vertical, ou rodar no plano horizontal, o qual é equivalente a um pêndulo de torção preso à extremidade de uma mola, formando um sistema massa-mola com momento de inércia variável. A energia potencial adquirida pela massa (se girada e depois solta) se transforma em energia cinética tanto rotacional quanto translacional. Quando o pêndulo está subindo e descendo com amplitude máxima (energia cinética translacional máxima) observa-se que a massa para de girar (energia cinética rotacional mínima) e vice-versa, se a energia translacional é mínima, a rotacional é máxima. Figura 2 Pêndulo de Wilberforce.

5 Para além da energia cinética de translação, existe energia cinética de rotação, que depende do momento angular, L, e do momento de inércia, I. A energia elástica de torsão é proporcional ao quadrado do ângulo de rotação: 2 2 p L k 2 a 2 b H = + + z + θ + zθ (5) 2m 2I O termo de acoplamento é devido à relação que existe entre o alongamento e a torsão da mola. Por cada par deslocamento-momento, existem duas equações de movimento (Villate, 2006): H H z& = θ& = p L H H p& = L& = z θ O sistema obtido é: p z& = m L θ& = I b p& kz θ = 2 b L& = aθ z 2 (6) Estudos efetuados sumarizam os cálculos, permitindo o entendimento e a dedução do conjunto de Eq. (6) utilizado para determinação e verificação experimental das modalidades normal e coordenada normal para um pêndulo de wilberforce disponível comercialmente (Berg et al., 1991) Treinamento Para o problema de transformação de energia descrito acima, e como ilustra a Figura 2, apresentam-se como variáveis de estado deste problema: a amplitude de deslocamento da mola z, deslocamento angular θ, momento linear p e momento angular L. As equações de estado (Villate, 2006) da dinâmica da transformação de energia do Pêndulo de Wilberforce são apresentadas no Sistema de Equações (6). As constantes deste problema são: massa, m, igual a 0.5 Kg, momento de inércia, I, igual a Kgm², constante da mola, k, igual a 5, constante de torsão, a, igual a e termo de acoplamento, b, igual a A tabela 1 apresenta os valores mínimos e máximos das variáveis de estado do problema. Tabela 1 - Domínio das Variáveis de Estado utilizadas no treinamento neural da função. Variáveis Valor Mínimo Valor Máximo z -1 1 θ p L Quanto à arquitetura e o desempenho da rede neural utilizada para obter os resultados numéricos da simulação, os dados mais significativos são: rede com 4 entradas (4 variáveis de estados), há somente uma camada interna com 40 neurônios tansig ( λ = 2 ), rede com 4 saídas (funções de derivadas instantâneas), as camadas de entrada e interna possuem cada uma um neurônio extra de viés com entrada sempre constante e igual a 1, durante treinamento neural foram utilizados 800 vetores de entrada/saída, e 200 vetores de entrada/saída durante os testes, com tempo 2471 segundos para realização das 10 mil primeiras iterações. Ao final do treinamento, com 60 mil iterações, as Médias dos Erros Quadráticos (MEQ) de treinamento e teste alcançados foram respectivamente 2, e 2,

6 O treinamento foi várias vezes iniciado na tentativa de determinar os melhores valores para quantidade de neurônios, número de padrões de treinamento e teste, com vista a se obter a menor Média dos erros quadráticos. Ressalta-se que a finalização de cada treinamento ocorreu em razão do número máximo de iterações, inicialmente estabelecido em 10 mil, e que não se observou divergência entre a MEQ de teste e treinamento. A Tabela 2 resume alguns dados de entrada e saída dos treinamentos executados inicialmente. Tabela 2 Resumo dos dados de treinamentos executados. Vetores Entrada/Saída Número de Neurônios Tempo Gasto (segundos) MEQ Teste MEQ Treinamento , , , , , , , , , , , , , , , , , , , , , , , , Simulação A Figura 3 apresenta o resultado da simulação da dinâmica do Pêndulo de Wilberforce. A curva contínua foi obtida a partir da solução numérica com o integrador de Range-Kutta de 4ª ordem aplicado à função de derivada original, ou seja, conjunto de equações (6), validando a solução modelada. Os círculos e os triângulos representam a solução neural obtida, respectivamente, com o integrador neural Range- Kutta e integrador neural Adams-Bashforth, ambos de 4ª ordem, com o tamanho do passo de.001 unidades e reinicializado a cada 250 propagações, o que permiti corrigir possíveis desvios. A média das normas das diferenças entre os valores originais e neurais da Figura 3 é de 8, Figura 3 Resultado da Simulação da modelagem da dinâmica do Pêndulo de Wilberforce.

7 5.Conclusões A utilização de integrador numérico em conjunto com redes neurais para representar sistema dinâmico se mostrou factível, visto que a rede neural desempenha o papel da função de derivadas do sistema dinâmico, simplificando a fase computacional de treinamento neural. Quanto à estrutura da rede neural, é mais simples em termos do número necessário das camadas e do número dos neurônios, pois aprenderá somente as funções derivativas do sistema dinâmico; Durante a fase de treinamento para aprendizagem do sistema dinâmico do Pêndulo de Wilberforce foi necessária a adoção de várias heurísticas para minimizar o esforço de treinamento, as quais propiciaram um treinamento eficaz da dinâmica do pêndulo. Deve-se dosar o número de neurônios e a quantidade de padrões de treinamento e teste, as quais estão ligadas à complexidade do sistema dinâmico e à quantidade de variáveis de estado e de controle. No caso de serem utilizadas 4 variáveis de estado, o número inicial de neurônios seria 40 e o de padrões de treinamento e teste, Definida essa situação inicial, os estudos incipientes mostraram ser necessário um número mínimo de interações a fim de se alcançar o EQM desejado. No caso do sistema dinâmico do pêndulo, apenas a incrementação do número de iterações possibilitou se alcançar o erro desejado. 6.Referências Berg, Richard E.. Marshall, Todd S.., 1991, Wilberforce pendulum oscillations and normal modes. American Journal of Physics. Volume 59, Issue (1), pp Bishop, C. M.., 1999, Neural Networks for Pattern Recognition. Oxford University Press, New York. Dyminski, A. S.., 2000, Análise de Problemas Geotécnicos através de Redes Neurais. Rio de Janeiro: Pontifícia Universidade Católica do Rio de Janeiro. Tese. Freixinho, M. A. P.., 1996, Reconhecimento de dígitos manuscritos por redes neurais. Rio de Janeiro: Pontifícia Universidade Católica do Rio de Janeiro. Tese. Hassoun, M. H.., 1995, Fundamentals of Artificial Neural Networks. MIT Press, Cambridge, MA, USA. Haykin, S., 2001, Redes Neurais: Princípios e Prática. 2.ª edição, Porto Alegre: Bookman. Hornik, K.; Stinchcombe, M.; White, H., 1989, Multilayer feedforward networks are universal approximators. Neural Networks, v. 2, n. 5, p Hunt, K. J.; Sbarbaro, D.; Zbikowski, R.; Gawthrop, P. J., 1992, Neural networks for control systems A survey. Automatica, v. 28, n. 6, p Piccoli, L.., 1999, Segmentação e classificação de imagens ecocardiográficas utilizando redes neurais. Porto Alegre: Universidade Federal do Rio Grande do Sul. Dissertação. Rios Neto, Altair., 2001, Dynamic systems numerical integrators in neural control schemes. In: Congresso Brasileiro de Redes Neurais, 5., 2001, Rio de Janeiro, RJ, Brasil. Anais. Rio de Janeiro: Conselho Nacional de Redes Neurais, 2001, p CD-ROM. Ripley, B. D.., 1996, Pattern Recognition and Neural Networks. Cambridge University Press, United Kigndom. Swingler, K.., 1996, Applying Neural Networks : a Practical Guide. Academic Press, London. Tafner, M. A.; Xerez, M. ; Filho, E. R.., 1996, Redes Neurais Artificiais : Introdução e Princípios de Neurocomputação. Editora FURB, Blumenau. Tasinaffo, Paulo Marcelo. Rios Neto, Altair., 2003, Feedforward Neural Networks Combined with a Numerical Integrator Structure for Dynamic Systems Modeling. In: 17 th International Congress of Mechanical Engineering (COBEM, 2003). São Paulo. Tasinaffo, Paulo Marcelo., 2003, Estruturas de Integração Neural Feedforward Testadas em Problemas de Controle Preditivo. São José dos Campos: INPE, p.- (INPE TDI/945). Tese. Unser, M.., 1986, Sum and difference histograms for texture classification. IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-8(1): Villate, Jaime E.., 2006, Introdução aos sistemas dinâmicos: uma abordagem prática com Máxima. Creative Commons, Califórnia. Wang, Y.-J.; Lin, C.-T., 1998, Runge-Kutta neural network for identification of dynamical systems in high accuracy. IEEE Transactions On Neural Networks, v. 9, n. 2, p , Mar/1998.