PREVISÃO DE SÉRIES DE VAZÕES COM REDES NEURAIS DE ESTADOS DE ECO

0th Brazilian Congress on Coputational Intelligence (CBIC 0), oveber 8 to, 0, Fortaleza, Ceará Brazil PREVISÃO DE SÉRIES DE VAZÕES COM REDES EURAIS DE ESADOS DE ECO Hugo Valadares Siqueira a, Levy Boccato b, Rois Attux b, Christiano Lyra Filho a a Departaento de Engenharia de Sisteas (DESIS), Faculdade de Engenharia Elétrica e de Coputação (FEEC), Universidade Estadual de Capinas UICAMP hugo@densis.fee.unicap.br, chrlyra@densis.fee.unicap.br b Departaento de Engenharia da Coputação e Autoação Industrial (DCA), Faculdade de Engenharia Elétrica e de Coputação FEEC, Universidade Estadual de Capinas UICAMP lboccato@dca.fee.unicap.br, attux@dca.fee.unicap.br Resuo As redes neurais co estados de eco são alternativas proissoras e aplicações coo previsão de séries teporais pelo fato de sere redes recorrentes dotadas de u étodo de treinaento siples e eficiente coputacionalente, baseado essencialente nua etodologia de regressão linear. O caráter recorrente advé da existência de u reservatório de dinâicas da rede o qual é alientado pelo histórico de aostras de entrada, enquanto a caada de saída corresponde a u cobinador linear ajustável. Recenteente, Boccato et al. [] propusera ua nova arquitetura para essa classe de redes, na qual se introduz o uso de u processo de copressão baseado e análise de coponentes principais (PCA) aliado ao eprego de ua caada de saída estruturada coo u filtro de Volterra. Vale frisar que essa proposta não coproete a siplicidade do processo de treinaento, ua vez que o filtro de Volterra é linear nos parâetros [6]. Este trabalho faz u estudo coparativo, no contexto da previsão da série de vazões édias ensais do posto de FURAS e dois períodos distintos, das arquiteturas de redes neurais de estado de eco ais solidaente estabelecidas - as propostas por Jaeger [6] e por Ozturk et al. [8] - e aquela decorrente da proposta de Boccato et al []. Os resultados ostra que as redes neurais de estados de eco são ua opção uito efetiva no âbito de séries de vazões e, e particular, revela que a nova arquitetura é capaz de trazer ganhos de desepenho relevantes. Palavras Chaves Redes neurais de estados de eco, previsão de séries de vazões, filtros de Volterra, PCA Introdução Redes neurais artificiais são uito utilizadas na previsão de séries teporais tanto na fora de arquiteturas feedforward quanto de arquiteturas recorrentes, as quais se caracteriza pela existência de laços de realientação [5]. Ua vez que, no contexto do problea de previsão, é crucial explorar a relação teporal entre as aostras da série, a existência desses laços pode suscitar u eleento de eória capaz de trazer ganhos significativos de desepenho. Entretanto, o treinaento de redes recorrentes clássicas (Rs, do inglês recurrent neural networks) é bastante coplexo, envolvendo aspectos coo estabilidade, dificuldade de estiação das derivadas da função custo e risco de convergência local. Ua possibilidade de estabelecer ua solução de coproisso para o treinaento das redes recorrentes foi proposta por Jaeger [7], que estabelece ua arquitetura caracterizada pela existência de u reservatório de dinâicas co parâetros fixos o qual funciona coo ua espécie de caada interediária recorrente e ua caada de saída linear que é ajustada de aneira supervisionada. A essa proposta deu-se o noe de rede neural co estados de eco (ESs, do inglês echo state networks). Estabelecido o novo paradiga, que terinou por contribuir para o estabeleciento do rao ais aplo de coputação por reservatórios [7], fora surgindo novas estratégias de projeto, dentre as quais destacaos a de Ozturk et al. [9], que explorou o princípio de Kautz de projeto de sisteas lineares para obter, na saída do reservatório, u repertório de dinâicas ais diversificado, no sentido da entropia édia. Mais recenteente, Boccato et al. [] propusera ua nova abordage para projeto da caada de saída de ua ES, co o intuito de explorar o seu potencial não-linear no apeaento entrada-saída. Esta proposta anté a siplicidade no treinaento da rede, ua vez que a caada de saída é forada por u filtro de Volterra, que é linear co respeito aos parâetros livres, as te a vantage de vincular a etapa de treinaento supervisionado a u estágio não-linear da rede. Ua vez que a estrutura de Volterra pode levar a u auento significativo no núero de parâetros a sere ajustados de acordo co a diensão do reservatório de dinâicas, os autores lançara ão de u estágio de copressão baseado na estratégia de Análise de Coponentes Principais (PCA). Isto perite a redução do núero de estados de eco efetivaente utilizados, por eio da retirada de redundância, se, idealente, perda significativa de inforação. Vale ressaltar que a proposta é aplicável a reservatórios projetados segundo qualquer estratégia. As características das ESs as qualifica coo estratégias potencialente atraentes para lidar co o problea de previsão de séries de vazões édias ensais, problea este que é de grande iportância para países coo o Brasil, que gera energia elétrica, e sua aior parte, por eio de usinas hidrelétricas. Isso foi percebido por Sacchi et al. [0], que, de aneira pioneira, fizera uso de ESs no âbito do referido problea. Este trabalho faz ua coparação entre arquiteturas de ES s,

0th Brazilian Congress on Coputational Intelligence (CBIC 0), oveber 8 to, 0, Fortaleza, Ceará Brazil trazendo duas inovações principais: ) o estudo do desepenho da arquitetura clássica co a etodologia de projeto de reservatório de Ozturk et al. [9] e ) o uso da nova arquitetura de Boccato et al., que apresentou bons resultados e outras tarefas de processaento de sinais []. Os cenários de estudos serão construídos a partir das séries de vazões édias ensais do posto de FURAS, e dois períodos distintos. O trabalho está organizado da seguinte fora: a Seção apresenta as redes neurais de estados de eco segundo as abordagens clássicas de Jaeger e Ozturk et al.; a Seção 3 aborda as novas perspectivas apresentadas por Boccato et al., co uso de filtros de Volterra e PCA; os resultados experientais são ostrados na Seção 4. A seção 5 apresenta as principais conclusões e discute perspectivas de desdobraentos do trabalho. Redes eurais de Estado de Eco As redes neurais recorrentes constitue ua iportante classe de ferraentas dentro da neurocoputação devido ao grande potencial que possue para lidar co probleas de natureza dinâica e teporal, ua vez que são estruturas dotadas de laços de realientação, os quais contribue para a foração de ua eória interna capaz de, e uitos casos, oferecer valioso auxílio no trataento de séries teporais. Entretanto, as dificuldades associadas ao seu treinaento segundo abordagens clássicas, tais coo a aeaça de instabilidade nu processo de adaptação online, a coplexidade do processo de estiação de derivadas e o risco de convergência local [4], otivara a proposta, por parte de Jaeger [7], das chaadas redes neurais co estados de eco, descritas a seguir. saídas: Ua ES genérica é apresentada na figura, a qual possui M entradas, neurônios na caada interediária e L Figura Rede de Estado de Eco Define-se as seguintes variáveis: i- u( vetor de entradas da rede, de diensão M; ii- x( vetor de estados de eco, de diensão ; iii- iv- y( saída da rede; d( saída desejada; v- L núero de neurônios na caada de saída; vi- vii- viii- W in atriz de pesos da caada de entrada, de diensão xm; W atriz de recorrências da caada interediária de diensão x; W out atriz dos pesos da caada de saída de diensão Lx. O vetor de entrada da rede u ( = [ u(, u(n ),...], corresponde à ativação das entradas, transitida para os neurônios por ua cobinação linear. A atriz W in conté os coeficientes dessa cobinação. A caada interediária é denoinada reservatório de dinâicas e é coposta por neurônios não-lineares totalente interconectados por eio de laços de realientação. O vetor x(, de estados de eco, é coposto das variáveis de estado dessa rede, sendo dinaicaente atualizado coo a seguir:

0th Brazilian Congress on Coputational Intelligence (CBIC 0), oveber 8 to, 0, Fortaleza, Ceará Brazil in x (n + ) = f( W u(n + ) + Wx() () onde f (.) = ( f (.), f (.),... f (.)) reúne as funções de ativação de todos os neurônios do reservatório. A saída da rede, ou seja, o vetor y( = (y (, y (,...y (), é atualizado de acordo co a seguinte expressão: out out y (n + ) = f ( W x(n + )) () out out out out onde f (.) = ( f (.), f (.),... f L (.)) reúne as funções de ativação dos neurônios da caada de saída. Jaeger observou que nessas redes, sob certas circunstâncias, os estados x( torna-se assintoticaente independentes da condição inicial. Ou seja, a partir de duas condições iniciais distintas x (0) e x (0), sob a égide do eso sinal de entrada, há convergência para valores próxios. Dessa fora, apenas o efeito do histórico de entradas é considerado e longo prazo pelo reservatório dinâico, e, assi, a rede possui estados de eco. Alé disso, Jaeger deonstrou que a existência de estados de eco guarda estreita relação co propriedades da atriz de pesos do reservatório. Mais especificaente, no caso de ua rede se realientações da saída para a entrada, co não-linearidades do tipo tangente hiperbólica, e aditindo entrada nula, garante-se a existência de estados de eco se o aior valor singular da atriz W estiver dentro do círculo de raio unitário. Outra característica desejada para o reservatório é que ele seja capaz de gerar u repertório dinâico tão rico quanto possível a fi de que haja ua boa aproxiação do sinal desejado, o que significa que o ajuste dos pesos da atriz W tabé deve considerar este aspecto. a abordage de Jaeger, estes pesos são definidos segundo a geração de valores aleatórios de acordo co distribuições definidas a priori, enquanto na abordage de Ozturk et al., seus valores surge de etodologias de posicionaento dos autovalores de W inspiradas e forulações de sisteas dinâicos. E abos os casos, o processo de treinaento da rede coo u todo obedece à seguinte seqüência [7]: - crie ua atriz W co raio espectral enor ou igual a ; - defina arbitrariaente os pesos da atriz de entrada W in, antendo as regras descritas e [7] que garante a validade da propriedade de estados de eco; 3- ajuste o cobinador linear da caada de saída usando a etodologia de ínios quadrados ou algoritos iterativos, coo o LMS e o RLS [4]. Ebora seja possível, neste trabalho não serão abordadas arquiteturas co realientação da resposta de saída da rede. A próxia seção discute a extensão das abordagens de Jaeger e Ozturk et al. proposta por Boccato et al. []. 3 Redes eurais de Estado de Eco co Filtro de Volterra e PCA As ESs tê coo principal característica o coproisso entre desepenho e siplicidade de atualização de pesos. E outras palavras, trata-se de u tipo de rede que busca, e algua edida, aliar o poder de processaento de ua estrutura recorrente à siplicidade de treinaento de ua estrutura feedforward. U fator decisivo para que esse coproisso seja efetivo é o projeto do reservatório, as há outras possibilidades, entre elas a introduzida por Boccato et al. []: a inserção de eleentos não-lineares na caada de saída, se que esta perca a propriedade de ser linear co respeito aos parâetros livres, o que perite, de fora direta, o uso de etodologias clássicas de ínios quadrados para o seu treinaento. A opção para gerar o sinal de saída da rede, nesse caso, foi pela utilização de u filtro de Volterra [5], caracterizado por ua cobinação linear de teros polinoiais: y( = h + 0 3 = 0 = 0 = 0 3 + = 0 h ( ) x h (,, + 3 ) x = 0 = 0 x h (, x 3,) x +... x ) (3) na qual x (n ) representa o k-ésio estado de eco no instante n, e y( a saída da rede. Observe que os coeficientes h i () estão linearente relacionados co a saída, coo desejado. Apesar disto, surge u novo problea que precisa ser contornado: co o auento do núero de estados de eco, a 3

0th Brazilian Congress on Coputational Intelligence (CBIC 0), oveber 8 to, 0, Fortaleza, Ceará Brazil quantidade de coeficientes hi () tende a crescer rapidaente, o que pode nua aplicação prática dificultar o uso desta ferraenta. Por conta disso, faz-se uso de ua técnica de copressão bastante conhecida, a análise de coponentes principais [5], co o intuito de reduzir a quantidade de sinais efetivaente transitidos à caada de saída, o que, tendo e vista a redundância entre os estados de eco apontada, por exeplo, e [8], não deve coproeter significativaente o potencial de desepenho da rede. Seja x, de diensão x s, a atriz que conté os valores dos estados de eco da rede considerando s padrões de entrada. Aditindo que a édia do vetor de estados de eco para cada aostra de entrada tenha sido ajustada para zero, a atriz de covariância dos estados pode ser estiada por: C = xx (4) S Suponha agora que seja realizado o cálculo dos autovalores e autovetores dessa atriz, e que estes últios esteja agrupados nua atriz V (x). Assi, os PC prieiros coponentes principais são dados por: co i=,..., PC. S i = V i x (5) A aplicação de PCA sobre os estados de eco, e conjunto co o uso do filtro de Volterra na caada de saída, é, portanto, capaz de dar à rede u efetivo potencial de processaento supervisionado não-linear se perda da característica fundaental de que o processo de treinaento da ES deve ser siples, já que os coeficientes da caada de saída pode ser ajustados segundo ua abordage de ínios quadrados. o contexto do problea de equalização de canais, Boccato et al. ostrara ganhos de desepenho e relação a ESs clássicas que nos otivara a estender a investigação ao problea de previsão de séries de vazões, que discutireos a seguir. 4 Previsão de Séries de Vazões 4. Séries de Vazões e pré-processaento Séries de vazões édias ensais são caracterizadas por sere não-estacionárias e possuíre coponentes sazonais, que reflete os períodos de chuvas e de seca nas proxiidades dos rios brasileiros. Essas coponentes pode afetar o desepenho de u preditor, seja ele linear ou não [3]. E todo caso, a técnica estatística conhecida por padronização perite que essas coponentes seja retiradas e reinseridas ao fi do processo de previsão. A equação (6) descreve tal procediento [3]: x( µ z( = σ (6) sendo que as observações x( que fora a série original são transforadas e ua nova série padronizada z(, que possui édia zero e desvio padrão unitário. As variáveis µ( e σ( representa a édia de cada ês e o respectivo desvio padrão, e são calculadas da seguinte fora: µ = x( (7) t= t= σ = ( x( µ ) (8) Dessa fora, utilizareos as ESs para realizar a previsão da série z( nos conjuntos de treinaento e teste. Ao final, a padronização é revertida, e a coponente sazonal reinserida para fins de análise de desepenho. 4. Resultados Coputacionais Os estudos de caso apresentados nesta seção fora realizados para dois períodos da série histórica de vazões édias ensais da usina hidrelétrica de FURAS, localizada no Rio Grande. Os dados estão disponíveis no sitio da ELEROBRÁS (www.eletrobras.gov.br). Foi utilizado o histórico de 93 a 990. Os conjuntos de testes selecionados fora de 97 a 976 - ediano e de édia 88,63 ³/s - e de 95 a 956 seco e co édia 656,4 ³/s. ais períodos copreende cinco anos e 60 aostras, sendo bastante usuais neste tipo de aplicação [0]. Cenários distintos coo estes favorece a análise de 4

0th Brazilian Congress on Coputational Intelligence (CBIC 0), oveber 8 to, 0, Fortaleza, Ceará Brazil desepenho tabé de ua perspectiva de robustez devido à variedade de suas características. Os conjuntos de treinaento serão as aostras na janela de dados disponível, excluindo os cinco anos do conjunto de testes. O prieiro passo na previsão foi aplicar o procediento de padronização descrito na seção 4. a cada caso, e, e seguida, optou-se pela retirada da édia de cada conjunto separadaente antes da entrada de dados no preditor. E seguida, as quatro configurações de redes neurais fora treinadas co duas entradas forward, correspondentes a dois atrasos, sendo essa escolha ebasada por testes preliinares visando u coproisso entre desepenho satisfatório e parciônia. O horizonte de previsão foi sepre de u passo à frente. Outro fato relevante é que, tabé através de testes preliinares, percebeu-se que os elhores resultados era obtidos utilizando apenas os teros de ª e 3ª ordens do filtro de Volterra, não tendo sido relevantes os teros de segunda orde, os quais, por esta razão, não serão doravante considerados. O ajuste do reservatório seguiu as distribuições de probabilidade descritas e [6] para o caso da estratégia de Jaeger, e, para o caso da estratégia de Ozturk et al., usou-se u raio espectral igual a 0,8 [8]. o caso da rede proposta por Boccato et al., fora utilizadas apenas duas coponentes principais. Alé disso, o núero de neurônios no reservatório foi, ais ua vez, definido por eio de ensaios preliinares para todas as redes. As abelas e apresenta os desepenhos das ESs e teros dos valores de erro quadrático édio (EQM) édia de 0 siulações independentes para os conjuntos de treinaento e teste. ES úero de neurônios rein real (x 0 4 ) rein padron. este real (x 0 4 ) este padron. Jeager 5 0.895 0.5730 6.970 0.434 Ozturk 5 0.958 0.5886 7.458 0.4534 Boccato+Jeager 30 0.998 0.5704 6.5583 0.3690 Boccato +Ozturk 80 0.904 0.566 5.9899 0.35 abela Erro quadrático édio e elhores desepenhos de previsão para série FURAS 95/956 ES úero de neurônios rein real (x 0 4 ) rein padron. este real (x 0 4 ) este padron. Jeager 0.87 0.6068 7.666 0.957 Ozturk 0.960 0.578 7.78 0.858 Boccato+Jeager 30.06 0.5786 5.488 0.5 Boccato +Ozturk 70.003 0.576 5.7796 0.554 abela Erro quadrático édio e elhores desepenhos de previsão para série FURAS 97/976 Os resultados suarizados nas abelas e perite alguas observações interessantes. E prieiro lugar, é possível observar que, para o conjunto de treinaento no doínio padronizado, a rede proposta por Boccato et al. obteve u desepenho ligeiraente superior, o que revela que o uso de ua caada de saída não-linear foi capaz de agregar u potencial de exploração aior do sinal proveniente do reservatório. Entretanto, no doínio real da série, o quadro se inverte, o que se deve ao fato de, na abordage escolhida para a padronização da série, eses co diferentes desvios padrões sere tratados de aneira siilar. Co respeito ao projeto do reservatório de dinâicas, podeos observar que a abordage proposta por Ozturk et al., ainda que baseada e ua estratégia interessante de axiização da entropia dos estados de eco, não necessariaente fornece elhores desepenhos. Por outro lado, tanto no doínio padronizado, quanto no doínio real, podeos verificar que a arquitetura proposta por Boccato et al. conduz a u desepenho significativaente superior considerando abos períodos de teste (95/956 e 97/976). Isto significa que, ebora esta rede não tenha atingido o elhor desepenho frente ao conjunto de treinaento, ela foi capaz de absorver de aneira equilibrada as características da série teporal, extraindo inforações relevantes do período de treinaento, se, contudo, coproeter sua capacidade de generalização, o que, por fi, possibilitou ua aproxiação co aior precisão da série nos dois períodos distintos de teste. É iportante encionar que a rede proposta por Boccato et al. alcançou desepenhos elhores para u núero ais 5

0th Brazilian Congress on Coputational Intelligence (CBIC 0), oveber 8 to, 0, Fortaleza, Ceará Brazil elevado de neurônios, o que sugere ua necessidade de ais estados de eco para que o processo de copressão antenha u nível ais alto de inforações acerca da entrada. Ressaltaos tabé que a opção por u núero bastante reduzido de coponentes principais (duas) foi feita de aneira a ipor à rede ua situação de parciônia. Estes resultados, portanto, evidencia os benefícios obtidos co a introdução de ua caada de saída ais flexível, coo a proposta por Boccato et al., alé de enfatizare que a abordage através de ES s para o problea de previsão de vazão é bastante proissora. A fi de ilustrar o desepenho de cada rede, as Figuras a 5 apresenta os gráficos das séries de vazões reais e padronizadas, juntaente co os elhores resultados obtidos para cada étodo de previsão contido nas tabelas e. Figura Resultados das elhores previsões para série FURAS 95/956 nos espaços padronizado e real - conjunto de treinaento Figura 3 Resultados das elhores previsões para série FURAS 95/956 nos espaços padronizado e real - conjunto de teste 6

0th Brazilian Congress on Coputational Intelligence (CBIC 0), oveber 8 to, 0, Fortaleza, Ceará Brazil Figura 4 Resultados das elhores previsões para série FURAS 97/976 nos espaços padronizado e real - conjunto de treinaento Figura 4 Resultados das elhores previsões para série FURAS 97/976 nos espaços padronizado e real - conjunto de teste 5 Conclusões Este trabalho apresentou u estudo coparativo do desepenho de diferentes arquiteturas de neurais co estados de eco junto ao problea de previsão de séries de vazões: as redes de estados de eco propostas por Jaeger [7] e Ozturk et al.[9], alé da proposta ais recente de Boccato et al [], caracterizada pela introdução de ua caada de saída não-linear e pelo eprego de ua técnica de copressão via análise de coponentes principais. A principal otivação para o uso destas redes é a capacidade que possue de preservar características desejáveis da existência de laços de realientação no reservatório, as co u processo de treinaento siples, o qual se reduz a u problea de regressão linear para o ajuste dos pesos de saída. o âbito do problea de previsão de dois períodos da série de vazões édias ensais da usina hidrelétrica de FURAS co horizonte de previsão de u passo à frente foi possível verificar que a proposta de Boccato et al alcançou u desepenho superior e relação ao das deais abordagens na etapa de teste, tanto no doínio padronizado quanto no real. Os resultados obtidos tabé indicara que ESs e, particularente, a proposta caracterizada por ua caada de saída nãolinear, são alternativas que erece ser consideradas e probleas de previsão, e, ais particularente, e probleas vinculados a séries hidrológicas. Investigações adicionais sobre as ideias apresentadas no trabalho deverão estudar a possibilidade de utilizar u aior núero de passos à frente nos processos de previsões. Deverão tabé considerar u conjunto aior de séries de vazões, envolvendo bacias hidrográficas co características distintas. Outro aspecto a ser investigado é o desenvolviento de 7

0th Brazilian Congress on Coputational Intelligence (CBIC 0), oveber 8 to, 0, Fortaleza, Ceará Brazil padronizações que antenha a proporcionalidade entre as séries padronizadas e as respostas e doínio real, já que há casos e que a resposta da rede é degradada no processo de reversão da padronização. Agradecientos Este trabalho contou co o suporte das agências CAPES, CPq e FAPESP. Referências [] Boccato, L., Lopes A., Attux, R., Von Zuben F. J., An Echo State etwork Architecture Based on Volterra Filtering and PCA with Application to the Channel Equalization Proble, aceito para publicação e IEEE Proceedings of International Joint Conference on eural etworks, San Jose - CA, USA (0). [] Box, G., Jenkins, G. e Reinsel, G. C. - ie Series Analysis, Forecasting and Control, 3rd ed, Holden Day, Oakland, California, EUA, (994). [3] Ballini, R., Análise e Previsão de Vazões Utilizando Séries eporais, Redes eurais e Redes eurais ebulosas, ese de Doutorado, FEEC-Unicap, Brasil, (000). [4] Haykin, S., Adaptive Filter heory, Prentice Hall, (997). [5] Haykin, S., eural etworks: A Coprehensive Foundation, nd Edition, Prentice-Hall (999). [6] Hyvärinen A., Karhunen J. e Oja E., Independent Coponent Analysis, ew York: John Wiley & Sons, (00). [7] Jaeger, H., he echo state approach to analyzing and training recurrent neural networks, Bree: Geran ational Research Center for Inforation echnology, ech. Rep. GMD Report 48, (00). [8] Jaeger, H., Short ter eory in echo state networks, Bree: Geran ational Research Center for Inforation echnology, ech. Rep. 5, (00). [9] Ozturk, M. C., Xu, D. e Principe J. C., Analysis and design of echo state networks, eural Coputation, vol. 9, pp. 38, (007). [0] Sacchi, R., Ozturk, M. C., Príncipe, J. C., Carneiro, A. A. F. M., da Silva, I., Water Inflow Forecasting Using the Echo State etwork: a Brazilian Case Study, IEEE Proceedings of International Joint Conference on eural etwork, Orlando FL, USA, (007). [] Siqueira, H. V., Previsão de Séries de Vazões co Redes eurais Artificiais e Modelos Lineares Ajustados por Algoritos Bio-Inspirados Dissertação de Mestrado, FEEC-UICAMP, Brasil, (009). 8