hybrid neural fuzzy systems, unineurons, extreme learning, clouds, evolving systems

Transcrição

1 REDE NEURO-FUZZY EVOLUTIVA COM NEURÔNIOS BASEADOS EM UNINORMAS PARA PREVISÃO DE SÉRIES TEMPORAIS Raul Rosa, Rosangela Ballini, Fernando Gomide Deparameno de Engenharia de Compuação e Auomação Indusrial Faculdade de Engenharia Elérica e de Compuação Universidade Esadual de Campinas Av. Alber Einsein, Campinas, SP, Brasil - CEP: Insiuo de Economia Universidade Esadual de Campinas Rua Piágoras, Campinas, SP, Brasil - CEP: s: raulrosa@dca.fee.unicamp.br, ballini@eco.unicamp.br, gomide@dca.fee.unicamp.br Absrac This paper inroduces an evolving hybrid neural nework modeling approach using neurons based on uninorms and sigmoidal acivaion funcions. The evolving neural nework simulaneously adaps is srucure and updaes is weighs using a sream of daa. Currenly, learning from daa sreams is a challenging and imporan issue because ofen radiional learning mehods are impracicable in hese circumsances. Uninormbased neurons generalize he fuzzy neurons models based on riangular norms and conorms. Uninorms increase flexibiliy and generaliy of fuzzy neuron models because hey can modify heir processing capabiliies by adjusing ideniy elemens. In addiion o srucural plasiciy, his feaure adds processing plasiciy in neural nework srucures. A recursive procedure o granulae he inpu space and uncover he neural nework srucure, and an exreme learning-based algorihm is developed o rain he neural nework. Compuaional resuls show ha he evolving neural fuzzy nework is compeiive when compared wih represenaive mehods of he curren sae of he ar of evolving modeling. Keywords hybrid neural fuzzy sysems, unineurons, exreme learning, clouds, evolving sysems Resumo Esse rabalho apresena uma abordagem para modelagem de sisemas usando uma rede neural híbrida evoluiva. A rede neural é consruída com neurônios baseados em uninormas e neurônios clássicos. Redes neurais evoluivas adapam suas esruuras e parâmeros simulaneamene usando um fluxo de dados. Presenemene, aprendizagem em conexos que envolvem fluxo de dados é um desafio para os méodos de aprendizagem convencionais. Modelos de neurônios baseados em uninormas generalizam neurônios consruídos com normas e conormas riangulares. Uninormas ornam os neurônios fuzzy mais flexíveis pois permiem adapar o processameno neural ajusando o elemeno idenidade. Além da plasicidade esruural, essa caracerísica aumena a plasicidade de redes neurais evoluivas quano ao processameno neural. Um méodo recursivo é usado para granularizar o espaço de enrada e enconrar a esruura da rede neural. Um algorimo baseado em aprendizagem exrema aualiza os pesos da rede. Junos, o procedimeno de granularização e o de aualização de pesos compõem o algorimo de aprendizagem da rede neural híbrida evoluiva. Resulados compuacionais mosram que a abordagem proposa é compeiiva quando comparada com méodos represenaivos do esado da are em modelagem evoluiva. sisemas fuzzy neurais híbridos, unineurônios, aprendizagem exrema, clouds, sisemas evo- Palavras-chave luivos Inrodução Série emporal é uma sequencia de dados, ipicamene indexada por inervalos uniformes de empo. Análise de séries emporais envolve méodos com o inuio de exrair esaísicas e ouras caracerísicas dos dados. Previsão de séries emporais raa do uso de modelos para prever valores fuuros de uma série emporal uilizando valores observados previamene, iso é, valores passados da série. Previsão de séries emporais é um ema imporane em várias áreas, enre elas processameno de sinais, sisemas de conrole, comunicação, reconhecimeno de padrões, economeria, ec. Modelagem de séries emporais radicionalmene uiliza méodos esaísicos (Overbey e al., 2007), mas usualmene esses méodos não são suficienes para capurar a naureza dinâmica e complexa das séries emporais, principalmene quando elas se originam de processos não lineares e não esacionários (Wang e al., 202). Nos úlimos anos, méodos clássicos de modelagem foram generalizados e novas abordagens desenvolvidas para raar séries emporais complexas de forma adapaiva. Sisemas neuro-fuzzy combinam a capacidade de aprendizagem e aproximação das redes neurais com a apidão de represenação e processameno de informação imprecisa dos sisemas fuzzy (Lee and Lee, 975). Redes neuro-fuzzy para a previsão de séries emporais é uma alernaiva araiva ano em aplicações como no desenvolvimeno de novos modelos de neurônios e redes neurais. Por exemplo, uninormas e nullnormas são operadores que generalizam -normas e s-normas e modelos de neurônios fuzzy baseados neses operadores foram proposos em Pedrycz (2006), Hell e al. (2008), Lemos e al. (200), Hell e al. (2009) e Leie e al. (202). Aplicação de redes neuro-fuzzy evoluivas

2 incluem previsão de preço de ações, modelo érmico de ransformadores e esimação de esado, enre ouras (Nguyen and Quek, 200)(Souza e al., 202)(Wang e al., 202). Ese rabalho sugere uma abordagem baseada em redes neurais fuzzy evoluivas híbridas (erfh) para modelar sisemas e séries emporais. Redes neuro-fuzzy evoluivas são redes capazes de adapar coninuamene sua esruura e aualizar seus pesos processando um fluxo de dados (Angelov and Zhou, 2006). Devido à sua naureza adapaiva, modelos na forma de redes neuro-fuzzy evoluivas podem adequar-se às variações que ocorrem em um sisema. A rede neural fuzzy evoluiva híbrida objeo dese rabalho em uma esruura do ipo feedforward com duas camadas. Ela uiliza uninormas como operador de processameno sinápico dos neurônios fuzzy, neurônios eses que compõem a camada inermediária. A camada de saída é composa por neurônios clássicos, iso é neurônios com produo algébrico no processameno sinápico, soma algébrica na agregação e função de aivação sigmoidal. A esruura da rede é deerminada pelo número de neurônios fuzzy da camada inermediária e ese número, por sua vez, é deerminado por um algorimo baseado no conceio de cloud. Uma cloud pode ser visa como um conjuno de ponos cuja densidade impliciamene define um grupo (Angelov and Yager, 20). O uso dese conceio em modelagem e conrole é sugerido em Sadeghi-Tehran e al. (202). As clouds granularizam o espaço de enrada segundo a densidade de seus ponos. No conexo de sisemas evoluivos as densidades são calculadas de forma recursiva. A adapação dos pesos da rede neural baseiase na aprendizagem exrema (ELM-Exreme Learnig Machine) conforme Huang e al. (2004). Basicamene, a aprendizagem exrema aribui valores aleaórios aos pesos da camada inermediária da rede e ajusa os pesos da camada de saída aravés do algorimo dos quadrados mínimos recursivo. Para avaliar o desempenho da rede neural fuzzy evoluiva híbrida (erfh) proposa nese rabalho, dados relaivos a dois problemas clássicos de modelagem e de previsão de séries emporais são considerados, o forno a gás de Box and Jenkins e a série emporal de Mackey-Glass, respecivamene. Os resulados de simulação mosram que, sob o pono de visa do criério do erro quadráico médio, a erfh é compeiiva quando comparada com méodos represenaivos do esado da are em modelagem evoluiva na área, DENFIS (Kasabov and Song, 2002), ets (Angelov and Zhou, 2006), ANYA (Angelov and Yager, 20) e ambém com o ELM (Huang e al., 2004). Ese rabalho esá organizado da seguine forma. Após esa inrodução, a próxima seção apresena a fundamenação, descreve a erfh e seu algorimo de aprendizagem. A Seção 3 descreve os resulados de simulação. Finalmene, a Seção 4 resume as conribuições dese arigo e sugere emas para invesigação fuura. 2 Fundamenação eórica e algorimos Esa seção apresena os conceios necessários para a formulação e consrução da rede neural fuzzy evoluiva híbrida (erfh). Após rever o conceio de uninormas e a concepção dos unineurônios, descreve-se o algorimo que granulariza o espaço de enrada e deermina a esruura da rede, iso é, o número de unineurônios que compõem a camada inermediária. Um algorimo de aprendizagem exrema para deerminar os pesos da camada inermediária e da camada de saída complea o processo de aprendizagem. 2. Uninorma e Unineurônios Uma uninorma é um operador binário que generaliza -normas e s-normas (Yager and Rybalov, 996). Formalmene, uma uninorma é um mapeameno u : [0, ] [0, ] [0, ] que possui as seguine propriedades. comuaividade: a u b = b u a 2. associaividade: a u (b u c) = (a u b) u c 3. monoonicidade: se b c, enão a u b a u c 4. elemeno idenidade: a u e = a, a, e [0, ] Quando e = a uninorma é uma -norma e quando e = 0 a uninorma é uma s-norma. Neurônios fuzzy do ipo unineurônios são a unidade de processameno básica da rede neural fuzzy evoluiva híbrida. Neurônios fuzzy baseados em normas riangulares são os neurônios do ipo and e or (Pedrycz and Rocha, 993). O unineurônio, porano, em os os neurônios and e or como casos pariculares. O modelo do unineurônio em a seguine forma U U (λ, w) = U N l i= λ i u w i, () onde λ i é a i-ésima enrada e w i é o peso correspondene. Em paricular, se N l =, enão a saída z l do unineurônio l será z l = U U = λ l u w l, onde l =,..., L para uma rede neural fuzzy com L unineurônios na camada inermediária. Uma uninorma u é definida por seu consruor conforme o seguine (Yager and Rybalov, 996): a u w = { ( ) (a e) e + ( e) ( e) s (w e) se a, w (e, ] ( e) e( a e w, ) caso conrário e (2)

3 onde é uma -norma e s uma s-norma. Ese rabalho considera que a -norma é o produo algébrico (a b = ab) e a s-norma é soma algébrica (a s b = a+b ab). Esas escolhas resulam em superfície suaves para a função do unineurônio fuzzy. 2.2 Granularização do espaço de enrada A granularização do espaço de enrada uiliza o conceio de clouds proposo em Angelov and Yager (20). O propósio das clouds é criar uma parição do espaço de enrada sem formar expliciamene grupos e, com iso, formar uma esruura de grupo (cluser srucure). Uma cloud é caracerizada por uma densidade que represena uma disribuição de dados no espaço de enrada. Uma coleção de clouds em papel análogo ao de uma esruura de grupos. No conexo de sisemas evoluivos é necessário deerminar as clouds de maneira recursiva, pois os dados devem ser processados de acordo com seu fluxo. A densidade local γi da enrada x = [x,..., x n ] em, para a i-ésima cloud, é calculada recursivamene como γ i = + x µ i 2 + Σ i x 2, (3) onde µ i = ((M i )/(M i ))µ i + x /(Mi ), µ = x é o valor modal local, Mi é o número de dados de enrada associados à i-ésima cloud, i é o número de clouds, i =,..., L. A dispersão Σ i é calculada usando Σ i = M i Mi Σ i + Mi x 2, Σ = x 2. Oura medida imporane é a da densidade global, calculada similarmene, porém considerando odos os dados de enrada. Assim, ano o valor modal quano a dispersão modificam. A densidade global Γ em é calculada recursivamene da seguine forma Γ = + x µ G 2 + Σ G x 2, (4) onde µ G = (( )/)µ G + x /, µ G = x é o valor modal global de odos os dados em, e a dispersão global Σ G = Σ G + x 2, Σ G = x 2. Usualmene a primeira amosra de dados define a primeira cloud e seu respecivo pono focal, iso é, X f x. O pono focal X f i é uma informação imporane pois ele corresponde ao dado de enrada com maior densidade local e global da da i-ésima cloud. Uma cloud é criada se a densidade global de um dado de enrada é maior do que a densidade global esimada de cada cloud no seu pono focal, iso é Γ > Γ f i i, i =,..., L, onde Γ f i é a densidade global do pono focal da cloud i. Caso o dado candidao não saisfaça a condição de densidade global, aualiza-se a cloud cuja densidade local do dado de enrada é a maior, ou seja, a cloud que saisfaz Cloud i = arg max i (γ i). (5) A aualização do pono focal de uma cloud i depende de dois parâmeros, a densidade global do seu pono focal, Γ f i, e a densidade local do pono focal, γ f i. Para que um dado seja considerado o novo pono focal de uma cloud i, ano sua densidade global, como sua densidade local devem ser maiores que Γ f i e γ f i, respecivamene. O grau de compaibilidade de um dado de enrada x às clouds exisenes é calculado da seguine forma λ i = γi L, i =,..., L, (6) j= γ j onde γ i é a densidade local da enrada x na i- ésima cloud, conforme expressão 3. O seguine algorimo resume o processo de granularização do espaço de enrada e o cálculo do grau de compaibilidade. ler a primeira amosra de dados inicializar a densidade global µ G x ; Σ G x 2 ; Γ inicializar a primeira cloud µ x ; M ; Σ x 2 ; γ ; X f x ; γ f γ ; Γ f Γ while exisirem dados de enrada do ler o veor enrada x aualizar a densidade global (4) calcular a densidade local para cada cloud (3) if Γ > Γ f i i i = [, L ] hen criar uma nova cloud i i + ; µ i x ; Mi ; Σ i x 2 ; γi ; Xf i x ; γ f i γi ; Γf i Γ else enconrar Cloud i que saisfaça (5) aualizar a Cloud i Mi M i + ; if γi > γf i and Γ > Γ f i hen aualizar o pono focal X f i x ; γ f i γi ; Γf i Γ end if end if calcular o grau de compaibilidade segundo (6) end while

4 x x x Cloud Cloud l Cloud L λ λ l λ L w w l w L Sisema de Inferência Fuzzy l L z z l z L r r j r m r l r jl r ml r L r jl r ml j m ŷ ŷ j ŷ m Rede Neural de Agregação Figura : Esruura da rede neural fuzzy híbrida. 2.3 Esruura da rede neural fuzzy A rede neural considerada nese rabalho é uma erfh feedforward com rês camadas. A primeira camada é composa por L clouds e a segunda por L unineurônios. Junas, esas duas camadas compõem um sisema de inferência fuzzy. A camada de saída é composa por neurônios clássicos com função de aivação sigmoidal. Esa represena uma função de agregação e complea o modelo neural fuzzy. Os graus de compaibilidade dos dados de enrada λ i correspondem aos valores normalizados das densidades locais para cada cloud. O dado de enrada x é enviado a odas as clouds. O número de clouds em é L e ese ambém corresponde ao número de unineurônios na segunda camada ou, equivalenemene, ao número de regras fuzzy que represena o modelo em. Os unineurônios da segunda camada agregam os valores da saída da camada de enrada, ponderados pelos pesos sinápicos w l, iso é z l = λ l u w l, (7) onde z l, l =,..., L é a saída do l-ésimo unineurônio. Como a camada de saída coném neurônios com função de aivação sigmoidal f( ), a j-ésima saída é L ŷ j = f r ji z i, (8) i= onde j =,..., m e r ji é o peso sinápico enre o j-ésimo neurônioda camada de saída e o i-ésimo unineurônio da segunda camada. A figura mosra a esruura da rede. 2.4 Aprendizagem Exrema Aprendizagem exrema (ELM) é um méodo para reinameno de redes neurais feedforward com uma camada inermediária (Huang e al., 2004). Nese méodo, os pesos da camada inermediária são escolhidos aleaoriamene e o algorimo de quadrados mínimos é uilizado para deerminar os da camada de saída. Similarmene, na rede neural fuzzy evoluiva objeo dese rabalho, os pesos e os elemenos idenidade dos unineurônios da camada inermediária são escolhidos aleaoriamene em (0,) e manidos fixos para odo. Em seguida uiliza-se o algorimo de mínimos quadrados recursivo com faor de esquecimeno (ψ) para aualizar os pesos da camada de saída R = [rjl ] conforme o seguine p = Q z {ψ + (z ) T Q (z )}, (9) Q = (I L p (z ) T )ψ Q, (0) R = R + (p ) T (f (y ) R z ), () onde f (y ) = log(y ) log( y ) e y = [y,..., y m ]. A mariz Q é inicializada com ωi L, onde ω = 000 e I L é a mariz de idenidade L L. O algorimo de reinameno da erfh é resumido a seguir. ler a primeira amosra de dados x inicializar a primeira cloud segundo x inicializar a esruura e os parâmeros da rede while exisirem dados de enrada do ler o veor enrada x esimar a saída ŷ ler o veor saída y calcular poenciais locais e globais aualizar a esruura da rede de acordo com o número de clouds aualizar os pesos R segundo (9) - () end while 3 Resulados Compuacionais Esa seção apresena os resulados obidos pela rede neural fuzzy híbrida evoluiva erfh e compara seu desempenho com abordagens represenaivas do esado da are em modelagem evoluiva. Para isso são considerados dois exemplos clássicos, a idenificação do forno a gás de Box-Jenkins (gas furnace daa) e a série emporal caóica de Mackey-Glass. 3. Forno a gás de Box-Jenkins O dados do forno a gás de Box-Jenkins represenam a concenração de CO 2 (saída y ) em função da vazão de gás (enrada u ), resulado do processo de combusão de uma misura meano-ar. O objeivo é prever y a parir de y e u 4. O conjuno de dados coném 290 pares de enrada

5 Figura 2: Saída da erfh: Box-Jenkins. Modelo Regras melhor RMSE RMSE médio DENFIS 2 0,090 0,090 ets 2 0,0796 0,0796 ANYA 7 0,0393 0,0393 ELM 20 0,0232 0,093 erfh 7 0,0245 0,0398 Tabela : Jenkins. Desempenho da rede erfh: Box- e saída. Durane a simulação, odos eses dados foram uilizados para ese e validação assumindo por hipóese que os dados são processados supondo um fluxo de dados. Diferenes esudos e.g. Kasabov and Song (2002) e Angelov and Yager (20) sugerem um modelo do forno com duas enradas e uma saída conforme o seguine y = f BJ (y, u 4 ). Os dados foram normalizados para ober valores no inervalo [0,, 0,9]. O desempenho, o erro quadráico médio (RMSE), foi calculado para os dados normalizados. O valor do faor de esquecimeno é ψ = 0, 9. Os resulados, resumidos na abela, consideram o melhor valor do RMSE, o valor médio do RMSE e, para os modelos evoluivos neurais fuzzy, o número de regras fuzzy equivalenes. Conforme se observa, a erfh apresena o erceiro menor melhor RMSE e RMSE médio quando comparada com méodos alernaivos de modelagem evoluiva e o ELM. O desempenho é compeiivo. A figura 2 ilusra um resulado ípico da erfh, considerando odos os (290) dados disponíveis. 3.2 Mackey-Glass A série emporal Mackey-Glass é consruída uilizando a seguine expressão dx d = Ax τ + (x τ ) C Bx, A, B, C > 0. Figura 3: Previsão da rede erfh: série Mackey- Glass. Modelo Regras melhor RMSE RMSE médio DENFIS 25 0,0730 0,0730 ets 24 0,0779 0,0779 ANYA 3 0,08 0,08 ELM 20 0,43 0,2096 erfh 3 0,088 0,0435 Tabela 2: Desempenho da rede erfh: série Mackey-Glass. Como em ouros rabalhos, Kasabov and Song (2002) e Angelov and Zhou (2006) por exemplo, adoou-se A = 0, 2, B = 0,, C = 0, τ = 7 e passo de inegração igual a 0,. O objeivo é prever o valor de x no insane +85. O modelo de previsão em a seguine forma x +85 = f MG ( x, x 6, x 2, x 8). A simulação considerou 3200 dados e aqueles correspondenes a = foram uilizados simulaneamene para ese e validação, conforme hipóese de que os dados de enrada são processados como um fluxo de dados. Como no exemplo anerior, a abela 2 mosra o melhor valor do RMSE, o valor médio do RMSE, e o número de regras fuzzy equivalenes. Nese caso o desempenho da erfh supera os méodos evoluivos represenaivos do esado da are e o ELM. É ineressane noar que a erfh ambém produz um menor número de regras do que os modelos DENFIS e ets. A figura 3 ilusra um exemplo ípico de previsão da série produzida pela erfh. 4 Conclusão Ese rabalho apresenou uma rede neural evoluiva fuzzy híbrida com unineurônios e uma abordagem recursiva baseada em poencial para granularizar o espaço de enrada e apredizagem exrema para deerminar seus pesos. O desempenho da rede foi analisado considerando problemas

6 de modelagem não linear e previsão de série emporal caóica. Os resulados de simulação sugerem que a rede proposa é compeiiva com alernaivas de modelagem evoluivas represenaivas do esado da are na área. Apesar de seu desempenho promissor, ainda é necessário invesigar aspecos imporanes de redes neurais evoluivas como, por exemplo, a possibilidade de não só criar neurônios na camada inermediária, mas ambém excluir neurônios desa camada quando for oporuno. Além disso o papel do unineurônio na rede neural e sua relevância para aproximação funcional é um iem a ser invesigado. Ouras esruuras de neurônios como aquelas baseadas em nulnormas e aprendizagem de redes neurais com nulneurônios ambém são assunos para desenvolvimeno fuuro. Agradecimenos O primeiro auor agradece à CAPES pelo apoio e o erceiro ao CNPq, processo / Referências Angelov, P. and Yager, R. (20). A new ype of simplified fuzzy rule-based sysem, Inernaional Journal of General Sysems 4(2): Angelov, P. and Zhou, X. (2006). Evolving fuzzy sysems from daa sreams in real-ime, 2006 Inernaional Symposium on Evolving Fuzzy Sysems, Lake Disric, Reino Unido, pp Hell, M., Gomide, F., Ballini, R. and Cosa, P. (2009). Unineworks in ime series forecasing, Annual Meeing of he Norh American Fuzzy Informaion Processing Sociey pp. 6. Hell, M., Jr, P. C., Gomide, F. and Cosa, P. (2008). Hybrid neurofuzzy compuing wih nullneurons, IEEE Inernaional Join Conference on Neural Neworks pp Huang, G., Zhu, Q. and Siew, C. (2004). Exreme learning machine: a new learning scheme of feedforward neural neworks, IEEE Inernaional Join Conference on Neural Neworks 2: Leie, D., Cosa, P. and Gomide, F. (202). Evolving granular neural nework for fuzzy ime series forecasing, The 202 Inernaional Join Conference on Neural Neworks pp. 8. Lemos, A., Caminhas, W. and Gomide, F. (200). New uninorm-based neuron model and fuzzy neural neworks, Annual Meeing of he Norh American Fuzzy Informaion Processing Sociey pp. 6. Nguyen, N. N. and Quek, C. (200). Sock price predicion using Generic Self-Evolving Takagi-Sugeno-Kang (GSETSK) fuzzy neural nework, Inernaional Join Conference on Neural Neworks, IEEE, pp. 8. Overbey, L. A., Olson, C. C. and Todd, M. D. (2007). A parameric invesigaion of saespace-based predicion error mehods wih sochasic exciaion for srucural healh monioring, Smar Maerials and Srucures 6(5): 62. Pedrycz, W. (2006). Logic-based fuzzy neurocompuing wih unineurons, IEEE Trans. on Fuzzy Sysems 4(6): Pedrycz, W. and Rocha, A. (993). Fuzzy-se based models of neurons and knowledge-based neworks, IEEE Trans. on Fuzzy Sysems (4): Sadeghi-Tehran, P., Cara, A., Angelov, P., Pomares, H., Rojas, I. and Prieo, A. (202). Selfevolving parameer-free rule-based conroller, IEEE Inernaional Conference on Fuzzy Sysems, pp. 8. Souza, L., Lemos, A. P., Caminhas, W. M. and Boavenura, W. C. (202). Thermal modeling of power ransformers using evolving fuzzy sysems, Engineering Applicaions of Arificial Inelligence 25(5): Wang, W., Li, D. Z. and Vrbanek, J. (202). An evolving neuro-fuzzy echnique for sysem sae forecasing, Neurocompuing 87(0): 9. Yager, R. and Rybalov, A. (996). Uninorm aggregaion operaors, Fuzzy Ses and Sysems 80(): 20. Kasabov, N. and Song, Q. (2002). DENFIS: dynamic evolving neural-fuzzy inference sysem and is applicaion for ime-series predicion, IEEE Trans. on Fuzzy Sysems 0(2): Lee, S. and Lee, E. (975). Fuzzy neural neworks, Mahemaical Biosciences 23(-2): 5 77.