ÍNDICE DE IGUALDADE E APRENDIZADO EM REDES NEUROFUZZY RECORRENTES EM PREVISÃO DE SÉRIES MACROECONÔMICAS

Transcrição

1 Learnng and Nonlnear Models Revsta da Socedade Braslera de Redes Neuras, Vol 3, No, pp 08-8, 2005 Socedade Braslera de Redes Neuras ÍNDICE DE IGULDDE E PRENDIZDO EM REDES NEUROFUZZY RECORRENTES EM PREVISÃO DE SÉRIES MCROECONÔMICS Rosangela Balln, Fernando Gomde 2 Unversdade Estadual de Campnas Insttuto de Economa Campnas SP Brasl E-mal: balln@ecouncampbr 2 Unversdade Estadual de Campnas Faculdade de Engenhara Elétrca e de Computação Campnas SP Brasl E-mal: gomde@dcafeeuncampbr bstract novel learnng algorthm for recurrent fuzz neural networ s ntroduced n ths paper The core of the learnng algorthm uses equalt ndex as the performance measure to be optmzed Equalt ndex s especall mportant because ts propertes reflect the fuzz set-based structure of the neural networ and nature of learnng Equalt ndexes are strongl ted wth the propertes of the fuzz set theor and logc-based technques The neural networ recurrent topolog s bult wth fuzz neuron unts and performs neural processng consstent wth fuzz sstem methodolog Therefore neural processng and learnng are full emboded wthn fuzz set theor The performance recurrent fuzz neural networ s verfed va examples of learnng sequences Computatonal experments show that the recurrent fuzz neural models developed are smpler and that learnng s faster than both, statc neural and tme seres models Palavras Chaves - Redes neuras, redes neurofuzz recorrentes, prevsão de séres temporas Introdução Redes neuras recorrentes são estruturas de processamento capazes de apresentar uma grande varedade de comportamentos dnâmcos presença de realmentação de nformação permte a cração de conexões nternas e dspostvos de memóra capazes de processar e armazenar nformações temporas e snas seqüencas Em contrapartda à possbldade de representação de comportamento dnâmco, o processo de adaptação e a análse da capacdade de processamento de nformação presente em redes neuras recorrentes são geralmente mas complexos que no caso não recorrente [] Como conseqüênca, a capacdade de aprendzado desses modelos tem que estar assocada com a exstênca de algortmos de trenamento efcentes, baseados em nformações de segunda ordem e avançados resultados da teora de sstemas dnâmcos não-lneares [2] Como é amplamente conhecdo, a déa de ncorporar concetos da teora de conuntos fuzz em redes neuras tem se tornado um mportante tópco de pesqusa [3] Combnações destas duas abordagens, sstemas neurofuzz, têm tdo sucesso em mutas aplcações abordagem neurofuzz une a teora de conuntos fuzz e redes neuras em um sstema ntegrado para combnar os benefícos de ambas Entretanto, uma lmtação de mutas redes neurofuzz é sua restrta aplcação em problemas de mapeamentos dnâmcos devdo a sua estrutura não recorrente ou à falta de um procedmento de aprendzado para as conexões de realmentação Sstemas neurofuzz recorrentes têm sdo propostos para dentfcação de sstemas dnâmcos em [4], [5], [6] Neste artgo, um algortmo de aprendzado para redes neurofuzz recorrentes é proposto O algortmo usa o índce de gualdade como medda de desempenho a ser otmzado O índce de gualdade, proposto em [7], [8], preserva as propredades báscas da teora de conuntos fuzz Como a topologa da rede neural recorrente é consttuída por neurônos fuzz, o processamento neural é consstente a teora de conuntos fuzz Portanto, o processamento neural e o aprendzado são tratados dentro do contexto da teora de conuntos fuzz O processo de aprendzado da rede neurofuzz proposta envolve três fases prncpas prmera fase usa uma modfcação no aprendzado vector quantzaton sugerdo em [9] para granular o unverso de entrada Na próxma fase, as conexões da rede são geradas e os pesos são ncalzados aleatoramente tercera fase usa dos prncpas paradgmas para atualzar os pesos da rede: método do gradente e aprendzado por reforço assocatvo Mas precsamente, os pesos da camada de saída são austados va um método do gradente para maxmzar o índce de gualdade e um esquema de recompensa e punção atualza os pesos da camada ntermedára 8

2 Learnng and Nonlnear Models Revsta da Socedade Braslera de Redes Neuras, Vol 3, No, pp 08-8, 2005 Socedade Braslera de Redes Neuras rede neural usa undades neurofuzz modeladas através de operações and e or processadas va t-normas e s-normas, respectvamente O modelo neurofuzz é composto por um elemento não-lnear colocado em sére com os neurônos fuzz Isto sgnfca que cada neurôno realza mapeamento entre o hpercubo e o ntervalo untáro ncorporação desta não lneardade modfca as característcas numércas dos neurônos, mas seu comportamento lógco é mantdo lém dsso, as não lneardades adconam nterpretabldade pos podem ser tratadas como modelos de modfcadores lngüístcos [8], [9], [0] O modelo mplctamente codfca um conunto de regras se-então em uma estrutura recorrente multcamada, realzando um processo de nferênca fuzz topologa sugere uma clara relação entre a estrutura da rede e um sstema baseado em regras fuzz rede neurofuzz recorrente é partcularmente adequada para modelar sstemas dnâmcos não lneares e para aprender seqüêncas s relações temporas são codfcadas na segunda camada da rede, fornecendo os elementos de memóra e expandndo sua capacdade básca de nclur representações temporas Como o neurôno recorrente tem uma realmentação nterna, este captura respostas e contrbuções para smplfcar os modelos neurofuzz O desempenho da rede neurofuzz recorrente é verfcado va um exemplo de prevsão um passo à frente e város passos à frente de uma sére macroeconômca Comparações com o desempenho de uma rede neural estátca e com modelos de séres temporas também são apresentadas 2 Estrutura da Rede Neural Nebulosa s undades de processamento consderadas aqu são neurônos denomnados Neurôno-T e Neurôno-S, Fgura, produzndo mapeamentos [ 0,] n [0,], [8], [] mplementação das operações envolve normas trangulares, ou sea, os operadores and e or são mplementados através de t-normas e s-normas, resultando uma estrutura neural na qual w [0,] é o peso assocado à entrada x [0,] e ψ and, ψ or :[0,] [0,] são mapeamentos não lneares x w Neurôno-T x w Neurôno-S x w and ψ and x w or ψ or x n w n r q - x n w n r q - Fgura : Neurônos fuzz recorrentes Como mostra a Fgura 2, a rede neural proposta neste trabalho tem uma estrutura multcamada com realmentação global nos neurônos da segunda camada Em outras palavras, a topologa da rede permte que todos os neurônos da segunda camada esteam conectados entre s Mas precsamente, a rede contém três camadas camada de entrada consste de neurônos cuas funções de atvação são funções de conuntos fuzz que formam a partção do espaço de entrada Para cada componente x (t) de um vetor de entrada n-dmensonal x(t) exstem N conuntos fuzz, =,, N cuas funções de pertnênca são funções de atvação dos correspondentes neurônos da camada de entrada varável t denota o tempo dscretzado, sto é, t =, 2,, e será omtda no decorrer do artgo para smplfcar a notação ssm, as saídas desta camada são graus de pertnênca assocados aos valores de entrada, sto é, a = μ ( x ), =,, n e =,, M, onde M representa o número de neurônos da segunda camada Note na Fgura 2 que, a arqutetura nclu realmentação global na camada ntermedára, cuas undades são representadas por neurônos-t Desta forma, os operadores and tem entradas a ponderadas por w e conexões de realmentação ponderadas por r l, l =,, M função de atvação ψ and é, em geral, um mapeamento não-lnear cuo sgnfcado pode ser assocado com um modfcador lngüístco 9

3 Learnng and Nonlnear Models Revsta da Socedade Braslera de Redes Neuras, Vol 3, No, pp 08-8, 2005 Socedade Braslera de Redes Neuras x a T r z S ŷ N w x n a w T r z v v S ŷ N w n r M v M n a n r MM z M S ŷ m x n n n T Nn n Fgura 2: Estrutura da rede neurofuzz recorrente ssumndo que a q z, sendo q o operador atraso, e n+ = conunto de regras se-então R = { R, =,, M} da segunte forma: w n + = rl, l =,, M, a estrutura da rede sugere um R : Se( x é com relevâncaw n+ M z = T ( w s a ) = )E( x é com relevâncaw )E( x é com relevâncaw )Então z é z sendo, T e s normas trangulares Portanto, exste uma dualdade entre a prmera parte da estrutura da rede, composta pela prmera e segunda camadas, e um conunto de regras fuzz O esquema de processamento das entradas pela rede segue os prncípos da teora de conuntos nebulosos e racocíno aproxmado Portanto, o processamento realzado pela prmera parte da estrutura da rede é equvalente aquele realzado por um sstema de nferênca fuzz [8] tercera camada contém m neurônos-s, não recorrentes saída deste neurôno é denotada por ŷ, as entradas por z e os v pesos por função de atvação operações de agregação ψ or estrutura da rede dnâmca pode ser resumda pelos seguntes elementos: n n n dos neurônos são mapeamentos não-lneares Observe que estes neurônos realzam N é o número de conuntos fuzz que consttu a partção do unverso da -ésma entrada; 2 é o índce do neurôno-t Da estrutura da rede, é determnado a partr dos índces de entrada como segue: 3 n = f ( K) = n + ( ( n + ) ) N( n+ τ ) = 2 τ = () onde, K = (,,,, n ); n 0

4 Learnng and Nonlnear Models Revsta da Socedade Braslera de Redes Neuras, Vol 3, No, pp 08-8, 2005 Socedade Braslera de Redes Neuras 4 x, x2,, x n são n entradas da rede para um dado padrão x; 5 a = μ ( ) x é o grau de pertnênca de x no conunto fuzz, sendo a a entrada para o neurôno da camada ntermedára; 6 w é o peso entre a -ésma entrada e o -ésmo neurôno-t; 7 z é a saída do -ésmo neurôno-t, sendo determnado por: z n+ M = ψ and T ( w s a ) (2) = onde ψ and : [0, ] [0, ] 8 v é o peso para a -ésma entrada do -ésmo neurôno-t; r é o peso da conexão recorrente do -ésmo neurôno da camada ntermedára e r l é a conexão entre os -ésmo e l-ésmo neurônos da camada ntermedára 9 ŷ é à saída do neurôno não lnear dada por: ˆ M = ψ or ( u ) = ψ or S ( v t z ) (3) = onde ψ or : [0, ] [0, ] é uma função não-lnear Neste trabalho supomos que ψ or é a função logístca /(+exp(-u )), ψ and a função dentdade, e que as t-normas e s-normas são o produto algébrco e a soma probablístca, respectvamente: x t = x e x s = x + x (4) 3 Processo de prendzagem O esquema de aprendzado para a rede neurofuzz recorrente envolve três fases prmera fase usa uma modfcação do procedmento vector quantzaton para granular o unverso de entrada próxma fase smplesmente gera as conexões da rede e ncalza os pesos aleatormente tercera fase utlza dos concetos dferentes para o auste dos pesos: aprendzagem por reforço assocatvo e método do gradente O esquema de aprendzado é prmero apresentado, de uma forma geral, no Quadro Os passos essencas para mplementação são detalhados nas seções seguntes O algortmo é uma forma de aprendzado supervsonado Quadro : lgortmo de prendzado da Rede NeuroFuzz Recorrente Gerar as funções de pertnênca; 2 Incalzar os pesos w, v e r l ; 3 té que a condção do crtéro de parada não sea satsfeta fazer: 3 presentar um padrão x à rede; 32 Efetuar a fuzzfcação; 33 Determnar os neurônos-t atvos; 34 tualze os pesos w, v e r l ; O algortmo termna quando ou um nível específco de desempenho é satsfeto ou um número máxmo de terações é alcançado 3 Geração das funções de pertnênca Para gerar as funções de pertnênca dretamente, assummos funções trangulares, defndas no unverso [ x, x ], =,, n mn max forma mas smples de gerar funções de pertnênca é construr partções unformes e complementares Intutvamente, se na Fgura 3 os trângulos ntermedáros forem todos sósceles, guas, com altura untára, e os trângulos nas extremdades forem smlares, mas retângulos, então a partção sera unforme Observe que, no caso lustrado na Fgura 3, para cada ponto do unverso somente duas funções de pertnênca tem valores não nulos e que a soma dos correspondentes graus de pernênca é sempre gual à undade Neste caso, a partção é complementar Contudo esta pode não ser a mas adequada se um número de padrões está concentrado em certas regões do unverso e dspersas em outras Nestes casos, partções não unformes são mas apropradas, como é o caso da Fgura 3

5 Learnng and Nonlnear Models Revsta da Socedade Braslera de Redes Neuras, Vol 3, No, pp 08-8, 2005 Socedade Braslera de Redes Neuras c c 2 c 3 c N- c N x Fgura 3: Partções não unformes Com este propósto, técncas de agrupamento para encontrar os centros das funções c r, r=,, N, são utlzadas Em [9], uma varação de uma rede neural auto-organzada (Fgura 4) com algortmo de trenamento tpo LVQ (Learnng Vector Quantzaton) é sugerda x c c r c 0 N r 0 N Fgura 4: Rede neural auto-organzada para determnar os centros das funções de pertnênca Na estrutura da Fgura 4, os pesos da rede são centros de grupos c r O trenamento da rede neural auto-organzada da Fgura 4 é não supervsonado e compettvo Somente o peso da conexão do neurôno vencedor é austado o fnal do trenamento, aqueles neurônos que tveram um baxo índce de desempenho, sto é, venceram poucas vezes, são elmnados da rede Este procedmento permte determnar o número de funções de pertnênca adequado, N, e seus respectvos centros O algortmo é o segunte lgortmo Para Geração das Funções de Pertnênca Incalzações: Pesos c r : c = x mn (5) 0 c r = c (r-) + Δ, para r=2, 3,, N (6) sendo, Δ x max x mn = 0 N 0 2 Índce de Desempenho: d (r)=0, para r=2, 3,, N, ou sea, as funções de pertnênca ncas são partções unformes Este procedmento de ncalzação geralmente proporcona uma convergênca mas rápda que a ncalzação aleatóra; 2 té que cr ( t + ) cr ( t) ε, fazer: 2 presentar um padrão x à rede e atualzar o peso da conexão do neurôno vencedor da segunte forma: c L [ x c ( )] ( t + ) = c ( t) + α ( t) t (7) L L 2

6 Learnng and Nonlnear Models Revsta da Socedade Braslera de Redes Neuras, Vol 3, No, pp 08-8, 2005 Socedade Braslera de Redes Neuras sendo L o índce do neurôno vencedor, que é aquele cuo peso da conexão possu o valor mas próxmo do padrão x, ou sea, L = arg mn x cr (8) r 22 Decrescer o tamanho do passo α(t); 23 tualzar o índce de desempenho do neurôno vencedor, da segunte forma: d ( L) = d ( L) + (9) 3 Elmnar todos os neurônos cuo valor de d δ, sendo δ um ntero postvo Sea Nne o número de neurônos elmnados para a coordenada ssm, o número de conuntos fuzz para a coordenada é: 4 Fm 0 N = N Nne (0) Uma vez encontrados o número de conuntos fuzz N e os centros c r, =,,n e r=,, N, o cálculo das funções de pertnênca é bastante smples, envolvendo duas operações de soma e uma de multplcação:, α = cr c dr ( r ) cr c ( r+ ) ( x cr ) ( x c ) sendo, α =, =,,n e r=,, N er α er +, c( r ) x cr μ r ( x ) = α dr r +, cr x c ( r+ ) () 0, caso contráro pós a geração das funções de pertnêncas, o próxmo passo é a ncalzação dos pesos da rede Os neurônos da prmera e da segunda camada estão nteramente conectados Os pesos w, v e r l, para =,, n, =,, M e l =,, M, que representam os pesos da camada de entrada, camada de saída e das conexões de realmentação, respectvamente, são ncalzados aleatoramente com valores entre [0, ] 32 Determnação dos neurônos-t atvos Para cada padrão de entrada x, exstem pelo menos dos graus de pertnênca dferente de zero para cada uma das coordenadas (Fgura 3) s funções de pertnênca correspondentes defnem os neurônos-t atvos, sendo faclmente dentfcados como segue Dado um padrão de entrada x = (x,, x,, x n ) sea K = (,,,, n ) um vetor cuos componentes são os índces da prmera função de pertnênca para cada partção para o qual o grau de pertnênca é não nulo Sea K 2 = ( 2,, 2,, n 2 ) um vetor tal que 2 = +,, se μ ( x ) caso contráro (2) O número de neurônos-t atvos é Na = 2 Pa 2 n, sendo Pa o número de elementos tal que 2, para =,, n Observe que entre os M neurônos-tda segunda camada, somente 2 Pa M, Pa n, são atvos Os neurônos correspondentes são encontrados a partr da combnação dos vetores K e K 2 Também, pode-se notar que, como somente Na neurônos-t são atvos para cada padrão de entrada apresentado, o processamento da rede é ndependente do número de conuntos fuzz das partções do espaço de entrada Isto é mas bem entenddo va um exemplo Sea uma rede com 3 entradas defndas no ntervalo [-2, 2] e uma partção com 3 conuntos fuzz para cada coordenada 2 do vetor de entrada Dado um padrão de entrada x=(05, -2, ), para a coordenada x = 05 os conuntos fuzz atvos são e 3 2 3, para x2 = -2, o conunto atvo é 2 e para x3 =, 3 e 3, defndo assm os vetores K = (2,, 2) e K 2 = (3,,3) Combnado os vetores K e K 2, chega-se aos seguntes vetores: (2,, 2), (2,, 3), (3,, 2) e (3,, 3), que, a partr da expressão (), permtem dentfcar os 4 neurônos-t ndexados por, guas a:, 2, 20, 2, como neurônos atvos Observe que, do 3

7 Learnng and Nonlnear Models Revsta da Socedade Braslera de Redes Neuras, Vol 3, No, pp 08-8, 2005 Socedade Braslera de Redes Neuras Pa 2 conunto de 27 neurônos-t, somente Na = 2 = 2 = 4 são atvos vantagem do emprego desse passo do algortmo é que somente os neurônos atvos serão consderados para efeto de cálculo nos passos seguntes Com sto o tempo de processamento do algortmo fca ndependente do número de partções do espaço de entrada, ou sea, ndependente do número de neurônos-t 33 Fuzzfcação Este passo é dreto, mas vale ressaltar que somente os graus de pertnênca dos conuntos fuzz atvos (cuos índces estão em K ) são calculados No caso em que 2, μ também é calculada Como as funções de pertnênca são 2 complementares, tem-se que μ ( x ) ( ) 2 = μ x ssm, somente 2n graus de pertnênca precsam ser determnados 34 tualzação dos pesos atualzação dos pesos é baseada no método do gradente e no aprendzado por reforço assocatvo [2] O método do gradente é usado para austar os pesos da rede neural, sto é, este método é usado para atualzar os pesos da camada de saída O aprendzado por reforço assocatvo é utlzado para austar os pesos da camada ntermedára, ou sea, do sstema de nferênca fuzz O prmero passo é calcular a saída da rede para um dado padrão de entrada x Isto corresponde a fuzzfcação do padrão de entrada, e o cálculo sucessvo das saídas dos neurônos restantes das camadas (usando as equações (2) e (3)) O algortmo de aprendzado usa o índce de gualdade como a medda de desempenho a ser otmzada O crtéro de índce de gualdade é defndo como em [7]: Q = N ( = ˆ ) (3) onde, ŷ é o valor da undade de saída e é o valor deseado para o correspondente padrão de entrada x Formalmente, a utlzação desse crtéro como medda de desempenho a ser otmzada, é devdo este crtéro preservar as propredades báscas da teora de conuntos fuzz ecomo a topologa da rede neural proposta é consttuída por neurônos fuzz, o processamento neural deve ser consstente com a teora de conuntos fuzz O valor do índce de gualdade é calculado como segue: + ˆ, se < ˆ ˆ = + ˆ, se > ˆ (4), se = ˆ ˆ Intutvamente, partr de (4) vemos que é a undade se e somente se e que, ao contráro dos índces clásscos como erro quadrátco tradconal, sabemos o seu valor ótmo quando o conunto de trenamento é fnto soma em (3) é dvdda em três grupos, dependendo da relação entre e ŷ : Q = : ˆ > : ˆ = : ˆ < = ˆ ( ˆ ) + ( ˆ ) + ( ˆ ) (5) ssm, a atualzação dos pesos da camada de saída é feta usando o método do gradente descendente [3] Isto é, se v é um peso conectado à undade de saída do neurôno à entrada do neurôno, então Δv η( t) Q Q = + α N v ( t + ) v ( t) (7) onde η(t) é a taxa de aprendzado, dada por: η ( t) = (8) t + 0 4

8 Learnng and Nonlnear Models Revsta da Socedade Braslera de Redes Neuras, Vol 3, No, pp 08-8, 2005 Socedade Braslera de Redes Neuras sendo o índce ta teração, t=, 2, e α é o termo momentum dervada Q v é escrta como Q v = ψ () ψ () or or + : ˆ > < v : ˆ v (9) ψ or () é dado por (3) Todas as dervadas podem ser computadas quando a forma da função ψ or é especfcada Neste caso, a função ψ or é a função logístca Note que os ncrementos são postvos quando nversa ocorre ssm, todos os ncrementos são dreconados pelo snal da dferença entre ŷ é menor que o valor deseado e negatvo quando a stuação Os pesos das undades ntermedáras (neurônos-t) são atualzados usando um snal de reforço para todas as undades ntermedáras regra de atualzação dos pesos das undades ntermedáras depende dos valores do snal de reforço δ Em [9] um esquema de punção e recompensa fo usado para atualzar os pesos e a efcênca do modelo fo demonstrada através do problema de classfcação de padrõesneste caso, se a rede classfca corretamente um padrão de entrada, os pesos mas relevantes são ncrementados Caso contráro os pesos são decrementados No caso de classfcação de padrões atrbu-se classe correta ou sucesso para δ = e classe ncorreta ou fracasso se δ = 0, e para cada undade ntermedára os pesos são atualzados de acordo com a segunte equação: α [ w ], se δ = Δw = (20) α 2w, se δ = 0 Em [2] uma varação do algortmo assocatvo recompensa-penaldade (assocatve reward-penalt algorthm rp ) [4] utlza um valor contínuo para o snal de reforço, δ = - ε, onde ε é a medda de desempenho da rede Observe que 0 δ, sto é, grandes valores de δ correspondem a melhores resultados entre a saída da rede e a saída deseada Em [6] fo ntroduzdo um novo esquema de atualzação dos pesos, em um mesmo sentdo, combnando os procedmentos de atualzação dos pesos propostos em [9] e [2] qu, um esquema smlar é usado para atualzar os pesos das undades ntermedáras como segue: Δ w = δ α ( w ) ( δ ) α 2 w (2) ŷ e onde, 0 < α << α 2 < e são taxas de aprendzagem, =,, M e =,, n+m e w n+l = r l, l=,,m O snal de reforço é δ = ( ˆ ) dado por (4) Note que o aprendzado por reforço é um processo de pesqusa com o obetvo de maxmzar o valor esperado de uma função crtéro conhecda como snal de reforço [2] O esquema de punção e recompensa como em (2) é tal que se δ é próxmo de um os pesos dos neurônos atvos correspondentes são ncrementados Caso contráro, os pesos dos neurônos atvos são decrementados Claramente, a atualzação dos pesos muda entre os casos extremos controlado por (20) o qual pode ser vsto como uma partculardade de (2) no caso de reforço bnáro 4 Resultados de Smulação Para mostrar o desempenho obtdo com o modelo proposto de rede neurofuzz recorrente (RNFN), para aprender relações temporas, um problema de predção de uma sére macroeconômca é consderado a segur Nesse sentdo, será analsada a sére do produto nterno bruto real extraída da economa braslera sére se nca no prmero trmestre de 980 e se estende até o segundo semestre de 997, como mostra a fgura 4 Estes dados foram analsados e testados com o modelo de sére temporal RIM e com uma rede neural multcamada com algortmo de retropropagação, como pode ser vsto em [5] Índce

9 Learnng and Nonlnear Models Revsta da Socedade Braslera de Redes Neuras, Vol 3, No, pp 08-8, 2005 Socedade Braslera de Redes Neuras Fgura 5: Produto nterno bruto real Para auste do modelo somente 66 amostras da seqüênca foram fornecdas, ou sea, foram utlzados os dados a partr do prmero trmestre de 980 até o segundo trmestre de 996 O obetvo fo prever os próxmos 4 trmestres (tercero trmestre de 996 ao segundo trmestre de 997) Fgura 6 mostra a prevsão passo à frente e a Fgura 7 mostra a prevsão 4 passos à frente Para esta sére, foram austadas quatro redes neuras recorrentes, ou sea, uma para cada trmestre Cada um dos modelos RFNR usados para modelar este processo tem uma entrada x(t) Fo consderada uma partção não-unforme com N =6 conuntos fuzz, o qual sgnfcam 6 neurônos na camada ntermedára e 288 parâmetros para austar Essa estrutura fo à mesma para cada um dos trmestres s t-norma e s-norma escolhdas foram o produto algébrco e soma probablístca, defndas pela expressão (4) s taxas de aprendzado usadas para austar os pesos da camada ntermedára foram α =0,0 e α 2 =0,00 Os valores do índce de desempenho tornam-se estáves, assumndo o valor Q = 59,07 após 000 terações Índce T3 996 T4 997 T 997 T2 Fgura 6: Predção da sére produto nterno bruto real, passo à frente no/trmestre Índce Observado RNFN 996 T3 996 T4 997 T 997 T2 no/trmestre Observado RNFN Fgura 7: Predção da sére produto nterno bruto real, 4 passos à frente Como mostra a Fgura 5, a sére apresenta uma pequena tendênca de crescmento na economa braslera no período de 980 a 997 Da mesma forma há um padrão sazonal bem defndo, que está assocado a períodos de aquecmento da economa no tercero trmestre e de queda da atvdade econômca no prmero trmestre de cada ano Desta forma, o modelo de Box & Jenns [6] estmado em [5] fo um modelo RIM(0,, 2)(0,, 4) 6

10 Learnng and Nonlnear Models Revsta da Socedade Braslera de Redes Neuras, Vol 3, No, pp 08-8, 2005 Socedade Braslera de Redes Neuras Em [5], uma rede neural fo austada sendo que os vetores de entrada contem 5 neurônos, ou sea, contêm o valor x(t) da sére e 4 neurônos bnáros, representando o componente sazonal (000 para o prmero semestre, 000 para o segundo semestre, 000 para o tercero semestre e por fm 000 para o quarto semestre) rede possu uma camada ntermedára com 4 neurônos Tabela resume a raz do erro médo quadrátco (root mean square error -RMSE), o erro médo absoluto (mean absolute error - ME) e o erro médo percentual (EMP (%)) Tabela : Desempenho dos modelos de prevsão Modelo passo à frente 4 passos à frente RMSE EM EPM (%) RMSE EM EPM (%) RIM 2,87 2,20,2 2,52,79,23 MLP 2,23 2,0,4,82,30 0,89 RNFR,3,9 0,79 0,96 0,83 0,56 Observe que, tanto para prevsão passo à frente como para prevsão 4 passos à frente, o melhor modelo é o RNFR proposto, cuos erros são sgnfcatvamente menores do que todas as demas abordagens lém dsso, deve-se notar que os modelos de redes neuras apresentam melhor desempenho que o modelo RIM, prncpalmente para horzontes de prevsão mas longos 5 Conclusões Neste artgo fo ntroduzdo um algortmo de aprendzado para uma estrutura de rede neurofuzz recorrente O algortmo usa o índce de gualdade como medda de desempenho O índce de gualdade é especalmente mportante devdo às propredades refletrem a estrutura de conunto fuzz da rede neural e a natureza de aprendzado Nas redes neurofuzz recorrentes, os neurônos são undades computaconas que desempenham operações consstentes com a teora de conuntos fuzz Os neurônos são undades de processamento com operações defndas por t-normas e s-normas rede tem uma estrutura multcamada e é somórfca a um sstema baseado em regras, processando nformações segundo os prncípos de racocíno aproxmado O procedmento de aprendzado ntroduzdo é uma combnação do método do gradente e um aprendzado por reforço assocatvo Os pesos da camada de saída são austados va um método do gradente e os pesos da camada ntermedára são austados va uma heurístca baseada em um esquema de recompensa e punção O desempenho do modelo proposto fo verfcado através da predção de uma sére macroeconômca, mas precsamente, a sére do produto nterno bruto real braslero relatvo ao período que va do prmero trmestre de 980 até o segundo semestre de 997 Os resultados foram comparados com um modelo lnear de sére temporal clássco, RIM, e um modelo não lnear na forma de uma redes neural multcamada trnada com o algortmo bacpropagaton O desempenho da rede neurofuzz fo melhor tanto para prevsão um passo à frente como para prevsão quatro passos sob o ponto de vsta de todos os crtéros aqu consderados, sto é, o da raz do erro médo quadrátco, o erro médo absoluto e o erro médo percentual lém dsso, os resultados também mostram que a rede neurofuzz apresenta um melhor desempenho em termos de capacdade de aproxmação funconal Expermentos com o problema de predção de sére macroeconômca sugerem que a rede neurofuzz também é atratva sob o ponto de vsta computaconal devdo aos seus modestos requstos de memóra e tempo de processamento 6 gradecmentos Os autores agradecem o apoo da Fundação de mparo à Pesqusa do Estado de São Paulo (FPESP) Processo 2003/009-9 e do Conselho Naconal de Desenvolvmento Centífco e Tecnológco (CNPq) Processo / Referêncas [] R J Wllams e D Zpser, learnng algorthm for contnuall runnng full recurrent neural networs, Neural Computaton, vol, no 2, pp , 989 [2] F J Von Zuben, Modelos Paramétrcos e Não-Paramétrcos de Redes Neuras rtfcas e plcações, Teste de Doutorado, Faculdade de Engenhara Elétrca e de Computação, Uncamp, 996 [3] Bucle e Y Haash, Fuzz neural networs: a surve, Fuzz Sets and Sstems, vol 66, pp 4-49, 994 [4] Nürnberger, Radetz e R Kruse, Usng recurrent neuro-fuzz technques for the dentfcaton and smulaton of dnamc sstems, Neuro-computng, vol 36, pp 23-47, 200 [5] C H Lee e C C Teng, Identfcaton and control of dnamc sstems usng recurrent fuzz neural networs, IEEE Trans On Fuzz Sstems, vol 8, no 4, pp [6] R Balln e F Gomde, Heurstc learnng n recurrent neural fuzz networs, Journal of Intellgentt & Fuzz Sstems, vol 3, no 2-4, 2002/2003, pp [7] W Pedrcz, Neurocomputaton n relatonal sstems, IEEE Trans Pattern nalss and Machne Intellgence, vol 3, no 3, pp , 99 [8] W Pedrcz e F Gomde, n Introducton to Fuzz Sets: nalss and Desgn, MIT Press, Cambrdge, M, 998 7

11 Learnng and Nonlnear Models Revsta da Socedade Braslera de Redes Neuras, Vol 3, No, pp 08-8, 2005 Socedade Braslera de Redes Neuras [9] W Camnhas, H Tavares, F Gomde e W Pedrcz, Fuzz set based neural networs: Structure, Learnng and pplcaton, Journal of dvanced Computatonal Intellgence, vol 3, no 3, pp 5-57, 999 [0] R Balln e F Gomde: Learnng n recurrent, hbrd neurofuzz networs, n Proc th IEEE Internatonal Conference on Fuzz Sstems FUZZ-IEEE 2002, IEEE World Conference WCCI 2002, Hawa, US, 2002, pp [] W Pedrcz e Rocha, Fuzz-set based models of neuron and nowledge-based networs, IEEE Trans on Fuzz Sstems, vol 4, no, pp , 998 [2] G Barto e M I Jordan, Gradent followng wthout bac-propagaton n laered networs, n Proc of the Frst IEEE Internatonal Conference on Neural Networs, San Dego, 987, vol II, pp [3] D Rumelhart, G E Hnton e R J Wllams, Learnng representatons b bac-propagaton errors, Nature (London), vol 323, pp , 986 [4] G Barto e P nandan, Pattern recognzng stochastc learnng automata, IEEE Trans On Sstems, Man and Cbernetcs, vol 5, pp , 985 [5] G H Gonto, Prevsão de Séres Macroeconômcas gregadas no Cclo de Negócos: Modelos Unvarados de Séres Temporas e Redes Neuras rtfcas, Tese de Mestrado, Faculdade de Cêncas Econômcas, UFRG, 999 [6] G E P Box, G M Jenns e G C Rensel, Tme Seres nalss: Forecastng and Control Holden Da, 3 th Edção, 994 8