O Modelo de Redes Neurais Globais-Locais

Transcrição

1 Maye Suárez Farñas O Modelo de Redes Neuras Globas-Locas Tese de Douorado Tese apresenada como requso parcal para obenção do íulo de Douor pelo Programa de Pós- Graduação em Engenhara Elérca da PUC-Ro. Orenadores: Carlos E. Pedrera Renaldo Casro Souza Ro de Janero, feverero de 003

2 Fcha Caalografca Suárez Farñas, Maye O modelo de redes neuras globas-locas / Maye Suárez Farñas; orenadores: Carlos E. Pedrera, Renaldo Casro Souza. Ro de Janero : PUC, Deparameno de Engenhara Elérca, 003. [], 48 f. : l. ; 30 cm Tese (douorado) Ponfíca Unversdade Caólca do Ro de Janero, Deparameno de Engenhara Elérca. Inclu referêncas bblográfcas.. Engenhara elérca Teses.. Redes neuras globas locas. 3. Redes neuras. 4. Modelos nãolneares. 5. Séres emporas. 6. Idenfcabldade. 7. Esmação de parâmeros. 8. Conssênca. 9. Msura de especalsas. I. Pedrera, Carlos E. II. Souza, Renaldo Casro. III. Ponfíca Unversdade Caólca do Ro de Janero. Deparameno de Engenhara Elérca. IV. Tíulo. CDD: 6.3

3 Maye Suárez Farñas O Modelo de Redes Neuras Globas-Locas Tese apresenada como requso parcal para obenção do íulo de Douor pelo Programa de Pós-Graduação em Engenhara Elérca da PUC-Ro. Aprovada pela Comssão Examnadora abaxo assnada. Carlos E. Pedrera Orenador PUC-Ro / DEE Renaldo Casro Souza Orenador PUC-Ro / DEE Alexandre Pno Alves da Slva UFRJ / COPPE Renao Flores EPGE Marcelo Mederos PUC-Ro / Economa Alvaro Vega PUC-Ro / DEE Carlos Kubrusly PUC-Ro / DEE Ney Dumon Coordenador(a) Seoral do Cenro Técnco Cenífco - PUC-Ro Ro de Janero, 7 de feverero de 003

4 Camnane no hay camno, se hace camno al andar golpe a golpe, verso a verso... Anono Machado

5 A m abuela Chna...

6 Agradecmenos Quero agradecer ao professor Carlos E. Pedrera pela orenação desa ese. Ao professor Marcelo Mederos pelas númeras e valosas sugesões. Ao Dr. Maurco Romero, do IMPA, pela auda e cudadosa revsão das demonsrações maemácas. A Dra. Marela Sued pelas enrquecedoras dscussões écncas. A Elma Trevsan, Aubn Arroyo e José Koller pelo seu rabalho na revsão do exo. Agradeço ambém ao CNPq pelo supore fnancero e a cdade de Ro de Janero, por me oferecer um berço belo e hospalero para o desenvolvmeno dese rabalho.

7 Resumo Suárez Farñas, Maye, Carlos E. Pedrera, Renaldo Casro Souza (orenadores). O Modelo de Redes Neuras Globas-Locas. Ro de Janero, p. Tese de Douorado - Deparameno de Engenhara Elérca, Ponfíca Unversdade Caólca do Ro de Janero. Nesa ese apresena-se o Modelo de Redes Neuras Globas-Locas (RNGL) denro do conexo de modelos de séres emporas. Esa formulação abrange alguns modelos não-lneares á exsenes e adme ambém o enfoque de Msura de Especalsas. Dedca-se especal aenção ao caso de especalsas lneares, e são dscudos exensvamene aspecos eórcos do modelo: condções de esaconaredade, denfcabldade do modelo, exsênca, conssênca e normaldade assnóca dos esmadores dos parâmeros. Consdera-se ambém uma esraéga de consrução do modelo e são dscudos os procedmenos numércos de esmação, apresenando uma solução para o cálculo de valores ncas. Fnalmene, lusra-se a meodologa apresenada em duas séres emporas reas, amplamene ulzada na leraura de modelos não lneares. Palavras-chave Redes Neuras Globas Locas, Redes Neuras, modelos não-lneares, séres emporas, denfcabldade, esmação de parâmeros, conssênca, msura de especalsas,

8 Absrac Suárez Farñas, Maye, Carlos E. Pedrera, Renaldo Casro Souza (orenadores). The Lnear Local-Global Neural Nework Model.. Ro de Janero, p. Tese de Douorado - Deparameno de Engenhara Elérca, Ponfíca Unversdade Caólca do Ro de Janero. In hs hess, he Local Global Neural Neworks model s proposed whn he conex of me seres models. Ths formulaon encompasses some already exsng nonlnear models and also adms he Mxure of Expers approach. We place emphass on he lnear exper case and exensvely dscuss he heorecal aspecs of he model: saonary condons, exsence, conssency and asympoc normaly of he parameer esmaes, and model denfably. A model buldng sraegy s also consdered and he whole procedure s llusraed wh wo real me-seres. Keywords Local Global Neural Neworks, Neural Neworks, nonlnear models, meseres, model denfably, parameer esmaon, mxure of expers.

9 Sumáro LISTA DE ILUSTRAÇÕES...X LISTA DE TAELAS... XI INTRODUÇÃO... O MODELO DE REDES NEURAIS GLOAIS LOCAIS...6. FORMULAÇÃO DO MODELO...6. INTERPRETAÇÃO GEOMÉTRICA...0 PROPRIEDADES ESTATÍSTICAS DOS ESTIMADORES DO MODELO...3. EXISTÊNCIA DO ESTIMADOR...4. IDENTIFICAILIDADE DO MODELO CONSISTÊNCIA FORTE DOS ESTIMADORES NORMALIDADE ASSINTÓTICA SORE A ESTACIONARIEDADE DO MODELO PROCEDIMENTOS DE ESTIMAÇÃO E SELEÇÃO DO MODELO VEROSSIMILHANÇA CONCENTRADA...34 Esquema eravo de esmação VALORES INICIAIS Procedmeno para busca da Solução Incal CONSTRUÇÃO DO MODELO Seleção de Varáves Deermnação do número de pares-neurôno RESULTADOS NUMÉRICOS SÉRIE DE LINCES CANADENSES SÉRIE DE MANCHAS SOLARES PROVAS DOS TEOREMAS ENUNCIADOS PROVA DO TEOREMA LEMA LEMA PROVA DO TEOREMA PROVA DO TEOREMA PROVA DO TEOREMA CONCLUSÕES...55 REFERÊNCIAS ILIOGRÁFICAS...56

10 Lsa de Ilusrações FIGURA. EXEMPLOS DE FUNÇÕES DE NÍVEL DE ATIVAÇÃO D=6; H () =-; H () = O D=; H () =0; H () =4...7 FIGURA. A ARQUITETURA PROPOSTA...8 FIGURA.3 ARQUITETURA DOS COEFICIENTES DO MODELO HIERÁRQUICO...9 FIGURA.4 HIPERPLANO...0 FIGURA.5 PARTIÇÃO DO ESPAÇO DE ENTRADA... FIGURA. EXEMPLO. A) SÉRIE GERADA. ) Y T- VS FUNÇÃO DE NÍVEL DE ATIVAÇÃO. C) FUNÇÃO DE AUTOCORRELAÇÃO PARCIAL. D) HISTOGRAMA DA SÉRIE....3 FIGURA. EXEMPLO 3. SÉRIES GERADAS. A) δ=0. )δ= FIGURA 4.-AJUSTE DA SÉRIE SUNSPOT E PREVISÃO -PASSO-À-FRENTE...43

11 Lsa de Tabelas TAELA 4. PREVISÕES UM PASSO À FRENTE E ESTATÍSTICAS DE ERROS PARA A SÉRIE SUNSPOT NO PERÍODO

12 Inrodução Ao longo dos anos, êm sdo desenvolvdas e esudadas muas ferramenas para modelagem e prevsão de séres emporas. Enre os modelos que receberam maor aenção da comundade cenífca esão os modelos esaíscos lneares para o raameno de dados esaconáros, homocedáscos e Gaussanos (ox, Jenkns e Rensel, 994). Esa populardade é devda prncpalmene a algumas de suas caraceríscas: fácl nerpreação físca, análse no domíno da freqüênca, cálculo de nervalos de confança, e resulados assnócos. Enreano, evdenemene, quando se rabalha com séres de naureza nrnsecamene não-lnear, fenômenos as como cclos-lme, assmera e caos não podem ser capados de forma sasfaóra por modelos lneares. Os úlmos anos em sdo esemunha de um grande desenvolvmeno dos modelos não lneares para séres emporas (Tong, 990; Granger e Teräsvra, 993). Enre eles, os modelos não paramércos, onde não são feas suposções sobre a forma paramérca da relação funconal enre as varáves a ser modelada êm sdo exensamene aplcada, devdo aos avanços compuaconas. Para algumas referêncas de modelos não paramércos de séres emporas ver Härdle (990), Härdle e al. (997), e Heler (999). Uma oura classe de modelos, de formulação funconal mas flexível, oferece uma alernava onde de fao, a forma funconal da relação enre as varáves permanece anda parcalmene não especfcada. Como eses modelos conem parâmeros, muas vezes um grande número deles, é freqüene que o modelo não sea globalmene denfcável. A denfcabldade, se conseguda, é local no melhor dos casos sem mpor resrções nos parâmeros. Geralmene, os parâmeros ambém não são nerpreáves como o são nos modelos paramércos. O modelo de Redes Neuras Arfcas (RNA) é um exemplo proemnene de formas funconas flexíves. Ese modelo enconrou aplcações em um grande número de áreas, nclundo economa, fnanças, energa, epdemologa, ec. O amplo uso dos modelos de RNA em como movação um resulado maemáco que garane que, sob ceras condções de regulardade, um modelo de Redes Neuras relavamene smples es capaz de aproxmar qualquer função orel

13 3 mensurável para qualquer grado de precsão deseada (Funahash, 989; Cybenko, 989; Hornk e al, 989,990; Whe, 990; Gallan e Whe, 99) Um ouro exemplo de um modelo de formulação flexível, dervado das RNAs, é a msura de especalsas. A déa, baseada na máxma "dvdr e conqusar", de msurar especalsas para realzar mapeameno complexo de funções fo prmeramene dscuda por Jacobs e al(99). A déa é fo proposa por Jacobs e al. (99). A movação para o desenvolvmeno dese modelo enconra-se em Nowlan (990), onde se aborda a adapação compeva no aprendzado não supervsonado como uma enava de ausar uma msura de dsrbuções de probabldades a um conuno de ponos. Esas déas evoluíram em Jacobs (990) que usa uma arqueura modular smlar, mas com uma função de cuso dferene. Vea ambém Jordão e Jacobs (994). Wegend e al(995) mosram uma aplcação desa abordagem na prevsão de séres emporas. Nesa ese propõe-se um novo modelo não-lnear, baseado em RNA, nomeado Redes Neuras Locas Globas. A déa cenral do modelo RNGL é expressar o mapeameno enrada-saída aravés de uma combnação de funções, cada uma delas adequada a uma regão do domíno. A esruura básca é consuída pela combnação de város pares, cada um deles composo de uma função de aproxmação e uma função de nível de avação. As funções de nível de avação defnem, em cada regão do domíno, a parcpação da função de aproxmação correspondene. É possível a ocorrênca de superposções parcas das funções de nível de avação proporconando uma maor rqueza do mapeameno preenddo. Desse modo, o problema de aproxmação de funções é raado especalzando grupos de neurônos, formados pelos pares anerormene descros, que emulam a função geradora em cada seor do domíno. O grau de especalzação em uma deermnada regão é dado pelo valor da função de nível de avação. Por exemplo, em um nervalo onde apenas uma das funções de nível de avação em valor alo, haverá uma domnânca da função de aproxmação assocada a esa.

14 4 As prmeras déas do modelo de Redes Neuras Globas Locas, publcadas em Pedrera e al(00) e Farñas e Pedrera (00a) e Farnas e Pedrera (00) surgem ao abordar o problema de aproxmação funconal e nerpolação no domíno real. Sob esa abordagem apresena-se uma nova arqueura conexonsa, capaz de reconsrur uma função a parr de esmavas locas ao longo do domíno de neresse, por meo de uma arqueura não usual, baseada no parconameno do domíno da função a ser emulada. Neses prmeros argos foram apresenados resulados eórcos que susenam o uso dese modelo na aproxmação de funções reas. Em Farñas e Pedrera (00a) esuda-se numercamene o comporameno desa meodologa na aproxmação de funções ulzando dados smulados e comparando seu desempenho com ouros méodos reporados na leraura, que ulzam Redes Mulcamadas (MLP) e funções de bases radas (RF). Sobre esa base, nesa ese esendeu-se o modelo, formulando-o como um modelo não lnear para séres emporas. Esa formulação abrange alguns modelos não-lneares á exsenes e pode ser nerpreado como um modelo de Msura de Especalsas. Presa-se especal aenção ao caso de especalsas lnear, desa vez denomnado o modelo de Redes Neuras Globas-Locas Lneares (RNGL ). Dscuem-se exensamene aspecos eórcos do modelo, a saber: denfcabldade do modelo; exsênca, conssênca e normaldade assnóca dos esmadores. A esraéga de consrução do modelo é proposa, segundo as déas apresenadas em Mederos e Vega (00). Também são dscudos os procedmenos numércos de esmação e apresena-se uma solução para o cálculo de valores ncas. Ilusra-se o procedmeno compleo modelando as séres clásscas de Lnces Canadenses e Manchas Solares. Esas séres, de naureza não-lnear conhecda, êm sdo modeladas por város auores (Chen,995; Tong,990). Os resulados obdos no ause va RNGL serão comparados fnalmene com o desempenho de ouros modelos não lneares. As prncpas conrbuções desa ese são: ) Apresena-se um novo modelo não-lnear para a modelagem de séres emporas.

15 5 ) São dscudos rgorosamene os aspecos eórcos do modelo e formalmene provados os segunes eoremas: a) Teorema de exsênca do esmador de mínmos quadrados. b) Esudo das condções para a denfcabldade do modelo. c) Teorema de denfcabldade do modelo RNGL. d) Teorema de conssênca dos esmadores de mínmos quadrados. e) Teorema de normaldade assnóca dos esmadores de mínmos quadrados. No Capíulo o modelo RNGL é formulado, esabelecendo as hpóeses necessáras e dscundo aspecos relavos a nerpreação geomérca. O Capulo é dedcado a dscur os aspecos eórcos do modelo. Com o nuo de faclar a leura do exo, as provas dos eoremas enuncados ao longo dese capíulo, são apresenadas em um Capíulo a pare (Capíulo 5). No Capulo 3 são descros os procedmenos ulzados na esmação de parâmeros assm como a esraéga de seleção do modelo. Os resulados obdos no ause de seres reas a raves do modelo proposo são apresenados no Capíulo 4.

16 6 O Modelo de Redes Neuras Globas Locas Nese capíulo, formula-se o modelo geral de Redes Neuras Globas no conexo de um processo esocásco. Esa formulação abrga alguns modelos não lneares á exsenes e adme o enfoque do Problema de Msura de Especalsas. Ao abordar o caso de especalsas lneares, dscuem-se exensamene aspecos eórcos do modelo, a saber: exsênca, conssênca e normaldade assnóca dos esmadores, denfcabldade do modelo, procedmenos de esmação e valores ncas. Nese sendo, enuncam-se e provam-se os eoremas relavos a exsênca e conssênca dos esmadores e são esabelecdas as condções que garanem a denfcabldade do modelo.. Formulação do Modelo O modelo de Redes Neuras Locas Globas (RNGL) descreve o processo esocásco {y =,,...n}, y R, aravés do segune modelo não lnear: = G( x, ψ ) + ε,,..., T (.) y * = x R q é o veor com os valores defasados de y e/ou varáves explcavas, ψ* é o veor (verdadero) de parâmeros do modelo e {ε } são erros do modelo, consderados ndependenes e dencamene dsrbuídos com méda zero e varânca σ <. A função G(x,ψ) é uma função não lnear do veor x, com veor de parâmeros ψ perencenes um subespaço compaco Ψ do espaço Eucldano, e esá defnda por: G( x, ψ) = m = L ( x, ψ L ) ( x, ψ ) (.) onde ψ=(ψ L, ψ ), ψ L =[ψ L,...,ψ Lm ], ψ =[ψ,...,ψ m ] e as funções (x, ψ ):R q R e L (x, ψ L ):R q R chamadas de funções de nível de avação

17 7 e funções de aproxmação respecvamene. As funções, funções de nível de avação são defndas pela expressão: ( x, ψ ) = () + exp(γ ( < d, x > β )), =,...,m + exp(γ ( < d, x () > β )) (.3) onde ψ =[γ,..., γ m, d,...,d q,...,d m,..., d mq, β (),...,β () m, β (),...,β () m ],<, > denoa o produo escalar no espaço Eucldano e γ R, d R q, β () R, β () R. A forma funconal das funções de nível de avação deermna uma regão de avação deermnada pelos parâmeros d e β Consderemos A Fgura. lusra o gráfco desa função para dos conunos dferenes de parâmeros consderando x R. Noa-se que o parâmero γ esá relaconado à declvdade desa função enano que os parâmeros β (), β () delmam a regão do domíno em que a -ésma função de aproxmação é mas ava. Fgura. Exemplos de funções de nível de avação d=6; h () =-; h () = o d=; h () =0; h () =4 Observe-se que, devdo à exsênca das γ na expressão (.3), pode-se consderar, sem perda de generaldade que d =. O conuno compleo de suposções sobre o modelo será dscudo na seção 5. Embora uma ampla classe de funções de aproxmação pode, ser ncalmene consderada, dedcaremos especal aenção ao caso das funções de aproxmação lneares em x, so é: L (x)=a x+b, com a R q, b R. nese caso, o

18 8 modelo pode ser chamado de Modelo de Redes Neuras Globas-Locas Lnear (RNGL ), onde: m G( x, ψ) = ( a x + b ) ( x, ψ + ε (.4) = ) ψ L =[a,...,a q,b ] e ψ R m(+q) e o processo esocásco y consse em uma msura de processos lneares. Aqu consderamos que a seqüênca de erros ε segue uma dsrbução normal. Esa suposção pode ser relaxada, e subsuída pela condção ( ) < E algum δ>0, como veremos mas adane. ε +δ Esa arqueura, proposa prmeramene por Pedrera e al(00, 00a) para o problema de aproxmação de funções L negráves no caso unvarado, pode ser represenada aravés do dagrama lusrado na Fgura.. L x L + G. m L m Fgura. A arqueura proposa Observe-se que a camada escondda é formada por m pares de neurônos. Cada par de neurônos esá composo da undade de avação, represenada pela função ; e da undade de aproxmação, correspondenes à função L. A seleção das varáves de enrada e dos parâmeros da função de nível de avação leva a alguns casos parculares que merecem ser comenados. Se consderamos o caso x =, o modelo RNGL modela uma sére emporal como função do empo. Nese caso, o modelo dvdrá o nervalo de empo em m subnervalos, onde em cada um deles o modelo será localmene lnear. A função de nível de avação ndca o nervalo onde é válda cada represenação lnear, e a suavdade da ransção de um modelo a ouro esá deermnada pelo parâmero de

19 9 declvdade γ. Se γ, a função ende à função ndcadora do nervalo [β (),β () ]. Nese caso, o modelo convere-se no modelo lnear por pares. Se, anda sob esa perspecva, são consderadas aproxmações consanes (L =b ) ao nvés de lneares, obém-se o modelo com m quebras esruuras. Esa em sdo uma alernava muo popular em economera, desde que fo nroduzda por Chow (960) e Quand (960). Esa nerpreação referda o modelo lnear por pares é ambém válda no caso em que se raa com dados secconas. No caso de maor neresse, onde as funções de aproxmação são lneares, o modelo RNGL pode ser nerpreado como um modelo lnear com coefcenes varáves no empo: y = z + ε (.5) φ onde φ =(φ (0),φ (),..., φ (q) ) é o veor q-dmensonal de coefcenes reas e z =(,x ) o veor de varáves de enrada. A evolução dos coefcenes φ () é dada por: φ () = m = m = b ( x,ψ a ( x,ψ ) = 0 =,,...,q (.6) onde a e b são coefcenes reas e ψ conem os parâmeros da função de nível de avação assocada ao neurôno, so é ψ =(γ, d,...,d q,β (),β () ). De fao, os coefcenes do modelo podem ser nerpreados como os coefcenes de uma rede neural não usual, cua arqueura é lusrada na Fgura.3. x () x (q). m φ (0) φ () lnear φ (q) Fgura.3 Arqueura dos coefcenes do modelo herárquco

20 0 Noe-se que, nesa abordagem, os coefcenes do modelo esão descros pela soma de consanes mulplcadas pela função de nível de avação. Assm, () denro de cada regão de avação, o coefcene φ será gual à consane correspondene, permndo uma ransção suave de uma regão a oura. Iso sgnfca que se em um modelo fxo denro de cada regão e que ese muda suavemene de uma regão a oura em dependênca do parâmero γ. A esa nerpreação, de caráer geomérco, será dedcada a seção segune:. Inerpreação geomérca Nesa seção dscue-se a nerpreação geomérca da camada ocula formada pelos pares-neurônos. Sea x Γ, onde Γ é um espaço veoral com produo nerno denoado por <, >. Consdere-se a saída (x,ψ ) da "undade de avação de um par-neurôno da camada escondda da rede neural defnda nas equações (.)-(.3). Os parâmeros d, β () e β () defnem dos hperplanos paralelos no espaço veoral q-dmensonal. q () q () { x R < d, } e H = { R < d, x >= } H >= = x β x (.7) β A posção de cada hperplano esá deermnada pelo veor de dreção d, que será orogonal aos veores que esão sobre o hperplano, como mosra a Fgura.4. O escalar β deermna a dsânca do hperplano aé a orgem. 3 x d 0 β d Fgura.4 Hperplano

21 Como um hperplano em nfnos veores de dreção (veores orogonas ao hperplano), a resrção d = reduz esa mulplcdade, sem perda de generaldade para o modelo. Assm, os hperplanos H e H são paralelos devdo ao fao de erem o mesmo veor de dreção, e dvdem o espaço q-dmensonal em rês regões dferenes: H,H o, H + defndos como: H o q () { x R d, x β } H = < () () { x R d, x β e d, β } q = x (.8) q () { x R d, x β } + H = > A Fgura.5 lusra a suação em dscussão. A regão H o represena o esado avo do par-neurôno e as regões H e H + represenam o esado navo. O esado avo ou não de par-neurôno é represenado pela função de nível de avação (x,ψ ). O parâmero γ deermna a nclnação da função de nível de avação caracerzando a suavdade da ransção de um esado a ouro. Assm, o caso lme γ, represena uma ransção abrupa de um esado a ouro. Fgura.5 Parção do espaço de enrada. Quando se êm m neurônos, exsem m pares de hperplanos e, porano exsrão m regões fechadas e não lmadas do po H o que podem nercepar-se ou não. Assm, o espaço de enrada q dmensonal, fcará dvddo em váras regões polédrcas. Se nem odos os hperplanos são paralelos, so é, se,, al que d d, a regão formada pela nerseção dos hperplanos, H O = H I H, O O

22 é uma regão não vaza e represena a regão onde os pares de neurônos e esão ambos avos. Se odos os d s êm alguma componene gual a zero, os hperplanos serão paralelos a algum dos planos coordenados, e o espaço fcará dvddo em regões reangulares. Nese caso em-se uma suação equvalene a quando x R (q=), em que forçosamene os d são paralelos, suação que e dscuda em dealhe em Pedrera e al (00), Farnas e Pedrera (00), onde se apresenam as prmeras déas do modelo RNGL. Como á fo comenado anerormene, quando se analsava o modelo RNGL sob um enfoque de modelo com coefcenes varanes, denro de cada uma das regões H o, =,...,m, os coefcenes φ () do modelo descro em (.5) permanecem consanes e o coefcene γ perme uma ransção suave de um modelo numa regão a ouro modelo na regão adacene. Nas regões de nerseção, do po O H, onde os pares de neurônos e esão ambos avos, em-se a msura de dos ou mas modelos. Se, d =d so é, se odos os veores de dreção são guas, eríamos m regões paralelas do po H o. Sob a condção () () β β+ < a nerseção desas regões é vaza. O modelo RNGL pode enão ser nerpreado como um modelo lnear por pares com ransção suave enre os regmes. Uma revsão dealhada dos modelos de roca de regmes para séres emporas pode ser enconrada em Van Dk e al (00).

23 3 Propredades esaíscas dos esmadores do modelo Na leraura aual, enconram-se dsponíves um grande numero de algormos para esmação dos parâmeros de modelos baseados em Redes Neuras. No modelo proposo, a esmação dos parâmeros agrupados no veor ψ será realzada va máxma verossmlhança, consderando as suposções feas sobre ε. A ulzação do méodo de máxma verossmlhança perme er uma déa da ncereza nos parâmeros esmados aravés do desvo padrão (assnóco) dos esmadores. No enano, é conhecdo que a esmação de uma rede neural (ou modelo não lnear) aravés de máxma verossmlhança pode conduzr a problemas de convergênca e que, penalzar a função log verossmlhança é uma precondção necessára para ober resulados sasfaóros. Dos argumenos devem ser dos em favor ad ulzação do méodo de máxma verossmlhança. Prmeramene, a esmação de modelos não denfcáves verossmlhança pode ser parcalmene evada se ulzada uma esraéga na defnção do modelo que proceda de modelos mas smples aos mas complexos. Em segundo lugar, os valores ncas para a esmação dos parâmeros são escolhdos cudadosamene, dealhe que será abordado mas amplamene em seções segunes. O modelo RNGL é smlar a muos modelos lneares e não lneares para séres emporas nos quas a marz de nformação da função log verossmlhança é uma marz dagonal por blocos de al forma que podemos concenrar a verossmlhança e esmar prmeramene os parâmeros assocados à meda condconal. Sob a suposção de normaldade dos erros no modelo -3, o esmador MQO e o esmador de máxma verossmlhança de ψ concdem. Assm, no modelo RNGL defndo pelas equações (.)-(.3). O esmador de Mínmos Quadrados (EMQ) é o veor ψˆ solução do problema mn Q n (ψ), onde n = n (y G ( x, ψ é a função de erro quadráco médo (EQM). = Qn (ψ) ))

24 4 Ese esmador enquadra-se na classe de M-esmaor consderada por Pöscher e Prucha (986) assm como a consderada por Wooldrdge (994). A segur serão dscudas as crcunsâncas que garanem a exsênca, conssênca e normaldade assnóca do EMQ. Também serão dscudas as condções sufcenes sobre as quas o modelo RNGL é denfcável.. Exsênca do esmador A demonsração de exsênca basea-se no lema de Jennrch (969), que esabelece que sob ceras condções de connudade e mensurabldade da função de erro quadráco médo, o esmador de mínmos quadrados exse. Teorema : O modelo RNGL sasfaz as segunes condções e o EMQ exse: ) Para cada x χ, a função G x (ψ)=g(x,ψ) é conínua num subconuno compaco Ψ do espaço eucldano. ) Para cada ψ Ψ, a função G ψ (x)=g(x,ψ) é mensurável no espaço χ. ) e são erros ndependenes e dencamene dsrbuídos com méda zero e varânca σ <. Para esender o conuno de funções de aproxmação além das funções lneares, deve-se garanr que seam sasfeas as condções e. Assm, a classe de funções L (.) a consderar, deve ser um subconuno das funções connuas sobre o compaco Ψ e mensuráves em x. Noe ambém que a hpóese de normaldade dos erros não fo ulzada, basando a suposção de que os erros são d, com méda zero e varânca fna. A hpóese de compacdade do espaço dos parâmeros pode parecer um pouco resrva. Huber (967) apresena resulados que requerem espaços apenas localmene compacos, e uma exensão desse caso pode ser aplcada para ober os resulados presenes. No enano, a suposção de compacdade é eorcamene

25 5 convenene, e é anda sufcenemene geral para aplcar em qualquer suação na qual o procedmeno de omzação sea levado a cabo em compuador. O lema enuncado perme nerprear o modelo de RNGL como uma aproxmação semparamérca de qualquer função orel mensurável. Enreano, deve-se assnalar o fao de que o modelo (.)) é em prncípo não denfcável, global ou localmene. As condções que garanrão a denfcabldade do modelo serão dscudas na seção segune.. Idenfcabldade do Modelo O problema fundamenal para a nferênca esaísca nos modelos não lneares é a não denfcabldade dos parâmeros do modelo. Para garanr a denfcabldade únca sobre a função de erro quadráco médo (EQM) devem ser esudadas as fones que provocam a não uncdade no modelo. Esas quesões são dealhadamene examnadas em Sussmann (99), Kůrková e Kane (994), Hwan e Dn (997), Traple e al(000) e Mederos e al(00) no caso de Redes Neuras feedfoward. Aqu, serão dscudos brevemene os conceos e resulados prncpas. Em parcular, serão esabelecdas e provadas as condções que garanem que o modelo proposo sea denfcável é mnmal. Anes de abordar a denfcabldade do modelo, serão dscudos dos conceos relaconados: o conceo de mnmaldade do modelo, esabelecdo em Sussman (99) e ao qual se refere Hwang e Dng (997) como não redundânca; e o conceo de rredubldade do modelo. Defnção : Um modelo M é mnmal (ou não redundane), se não exse oura rede com menos neurônos que represena o mesmo mapeameno que o modelo M. Oura fone de não uncdade vem do fao da presença de undades rrelevanes no modelo. Iso sgnfca que o modelo pode enão ser reduzdo, elmnando algumas undades sem afear a relação funconal enrada-saída. Assm, a condção de mnmaldade só é possível quando rabalhamos com modelos rreduíves.

26 6 (l) Defnção : Sea θ [ γ, d, β ] l l l = e ϕ ( x, θ ) = γ ( < d, > ) l x β modelo M é reduível se uma das rês condções se sasfazem: a. Algum dos pares (a,b ) se anula conunamene para algum.. O b. γ =0 para algum. l l c. Exsem índces al que os funconas ϕ x) e ϕ (x) seam ( equvalenes em snal (so é, se para odo x R q l l, ϕ ( x) = ϕ ( x) ) Defnção 3: O modelo M é denfcável se não exsem dos conunos de parâmeros, as que as correspondenes dsrbuções de y seam dêncas. No caso do modelo RNGL a condção de denfcabldade dz respeo à função G. Noe que, ncalmene, nenhuma Rede Neural é denfcável. Quaro propredades do modelo RNGL, causam a não denfcabldade dos modelos: (P.) A propredade de nercambabldade dos pares-neurônos da camada ocula: o valor da função da verossmlhança do modelo não se alera ao se permuarem os pares de neurônos da camada ocula. Iso resula em m! modelos dferenes que são ndsnos enre s. Como conseqüênca, na esmação dos parâmeros, em-se m! máxmos locas guas para a função log verossmlhança. (P.) A smera da função : o fao de que a função de nível de avação sasfaça que (x,γ,d,β,β ) = (x,γ,d,β,β ), esabelece oura ndeermnação no modelo, pos er-se-ão m paramerzações equvalenes. ϕ (P.3) O fao de que F(-ϕ)=-F(ϕ) onde F é a função ( + e ) Por esa razão, devem ser esudadas odas as combnações de (γ,d,β) que ofereçam snal oposo para ϕ (ϕ=γ(<d,x>-β) ) nos levaram a uma ndeermnação no modelo. Esas são: (x,γ,d,β,β ) = -(x,-γ,d,β,β ) e (x,γ,d,β,β ) = -(x,γ,-d,-β,-β ) (P.4) A presença de pares rrelevanes no modelo. As condções (a) e (b) na defnção de redubldade dzem respeo à presença de pares de undades rrelevanes, que se raduzem em fones de denfcabldade. Se o modelo coném

27 7 algum par, al que L =0 (a =0 e b =0), os parâmeros d e β, β d permanecem não denfcados. Inversamene, se γ =0, enão os parâmeros β, β e os assocados à função L (a e b no caso lnear) podem omar qualquer valor sem afear o valor da função log verossmlhança. Anda mas, se denfcados. β = β, γ, a e b permanecem não As propredades (P.)-(P.3) esão relaconadas com o conceo de reducbldade. No mesmo espíro dos resulados esabelecdos no Teorema. de Sussman (99) e o Teorema.3a Hwang e Dng (997) para Redes Neuras feed forward e ceras funções de avação, será mosrado que, se o modelo RNGL é rreduzível, (P.) são as úncas formas de modfcar os parâmeros sem modfcar a dsrbução de Y. Logo, esabelecendo resrções sobre o modelo que smulaneamene evem a reducbldade e a permuação de undades da camada ocula, pode-se reduzr o espaço de valores do parâmero, garanndo a denfcabldade do modelo: O problema de nercambabldade (Propredade (P.)) pode ser evado quando se mpõe ao modelo a resrção: () () (R): () () β β+ < e β () () < β+ para =,,...,m., As conseqüêncas devdas à smera da função de nível de avação (Propredade (P.)) pode ser resolvda, ao se consderar: () () (R): β < β para =,,...,m. Para elmnar a denfcabldade causadas pelas propredades (P.3) devem ser mposas duas resrções adconas: (R3) γ >0, =,..,m (R4) d >0, =,..,m A prmera dela eva que uma smples mudança de snal nos parâmero γ conduz a problemas de denfcação no modelo. Por ouro lado, na nerpreação geomérca dscuda, vmos que a resrção d =, resrnge esa mulplcdade

28 8 no veor de dreção do hperplano. No enano anda emos uma ambvalênca produzda pelo fao de que os veores d, e d em a mesma norma e são ambos orogonas ao hperplano. A resrção (R4) eva ese problema. Consderando que d é um veor unáro, (R4) convere-se em: d = d > 0. q = A presença de pares neurônos rrelevanes, propredade (P.4) pode ser conornada aplcando uma esraéga de consrução do modelo do po especfcoa-geral, como o sugerdo na seção 3.3. Os eoremas. de Sussman (99) e.4 de Hwang e Dng (997)) êm como conseqüênca mporane que, para ceras funções de avação, a denfcabldade do modelo mplca a sua mnmaldade. ascamene, os coroláros. de Sussman (99) e.4 de Hwang e Dng (997) garanem que um modelo rreduível é mínmo. O fao de que a rredubldade e a mnmaldade seam equvalenes sgnfca que não exsem mecansmos, fora os lsados na defnção de redubldade, que possam ser ulzados para reduzr o número de undades sem mudar a relação funconal de enrada-saída. Logo as resrções (R.)-(R.4) mposas ao modelo, garanem que, se não exsem undades rrelevanes o modelo é denfcável e mnmal. No enano, anda oura condção deve ser esudada. Os eoremas comenados são váldos se a função de nível de avação sasfaz a condção que dz respeo a ndependênca de cera famíla de funções (Vde condção de Hwang e Dng, 997). Para as funções de avação logísca, angene e gaussanas, esa condção á fo esabelecda (Kůrková e Kane,994; Sussman,994; Hwang e Dng, 997). No presene caso, devemos enão comprovar que suposções devem ser feas para que os resulados se manenham. Anes de enuncar o Teorema que esabelece as condções sufcenes sob as quas o modelo RNGL é globalmene denfcável, algumas suposções devem ser feas. Hpóese. Os parâmeros (a,b ) não se anulam conunamene para algum () () =,..m. Adconalmene γ =0 e β. β

29 9 Esa Hpóese garane que não exsem undades rrelevanes como descro na propredade (P.4). Teorema Sob a Hpóese e as resrções: (R): () () β β+ < e β () () < β+ para =,,...,m; () () (R): β < β, =,,...,m; (R3) γ >0, =,..,m; q (R4) d = d > 0, =,..,m = o modelo RNGL é globalmene denfcável..3 Conssênca fore dos esmadores Em Whe (98) e Whe e Domowz (984) se esabelecem as suposções prncpas para garanr a convergênca fore dos esmadores de mínmos quadrácos do problema. No conexo de séres emporas as condções que garanem a conssênca (quase segura) são esabelecdas em Whe (994) e Wooldrdge (994), sob a base de um processo esaconáro. A connuação enunca-se e prova-se o Teorema da conssênca dos esmadores do modelo de RNGL. Hpóese : O processo gerador de dados (PGD) para a seqüênca de observações escalares {y } =,...T é um processo RNGL ergódgo com veor de parâmeros (verdadero) ψ * Ψ. O espaço paramérco Ψ é um subespaço compaco de R r onde r =m(+q). Teorema 3 Sob as resrções (R.)-(R.4) e as Hpóeses e, o esmador de mínmos quadrados (EMQ) é quase seguramene conssene.

30 30.4 Normaldade assnóca Nesa seção esabelecem-se duas condções necessáras para garanr a normaldade assnóca do EMQ. de Ψ. Hpóese 3: O valor verdadero do veor de parâmeros, ψ *, é pono neror Hpóese 4: A famíla de funções { x } U { x, ψ )} U { x ( x, ψ )} { x, ψ )} U { x ( x, ψ )} ( U ( onde x R e ϕ l (x, θ l )=(b x -γ β (l) ), b >0, β <β =,...,m; l=, e ϕ l (x, θ l ) são não equvalenes em snal, é lnearmene ndependene. Teorema 4 Sob as resrções (R.)-(R.4) e as Hpóeses -4, σ * d QT ( ψ T ) * * * onde Q ( ψ ) = E[ Q ( ψ )], Q ( ψ ) a varânca de ε T T T ( ˆ * ψ ψ ) N( 0, I ) é a marz Hessana de Q T (ψ) em ψ * e σ é Na demonsração da conssênca dos esmadores, consderou-se como hpóese que se rabalha com um processo ergódgo. Esa suposção é necessára desde que ulzar os resulados de Pöscher e Prucha (986) para provar que a le fore dos grandes números é sasfea. Esa suposção podera ser parcalmene relaxada se ulzarmos os resulados de Wooldrdge (994) onde são esabelecdas as condções de conssênca e normaldade assnóca para os M- esmadores, ulzando a le unformemene fraca dos grandes números (unform weak law of large numbers (UWLLN)). Por ouro lado, a condção de normaldade sobre os erros do modelo, d, pode ser relaxada na prova da conssênca e normaldade assnóca dos esmadores, sendo necessára apenas supor que os erros são d com méda zero, varânca fna e al que ( ) < E para algum δ>0. ε +δ

31 3.5 Sobre a esaconaredade do modelo. Enquano as condções de esaconaredad assnóca do modelo proposo, alguns comenáros devem ser realzados. Em se raando de modelos não lneares para séres emporas, a obenção de condções necessáras e sufcenes para a esaconaredade não é, em geral, arefa fácl. Ese é ambém o caso do modelo RNGL. Uma possbldade é ulzar o fao de que o modelo RNGL pode ser nerpreado como um modelo que em como coefcenes funções auorregresvas (funconal coeffcen auoregressve (FAR) model) se x =[y -,...,y -p ], e aplcar os resulados obdos em Chen e Tsay (993). No enano, as resrções obdas por esa va, são exremamene resrvas. Smulações realzadas aponam que modelos com coefcenes auorregresvos alamene explosvos podem ser esaconáros, dependendo da relação dos coefcenes auorregresvos e o veor de dreção dos hperplanos. No enano condções formas e mas geras que garanam a esaconaredade do modelo esão aualmene sob esudo. A segur, lusra-se, aravés de smulação, o comporameno de dos modelos RNGL. O exemplo mosra um processo RNGL esaconáro que é combnações de modelos auorregresvos explosvos. Para lusrar a dependênca nos elemenos do veor d, =,...,m, o exemplo mosra um modelo onde d =[,0]. Exemplo. 000 observações do segune modelo RNGL : y = ( y ) + exp(0(y + 6)) + ( y ) + exp(0(y + )) + exp(0(y )) + ε + exp(0(y )) onde ε ~NID(0,). O modelo aneror é uma msura de dos processos auorregresvos, um explosvo e o ouro esaconáro. A fgura.5 lusra a sére emporal gerada, as funções de nível de avação, o auocorrelograma das séres e o hsograma dos dados. Pode-se observar que, nclusve com um regme explosvo, a sére é esaconára. No enano, a dsrbução dos dados é alamene assmérca e exsem algumas evdencas de bmodaldade. Exemplo observações do segune modelo RNGL.

32 3 y = ( y + ( y + ε +.5 y. y ) + exp(0.7 y ) + exp(.5(y y + δ y + 0) + ) + exp(0.7 y y + exp(.5(y + δ y 0) 40) onde ε ~NID(0,) e δ=0, 0-0. A Fgura.7 lusra a sére emporal gerada. Como pode ser observado, o processo é explosvo quando δ=0 mas é assnócamene esaconáro quando δ=0-0. (a) (b) (c) (d) Fgura. Exemplo. a) Sére Gerada. b) y - vs função de nível de avação. c) Função de auocorrelação parcal. D) Hsograma da sére.

33 33 (a) (b) Fgura. Exemplo 3. Séres geradas. a) δ=0. b)δ=0-0.

34 34 3 Procedmenos de Esmação e Seleção do Modelo. A esmação dos parâmeros não é, numercamene, um problema smples. Em geral os algormos de omzação são muo sensíves à escolha dos valores ncas dos parâmeros. O emprego de algormos as como royden-flecher- Goldfarb-Shanno ou Levenberg-Marquard é foremene recomendado (ver ersekas, 995) (para dealhes sobre eses algormos). Oura quesão mporane que deve ser comenada é a seleção do procedmeno de busca lnear que se efeua para seleconar o amanho do passo no algormo do gradene descendene. Usualmene, a nerpolação cúbca ou quadráca resula uma boa escolha.. 3. Verossmlhança concenrada A máxma verossmlhança concenrada fo proposa por Leybourne, Nwebold e Vougas (998) com o obevo de reduzr consderavelmene a dmensonaldade do problema de esmação eravo. E em vez de uma nversão de uma marz Hessana, se nverem duas marzes menores e o procedmeno de busca lnear só se ulza para ober a -éssma esmava de ψ Se L(x,ψ L ) é uma função lnear nos parâmeros enão: L( x, ψ L ) = l ψ. No x L caso de L(x) ser uma rea: Onde ψ L =[a,b] e x ( ψ ) l x = ( x,)'. Se denoamos ( x, ψ ) = e faz-se a subsução na expressão de G(.), er-se-á: m ( x ) x ( ψ ). G( x, ψ) = l ψ = e o modelo (.)-(.3) pode ser escro como um modelo lnear em ermos do parâmero ψ L. y = Z x ( ψ ) ψ L + ε onde o veor ψ L =(ψ L, ψ L,..., ψ m L ), ψ =(γ,..., γ m, d,...,d q,...,d m,...,d mq, β,..., β m ) e Z x é uma marz de a n m: L

35 35 ψ ψ ψ ψ ψ ψ ψ ψ ψ = ψ ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( Z m x m x x x x x m x m x x x x x m x m x x x x x x n n n n n n l L l l M M l L l l l L l l Se assumrmos ψ fxo (condconado na esmava do parâmeroψ ), o veor de parâmeros ψ L pode ser esmado analcamene como: ( ) y ) Z( ) Z( ) Z( ˆ ) E( L L ψ ψ ψ ψ ψ ψ = = (3.) e varânca: ( ) L L ) Z( ) Z( ˆ ) V( σ = Σ = ψ ψ ψ ψ (3.) onde σ é a varânca assumda para os erros. Os resanes parâmeros ψ podem enão ser esmados condconados ao valor de ψ L, aplcando o algormo de Levenquard Marquard (L-M) para complear a -éssma eração. O esquema eravo de esmação é resumdo a segur. Esquema eravo de esmação. Valores ncas: ) (0 (0) L ˆ, ˆ ψ ψ, = Reper Calcular ) E( ) ( L () L = ψ ψ ψ segundo (3.); Ulzar L-M para achar ( ) )' ', ' Q ( arg mn ψ () L () ψ ψ ψ = s.a (R-R4); =+; Aé Convergênca. 3. Valores Incas Os algormos eravos de omzação são freqüenemene muo sensíves a eleção dos valores ncas e ceramene ambém e o caso do modelo RNGL

36 36 Em Pedrera e al (00) e Farñas e Pedrera (00) propõe-se uma heurísca para procurar uma solução ncal para o procedmeno de esmação. Da heurísca basea-se na nerpreação geomérca do modelo no caso real, onde os valores β,β esão relaconados aos nervalos onde a função maném a monoona. Mederos e al(00a) propõe um procedmeno para calcular os valores ncas do modelo AR-NN. Ese procedmeno ambém é ulzado na esmação dos parâmeros do modelo NCSTAR (Mederos e Vega, 000). Nese caso apresena-se uma modfcação dese procedmeno para o caso presene. Assumndo que á fo esmado um modelo RNGL com m- pares neurônos, desea-se esmar um modelo com m pares-neurônos. Assm uma escolha naural para os valores ncas dos esmadores dos parâmeros consse em ulzar a esmava fnal obda na eapa aneror de modelagem para os prmeros m- pares-neuronos. Os valores ncas para os parâmeros do m- éssmo par-neurôno é obdo aravés do segune procedmeno: 3.. Procedmeno para busca da Solução Incal. Passo. Para k=,,k:. Consrur o veores = [ ] (k) (k) (k) v,..., v v m m qm al que v (k) m ( 0, ] e e v (k) m [,], =,...,q. Para so selecona-se (k) v m e v (k) m, =,..., q a parr uma amosra aleaóra da dsrbução unforme U(0,) e U(-,) respecvamene.. Defnr (k) m (k) m (k) m d = v v. 3. Calcular as proeções dos x s sobre o veor (k) d m : (k) (k) p = d x, onde x [x,..., x ]. m m, = n (k) m (k) m (k) m 4. Sea c = Z (p ), c = Z (p ), onde Z α é o percenl de nível α. / 3 / 3 (k) m

37 37 (k) (k) 5. Calcular (a, b ) a ravés da regressão dos x {x: p(x) [c (k) m, (k) m ] m sobre os y s m Passo : Defnr N valores posvos γ () m, =,,N para os parâmeros de suavdade. Eses valores não precsam ser escolhdos aleaoramene. Como as mudanças nos γ em um efeo pequeno na declvdade quando γ é grande, só se requer um numero pequeno de valores alos. Assm a malha de valores de γ deve ser mas fna para os valores pequenos. Passo3: Para k=,,k e =,,N, calcular o valor Ln(ψ) para cada combnação de valores ncas. Seleconar como valores ncas aqueles que maxmzam a função logarmo da verossmlhança concenrada ou equvalenemene o EQM. Depos de seleconar os valores ncas do m-éssmo par de neurônos, reordenam-se as undades se é necessáro para garanr que as hpóeses de denfcação do modelo seam sasfeas. Os auores assnalam que pcamene, K=000 e N=0 oferecem bons esmadores dos parâmeros sendo que K é uma função não decrescene da quandade de varáves de enrada γ. Nesa seção dscuram-se aspecos relaconados com a esmação dos parâmeros, ndcando o algormo de esmação a ulzar e apresenando um procedmeno para a ncalzação do algormo de omzação. A segur se dscue uma esraéga de modelagem que perma esabelecer as varáves de enrada, e a arqueura do modelo proposo. 3.3 Consrução do Modelo Nesa seção, propõe-se uma esraéga específco-à-geral para a especfcação do modelo. Dos problemas na especfcação do modelo RNGL requerem especal aenção. O prmero deles é a seleção das varáves explcavas condas em x,. A seleção correa dese subconuno de varáves consu um pono mporane desde que a seleção de um subconuno demasado pequeno conduz a uma má

38 38 especfcação do modelo enquano escolher demasadas varáves agrava a maldção de dmensonaldade. O segundo problema é a seleção do número correo de pares-neurôno. O procedmeno de especfcação pode ser vso como uma seqüênca que consse nas segunes eapas: () Seleção dos elemenos de x. () Deermnação do número de pares-neurôno. (3) Valdação do modelo esmado. As prmeras duas eapas do cclo de modelagem serão dscudas em dealhe. A valdação escapa um pouco do escopo dese rabalho. Enreano, os resulados em Mederos e Vega (o appear), e Mederos e al. (00) podem faclmene ser generalzados ao modelo RNGL Seleção de Varáves. Como á fo comenado, a prmera eapa na especfcação do modelo é escolher as varáves denre um conuno de varáves poencas. Embora exsam dversas écncas não paramércas de seleção de varáves (Tchernng e Yang, 000; Veu, 995; Tøshem e Auesad, 994; Yao e Tong, 994; Auesad e Tøshem, 990), elas em uma grande demanda compuaconal, em parcular quando o número de observações não é pequeno. Nesa ese, a seleção de varáves realza-se lnearzando prevamene o modelo; e aplcando à aproxmação obda, as écncas conhecdas de seleção de varáves no modelo lnear. Iso mnmza o cuso compuaconal. Com esa fnaldade, adoa-se um procedmeno smples proposo em Rech e al. (00). A déa é aproxmar o modelo não-lnear esaconáro por um polnômo de ordem sufcenemene elevada. Adapado à suação aual, a prmera eapa é aproxmar a função G(x ;ψ) por um polnômo de ordem k. Pelo Teorema de Sone-Weersrass, o erro da aproxmação pode ser arbraramene pequeno para k sufcenemene grande se algumas condções geras, as como a compacdade do espaço dos parâmero forem mposas à função G(x ;ψ). Assm o modelo RNGL é aproxmado por uma oura função.

39 39 G( x, ψ) = π ~ x + L + + q q = = q q θ θ... k = k = k x x,, x,...x k, + R( x, ψ) (3.3) ~ e R(x ;ψ) é o erro da aproxmação. 0s θ s são parâmeros, e onde x [, x ] = π R q+ é um veor de parâmeros. A forma lnear da aproxmação é ndependene do número de pares-neurôno no modelo. Na equação (3.3), cada produo de varáves envolvendo ao menos uma varável redundane em coefcene zero. Ulzando esa propredade de (3.3), podem ser elmnadas as varáves redundanes do modelo. Para fazer so prmeramene efeua-se a regressão de y em odas as varáves da pare drea de (3.3) assumndo R(x ;ψ) =0, calculando o valor do créro de seleção modelo (CSM), por exemplo AIC (Akake, 974) ou SIC (Schwarz, 978). Segudamene, elmnam-se uma varável do modelo orgnal e efeuamos a regressão de y nos ermos resanes do polnômo correspondene e calculamos oura vez o valor do CSM. Ese procedmeno é repedo omndo uma varável cada vez. Connua-se omndo dos regressores do modelo orgnal e prossegue-se dessa manera aé que o polnômo sea função de um únco regressor e, fnalmene, apenas uma consane. Fazendo sso, escolhe-se a combnação de varáves que oferece o valor q = q + mas baxo do CSM. Iso sgnfca esmar modelos lneares aravés de MQO. Noe que segundo ese procedmeno, as varáves para o modelo RNGL são seleconadas ao mesmo empo. Rech e al. (00) mosraram o bom desempenho dese procedmeno nclusve em amosras pequenas quando comparado às écncas não-paramércas. Além dsso, pode ser aplcado com sucesso em amosras grandes onde a seleção do modelo por écncas nãoparamércas se orna compuaconalmene nfaível Deermnação do número de pares-neurôno. Em aplcações reas, o número de pares-neurôno é desconhecdo e deve ser esmado baseado nas observações. Prunng é, na leraura de Redes Neuras, um dos méodos mas populares para seleção de número de neurônos do modelo.

40 40 Nele, se esma prmeramene um modelo com um grande número de neurônos e subseqüenemene, se reduz o amanho do modelo aplcando uma écnca aproprada al como crossvaldaon. Oura écnca muo ulzada é a regularzação que pode ser caracerzada como máxma verossmlhança penalzada aplcados na esmação de um modelo de Redes Neuras. Para uma dscussão dealhada vea, por exemplo, Fne (999, pp. 5-). A regularzação bayesana pode servr como exemplo (MacKay, 99a; MacKay, 99b). Uma oura possbldade é ulzar um CSM para deermnar o número de pares-neurôno na camada ocula. Swanson e Whe (995), Swanson e Whe (997a), e Swanson e Whe (997b) aplcam o créro de seleção modelo de SIC como segue: Eles começam com um modelo lnear, adconando as varáves poencas aé que o CSM ndque que o modelo não pode mas ser melhorado. Enão eles esmam modelos com um únco neurôno e adconam-lhe regressores seqüencalmene, um por um, a menos que o SIC não mosre nenhuma melhora adconal. Em seguda, os auores adconam uma oura undade escondda e prosseguem adconando varáves a ela. O processo de seleção ermna quando o CSM ndca que não devem ser adconadas mas undades esconddas ou varáves ou quando alcançar um número máxmo de undades esconddas, predeermnado. Nese rabalho adoa-se uma esraéga smlar à descra acma. Após seleconar as varáves explcavas aravés do procedmeno descro na seção aneror, esma-se com um modelo de um únco par-neurôno e calcula-se o SIC. Connua-se a adconar pares-neurôno aé que o SIC não ndque nenhuma melhora adconal. O SIC é defndo como: ln(t) SIC(h) = ln( σˆ ) + [ m( + q) ], T (3.4) onde σ é a varânca resdual esmada. Iso sgnfca que para seleconar um modelo com um par-neurôno, é necessáro esmar m+ modelos. Uma oura manera de deermnar o número de pares-neurôno é segur a proposa de Mederos e Vega (000a) e Mederos e al. (00) e usar uma seqüênca de eses LM. No enano, so va além do escopo dese rabalho.

41 4 4 Resulados Numércos Nese capíulo, são apresenados os resulados numércos para o modelo RNGL ulzando séres reas. O prmero exemplo consdera só o ause do modelo enquano o segundo mosra o desempenho na prevsão passo à frene. Na seleção do modelo é ulzado a esraéga de modelagem descro na seção Sére de Lnces Canadenses A prmera sére de dados a ser analsada é o logarmo em base 0 do número de Lnces Canadenses (Canadan Lynx) caçados no dsro Mackenze Rver do Noroese no período Para maores dealhes e hsora ver Capíulo 7 de Tong (990). Esa sére fo analsada por Ozak (98), Tsay (989), Tong (990), Teräsvra (994), e Xa e L (999). Consderando eses resulados, foram seleconada as varáves explcavas do modelo enre os 7 prmeros valores defasados (lags) da sére emporal. Com o procedmeno descro na seção 3.3 e ulzando o SIC, denfcamos os lags e ulzando o SIC e os lags,,3,5,6,7 com o SIC. Connuamos com a consrução do modelo RNGL com somene lags e por ser mas parcmonoso. O SIC ndca como melhor modelo, aquele com dos paresneurônos (m=). O modelo fnal pode ser escro como: onde y + = + (.4y 0. 8y +. ) (.77y. 3y + 5.3) ˆε L ˆ = 0,04 ˆ σˆ = σ ε σ ε L ( 0.8y 0. 57y +. 3 ), ( 0.8y 0. 57y 0. 9) + + ( 0.8y y 0. 87), ( 0.8y y 0. 8) 0,876, R=0,8673 σˆ ε σˆ é a razão enre o desvo padrão dos resíduos do modelo RNGL e os resíduos de um AR() e R é o coefcene de deermnação. O valor do desvo

42 4 padrão dos resíduos ( σˆ ε = 0,04) é menor que os obdos por ouros modelos ulzando só os dos prmeros valores defasados como varáves explcavas. Por exemplo, o modelo não-lnear proposo por Tong (990, p. 40) apresena desvo padrão dos resíduos gual a 0.; o modelo Exponencal Auorregresvo (EXPAR) proposo por Ozak (98) em 0,080. Teräsvra (994) enconrou melhores resulados (0.87), mas nclundo varáves aé o lag. Com o RNGL foram obdos valores próxmos a ese consderando só os prmeros 4 lags. 4. Sére de Manchas Solares Nesa seção lusramos o modelo RNGL num exemplo real. Nese exemplo consdera-se a sére de número de manchas solares no período enre , obdas do Naonal Geophyscal Daa Cener (web page: As observações para o período foram ulzadas para a esmação do modelo e as resanes observações foram ulzadas para avalar as prevsões. Adoamos aqu a mesma ransformação ulzada em Tong (990), y [ ( + ) ] = N onde N é o número de manchas solares. Esa sére, conhecda na leraura como Sunspo é foremene não-lnear e em sdo modelada por város auores. MacKay (99 a, b) ulza uma rede neural arfcal (Modelo NN) com 5 neurônos e os prmeros 9 lags como enrada, esmados com regularzação bayesana e ambém o modelo lnear com lags ulzando SIC (Modelo AR). Dos modelos do po SETAR êm sdo ulzados na modelagem desa sére, um reporado por Tong (990) e ouro por Chen (995). O modelo de Chen (995) a varável reshold é uma função não lnear dos lags da sére emporal enquano Tong (990) ulza só um únco lag. Para começar a modelagem da sére fo ulzada a esraéga de seleção de varáves dscuda na seção 3.3., consderando uma aproxmação de ercera ordem para o modelo verdadero. Aplcando o créro SIC, são seleconados os lags,,7 como varáves explcavas (O AIC ndca lags,,4-0). No enano, os resíduos esmados são foremene correlaados. Para elmnar esa correlação seral se nclu y -3 no conuno de varáves explcavas. Segudamene,