5 Esudo de Casos Para a avaliação dos algorimos online/bach evolucionários proposos nese rabalho, foram desenvolvidas aplicações em problemas de filragem dos esados de um sisema não-linear unidimensional, problemas de oimização de funções e problemas de aprendizado de hiper-parâmeros de um sisema de volailidade esocásica. Como plaaforma de eses foi uilizado um compuador com processador Inel Penium 4 de 1.9 GHz com 500 Mb de memória. E como linguagem de programação foi usado Malab 6.0. 5.1. Filragem dos Esados de um Sisema Não-Linear Unidimensional Considere-se o seguine MEE [20] expresso por: y θ = = 2 ( θ ) (84) + ε 20 1 25θ 1 6 θ 1 + + 8cos + η 2 2 1+ ( θ ) 5 1 com ε ~ N(0, R) e ~ N(0, Q). A seguir mosra-se a aplicação do algorimo do η FPG na esimação dos esados e das observações, o qual será comparado com os resulados do algorimo do FPB. A figura 4 mosra a simulação do sisema sobre = 1,2,...,T períodos de empo, com T = 100, θ 0 = 0. 1, R = 1, Q = 10 e π ( θ 0 ) ~ N(0, P) com P = 5. As figuras 5-8 mosram o desempenho do FPB e do FPG na esimaiva do sinal dos esados (figura 5 e 6) e na esimaiva do sinal de saída do modelo (figura 7 e 8) em 200 simulações. Cada simulação realiza uma esimaiva do sinal dos esados e das observações a ravés da média e da máxima a poseriori da densidade dos esados e da densidade da saída do modelo. Poseriormene é calculado o erro enre o sinal verdadeiro dos esados e das observações com os sinais esimados pelo modelo em cada simulação. Finalmene o desempenho é calculado como a média dos erros nas 200 simulações.
63 Ruído nos esados 3 2 1 0 1 2 3 0 20 40 60 80 100 Tempo Ruído nas Observações 4 3 2 1 0 1 2 3 0 20 40 60 80 100 Tempo Esados 30 20 10 0 10 20 Observações 30 25 20 15 10 5 0 30 0 20 40 60 80 100 Tempo Figura 4 - Simulação do modelo não-linear unidimensional 5 0 20 40 60 80 100 Tempo Com base nas figuras 5-8 pode-se concluir que o FPG possui um melhor desempenho que o FPB. Enreano, à medida em que se aumena o número de parículas N, o desempenho dos dois algorimos fica similar. Enreano, o FPG possui maior grau de adapabilidade graças à inrodução dos operadores genéicos e, desa forma, o FPG é mais robuso a problemas de ouliers das observações. O cuso compuacional do experimeno foi: FPB = 1.15 horas e o FPG = 3.48 horas. Como ilusração, as figuras 11 ao 17 mosram a comparação do FPG e FPB considerando uma população de 80 parículas. Para ese caso os erros obidos são mosrados na abela 1. Além disso o empo compuacional foi de 0.73seg e do FPG de 2.14seg. Filro Erro nos Esados Erro nas Observações 2 2 2 ( θ ) ( θ ) ( y ) ( y ) θ Média θ MAP y Média y MAP FPB 1447.24 3603.49 29935.44 16309.43 FPG 1310.84 2953.50 18530.79 5525.75 Tabela 1 - Desempenho do Erro do FPB e FPG 2
64 Figura 5 - Desempenho do FPB e do FPG na média dos esados do Modelo Figura 6 - Desempenho do FPB e do FPG na MAP dos esados do Modelo
65 Figura 7 - Desempenho do FPB e do FPG na média da saída do Modelo Figura 8 - Desempenho do FPB e do FPG na MAP da saída do Modelo
66 Figura 9 - Desempenho do FPB na evolução da densidade dos esados Figura 10 - Desempenho do FPG na evolução da densidade dos esados
67 Figura 11 Desempenho do FPB na evolução da densidade das observações Figura 12 - Desempenho do FPG na evolução da densidade das observações
68 Figura 13 - Desempenho da média dos esados obido pelo FPB Figura 14 - Desempenho da média dos esados obido pelo FPG
69 Figura 15 - Desempenho da MAP dos esados obido pelo FPB Figura 16 - Desempenho da MAP dos esados obido pelo FPG
70 Figura 17 - Desempenho da média das observações obido pelo FPB Figura 18 - Desempenho da média das observações obido pelo FPG
71 Figura 19 - Desempenho da MAP das observações obido pelo FPB Figura 20 - Desempenho da MAP das observações obido pelo FPG
72 Figura 21 - Desempenho da média dos esados obido pelo FPB Figura 22 - Desempenho da média dos esados obido pelo FPG
73 Figura 23 - Desempenho da MAP dos esados obido pelo FPB Figura 24 - Desempenho da MAP dos esados obido pelo FPG
74 Figura 25 - Desempenho da média das observações obido pelo FPB Figura 26 - Desempenho da média das observações obido pelo FPG
75 Figura 27 - Desempenho da MAP das observações obido pelo FPB Figura 28 - Desempenho da MAP das observações obido pelo FPG
76 5.2. Oimização de Funções Nese experimeno numérico, aplica-se o algorimo FE na minimização da seguine função de cuso [32]: 2 2 2 2 h ( θ) = h( x, y) = 0.01( x + x y + y ) (85) a qual é mosrada na figura 29. É conhecido que o valor mínimo da função h (θ) é zero, o qual ocorre em ( x, y) = (0,0). A figura 30 mosra a nova função de cuso p ( θ) exp[ h( θ)] a ser maximizada. A fim de se er uma noção ilusraiva da convergência do algorimo FE, iso é, mosrar o processo de busca do pono óimo MM min θ = θ, as figuras 31 e 32 mosram as densidades de filragem para cada uma das marginais de p (θ) obidas * pelo algorimo FE com esquema de seleção α Θ Θ ) local. As figuras 33 e ( 0: 0: 34 mosram, novamene, as densidades de filragem para cada uma das marginais * de p (θ) obidas pelo FE com esquema de seleção α Θ Θ ) global. ( 0: 0: Embora as duas versões do FE mosrem sua convergência ao pono óimo MM min θ = θ, como mosram as figuras 35 e 36, elas possuem ligeiras diferenças. * Por exemplo, a versão FE com α Θ Θ ) local necessia de mais ierações ( 0: 0: * para ober a mesma exaidão que o FE com α Θ Θ ) global. Uma explicação ( 0: 0: para ese fenômeno é que o esquema de seleção global combina a informação de odas as parículas para orienar a busca em regiões mais promissoras, o que não ocorre no esquema de seleção local e, em conseqüência, o esquema de seleção global converge com poucas ierações. Para ese experimeno o empo * compuacional foi de 0.73 seg. para o FE com α Θ Θ ) local, e de 3.12 seg. * para o FE com α Θ Θ ) global. ( 0: 0: ( 0: 0: Os parâmeros usados nesa simulação foram N=200 parículas, π ( θ, ρ = 1 e ρ = 1. O melhor indivíduo após T=20 2 0 ) = π ( x0, y0 ) ~ U ( 20,20) c gerações foi ( x, y) = ( 0.03985100831241, 0.01330544882694) para o FE com * α Θ Θ ) local e ( x, y) = ( 0.00633761332415,0.01147637479062) para o ( 0: 0: * FE com α Θ Θ ) global. ( 0: 0: m
77 Figura 29 Função de cuso a ser maximizada Figura 30 Função de cuso a ser minimizada
78 Figura 31 Convergência em x do FE com esquema de seleção local Figura 32 Convergência em y do FE com esquema de seleção local
79 Figura 33 Convergência em x do FE com esquema de seleção global Figura 34 Convergência em y do FE com esquema de seleção global
80 Figura 35 Convergência de x, y do FE com esquema de seleção local Figura 36 Convergência de x, y do FE com esquema de seleção global
81 A seguir mosra-se oura aplicação do algorimo FE que consise na minimização da seguine função objeivo [28]: h( x, y) = [ xsin(20y) + y sin(20x)] [ x cos(10y) + y sin(10x)] 2 2 cosh[sin(10x) x] + cosh[cos(20y) y] (86) a qual é mosrada na figura 37. É conhecido que o valor mínimo da função h (θ) é zero, o qual ocorre em ( x, y) = (0,0). A figura 38 mosra a nova função de cuso p ( θ) exp[ h( θ)] a ser maximizada. A fim de se er uma noção ilusraiva da convergência do algorimo FE, iso é, mosrar o processo de busca do pono óimo MM min θ = θ, as figuras 39 e 40 mosram as densidades de filragem para cada uma das densidades marginais de * p (θ) obidas pelo algorimo FE com esquema de seleção α Θ Θ ) local. As ( 0: 0: figuras 41 e 42 mosram, novamene, as densidades de filragem para cada uma das densidades marginais de p (θ) obidas pelo FE com esquema de seleção * α Θ Θ ) global. ( 0: 0: As figuras 43 e 44 como no exemplo anerior mosram a convergência ao pono óimo MM min θ = θ pelo FE com esquema de seleção local e global respecivamene. Noe novamene para ese exemplo que a versão do FE com esquema de seleção local necessia de mais ierações para ober a mesma exaidão que o FE com esquema de seleção global. Por ouro lado o empo compuacional do FE com esquema de seleção local foi de 0.92 seg. E para o FE com esquema de seleção global foi de 3.19 seg. Os parâmeros usados nesa simulação foram N=200 parículas, π ( θ = x y U, ρ = 1 e ρ = 1. O melhor indivíduo após T=20 2 0 ) π ( 0, 0 ) ~ ( 2,2) c gerações foi ( x, y) = ( 0.00042585753770, 0.00695409537349) para o FE com * α Θ Θ ) local e ( x, y) = (0.00000005877940,0.00270329390413) para o FE ( 0: 0: * com α Θ Θ ) global ( 0: 0: m
82 Figura 37 Função de cuso a ser maximizada Figura 38 Função de cuso a ser minimizada
83 Figura 39 Convergência em x do FE com esquema de seleção local Figura 40 Convergência em y do FE com esquema de seleção local
84 Figura 41 Convergência em x do FE com esquema de seleção global Figura 42 Convergência em y do FE com esquema de seleção global
85 Figura 43 Convergência de x, y do FE com esquema de seleção local Figura 44 Convergência de x, y do FE com esquema de seleção global
86 5.3. Aprendizado de um Sisema de Volailidade Esocásica Considere-se o seguine modelo de volailidade esocásica [64]: y α onde ε ~ N(0,1), ~ N(0,1) = = α µ + σ ε exp 2 φα + σ η 1 η 2 ( ρη + 1 ρ ε ) 2 2 η, α ~ { 0, /(1 )} 0 σ η φ (87) N, ρ < 1, φ < 1. Para ese experimeno foram considerados os seguines valores µ = 0. 0515, φ = 0. 980, σ η = 0.160, σ ε = 0. 799, ρ = 0. 485. A figura 16 mosra a simulação do sisema sobre = 1,2,..., T períodos de empo, com T = 200. Figura 45 Simulação do modelo de volailidade esocásica Noe que os parâmeros adapaivos θ = ψ, α } do MEE possuem ano { componenes invarianes ψ = {, φ, σ, σ, ρ} quano componenes varianes no µ η ε empo α. Para esimar θ = ψ, α } eficienemene é conveniene realizar ese { cálculo separadamene. Para iso a densidade a poseriori p Θ Y ) pode ser expressa por: ( 0: 1:
87 p( Θ 0: Y 1: ) p( ψ, α Y ) (88) 0: p( ψ Y 1:, α 1: 0: ) p( α 0: Y 1: ) Com esa decomposição, a densidade p α Y ) pode ser calculada pelo ( 0: 1: filro de parículas, enquano que p ψ Y, α ) pode ser calculada pelo ( 1: 0: algorimo genéico, uma vez que esa densidade é invariane no empo. Enreano o cálculo de p ψ Y, α ) deve respeiar as resrições de ( 1: 0: domínio imposas aos elemenos do veor ψ = {, φ, σ, σ, ρ}. Porém, os µ η ε operadores de cruzameno e muação precisam ser adapados para saisfazer esas resrições. Felizmene, na lieraura exisem diversas definições de cruzameno e muação que manipulam resrições de domínio, ais como cruzameno ariméico, cruzameno simples, cruzameno heurísico, muação uniforme, muação não uniforme e muação de froneira (para maiores dealhes veja [39]). Por ouro lado, observando o MEE, pode-se concluir que a densidade da verossimilhança do modelo possui um formao Gaussiano da forma: Com: p( y α ) = E [ y 1 2π Var[ y Var[ y α α ] = ] = y E[ y ] exp 0.5 ] Var[ y ] α 2 µ + ρ exp σ ε η 2 2 2 σ ε (1 ρ )exp Logo, subsiuindo a equação (89) na equação (29) obém-se a função de imporância dos filro FPB e FPG, respecivamene. Por ouro lado, relembrando que as observações são condicionalmene independenes aos esados, enão a densidade p ψ Y, α ) será igual a: ( 1: 0: α 1 :, α 0: ) = p( y i i ) i= 1 p( ψ Y α Logo, subsiuindo a equação de acima na equação (80) obém-se a função de apidão que guiará o processo de busca do AG no cálculo dos parâmeros 2 2 (89) (90) (91) (92) ψ = {, φ, σ, σ, ρ} óimos do modelo. Enreano, devido a problemas de µ η ε precisão numérica inerenes à função de cuso da equação (92), na práica é uilizada a seguine função de cuso:
88 ln{ p( ψ Y1 :, α 0: )} = ln{ p( y α )} i= 1 uma vez que a ransformação logarímica garane a preservação dos valores exremos da função de cuso expressa pela equação (93). Com fins ilusraivos foi realizado uma comparação enre as esimaivas dos esados e das observações obidas pelo FPB, FPA e o FPG. Nesa comparação foi usando uma população de 200 indivíduos. Assim as figuras 46-49 mosram o desempenho do FPB, as figuras 50-53 mosra o desempenho do FPA e as figuras 54-57 mosra o desempenho do FPG. Noe-se que as esimaivas dos rês filros esão muio próximos. Enreano a diferença enre eles pode ser observado na abela 2, onde percebe-se a superioridade do FPG. Os empos compuacionais para os rês filros foram: FPB = 8.02 seg., FPA = 16.23 seg. e FPG = 37.88 seg. i i (93) Filro Erro nos esados Erro nas observações 2 2 ( θ θ Média ) ( y y Média ) FPB 30.94 203.72 FPA 52.57 167.68 FPG 40.90 131.30 Tabela 2 - Desempenho do Erro do FPB, FPA e FPG As figuras 58, 59 e 60 mosram as esimaivas dos parâmeros invarianes (hiper-parâmeros) ψ = {, φ, σ, σ, ρ} do modelo obidos pela combinação µ η ε simulânea do algorimo genéico do FE com os filros de parículas FPB, FPA e FPG, respecivamene, considerando um período de empo de T = 200 : 25 : 1000. As abelas 3,4 e 5 mosram o desempenho do FE+FPB, FE+FPA e do FE+FPG respecivamene. Além disso o cuso compuacional nese experimeno foi: FE+FPB = 9.66 horas, FE+APF = 17.53 horas e o FE+FPG = 18.22 horas. As figuras 61, 62 e 63 mosram 50 esimaivas de ψ = {, φ, σ, σ, ρ} µ η ε obidos pela combinação simulânea do algorimo genéico do FE com os filros de parículas FPB, FPA e FPG, respecivamene, considerando um período de empo de T = 1000. As abelas 6,7 e 8 mosram o desempenho do FE+FPB, FE+FPA e do FE+FPG respecivamene. Além disso o cuso compuacional nese experimeno foi: FE+FPB = 12.87 horas, FE+APF = 28.77 horas e o FE+FPG = 49.14 horas.
89 Figura 46 - Desempenho do FPB na evolução da densidade dos esados Figura 47 Desempenho do FPB na evolução da densidade das observações
90 Figura 48 - Desempenho do FPB na esimaiva dos esados Figura 49 - Desempenho do FPB na esimaiva das observações
91 Figura 50 - Desempenho do FPA na evolução da densidade dos esados Figura 51 Desempenho do FPA na evolução da densidade das observações
92 Figura 52 - Desempenho do FPA na esimaiva dos esados Figura 53 - Desempenho do FPA na esimaiva das observações
93 Figura 54 - Desempenho do FPG na evolução da densidade dos esados Figura 55 Desempenho do FPG na evolução da densidade das observações
94 Figura 56 - Desempenho do FPG na esimaiva dos esados Figura 57 - Desempenho do FPG na esimaiva das observações
95 Figura 58 Aprendizado dos hiper-parâmeros do modelo via: FE+FPB Figura 59 Aprendizado dos hiper-parâmeros do modelo via: FE+FPA
96 Figura 60 Aprendizado dos hiper-parâmeros do modelo via: FE+FPG Figura 61 Aprendizado dos hiper-parâmeros do modelo via: FE+FPB
97 Figura 62 Aprendizado dos hiper-parâmeros do modelo via: FE+FPA Figura 63 Aprendizado dos hiper-parâmeros do modelo via: FE+FPG
98 Hiper-parâmero Valor verdadeiro FE+FPB Erro 2 µ 0.0515 0.0573 0.0000 φ 0.9800 0.9229 0.0033 σ 0.1600 0.1933 0.0011 η σ 0.7990 0.6384 0.0258 ε ρ -0.4850-0.7808 0.0875 Tabela 3 - Erro da esimaiva do FE+FPB para T = 200 : 25 : 1000 Hiper-parâmero Valor verdadeiro FE+FPA Erro 2 µ 0.0515 0.0503 0.0000 φ 0.9800 0.8248 0.0241 σ 0.1600 0.2345 0.0055 η σ 0.7990 0.6741 0.0156 ε ρ -0.4850-0.2437 0.0582 Tabela 4 - Erro da esimaiva do FE+FPA para T = 200 : 25 : 1000 Hiper-parâmero Valor verdadeiro FE+FPG Erro 2 µ 0.0515 0.0379 0.0002 φ 0.9800 0.9775 0.0000 σ 0.1600 0.3140 0.0237 η σ 0.7990 0.6878 0.0124 ε ρ -0.4850-0.2966 0.0355 Tabela 5 - Erro da esimaiva do FE+FPG para T = 200 : 25 : 1000 Com base nos resulados das abelas 3,4 e 5 pode-se concluir que as esimaivas do FE+FPB, FE+FPA e do FE+FPG esão muio próximas. Enreano, o FE+FPG possui uma ligeira exaidão com relação a os ouros dois méodos. Por exemplo, noe que ρ esimado por FE+FPB e FE+FPA possui um erro maior em relação com o FE+FPG; já os ouros hiper-parâmeros esão próximos. Esa exaidão em um preço, já que o cuso compuacional do FE+FPG é maior à dos ouros dois méodos.
99 Hiper-parâmero Valor verdadeiro FE+FPB Erro 2 µ 0.0515 0.0446 0.0000 φ 0.9800 0.9724 0.0001 σ 0.1600 0.2561 0.0092 η σ 0.7990 0.7270 0.0052 ε ρ -0.4850-0.7799 0.0870 Tabela 6 - Erro em 50 simulações da esimaiva do FE+FPB para T = 1000 Hiper-parâmero Valor verdadeiro FE+FPA Erro 2 µ 0.0515 0.0609 0.0000 φ 0.9800 0.7320 0.0615 σ 0.1600 0.2797 0.0143 η σ 0.7990 0.6233 0.0308 ε ρ -0.4850-0.2242 0.0680 Tabela 7 - Erro em 50 simulações da esimaiva do FE+FPA para T = 1000 Hiper-parâmero Valor verdadeiro FE+FPG Erro 2 µ 0.0515 0.0500 0.0000 φ 0.9800 0.9713 0.0000 σ 0.1600 0.3134 0.0235 η σ 0.7990 0.6693 0.0168 ε ρ -0.4850-0.2987 0.0347 Tabela 8 - Erro em 50 simulações da esimaiva do FE+FPG para T = 1000 Com base nos resulados das abelas 6,7 e 8 pode-se concluir que as esimaivas do FE+FPB, FE+FPA e do FE+FPG novamene esão próximas. Enreano, o hiper-parâmero ρ esimado por FE+FPB e FE+FPA possui novamene um erro maior em relação com o FE+FPG, já os ouros hiperparâmeros esão próximos.
100 5.4. Resumo Nese capíulo foram apresenadas aplicações do FPG e FE em problemas de filragem dos esados de um sisema não-linear unidimensional, problemas de oimização de funções e problemas de aprendizado de hiper-parâmeros de um sisema de volailidade esocásica. Os resulados mosram que o FPG e o FE possuem uma eficiência igual ou superior aos méodos convencionais. No próximo capíulo são apresenadas as conclusões finais da ese assim como as sugesões de rabalhos fuuros.