Mestrado em Análise de Dados e Sistemas de Apoio à Decisão. Disciplina: Extracção e conhecimento de dados I. Trabalho nº4: Séries Temporais

Transcrição

1 Mestrado em Análise de Dados e Sistemas de Apoio à Decisão Disciplina: Extracção e conhecimento de dados I Trabalho nº4: Séries Temporais Data: 6 de Fevereiro de 005 Aluno: Elisabeth Silva Fernandes Nº

2 Índice Introdução e objectivo do trabalho..3 Análise preliminar dos dados..4 Modelos para séries não estacionárias..1 Modelo nãolineares...14 Redes Neuronais.19 Projection pursuit regression.1 Modelo de Kernel Conclusão... 5

3 Introdução e objectivo do trabalho No âmbito da disciplina de Extracção e Conhecimento de Dados foi proposta a realização de um trabalho cujo objectivo é o de tratar uma série temporal de um activo financeiro, utilizando métodos fornecidos nas aulas, e prever os valores de fecho do índice S&P 500, nos dias 7, 8 de Fevereiro e 1, e 3 de Março. 3

4 Análise preliminar dos dados No gráfico seguinte é apresentada a evolução da séries temporal do valor do fecho do S&P 500 desde 3 de Janeiro de Pode observar-se mudanças repentinas do valor de fecho deste índice, pode ainda constatar-se que a variância evolui ao longo do tempo (volatilidade) e que existe irreversibilidade no tempo. dados Index Figura 1 Uma vez que esta série exibe comportamentos incompatíveis com a formulação de um processo linear apresento na secção seguinte modelos não-lineares. 4

5 Um primeiro problema que se coloca é a escolha dos dados a usar para obtenção dos modelos. O que a literatura indica é que deve usar-se um conjunto de dados que tenham um comportamento parecido com a totalidade da série, logo decidi utilizar aproximadamente os últimos 1000 registos (que corresponde, aproximadamente, à zona dentro do círculo azul). Parece-me que estes dados têm um comportamento parecido com o da série completa. Os valores de fecho deste índice que vão ser considerados são de 6 de Março de 00 até 3 de Fevereiro de 006. data<-read.table('c:/documents and Settings/Utilizador/Ambiente de trabalho/trabalho4-series/treino.txt',header=true) É possível observar o comportamento desta série na figura seguinte: fecho Index Figura Mais uma vez se verificam alterações repentinas nos valores, volatilidade e irreversibilidade no tempo. Verifica-se ainda alguma tendência. Algumas estatísticas descritivas dos valores de fecho deste índice: 5

6 Min. 1st Qu. Median Mean 3rd Qu. Max O método das diferenças é uma operação simples que transforma uma série nãoestacionária numa série estacionária. > h.returns<-function(x,h=1){ diff(x,lag=h)/x[1:(length(x)-h)] } > h.returns(data[, Close ]) > plot(h.returns(data[, Close ],h=1)) h.returns(dados, h = 1) Index Figura 3- Série estacionário A figura 4 revela uma distribuição simétrica dos valores, com clara presença de eventos raros o que é de esperar visto que estamos a tratar uma série económica. 6

7 Figura 4 Uma outra análise que pode ser feita é comparar o histograma da nova série com a curva gaussiana. hist(h.returns(data[, Close ],h=1),prob=t) lines(density(h.returns(data[, Close ],h=1))) Histogram of h.returns(dados, h = 1) Density h.returns(dados, h = 1) Figura 5 Se estimarmos os parâmetros da normal e se sobrepuser a curva ao gráfico anterior, fazendo: 7

8 x<-seq(-0.06,0.06,length=100) y<dnorm(x,mean(h.returns(data[, Close ],h=1)),sd(h.returns(data[, Clo se ],h=1))) lines(x,y,col="red") Obtenho o seguinte gráfico: Histogram of h.returns(dados, h = 1) Density h.returns(dados, h = 1) Verifica-se que o histograma se aproxima muito da distribuição normal. A função de Autocorrelação fornece-nos uma forma de ver o quanto os valores da série temporal estão correlacionados com os valores anteriores. > FECHO<-h.returns(data[, Close ],h=1) > acf(fecho) 8

9 Series FECHO ACF Lag Figura 6: h=1 Pela análise deste gráfico podemos concluir que existe alguns valores com correlação significativa. Series FECHO ACF Lag Figura 7: h=5 Autocorrelações parciais pacf(fecho) 9

10 Series fecho Partial ACF Lag Filtro Linear Médias móveis O termo média móvel é utilizado porque à medida que a próxima observação se torna disponível, a média das observações é recalculada, incluindo essa observação no conjunto de observações e desprezando a observação mais antiga. plot(data[, Close ]) fecho.1<-filter(data[, Close ],filter=rep(1/30,30)) lines(fecho.1,col="red") fecho.<-filter(data[, Close ],filter=rep(1/90,90)) lines(fecho.,col="blue") 10

11 fe ch o Ind e x Figura 8 fecho Index Figura 9 O filtro que melhor se ajusta aos dados é o filtro 1. 11

12 Modelos para séries não estacionárias Nesta secção apresento um modelo obtido para esta série temporal usando modelos ARIMA(p,d,q). Uma vez que este tipo de séries não é estacionária faz-se a transformação log à série e esta passa a ser estacionária. Após esta tranformação já se pode utilizar um modelo ARIMA(p,d,q). data<-read.table('c:/documents and Settings/Utilizador/Ambiente de trabalho/trabalho4-series/treino.txt',header=true) > SPteste<-data[999:100,5] O modelo que obtive é um ARIMA(1,0,) e os passos segui para calcular o erro quadrático médio das previsões da semana de de Fevereiro até 4 de Fevereiro foram os seguintes: ARIMA<-arima0(log(data[,5]), order = c(1,0,)) tsdiag(arima, gof.lag=0) Pelo teste de Ljung-Box-Pierce posso afirmar que este modelo se adequa à série em estudo. 1

13 Standardized Residuals Time ACF of Residuals ACF Lag p values for Ljung-Box statistic p value lag predict(arima0(log(sptreino[,5]), order = c(1,0,)), n.ahead = 5) A previsão para a semana de teste é a seguinte: pred<-exp(c( , , , )) > pred [1] sum((pred-spteste[,5])^)/4 [1]

14 Modelo não-lineares Modelo ARCH- Autocoregressive Conditionally heteroscedastic O primeiro modelo que fornece uma forma de modelar a volatilidade é o modelo ARCH proposto por Engle em 198. Este modelo assume que a variância dependo dos quadrados dos erros passados, o modelo é da forma: yt = σ ε t t σ t = α 0 + α1 yt 1 onde ε t é ruído branco e α > 1 0. O modelo mais simples é o ARCH(1) que é um ruido branco com variância condicional não constante, e essa variância condicional depende do valor anterior. Neste caso, o modelo pode ser reescrito como um AR(1) estacionário para erros não normais que têm média zero e variância não constante. y t com 14

15 Se o processo ARCH(1) for estacionário pode mostrar-se que o coeficiente de curtose é dado por 3 1 ε k = 1 3α ( ) que é sempre maior do que 3 ( a curtode da distribuição normal). Os processos ARCH(1) têm caudas mais pesadas do que a distribuição normal e são portanto adequados para modelar séries temporais com esta característica. O modelo ARCH(m) é dado por: σ t = α + α y α 0 1 t m yt m Identificação A variância condicional dos erros comporta-se como um processo autorregressivo, logo deve esperar-se que os resíduos de um modelo ARMA ajustado a uma série temporal observada também sigam este padrão característico. Se o modelo ajustado for adequado então a FAC e a FACP dos resíduos devem indicar um processo puramente aleatório, no entanto se a FAC dos quadrados dos resíduos tiver um decaimento característico de uma autorregressão isto é uma indicação de que o modelo ARCH pode ser apropriado. A ordem m do modelo pode ser identificada através da FACP dos quadrados dos resíduos. Modelos GARCH Uma generalização dos modelos ARCH consiste em assumir que a variância condicional se comporta como um processo ARMA, isto é, depende também dos seus valores passados. O modelo GARCH(m,r) é da forma: yt = σ ε t t σ t = α 0 + m r α j yt j + j= 1 j= 1 β σ j t j 15

16 Aplicação na série temporal de fecho do S&P500 O conjunto de dados utilizado para obter este modelo são os valores de 6 de Março de 00 até 17 de Fevereiro de 006. > data<-read.table('c:/documents and Settings/Utilizador/Ambiente de trabalho/trabalho4-series/treino.txt',header=true) > SPtreino1<- data[1:998,5] > SPteste<-data[999:100,5] Pelas consultas feitas em bibliografia da área conclui que um modelo que se adequa a esta série temporal é o seguinte: GARCH(1,1) G<-garch(x=diff(SPtreino1),c(1,1)) plot(g) σ t = α 0 + α1 yt 1 + β1σ t 1 O modelo obtido foi o seguinte: 16

17 Coefficient(s): a0 a1 b Aplicando o Garch à série directamente obtenho o seguinte modelo: Coefficient(s): a0 a1 b e e e-03 Valores previstos do dia 1 de Fevereiro até 4 de Fevereiro mse<-(sum((prev-spteste[,5])^)/4) MSE= Figura 10 Gráfico da série suavizada e dos resíduos. Figura 11- Histograma da série e dos resíduos. 17

18 Figura 1 Gráfico dos quartis. Figura 13 FAC da série e dos resíduos Pelos gráficos anteriores é possível verificar que este método modela razoavelmente a série em estudo, uma vez que não é rejeitada a normalidade dos resíduos e a FAC dos resíduos a partir do primeiro lag tem todos os valores dentro das bandas de confiança. Efectuei outras experiências mas pareceu-me ser este o melhor modelo de entre este tipo de modelos. De seguida apresento um dos modelos que também me pareceu razoável: ARCH() A<-garch(diff(SPtreino1), order = c(0,)) Como é possível observar nos gráficos seguintes os Q-Qplot aproximam-se de uma recta e o histograma dos resíduos parece aproximar-se de uma Normal, logo este modelo ajusta-se razoavelmente bem aos dados. 18

19 Figura 14 Figura 16 Figura 15 Figura 17 Previsões para os dias 1 de Fevereiro até 4 de Fevereiro: MSE= O modelo que tem maior MSE é o Garch(1,1), logo de entre estes escolheria o Arch() para prever valores futuros. Redes Neuronais 19

20 Uma vez que as séries económicas são (geralmente) não lineares e como as redes neuronais lidam facilmente com este tipo de casos, a aplicação de Redes Neuronais para prever valores futuros deste tipo de séries tem sido muito usada. O conjunto de dados utilizado para obter a rede neuronal, SPtreino, são os valores de 6 de Março de 00 até 17 de Fevereiro de 006. Os valores utilizados para teste, SPteste, são os valores de 0 de Fevereiro até 4 de Fevereiro. SPtreino<-data[1:998,] SPteste<-data[999:100,] O objectivo neste método é obter o melhor modelo de Rede Neuronal, para tal utilizamos as primeiras 50 observações para obter as diferentes variantes do modelo, e as restantes são usadas para decidir qual é o melhor modelo. Finalmente, este melhor modelo será novamente obtido mas com todos os dados (SPtreino). train<-data[1:50,] sel<-data[51:500,] test<-data[751:100,] train.best<-data library(nnet) alt<-expand.grid(size=c(10,0),decay=c(0.01,0.001),theil=0) prevs.ant<-c(train[nrow(train),"close"],sel[1:(nrow(sel)-1),"close"]) for(a in 1:nrow(alt)){ nn<nnet(close~.,train[,-1],size=alt[a,"size"],decay=alt[a,"dec ay"],maxit=1000,linout=t) prevs<-predict(nn,sel) alt[a,"theil"]<-sqrt(sum(((sel[,"close"]- prevs)/prevs.ant)^)/sum(((sel[,"close"]-prevs.ant)/prevs.ant)^)) } best<-which.min(alt[,"theil"]) 0

21 A melhor rede neuronal é a que tiver menor valor da estatística de Theil. nn<nnet(close~.,data=train.best[,-1],size=alt[best,"size"],decay=alt [best,"decay"],maxit=1000,linout=t) prevs<-predict(nn,test) Previsões para os valores da semana de 1 de Fevereiro até 4 de Fevereiro MSE=

22 Projection pursuit regression O projection Pursuit é um tipo de modelo aditivo com a forma: F a r( x) = f i α j, i X i= 1 j= 1 Isto é, trata-se da soma de funções de combinações lineares dos atributos. Os passos seguidos para a obtenção deste modelo são os seguintes: i library(modreg) pp<-ppr(v5~.,data=sptreino[,-1],nterms=5) pp.preds<-predict(pp,spteste) As previsões obtidas para a semana de teste são: pp.preds mse<-sum((spteste[,5]-pp.preds)^)/4 > mse [1]

23 Modelo de Kernel Um outro modelo que decide experimentar é o modelo de Regressão de Kernel, este modelo faz uma média pesada à volta da vizinhança de cada caso de teste. Uma função implementada no R para este método é kernapply(), que usei, para ver o que se obtêm apresento os seguintes gráficos e experiências. k1 <- kernel("daniell", 15) x1 <- kernapply(data[,5], k1) plot(data[,5]) lines(x1, col = "red") data[, 5] Index Figura 18 Usando o seguinte valor kd para o parâmetro da dimensão de kernel, o modelo obtido ajusta-se melhor à série em estudo. kd <- kernel("daniell", c(3,3)) x1 <- kernapply(data[,5], kd) 3

24 data[, 5] Index Figura 19 Uma outra função implementada no R é a função loess()no quadro seguinte apresento os passos efectuados: Usando 30% da amostra para largura da banda. > ll0<-loess(close~.,data=sptreino[,:5],degree=0,span=0.3) > preds.ll0<-predict(ll0,spteste[,:5]) > ll1<-loess(close ~.,data=sptreino[,:5],degree=1,span=0.3) > preds.ll1<-predict(ll1,spteste[,:5]) > ll<-loess(close ~.,data=sptreino[,:5],degree=,span=0.3) > preds.ll<-predict(ll,spteste[,:5]) preds.ll0 [1] > preds.ll1 [1] > preds.ll [1] col="red",ylim=range(c(preds.ll1,preds.ll),na.rm=t)) Cálculo do erro quadrático médio: > mes.ll0<-mean((preds.ll0-spteste[,5])^) > mes.ll1<-mean((preds.ll1-spteste[,5])^) > mes.ll<-mean((preds.ll-spteste[,5])^) > mes.ll0 [1]

25 > mes.ll1 [1] > mes.ll [1]

26 Conclusão Após experimentar os vários métodos, apresentados anteriormente, os dois modelos que melhor se ajustam à série do fecho do índice S&P500 são: - Rede neuronal para size=0 e decay=0.001 em que o MSE foi de.9. - Modelo de Kernel para um polinómio de grau 1 em que o MSE foi de.6. Previsão dos valores de fecho do índice S&P500 para os dias 7, 8 de Fevereiro, 1, e 3 de Março 7-Fev Fev Mar Mar Mar

27 Bibliografia [1]- Data Mining with R - Luis Torgo; []- Time Series Analysis and Its Applications - Robert H. Shumway- Springer; [3]- A Course in Time Series Analysis - Daniel Peña- Wiley-Interscience Publication; [4]- Non-linear Time Series - Howell Tong- Oxford Science Publications. 7