em Econometria Departamento de Economia Pontifícia Universidade Católica do Rio de Janeiro Aula 9
Data Mining Equação básica: Amostras finitas + muitos modelos = modelo equivocado. Lovell (1983, Review of Economic and Statistics): y t IID e independente de todos os possíveis regressores (ortogonais) x it, i = 1,...,N. Regressão estimada para todos os pares (i,j), i,j = 1,...,N: y t = β 0 +β 1 x it +β 2 x jt +u t. O modelo com o melhor R 2 é escolhido. Resultados (supondo que a variância do erro seja conhecida): N 5 10 20 100 Prob. de pelo menos uma var. sig. 0,23 0,20 0,74 0,99
O Modelo VAR(p) Seleção de Modelos Seja z t = (z 1t,...,z mt ) R m um vetor composto das variáveis de interesse. Considere o seguinte modelo estrutural : Bz t = A 0 +A 1 z t 1 +...+A p z t p +u t, onde: u t = (u 1,t,...,u m,t ) é um vetor composto pelos choques estruturais, E(u t u t ) = Σ u é diagonal e os elementos da diagonal principal de B são todos iguais a 1. A forma reduzida, VAR(p), é dada por: z t = C 0 +C 1 z t 1 +...+C p z t p +v t.
Como Determinar p? Para determinarmos o valor de p vamos utilizar a forma reduzida. Há duas formas principais para escolhermos a ordem do modelo: 1 O teste da razão de verossimilhanças ou 2 critérios de informação.
O Teste da Razão de Verossimilhanças Seja C = (C 0,C 1,...,C p ). A função de verossimilhança condicional é dada por logl(c,σ v ) = Tm 2 log(2π)+ T 2 log Σ 1 1 v 2 Para valores estimados de Ĉ e Σ v, onde Σ v = 1 T T v t v t, t=1 a verossimilhança pode ser escrita como logl(ĉ, Σ v ) = Tm 2 log(2π)+ T 2 log Σ 1 v 1 2 T t=1 T t=1 v tσ 1 v v t. v t Σ 1 v v t.
O Teste da Razão de Verossimilhanças No entanto, 1 2 [ T v t Σ 1 v v t = 1 T ] 2 tr v t Σ 1 v v t t=1 t=1 = 1 2 tr [ T t=1 = 1 2 tr [ T t=1 = 1 2 tr(ti m) ] Σ 1 v v t v t Σ 1 ( v T Σ ) ] v = Tm 2
O Teste da Razão de Verossimilhanças Logo, logl(ĉ, Σ v ) = Tm 2 log(2π)+ T 2 log Σ 1 Tm 2. Podemos escrever a verossimilhança acima em função da ordem do VAR: logl(p) = Tm 2 log(2π)+ T 2 log Σ 1 v (p) Tm 2. Vamos considerar as seguintes hipóteses: H 0 : p = p 0 H 1 : p = p 1 onde p 1 > p 0. A estatística do teste de razão de verossimilhanças é dada por [ ] λ LR = T log Σ v (p 1 ) log Σ v (p 0 ). v
O Teste da Razão de Verossimilhanças Sob H 0, λ LR d χ 2 [m 2 (p 1 p 0 )]. O resultado acima pode ser utilizado para a construção de uma sequência de testes de hipóteses.
O Teste da Razão de Verossimilhanças Seja M uma cota superior para a verdadeira ordem do processo VAR(p). Vamos considerar a seguinte sequência de testes: H 1 0 : C M = 0 versus H 1 1 : C M 0 H 2 0 : C M 1 = 0 versus H 2 1 : C M 1 0 C M = 0. H i 0 : C M i+1 = 0 versus H i 1 : C M i+1 0 C M = = C M i+2 = 0.. H M 0 : C 1 = 0 versus H M 1 : C 1 0 C M = = C 2 = 0. A ordem do VAR é determinada pela primeira rejeição da hipótese nula. Por exemplo, se H0 i for rejeitada, p será M i +1. H0 i é testada por meio de [ ] λ LR (i) = T log Σ v (M i) log Σ v (M i +1).
O Teste da Razão de Verossimilhanças Atenção É claro que a ordem estimada para o VAR irá depender do nível de significância adotado para cada teste. O nível de significância individual de cada teste na sequência não indica a probabilidade do erro Tipo I do procedimento como um todo! Rejeição de H0 i também! significa que Hi+1 0...,H M 0 foram rejeitadas
O Teste da Razão de Verossimilhanças Como determinar a probabilidade do erro Tipo I na sequência de testes? D j : evento onde H j 0 é erroneamente rejeitada. A probabilidade do erro Tipo I é dada por: e i = P(D 1 D 2 D i ). γ j = P(D j ) é o nível de significância de cada teste. Paulsen e Tjøstheim (1985) mostraram que e i = 1 (1 γ 1 ) (1 γ 2 ) (1 γ i ), i = 1,...,M.
Critérios de Informação Consistência Seja z t R m um processo estocástico vetorial estacionário descrito por um VAR(p) na forma z t = C 0 +C 1z t 1 +...+C pz t p +v t, onde v t é um processo IID com os momentos de quarta ordem finitos. Suponha uma cota M p e escolha p de tal maneira: p = argmincr(q) = argminlog Σ v(q) +q c T q q T, q = 1,2,...,M. Σ v(q) é o estimador de quase-máxima verossimilhança para a matriz de covariância dos erros em um VAR de ordem q. c T é uma sequência não-decrescente de números reais que depende do tamanho da amostra T. Portanto, p será consistente se, e somente se, c T e c T T 0, quando T.
Critérios de Informação Alguns critérios importantes: Akaike (não é consistente): AIC(q) = log Σ v (q) +qm 2 2 T. Schwarz Bayesiano (consistente) SBIC(q) = log Σ v (q) +qm 2logT T. Hannan-Quinn (consistente) HQ(q) = log Σ v (q) +qm 22loglogT. T
Análise dos Resíduos Como um dos objetivos do modelo VAR é descrever a dinâmica conjunta de z t, é muito importante que os erros do modelo sejam pelo menos não-correlacionados (não necessariamente independentes). Portanto, temos que escolher p de tal forma que não haja auto-correlação residual nos erros. Muitas vezes, em pequenas amostras, critérios de informação podem subestimar a verdadeira ordem do VAR. Logo, é importante testarmos se os resíduos possuem evidência de auto-correlação. Isto pode ser feito equação por equação por meio de testes usuais de auto-correlação ou conjuntamente (preferível).
Análise dos Resíduos Uma maneira de testarmos se os erros são auto-correlacionados é por meio de um teste tipo Multiplicador de Lagrange (LM) ou razão de verossimilhanças. Vamos considerar o seguinte modelo: z t = C 0 +C 1 z t 1 +...+C p z t p +v t, onde v t = D 1 v t 1 +...+D k v t k +e t, onde e t é um processo estocástico não-correlacionado. A hipótese de interesse é: H 0 : D 1 = = D k = 0 contra H 1 : D j 0 para pelo menos 1 j {1,2,...,k}.
Análise dos Resíduos O modelo anterior pode ser escrito como um VAR(p +k). Portanto, H 0 pode ser testada via o teste de razão de verossimilhanças utilizado para determinar p. Mas se utilizamos o teste de razão de verossimilhanças para determinar p, qual o propósito em testarmos se os erros são não-correlacionados (dado que os testes são equivalentes)? M (cota superior) pode ter sido sub-estimada! Caso H 0 seja rejeitada, devemos aumentar M e iniciar novamente o processo de determinação da ordem do VAR.
Análise dos Resíduos Outros testes: Normalidade assintótica Importante para previsão (intervalos de confiança) Heterocedasticidade Importante para previsão (intervalos de confiança) e inferência Linearidade
Causalidade de Granger Muitas vezes testes de Causalidade de Granger são utilizados para imposição de restrições nos parâmetros do modelo VAR. No entanto, devemos notar que as restrições são referentes ao modelo na forma reduzida e não na forma estrutural. Outra forma para diagnosticarmos se um VAR está bem especificado é via as FRIs. Você saberia calcular os intervalos de confiança para as FIRs? Método Delta ou bootstrap.
Função de Autocorrelação (FAC) Seleção de Representa uma medida de associação linear entre o processo e o seu passado, ou seja, uma medida de memória. Formalmente E[(y t E[y t ])(y t k E[y t k ])] ρ k,t = [ E (y t E[y t ]) 2] E [(y t k E[y t k ]) 2] Para processos estacionários de segunda ordem ρ k,t ρ k = E[(y t µ)(y t k µ)] σ 2 = γ k σ 2
Função de Autocorrelação (FAC) Seleção de A FAC de um processo estocástico é como se fosse uma marca registrada do processo. Processos de uma mesma família geram FACs do mesmo tipo. Portanto, a FAC pode ser utilizada como um procedimento para identificar o processo estocástico que gera uma série temporal.
Função de Autocorrelação (FAC) Seleção de Propriedadades da FAC: ρ k 1 ρ 0 = 1 ρ k = ρ k (processos estacionários) Se houvesse uma relação linear perfeita entre y t e y t k, então ρ k = 1. Se ρ k = 0, pode haver algum outro tipo de relação entre y t e y t k (relação não-linear).
Seleção de Função de Autocorrelação Parcial (FACP) Complementa a idéia da FAC. A FACP é a correlação entre y t e y t t k, eliminando-se a dependência dos termos intermediários. Formalmente α k = Corr[(y t E[y t y t 1,...,y t k+1 ]), (y t k E[y t k y t 1,...,y t k+1 ])]
Estimação da FAC Seleção de Modelos Seleção de Considere uma série temporal (gerada por um processo estocástico estacionário) com T observações. A FAC amostral pode ser calculada pela fórmula ρ k = 1 T T t=k+1 (y t y)(y t k y) σ 2, onde y = 1 T σ 2 = 1 T T t=1 y t T (y t y) 2 t=1
Estimação da FACP Seleção de Modelos Seleção de Considere novamente, uma série temporal (gerada por um processo estocástico estacionário) com T observações. A FACP amostral pode ser calculada estimado-se o coeficiente α k na regressão linear abaixo y t = α 1y t 1 +α 2y t 2 +α 3y t 3 +α ky t k +u t onde y t = y t y
Formato da FAC e da FACP Seleção de Processos AR: FAC: amplitude com decaimento exponencial. FACP: queda abrupta para zero quando k = p (p é a ordem do AR). Processos MA: FAC: queda abrupta para zero quando k = q (q é a ordem do MA). FACP: amplitude com decaimento exponencial. Processos ARMA FAC e FACP não têm um padrão bem definido. Você saberia demonstrar os resultados acima?
Metodologia de Box & Jenkins Seleção de 1 Especificar as ordens p e q do modelo ARMA com base na FAC e na FACP. 2 Estimar os parâmetros do modelo. 3 Realizar testes nos resíduos: autocorrelação, heterocedasticidade, normalidade, etc... 4 Refinar a ordem do ARMA com base nos testes acima e em critérios de informação. 5 Testar a capacidade preditiva.
Outros pontos importantes Seleção de Sazonalidade Estocástica ou determinística? Sazonalidade estocástica modelos SARMA (Seasonal ARMA) (1 φ 1 L... φ p L p )(1 Φ 1 L s... Φ P L Ps )(y t µ) = (1+θ 1 L+...+θ q L q )(1 Θ 1 L s +...+Θ Q L Qs )u t Sazonalidade determinística dummies sazonais Não-estacionariedade Tendência estocástica ou determinística?
Outros pontos importantes Seleção de Problemas de identificação Raizes comuns nos polinômios AR e MA. Como determinar o número de variáveis exógenas em modelos ARMA? ARMA ARMADL. Teoria econômica Critérios de informação Procedimentos geral-para-específico Análise de fatores x t = Λf t +e t, onde x t R N e f t R K, K << N. Exemplo: PCA! Regressão stepwise. Regressão ridge ou LASSO.