Saturno V 6.1, performance de 1971 a 2010

Transcrição

1 Saturno V 6.1, performance de 1971 a 2010 Por Hindemburg Melão Jr. Ampliamos e aprimoramos novamente nossa base de dados EURUSD, agora cobrindo todo o período desde 4/1/1971 até 27/7/2010. O período anterior à existência do euro foi preenchido com o inverso de USDDKK multiplicado por uma constante apropriada, com algumas edições complementares para manter fidelidade no tamanho dos candles, na distribuição dos tamanhos e outras propriedades. A correlação entre as cotações de fechamento diário EURUSD e DKKUSD (ou 1/USDDKK) é 0,932, extremamente elevada, justificando o procedimento adotado. Além disso, qualquer eventual disparidade entre EURUSD e USDDKK tem efeito positivo, por produzir maior variedade de cenários do que ocorreria no próprio EURUSD. O gráfico abaixo mostra as cotações de EURUSD e DKKUSD no período em que possuímos dados sobre ambas: É ligeiramente mais difícil otimizar os parâmetros de uma estratégia usando uma base que mistura cotações de EURUSD com DKKUSD do que numa base exclusivamente de EURUSD. Soma-se a isso que nos primórdios do Forex a volatilidade era menor e algumas propriedades do Mercado eram diferentes, tornando a otimização mais difícil. Como conseqüência, uma estratégia otimizada nesta base de dados tende a ser mais robusta, capaz de funcionar numa variedade maior de cenários, inclusive em cenários tão selvagens como em 2008 e Essa base ligeiramente híbrida é melhor para fins de otimização de estratégias do que uma que seja inteiramente constituída por cotações de EURUSD, porque introduz um pouco mais de heteroscedasticidade, anisotropia etc. É melhor no sentido de que um sistema que funcione bem nesta base tem maiores probabilidades de funcionar bem em outras situações do que um sistema que funcione bem numa base exclusivamente constituída por EURUSD. Isso não significa que emendar uma base de EURUSD em uma de JPYUSD (1/USDJPY), ajustando os pontos de ligação com uma constante apropriada, teria efeito igualmente positivo. Não teria. Essa emenda, da maneira como foi feita, é legítima porque muitas propriedades foram levadas em conta e muitas condições foram respeitadas. Um monstro de Frankstein que seja capaz de andar e funcione, feito com remendos porcos de pedaços mal costurados, sem os devidos cuidados, só existe em filmes. No mundo real, para que o monstro funcione, os remendos precisam ser feitos artisticamente e cirurgicamente, caso contrário o resultado é inútil. E há limites além dos quais não importa quão bem sejam os remendos, se tais limites não forem respeitados, os órgãos costurados sofrerão rejeição. É necessário que seja feito um rigoroso e meticuloso estudo de compatibilidade, antes de adicionar a prótese, bem como um estudo exaustivo a posteriori, para conferir como ficou, e fazer os ajustes complementares de sintonia fina, até que a interface que une as partes fique tão natural como se ela tivesse nascido ali. Além de assegurar suavidade, naturalidade e exatidão na interface, toda a extensão da prótese precisa estar em harmonia com o todo. Nesse caso é mais complexo ainda, porque antes de agosto de 1971 há uma região naturalmente deformada da base, e foi preciso lidar com essa deformidade de modo a não eliminá-la, o que seria antinatural e deturparia os dados originais, e ao mesmo tempo deixá-la compatível com o restante da série. Novamente há limites para o que pode ser feito, mas dentro destes limites, creio que foi feito algo perto do ideal. Havia alguns erros nas cotações mais antigas, tais como o desvio-padrão na diferença High Low de cada dia estava muito maior do que o desvio-padrão em Open Close ou Open(D) Open(D+1), e a ocorrência de GAPs apresentava freqüência muito acima do esperado, com base na distribuição de GAPs nos dados mais recentes. Podemos constatar nos dados recentes que os desvios-padrão deveriam ser aproximadamente iguais em High Low e Open Close ou Open(D) Open(D+1). Algumas outras proporções que deveriam ser observadas, não aconteciam da maneira apropriada. Corrigimos e

2 melhoramos a relação sinal/ruído. As correções nesse tipo de situação não podem ser feitas indiscriminadamente, em parte porque nunca se pode saber ao certo o que é um erro no registro dos dados e o que é uma anomalia real que foi zelosamente registrada. A proporção entre os desvios-padrão em High Low e Open Close é um critério apropriado para correção de trechos nos quais isso não acontece por ser uma propriedade fundamental de movimentos quase-brownianos, e todos os instrumentos financeiros precisam apresentar essa propriedade quando analisados em intervalos suficientemente extensos. Quando tal propriedade não é constatada, sinaliza que existe um erro real e sistemático nos registros de cotações, normalmente candles esticados intencionalmente por brokers que desejam estimular a prática de scalping, produzindo séries históricas com micro-características irreais, nas quais se consegue performances altíssimas nos dados distorcidos, porém se perde tudo quando se aplica a mesma estratégia em situação real. Uma série histórica na qual High Low e Open Close não apresentam desvios-padrão semelhantes é como uma foto de pessoas em que se observa pessoas com 3 braços ou mais. A menos que sejam representações de Shiva ou algo assim, a probabilidade de haver algum erro na quantidade de braços por pessoa é de quase 100%. Em meus artigos de 2006, comentei bastante sobre isso, por ser um dos primeiros problemas de suspeita de fraude que constatei nos brokers. Pode-se usar diversos métodos para ajustar tamanhos exagerados de candles, e assim corrigir estas distorções. E se pode usar o critério que descrevi acima para detectar a presença dos tais erros. Há outros tipos de erros que precisam ser detectados e corrigidos ou filtrados. Em alguns casos, nos servimos de inferência bayesiana, bem como alguns estimadores robustos para tentar definir o que era o mercado real naquele período e o que era ruído espúrio. Entre os diversos procedimentos, um deles foi o seguinte: recortamos trechos de DKKUSD de períodos nos quais possuímos dados EURUSD, como , colocamos a prótese de DKKUSD no intervalo, processamos os dados e depois conferimos quão semelhante esse trecho ficava em comparação aos dados que sabemos ser de EURUSD naquele mesmo período. Se os dados processados desta maneira produziam determinado nível de imprecisão em relação aos dados reais, qual o tamanho da incerteza esperada ao aplicar os mesmos procedimentos num intervalo no qual não temos os dados reais para comparar? Esse tipo de análise costuma ser muito útil para se estimar incertezas, bem como possibilita fazer correções mais acuradas. Fizemos um trabalho bastante cuidadoso e, como resultado, ficamos com uma base melhor do que se simplesmente completasse o período de 1971 a 1979 com DKKUSD, como é feito pela principal fonte de dados para o Mercado Financeiro, a Olsen Data, que atende ao Citibank, Deutsche Bank, ABS, a vários outros grandes bancos, universidades e instituições financeiras. Novamente o significado de melhor, nesse contexto, refere-se à nossa base ter mais utilidade na modelagem e predição de quais valores devem assumir os parâmetros de uma determinada estratégia para que essa estratégia se mantenha tão lucrativa em períodos futuros como foi nos dados históricos usados para otimização. A seguir podemos ver como ficaram os candles nesse período:

3 Até agosto de 1971, a volatilidade era muito menor e aparentemente representa a situação real naquela época, pois o Forex havia sido criado há pouco tempo e o mesmo nível de baixa volatilidade pode ser observado em coroa norueguesa, por exemplo. Poderia ter adaptado esse intervalo à volatilidade nos períodos posteriores, mas preferi manter nos limites originais, não apenas para manter fidelidade aos dados, como também para dificultar a otimização nesse período e testar como o Saturno V 6.1 se sairia numa situação destas. O resultado foi previsível: o Saturno V perdeu não apenas até agosto de 1971, como ficou negativo até 1973, ganhando nos 36 anos subseqüentes. Esse resultado foi importante para confirmar a boa qualidade da edição da base, em que Forex embrionário apresentava características distintas das atuais em aspectos relevantes, e essas características peculiares foram preservadas na edição. A postura adotada foi de só fazer correções nos casos em que houvesse um grau suficientemente elevado de certeza de que se tratava realmente de um erro a ser corrigido. Assim foram preservadas praticamente todas as propriedades fundamentais e adaptadas de DKKUSD para EURUSD. O cenário nos primeiros anos do Forex é muito diferente do atual em algumas macro-propriedades e em praticamente todas as micro-propriedades. A partir de 1973, com otimizações feitas em períodos variados entre 1980 e 2010, períodos de 1 a 10 anos, muitas configurações se mostraram apropriadas para funcionar entre 1973 e 1979, inclusive entre 1971 e 1979, com perdas concentradas no período compreendido entre 1971 e Foram feitas centenas de otimizações nas últimas semanas, com bases desde 1979, e agora desde 1971, num total de mais de de genótipos testados e dezenas foram selecionados. A melhor performance entre 1973 e 2010 foi ,62%, num total de 87 operações, 78% das quais foram lucrativas, com fator de lucro 5,31, máximo drawdown no equity 75,3%. Um lucro médio de 42,6% ao ano durante 39,56 anos. Porém com máximo drawdown elevado. Apesar de ter drawdown elevado, ela supera em muito os resultados da 3.03, que num período menor, de 29 anos, conseguiu cerca de 19% ao ano, enquanto a versão 6.1, em quase 40 anos, conseguiu mais de 40% ao ano. Contudo, é mais prudente operar num nível de risco bem mais baixo. Uma das configurações que avaliamos ter uma das melhores relações risco/recompensa é a que foi otimizada no meio do período (1995 a 2004) e depois validada nas extremidades (1971 a 1994 e depois entre 2005 e 2010), com performance de quase % no período inteiro, uma curva de crescimento suave, elevado fator de lucro, e estabilidade na quantidade de trades por ano. Por ser um sistema de tendência, quando o Mercado fica lateral ele pode ficar meses ou até mais de 1 ano sem realizar nenhuma operação, portanto um dos quesitos mais relevantes para eleger uma boa configuração é que ela realize uma quantidade aproximadamente uniforme de operações por unidade de tempo. Esta configuração realizou um total de 134

4 operações, com média de 3,39 por ano e desvio-padrão 1,33, com máximo de 7 operações em 1 ano (duas vezes: uma em 1972 e outra 1973) e mínimo de 1 operação em 1 ano (em 2009). O desvio-padrão de 1,33 numa amostra tão pequena revela uma estabilidade muito boa, aliás, se o desvio-padrão for estimado por máxima verossimilhança, chega-se a 1,15 e média 3,03, com dispersão ainda menor nos dados. Abaixo, representamos a distribuição da quantidade de operações por ano e confrontamos com uma gaussiana com os parâmetros (µ,σ) calculados convencionalmente pela raiz quadrada da soma dos quadrados dos desvios dividida por n-1 e, em seguida, com os parâmetros estimados por máxima verossimilhança. A diferença entre os métodos salta à vista. As barras azuis representam a quantidade de operações por ano, tendo no eixo x as quantidades por ano e no eixo y as freqüências representadas pela altura das barras. A curva azul marinho é a distribuição gaussiana e a curva magenta é uma distribuição de Weibull com parâmetros (α,β) estimados por máxima verossimilhança. Vemos que nesse gráfico a Weibull (cor magenta) se ajusta muito melhor aos dados (barras azuis). No próximo gráfico, a gaussiana é representada com os parâmetros estimados por máxima verossimilhança. Fica muito semelhante à Weibull e bem mais aderente aos dados representados pelas barras azuis, embora ainda um pouco menos aderente que a Weibull. Podemos notar que a gaussiana não fica tão mal ajustada quando se muda o método para determinar seus parâmetros, embora com uma amostra maior ela fatalmente deixaria a desejar, porque não tem assimetria nem assíntota em 0, como a Weibull. Essa modelagem nos permite estimar que a probabilidade de não ser realizada nenhuma operação num determinado ano é cerca de 0,72%. Uma informação útil para ajudar na escolha desta configuração em detrimento de outras também muito boas. Porém o mais importante dessa análise é comentar que mesmo entre os métodos convencionais, há diferentes alternativas para se determinar parâmetros de distribuições, ou de funções em geral, como a fórmula para desvio-padrão, que é o mais fácil, usual, básico e impreciso, e o método da máxima verossimilhança, mais sofisticado e mais acurado. A escolha do melhor método faz uma diferença enorme. No nosso caso, boa parte dos métodos que usados para determinar os parâmetros das estratégias usadas nas diferentes versões do Saturno são de autoria própria, ou aprimoramentos em alguns

5 dos melhores métodos convencionais. Não temos como acertar sempre, porém nos servimos das melhores ferramentas disponíveis, ou inventamos ferramentas novas, quando necessário, ou aprimoramos as convencionais, quando possível. É curioso que nos cursos de Engenharia, Física, Química, Astronomia e outros nas áreas de Exatas, aprende-se apenas o método mais básico para se determinar média e desvio-padrão, sendo que desde o início do século XX, R. A. Fisher já defendia a supremacia do método da máxima verossimilhança. Quase 100 anos depois de Fisher, ainda é comum o uso do pior método. Enfim, ampliamos nossa base de dados históricos, corrigimos erros nos dados, filtramos ruídos, fizemos testes exaustivos para verificar se o trecho adicionado se comportava como um trecho típico de EURUSD, e constamos que sim. Há disparidades no período anterior a 1/1/1973, especialmente antes de agosto de 1971, mas isso não se deve a qualquer diferença significativa entre EURUSD e DKKUSD, mas sim ao fato de que todos os Mercados incipientes apresentam problemas de liquidez e volatilidade. Como o Forex nasceu no início dos anos 1970, e não havia internet, homebroker, traders de varejo etc., então levou um tempo até o Mercado se aquecer e começar a funcionar. Ao corrigir os erros, procuramos responder a três perguntas: se EURUSD existisse naquela época, quais propriedades ele teria similares às de DKKUSD naquela época e quais propriedades ele teria similares ao EURUSD atual e como balancear estas características de modo a tornar a edição mais o fidedigna possível? As outras duas perguntas são de interesse privativo e preferimos não compartilhar, já que a posse de uma boa base de dados é um dos diferenciais importantes para o sucesso nas otimizações. Depois de validada a base de dados, passamos a realizar back tests e otimizações, e conseguimos resultados excelentes com o Saturno V 6.1, conforme sumarizado abaixo: O gráfico acima ajuda a visualizar o excelente fator de lucro anualizado, com lucros muito maiores que prejuízos, além de mais freqüentes, numa proporção de 18 para 1 considerando o total de ganhos anuais dividido pelo total de perdas anuais.

6 O ganho médio anual não é tão estável quanto gostaríamos, pois depende de o Mercado se mover em tendência. A amplitude de variação entre nosso ganho máximo e nossa perda máxima é semelhante à do Quantum Fund, de George Soros, porém a performance dele é um pouco melhor que a nossa, por enquanto. O fato de as performances dele serem com dinheiro real e em tempo real são irrelevantes nesse caso. Desde 2007 temos acumulado abundantes evidências de similaridade entre back tests e operações reais, e sabemos que um back test rodado no mesmo período em que tenham sido realizadas operações reais, produz quase exatamente mesmos resultados. Esse fato é bem conhecido desde 2007, porém em 2007 só conseguíamos manter esse alto nível de similaridade usando séries históricas tick-by-tick. A partir de 2009, começamos a usar e aprimorar um método para otimização em séries que não contivessem informações sobre os ticks, mas apenas candles de 1 minuto, 5, 15, 30 minutos, 1 hora, 4 horas, 1 dia, 1 semana e 1 mês. Progressivamente fomos conseguindo manter resultados aceitáveis subtraindo dados menores. Desde 2009 já conseguíamos fazer testes usando candles de 1 dia, porém a similaridade com o mesmo teste rodado em bases tick-by-tick era muito menor do que conseguimos com o método atual. Até poucas semanas atrás, os testes em dados final de dia só nos serviam para confirmação grosseira, se uma carteira cresceria ou diminuiria com a aplicação de determinada estratégia, bem como podíamos estimar aproximadamente os rendimentos, acertando na ordem de grandeza. Agora podemos realizar os testes quase indiferentemente em dados final de dia ou tick-by-tick, desde que a estratégia tenha sido concebida já contemplando essa finalidade, com precisão de 99,81% ±0,08% no balanço, 99,56% ±0,31% no número de operações realizadas, 97,2% ±1,1% no máximo drawdown, 99,62% ±0,19% no profit factor. Com esse nível de similaridade nos principais critérios a serem considerados na avaliação do resultado produzido pela aplicação da estratégia, e sendo este método muito mais rápido que o convencional, podemos aplicá-lo em quase todas as situações de otimização e seleção de genótipos, só fazendo o teste completo, com dados tick-by-tick, como complemento final para validação. Há muitos artigos nos quais mostro os problemas de se usar bases de dados OHLC. Agora veremos alguns dos motivos que nos levam a considerar estes testes em séries OHLC confiáveis. Para começar, vejamos a tabela abaixo, em que estão 5 dos critérios que usamos para comparar relatórios: Na segunda coluna (Ticks) estão os resultados usando uma base de ticks entre 1/1/2000 e 5/7/2010. Na segunda coluna estão os resultados usando apenas uma base final de dia OHLC. Foram removidos os ticks, as bases de 1 minuto, 5 minutos, 15

7 minutos etc. Todos os dados intradiários foram removidos, deixando apenas os candles final de dia. Também foram apagados os arquivos FXT, ou seja, toda informação indradiária foi eliminada antes de realizar o teste na base OHLC. O que podemos observar é uma semelhança impressionante: menos de 1% de diferença no lucro total e no fator de lucro, menos de 3% de diferença no máximo drawdown relativo, nenhuma diferença na quantidade de operações nem na porcentagem de operações com lucro. Fizemos a mesma comparação usando diferentes configurações, e a similaridade tipicamente observada é como esta da tabela acima. Além da notável similaridade, podemos constatar também que no período de 2000 a 2010, representado nessa tabela, os resultados foram basicamente iguais aos obtidos entre 1971 e 1999, que constam na tabela anterior. Essa semelhança em períodos tão diferentes mostra a estabilidade da estratégia a longo prazo. O lucro médio anual entre 1971 e 1999 foi 24,71%, e entre 2000 e 2010 foi 23,75% (seria 26,08% se uma posição que ficou aberta de 1999 para 2000 fosse considerada). O fator de lucro foi 4,70 entre 2000 e 2010, e foi 4,59 entre 1971 e A quantidade média de operações por ano foi 3,12 e 3,41. O máximo drawdown relativo no equity foi 43,18% entre 1971 e 1999 e 41,56% entre 2000 e 2010, sendo o único ponto que não esteve de acordo com as expectativas, pois num período 2,75 vezes mais longo, seria esperado um máximo drawdown em torno de 65% maior (raiz de 2,75 ~ 1,66), ou seja, seria esperado que entre 1971 e 1999 o máximo drawdown fosse cerca de 54%. Lembrando que a forma correta de se calcular isso não é 1,66*41,56%, isso seria um erro primário, pois nesse caso um período 100 vezes maior implicaria multiplicar o dd por 10 e daria dd=415% no período 100 vezes mais longo, o que é absurdo, já que o dd não pode ser maior que 100%. O correto é fazer dd (P1) =1-{1/[1+(P 1 /P 2 ) 0,5 *dd (P2) /(1-dd (P2) )]}. Enfim, seria esperado que o máximo drawdown em 29 anos fosse 54% com base no máximo drawdown de 41,5% em 10,5 anos. Por outro lado, se examinarmos as cotações nestes dois períodos, podemos constatar que a volatilidade em time frame de 1 dia entre 1971 e 1999 é 0,173, ao passo que entre 2000 e 2010 é 0,202. Considerando esse fato complementar, temos que o máximo drawdown esperado entre 1971 e 1999 seria cerca de 46,3%, portanto muito semelhante ao 43,2% observado. Verificamos, portanto, que para a estratégia do Saturno V 6.1, testada com a metodologia adotada, produz resultados em bases final de dia muito semelhantes aos resultados em bases tick-by-tick, corroborando que essa estratégia pode ser otimizada e testada com essa metodologia usando bases final de dia. Ressalvamos novamente que outras estratégias e outras metodologias não são capazes de atingir esse nível de similaridade. Basta testar das duas maneiras e comprar os resultados para conferir. No artigo anterior citamos um exemplo, comparando uma estratégia longa, que ficou bem diferente em OHLC, e uma estratégia de scalping, que ficou totalmente diferente em OHLC. Verificamos ainda que para essa configuração específica, os resultados são bastante estáveis ao longo do tempo, mantendo grande similaridade entre os resultados alcançados em diferentes épocas. Além de ser um crescimento estável, é bastante semelhante a uma função exponencial. As barras verdes representam a evolução da carteira ao longo do tempo, começando com R$ ,00 em 4/1/1971. A curva amarela é uma regressão exponencial. Para visualizar melhor, logaritmizamos o eixo y no gráfico abaixo, em que os pontos azuis são os fechamentos anuais dos balanços desde 31/12/1971 e a linha amarela é a mesma regressão exponencial, que assume o aspecto de reta devido à logaritmização do eixo y.

8 Vemos que os pontos não se afastam muito da reta, indicando alta estabilidade no ritmo de crescimento e uniformidade nos diferentes períodos. Num teste recente, otimizamos a versão 6.1 em períodos cada vez mais curtos, para ver até que ponto era possível otimizar num período muito curto e os valores encontrados para os parâmetros naquela otimização continuarem válidos para todo o resto da base de dados. Surpreendentemente, uma otimização no último ano, entre 26/7/2009 e 26/7/2010 é suficiente para encontrar valores para os parâmetros que continuam válidos entre 1/1/1971 e 26/7/2010! Para USDJPY, uma otimização feita em 4 anos gerou parâmetros válidos para uma base de 32 anos. Em DJI, uma otimização feita em 4 anos gerou parâmetros válidos por 38 anos. No caso do DJI, a otimização entre 1928 e 1932 gera parâmetros que continuam válidos até Otimizações em qualquer período anterior a 1966 não produziam valores que pudessem funcionar de 1967 em diante, porém bastava adicionar 1 ano de 1966 na otimização e testar por 4 anos, algo como 1964 a 1968 ou 1963 a 1967, e o resultado era aplicável de 1967 em diante. O que pudemos deduzir disso é que em alguns momentos os parâmetros podem deixar de funcionar devido a mudanças permanentes nos Mercados, mas quando isso acontece, basta alimentá-lo com dados do novo cenário e fazer uma nova otimização, que ele volta a operar normalmente. Até onde pudemos testar, basta adicionar dados de 1 ano para que fique calibrado, e ir adicionando mais dados a cada mês ou cada ano, para que fique sempre atualizado e cada vez mais refinado. Também constatamos que estes períodos de transformações são relativamente raros, ocorrendo uma vez em algumas décadas.