CLAUDIO VASCONCELOS RIBEIRO UM AMBIENTE PARA PREVISÃO DE SÉRIES TEMPORAIS UTILIZANDO COMITÊS DE APRENDIZADO

Transcrição

1 MINISTÉRIO DA DEFESA EXÉRCITO BRASILEIRO DEPARTAMENTO DE CIÊNCIA E TECNOLOGIA INSTITUTO MILITAR DE ENGENHARIA CURSO DE MESTRADO EM SISTEMAS E COMPUTAÇÃO CLAUDIO VASCONCELOS RIBEIRO UM AMBIENTE PARA PREVISÃO DE SÉRIES TEMPORAIS UTILIZANDO COMITÊS DE APRENDIZADO Rio de Janeiro 2009

2 INSTITUTO MILITAR DE ENGENHARIA CLAUDIO VASCONCELOS RIBEIRO UM AMBIENTE PARA PREVISÃO DE SÉRIES TEMPORAIS UTILIZANDO COMITÊS DE APRENDIZADO Dissertação de Mestrado apresentada ao Curso de Mestrado em Sistemas e Computação do Instituto Militar de Engenharia, como requisito parcial para a obtenção do título de Mestre em Ciências em Sistemas e Computação. Orientador: Prof. Ricardo Choren Noya D.Sc. Co-orientador: Prof. Ronaldo R. Goldschmidt D.Sc Rio de Janeiro 2009

3 c2009 INSTITUTO MILITAR DE ENGENHARIA Praça General Tibúrcio, 80 Praia Vermelha Rio de Janeiro RJ CEP: Este exemplar é de propriedade do Instituto Militar de Engenharia, que poderá incluí-lo em base de dados, armazenar em computador, microfilmar ou adotar qualquer forma de arquivamento. É permitida a menção, reprodução parcial ou integral e a transmissão entre bibliotecas deste trabalho, sem modificação de seu texto, em qualquer meio que esteja ou venha a ser fixado, para pesquisa acadêmica, comentários e citações, desde que sem finalidade comercial e que seja feita a referência bibliográfica completa. Os conceitos expressos neste trabalho são de responsabilidade do autor e dos orientadores. R484a Ribeiro, Claudio Vasconcelos Um ambiente para previsão de séries temporais utilizando comitês de aprendizado/ Claudio Vasconcelos Ribeiro. Rio de Janeiro: Instituto Militar de Engenharia, p.: il. Dissertação (mestrado) Instituto Militar de Engenharia Rio de Janeiro, Inteligência artificial. 2. Séries temporais. I. Título. II. Instituto Militar de Engenharia. CDD

4 INSTITUTO MILITAR DE ENGENHARIA CLAUDIO VASCONCELOS RIBEIRO UM AMBIENTE PARA PREVISÃO DE SÉRIES TEMPORAIS UTILIZANDO COMITÊS DE APRENDIZADO Dissertação de Mestrado apresentada ao Curso de Mestrado em Sistemas e Computação do Instituto Militar de Engenharia, como requisito parcial para a obtenção do título de Mestre em Ciências em Sistemas e Computação. Orientador: Prof. Ricardo Choren Noya D.Sc. Co-orientador: Prof. Ronaldo Ribeiro Goldschmidt D.Sc Aprovada em 24 de junho de 2009 pela seguinte Banca Examinadora: Prof. Ricardo Choren Noya D.Sc. do IME Presidente Prof. Ronaldo Ribeiro Goldschmidt D.Sc. do IST-Rio/FAETEC Profa Claudia Marcela Justel D.Sc. do IME Prof. Luís Alfredo Vidal de Carvalho D.Sc. da UFRJ Rio de Janeiro

5 Dedico esta à minha querida esposa Renata e aos meus adoráveis filhos, Lucas e Thiago. A conclusão deste trabalho foi possível somente pela compreensão de vocês nas inúmeras vezes em que necessitei estar ausente. 4

6 AGRADECIMENTOS Agradeço a todas as pessoas que me incentivaram, apoiaram e possibilitaram esta oportunidade de ampliar meus horizontes. Aos meus pais, pelo carinho e educação que têm-me proporcionado ao longo da minha vida. À minha amada esposa Renata, cujo apoio incondicional muito contribuiu para a conclusão deste trabalho, suportando um amargo distanciamento meu. Aos meus orientadores, Professores Ricardo Choren e Ronaldo Goldschmidt, por suas atenções, opiniões, conselhos e ensinamentos que tornaram-me capaz de realizar este trabalho. A todos os colegas de turma do IME, pelos seus incentivos e auxílios durante todo o curso. Por fim, a todos os professores e funcionários do Departamento de Engenharia de Computação (SE/8) do Instituto Militar de Engenharia. Claudio Vasconcelos Ribeiro 5

7 SUMÁRIO LISTA DE ILUSTRAÇÕES...09 LISTA DE TABELAS...12 LISTA DE ABREVIATURAS E SÍMBOLOS INTRODUÇÃO Caracterização do Problema Objetivos Contribuições Esperadas Organização da Dissertação FUNDAMENTOS Previsão de Séries Temporais Métodos de Previsão de Séries Temporais Média Móvel Simples Suavização Exponencial Simples Algoritmo de Wang-Mendel Adaptações no Algoritmo de Wang-Mendel Algoritmo Backpropagation Considerações sobre os Métodos de Previsão Comitês de Aprendizado Combinação Linear Combinação Não-Linear Bagging Boosting Mistura de Especialistas (ME) Mistura Hierárquica de Especialistas (MHE) Considerações Finais Métricas para Avaliar Resultados

8 3 O AMBIENTE PROPOSTO Considerações Iniciais Descrição Conceitual do Ambiente Obter Série Temporal e Particioná-la em Conjuntos Executar Métodos de Nível Base Selecionar Métodos de Nível Base para Compor o Comitê Escolher Forma e Método de Conjugação/Combinação de Resultados Executar Método de Conjugação/Combinação de Resultados Avaliar Resultados Remover os Métodos Base e a Série Temporal Protótipo Plataforma de Software Obtenção da Série Temporal e seu Particionamento Métodos de Nível Base Seleção de Métodos de Nível Base para Compor o Comitê Escolha da Forma e do Método de Conjugação/Combinação de Resultados Execução de Método de Conjugação/Combinação de Resultados Remoção dos Métodos Base e da Série Temporal EXPERIMENTOS E RESULTADOS Série Temporal Utilizada A Experimentação do Ambiente Resultados das Previsões Resultados dos Métodos Base Resultados dos Comitês TRABALHOS RELACIONADOS Autobox DTREG XLSTAT MATLAB Considerações Finais

9 6 CONCLUSÕES Principais Contribuições Sugestões de Trabalhos Futuros REFERÊNCIAS BIBLIOGRÁFICAS

10 LISTA DE ILUSTRAÇÕES FIG.1.1 (a) Série Dow Jones (WESSA, 2006). (b) Série Laser (WAN, 2006)...17 FIG. 2.1 Observações de uma série temporal com previsões de origem t e horizontes de previsão iguais a um, dois e h (adaptado de (MORETTIN e TOLOI, 2006))...21 FIG. 2.2 Exemplo de uma janela de previsão com cinco entradas e horizonte...22 de previsão igual a um FIG. 2.3 Divisão dos Intervalos de domínio em conjuntos fuzzy...26 FIG. 2.4 Mapeamento das Variáveis de Entrada e Saída para uma Janela de Previsão igual a FIG. 2.5 Aplicação do treinamento de um simples neurônio localizado na camada de saída de uma rede MLP (extraída de (PALIT e POPOVIC, 2005)...31 FIG Estrutura de um comitê de previsores, considerando 4 componentes (adaptada de (Leone Filho, 2006))...33 FIG. 2.7 Arquitetura de um Comitê de Aprendizado na Abordagem Mistura de Especialistas. FIG. 2.8 fonte: (TRESP, 2001)...37 Arquitetura de um Comitê de Aprendizado na Abordagem Mistura Hierárquica de Especialistas (MHE) ilustrada para dois níveis de hierarquia. fonte: (LIMA, 2004)...38 FIG. 3.1 Ambiente Proposto...43 FIG. 3.2 Visão geral do funcionamento do ambiente

11 FIG. 3.3 Particionamento dos elementos da série temporal...45 FIG. 3.4 Alinhamento das janelas de previsão...52 FIG. 3.5 Seleção da base de dados...56 FIG. 3.6 Exemplo de seleção do atributo que será previsto e do atributo utilizado como índice para a base de dados Mackey-Glass (WAN, 2006)...56 FIG. 3.7 Apresentação gráfica de uma série temporal a partir da seleção dos atributos de previsão e de índice (série Mackey-Glass (WAN, 2006)...57 FIG. 3.8 Exemplo da definição dos conjuntos para treinamento, validação e teste (previsão) para a série temporal Mackey-Glass...57 FIG. 3.9 Exemplo de configuração do método da Média Móvel Simples...58 FIG Exemplo de configuração do método da Suavização Exponencial Simples...59 FIG Exemplo de configuração do método de Wang-Mendel e suas adaptações. (a) definição dos conjuntos nebulosos. (b) geração das regras nebulosas. (c) opções para uso das adaptações descritas em (SILVA et al., 2007) e (RIBEIRO et al., 2008)...60 FIG Exemplo de configuração do algoritmo backpropagation em uma rede MLP...61 FIG Tela de opções de seleção dos métodos base. (a) Seleção pelo Índice máximo. (b) Seleção individual

12 FIG Tela de escolha e configuração do tipo de combinação. (a) Combinação Linear por meio da média simples. (b) Combinação Não-Linear...64 FIG Tela de configuração do treinamento para o aprendizado da rede neural que atua como combinador (método no nível meta)...65 FIG.4.1 Série Mackey-Glass...66 FIG. 4.2 Gráfico do resultado da combinação número 3 da TAB FIG. 4.3 Gráfico do resultado da combinação número 3 da TAB. 4.7 (ampliação das últimas 20 previsões)...74 FIG. 5.1 Tela ilustrativa do software Autobox...80 FIG. 5.2 Tela do software DTREG...80 FIG. 5.3 Tela inicial do software XLSTAT...81 FIG. 5.4 Software MATLAB extrato de tela da toolbox de séries temporais

13 LISTA DE TABELAS TAB. 2.1 Regra gerada a partir da escolha dos maiores graus de pertinência para o exemplo proposto na FIG TAB.3.1 Exemplo do cálculo dos pesos na combinação linear pela média ponderada usando-se a métrica U-Theil...49 TAB.3.2 Resumo das possibilidades de combinação dos comitês de aprendizado...50 TAB.3.3 Exemplo de um conjunto de dados de entrada do combinador formado apenas pelas saídas de três previsores (métodos base)...53 TAB.3.4 Exemplo de um conjunto de dados de entrada do combinador formado por uma janela de previsão com oito elementos históricos e pelas saídas de três métodos base...53 TAB.3.5 Exemplo de um conjunto de dados de entrada do combinador formado por uma janela de previsão com doze elementos históricos e pelas saídas individuais de métodos base...53 TAB. 4.1 Detalhes da Série Mackey-Glass...66 TAB. 4.2 Exemplos de configurações de métodos para uso nas tabelas de resultados...68 TAB. 4.3 Tipos de Experimentos (métodos no nível base e meta)...69 TAB. 4.4 Experimento TIPO A Série Mackey-Glass...70 TAB. 4.5 Experimento TIPO B Série Mackey-Glass...71 TAB. 4.6 Experimento TIPO B Série Mackey-Glass

14 TAB. 4.7 Experimento TIPO B Série Mackey-Glass...72 TAB 4.8 Experimento TIPO B Série Mackey-Glass...73 TAB 4.9 Experimento TIPO E.3 Série Mackey-Glass...74 TAB Experimento TIPO C Série Mackey-Glass...75 TAB 4.11 Experimento TIPO D Série Mackey-Glass...76 TAB 4.12 Experimento TIPO E.2 Série Mackey-Glass...76 TAB Experimento TIPO E.1 Série Mackey-Glass...77 TAB Experimento TIPO E.4 Série Mackey-Glass

15 LISTA DE ABREVIATURAS E SÍMBOLOS ABREVIATURAS IA - inteligência artificial MLP - perceptron de multicamadas (multilayer perceptron). RBF - função de base radial (radial basis function) RNA - rede neural artificial SÍMBOLOS abs - valor absoluto bk - bias aplicado ao neurônio k ej(n) - sinal de erro na saída do neurônio j na iteração n U - universo de discurso vk - potencial de ativação ou campo local induzido do neurônio k vk(n) - potencial de ativação do neurônio k na iteração n α - termo de momento aplicado no algoritmo BackPropagation; fração do erro de previsão na Suavização Exponencial Simples wij(n) - peso sináptico que conectada o neurônio i ao neurônio j na iteração n E/ wji - derivada parcial do erro E em relação ao peso wji Ẑt(h) - previsão no instante t e horizonte h δj (n) - gradiente local do neurônio j Δw - pequena variação aplicada ao peso w ƞ - taxa de aprendizagem µa(x) - grau de pertinência do elemento x ao conjunto A φk(.) - função de ativação do neurônio k φ'j(.) - derivada da função de ativação do neurônio j 14

16 RESUMO Previsão de séries temporais é um desafio da área de Mineração de Dados. Prever valores futuros, em função de valores passados, tem se tornado um assunto de especial interesse na academia e na indústria, com aplicações em planejamento de produção, matriz energética e mercado de ações, dentre outras. No entanto, não existe um método de previsão que possa ser aplicado com eficiência a todos os tipos de séries. Neste sentido, o uso de Comitês de Máquinas de Aprendizado busca um melhor aproveitamento das potencialidades individuais de cada método ao procurar combinálas. Contudo, a utilização de tais comitês requer do pesquisador o desenvolvimento de sistemas computacionais dedicados para integrar diversos métodos de previsão, que poderão ser modelados a partir de diferentes paradigmas. Este trabalho apresenta um ambiente para criação e uso de comitês de máquinas de aprendizado. Tal ambiente permite a adição, seleção, e avaliação de métodos de previsão de séries temporais de forma isolada ou combinada em comitês de máquinas de aprendizado. Alguns experimentos foram realizados para analisar o ambiente proposto. Estes experimentos também serviram para verificar o desempenho do uso de alguns comitês de máquinas de aprendizado na previsão de séries temporais. 15

17 ABSTRACT Time series forecasting is a challenge in the area of Data Mining. Predicting future values, based on past values, has become a subject of particular interest in academy and industry, with applications in production planning, electricity demand prediction and stock market price estimative, among others. However, there is no single model that may be suitable for all types of time series. In this subject, the use of committees of learning machines aims for a better use of each method s potentialities when combined. However, the use of such committees requires the development of dedicated computational systems to integrate different methods of forecasting, which can be modeled by different paradigms. This work presents an environment for creating and using the committees of learning machines. The environment allows the addition, selection and evaluation of methods used for forecasting time series, both individually and in committees. Some experiments were performed to validate the proposed environment. These experiments were also useful to analyse the performance of various committees of learning machines in forecasting time series. 16

18 1 INTRODUÇÃO A importância da análise e previsão de séries temporais na ciência, engenharia, e negócios tem crescido e continua como interesse atual de engenheiros e cientistas (PALIT e POPOVIC, 2005). Uma série temporal pode ser descrita como sendo um conjunto de observações discretas, realizadas em períodos eqüidistantes e que apresentam uma dependência serial entre essas observações (SILVA et al, 2007). De forma ilustrativa, a FIG. 1.1 exibe exemplos de séries temporais. (a) (b) FIG.1.1 (a) Série Dow Jones (WESSA, 2006). (b) Série Laser (WAN, 2006) Conhecer previamente um valor futuro pode significar a diferença entre o sucesso e o fracasso em determinadas ocasiões. Diversos Sistemas de Apoio à Decisão (SAD) empregam métodos que envolvem previsões de fatos e situações futuras (RIBEIRO et al., 2008). Dentre eles, podem ser citados: previsão de vendas para planejamento de produção industrial, demandas de energia elétrica, previsões de temperaturas médias e da altura das marés, estimativa de preços de ações na bolsa de valores (SILVA et al., 2007). Para que seja possível prever os valores futuros com base em valores passados, é necessário que se disponha de uma memória histórica de dados ocorridos anteriormente. Todavia, o conjunto de dados, por si só, não permite a previsão dos valores futuros. Para isso, é necessária a utilização de algoritmos, técnicas ou métodos de previsão de séries temporais, que podem envolver cálculos simples ou procedimentos complexos (RIBEIRO et al., 2008). Existem diversos métodos para auxiliar na tarefa de previsão de séries temporais, como por exemplo (MORETTIN e TOLOI, 2006): modelos de Suavização Exponencial, 17

19 modelos auto-regressivos (AR), de médias móveis (MA) e Modelos ARIMA. Tecnologias de inteligência computacional, tais como redes neurais, lógica nebulosa e algoritmos genéticos, proporcionaram a criação de metodologias avançadas de previsão (PALIT e POPOVIC, 2005). A execução de métodos individuais de previsão permite a obtenção de resultados, até certo ponto, adequados. No entanto, seu emprego possui algumas limitações: o uso de técnicas do tipo dividir-e-conquistar torna-se restrito; mudanças no comportamento da série podem alterar significativamente o desempenho (LEONE FILHO, 2006); o erro na previsão de um valor pode ser elevado apesar de apresentar, em média, erros reduzidos. Assim, alternativas para combinação de métodos de previsão vêm sendo pesquisadas. Entre elas existe a abordagem de combinação pela criação de comitês de máquinas de aprendizado. Comitê de máquinas de aprendizado é uma abordagem que trata da fusão do conhecimento adquirido por especialistas (métodos de previsão ou simplesmente previsores) para atingir uma decisão global que visa ser superior àquela alcançável por qualquer um deles atuando isoladamente (HAYKIN, 2001). Para essa abordagem a literatura utiliza uma gama de termos, tais como, comitê, ensembles, combinador, classifier fusion, agregação e outros para denominar conjuntos de máquinas de aprendizado que trabalham acoplados para solucionar um problema de aprendizado de máquina (VALENTINI e MASULLI, 2002). No intuito de englobar as variações de nomenclaturas e conceitos referentes aos citados métodos de combinação, este trabalho adotará a expressão comitê de aprendizado. Um conjunto de procedimentos são executados para a criação de um comitê de aprendizado. A partir da seleção da série temporal, o comitê gerencia a execução de métodos individuais, chamados de métodos-base (ou de nível base), proporcionando um conjunto de elementos da série para que estes façam a abstração do conhecimento individualmente. Em seguida tal conhecimento é aplicado em um conjunto de elementos que podem ser os mesmos usados anteriormente ou novos elementos são usados ou adicionados, de forma que o comitê avalie o desempenho ou a resposta de cada um desses métodos-base. Dessa avaliação seguem duas etapas: uma para seleção dos métodos-base julgados aptos a integrar o comitê e a outra para definição da estratégia de combinação destes. Esta combinação é provida por um segundo nível de abstração do conhecimento (meta-aprendizado) gerado por um método no nível meta (métodometa) e será aplicada sobre um novo conjunto de elementos destinados à previsão (ou teste). 18

20 Como vantagens do uso de comitês de aprendizado para previsão de séries podemse destacar: os erros dos membros individuais do comitê são contrabalançados em certo grau quando suas previsões são combinadas (TRESP, 2001), e; uma maior quantidade de informação e de opiniões de especialistas podem ser consideradas para julgar qual deve ser a solução final (PALIT e POPOVIC, 2000). 1.1 CARACTERIZAÇÃO DO PROBLEMA O que se espera de um comitê de aprendizado é que este produza respostas superiores àquelas alcançadas individualmente por um método. No entanto, o desempenho do comitê é susceptível à escolha de seus parâmetros e dos seus integrantes. Muitas vezes são requeridos diversos ajustes de parâmetros no comitê até a obtenção de um bom desempenho. As configurações em um ambiente de comitê incluem a divisão dos elementos da série em conjuntos, os quais se destinam às etapas de obtenção do conhecimento, validação e teste. Isto se reflete no desempenho dos métodos-base e na forma de selecioná-los e combiná-los. A dificuldade reside no fato de que além da persistência dos desempenhos dos métodos-base, também devem ser mantidas as suas configurações que proporcionaram tais desempenhos, visando permitir a compatibilização de suas combinações no nível meta. Até mesmo a ordem de execução dos métodos-base pode influenciar no resultado final dado pelo comitê. Atualmente, algumas soluções comerciais (MATLAB, 2009) (DTREG, 2009) oferecem ferramentas que disponibilizam algoritmos individuais e híbridos que podem ser estruturados para gerar previsões de séries temporais. No entanto, a integração destes algoritmos para o desenvolvimento de um comitê não é direta, necessitando que o analista tenha que desenvolvê-la. Isto gera um conjunto de dificuldades, tais como: gerenciar todas as soluções geradas individualmente; agregar ou excluir novos membros; gerar diversas combinações a partir de um repositório de desempenhos de métodos-base, e; avaliar um conjunto de desempenhos nos níveis base e meta. 1.2 OBJETIVOS Neste sentido, o objetivo principal deste trabalho é apresentar um ambiente que permita a configuração e a execução de comitês de aprendizado a partir de um conjunto 19

21 de métodos-base de previsão. O ambiente deve possibilitar a incorporação (importação) destes métodos, a configuração do comitê, e o armazenamento de dados sobre os resultados gerados tanto pelas técnicas individuais quanto pelo comitê. Desta forma, o ambiente deve facilitar o uso de diversas estratégias de comitês, permitir uma análise de desempenho dos métodos-base e dos comitês, e possibilitar o uso de mecanismos para a seleção de métodos-base a compor comitês. O ambiente também deve flexibilizar essas configurações, combinações e avaliações, viabilizando diversas formas de experimentos em busca da melhor solução. 1.3 CONTRIBUIÇÕES ESPERADAS As principais contribuições esperadas para este trabalho são: Desenvolver um ambiente para a aplicação de comitês de aprendizado na previsão de séries temporais. Este ambiente deve ser capaz de integrar diferentes métodos-base de previsão, flexibilizando a criação, os testes e as avaliações de comitês de aprendizado; Apresentar uma forma de unificar, alinhar e persistir os dados usados na execução de métodos-base para uso em comitês; e Realizar uma análise comparativa dos desempenhos de vários métodos de previsão aplicados individualmente e combinados na forma de comitês. Tal análise será decorrente da experimentação realizada a fim de testar e validar o funcionamento do ambiente proposto. 1.4 ORGANIZAÇÃO DA DISSERTAÇÃO Esta dissertação está organizada em mais cinco capítulos. O Capítulo 2 descreve as bases teóricas referentes à previsão de séries temporais. No Capítulo 3 é apresentado o ambiente proposto para a previsão de séries temporais utilizando comitês de aprendizado. Os experimentos realizados e os resultados obtidos estão relatados no Capítulo 4. O Capítulo 5 trata dos trabalhos relacionados, onde outras abordagens são apresentadas. Finalizando o trabalho, o Capítulo 6 contém as conclusões e a sugestão de trabalhos futuros. 20

22 2 FUNDAMENTOS Este capítulo descreve os conceitos básicos sobre previsão de séries temporais. Este capítulo também apresenta alguns métodos utilizados na tarefa de previsão e introduz o conceito de comitê de aprendizado. 2.1 PREVISÃO DE SÉRIES TEMPORAIS Uma série temporal é conceituada como qualquer conjunto de observações ordenadas no tempo (MORETTIN e TOLOI, 2006). Pode-se expressar uma série temporal por (NETO et al., 2007): Z t {Z t t 1,2,3...N} (2.1) Onde t é um índice temporal, e N é o número de observações. Considerando a existência de observações de uma série temporal até o instante t, a previsão no instante t+h é denotada por Ẑt(h), cuja origem é t e o horizonte é h (MORETTIN e TOLOI, 2006). As previsões em Z(t+1), Z(t+2),... Z(t+h) podem ser ilustradas por meio do exemplo contido na FIG ^ Z(t) t ^ Z(h) x ^ Z(1) ^ x Z(2) x t+1 t+2... t+h Tempo (t) FIG. 2.1 Observações de uma série temporal com previsões de origem t e horizontes de previsão iguais a um, dois e h (adaptado de (MORETTIN e TOLOI, 2006)) 21

23 Além do horizonte de previsão, outro parâmetro usado pelo processo de previsão é o número de elementos históricos anteriores ao horizonte de previsão. Ele é chamado de janela de previsão e está presente em boa parte dos métodos de previsão de séries temporais (SILVA et al., 2007). A janela de previsão é utilizada para formar o exemplos (padrões) nos quais alguns métodos de previsão realizam a extração do conhecimento (aprendizado) para aplicação na previsão de valores futuros. O elemento que segue imediatamente à janela de previsão constitui o alvo, ou seja, o elemento que se deseja prever. A série temporal é normalmente dividida em dois conjuntos de elementos: o primeiro é destinado ao método de previsão para a obtenção do aprendizado (conjunto de treino) e o segundo é usado para verificação de seu desempenho na previsão de valores futuros (conjunto de teste). A FIG 2.2 mostra um exemplo da definição desses componentes para previsão de uma série temporal: a divisão da série em conjuntos para treinamento e teste, uma janela de previsão que possui cinco elementos e o horizonte de previsão de um elemento (o alvo). FIG. 2.2 Exemplo de uma janela de previsão com cinco entradas e horizonte de previsão igual a um Algumas características (ou propriedades) importantes das séries temporais são: estacionariedade, sazonalidade e tendência. As séries são denominadas estacionárias quando estas se mantém ao redor de uma média constante ao longo do tempo, refletindo alguma forma um equilíbrio estável (MORETTIN e TOLOI, 2006). A sazonalidade é mais uma característica, demonstrada através de seu periódico padrão de flutuação, sendo mais comum em séries temporais econômicas e em séries temporais nas quais as observações são extraídas da vida real, onde o padrão pode se 22

24 repetir a cada hora, dia, semana, mês, ano etc (PALIT e POPOVIC, 2005). Outra característica importante é a tendência, representada quando a série se desenvolve ao redor de uma reta, no caso mais simples. Ela é apresentada geralmente em séries econômicas e financeiras, com uma inclinação positiva ou negativa, chamada de tendência linear (MORETTIN e TOLOI, 2006). Pode-se notar que a FIG. 1.1a exibe uma série temporal com tendência linear positiva enquanto a FIG. 1.1b demonstra outra série contendo ciclos repetitivos. Na prática, as séries temporais podem ter duas ou mais propriedades conforme listadas anteriormente (PALIT e POPOVIC, 2005). Como passo inicial na análise da série temporal é recomendado a construção do gráfico da série, pois pode revelar características importantes como tendência, sazonalidade e observações atípicas ( outliers ) (MORETTIN e TOLOI, 2006). Outliers são ruídos que se destoam do padrão da série. Essa abordagem auxiliará na seleção dos procedimentos mais apropriados para previsão, que levam em conta a sua aplicação, a precisão esperada, os recursos computacionais disponíveis e a quantidade de dados existentes (PALIT e POPOVIC, 2005). 2.2 MÉTODOS DE PREVISÃO DE SÉRIES TEMPORAIS A escolha dos algoritmos e modelagens aqui descritas teve como escopo principal a diversidade de técnicas de inteligência artificial, tais como lógica nebulosa e redes neurais artificiais, e de métodos estatísticos que permitissem tratar o problema por diferentes abordagens. Além disso, em função da extensa teoria sobre tais assuntos, buscou-se concentrar a escolha entre métodos populares e de relativa facilidade de compreensão e de implementação. Um desses exemplos é o caso dos métodos de suavização, que possuem razoável precisão (MORETTIN e TOLOI, 2006). Na análise de séries temporais, suavização é uma técnica estatística focalizada na redução de irregularidades ou flutuações randômicas nos dados das séries temporais de forma a prover uma limpeza no padrão dos dados das séries fruto de observações contaminadas (PALIT e POPOVIC, 2005). Duas técnicas de suavização usadas para previsão são descritas: Média Móvel Simples e Suavização Exponencial Simples. Como exemplos de métodos que utilizam técnicas de inteligencia artificial são descritos o algoritmo de Wang-Mendel (WANG e MENDEL, 1992), que provê um meio de obtenção de regras lingüísticas a partir de pares de dados numéricos, gerando uma 23

25 base de conhecimento para mapear o espaço de entrada no espaço de saída e um método baseado no algoritmo de aprendizado Backpropagation (RUMELHART e MCCLELLAND, 1986), que é empregado para a previsão de séries a partir da utilização de janelas de previsão como exemplos para a etapa de treinamento da rede neural (PALIT e POPOVIC, 2005). Para aplicação dos métodos descritos nesta seção, devem-se observar três condições quanto aos dados de uma série temporal (SILVA, 2003): a existência de informações históricas; as informações históricas podem ser transformadas em dados numéricos, e; padrões passados podem ser repetidos no futuro. A seguir, os métodos citados são apresentados com mais detalhe MÉDIA MÓVEL SIMPLES Esse método realiza a previsão de um novo elemento da série através da extração da média aritmética de uma seqüência de n elementos (janela) observados anteriormente. Considerando que o valor de um dado elemento i é observado em um instante t, a previsão de um elemento em t+1 é dada por: t MMS i i t n 1 (2.2) n Para o caso específico de n=1, a previsão do elemento em t+1 será igual ao valor observado no instante t, ou seja, o cálculo do novo elemento é o valor real do elemento corrente da série. Esse caso particular é denominado método ingênuo (MORETTIN e TOLOI, 2006). Algumas vantagens desse método são: fácil aplicação e a possibilidade de ser empregado quando se tem um número pequeno de observações (MORETTIN e TOLOI, 2006). A principal desvantagem é que as observações mais antigas recebem o mesmo peso que as observações mais recentes (NOGUEIRA, 2005) SUAVIZAÇÃO EXPONENCIAL SIMPLES Esse método também apresenta um cálculo simples, todavia com um comportamento diferente do método de médias móveis. O método da suavização exponencial simples calcula o valor a ser previsto com base apenas no valor corrente da 24

26 série e na previsão anteriormente efetuada para este. A fórmula que descreve tal método é definida por: VPt 1 Pt R t Pt (2.3) Onde VPt+1 é o valor a ser previsto, Pt é a previsão de valor do elemento corrente, Rt é o valor real do elemento corrente e α é uma fração do erro de previsão, sendo α Є [0;1]. Como condição de inicialização, assume-se que VP1 = R1 (NOGUEIRA, 2005). O termo α(rt-pt) contido na EQ. 2.3 demonstra que a variável α é utilizada como um ponderador, estabelecendo uma parcela de contribuição (acréscimo ou decréscimo) associada ao erro de previsão (Rt Pt) para o elemento corrente da série. Cabe salientar que um valor de α adequado para uma determinada série poderá produzir resultados aquém do esperado em outras séries, tornando crucial uma escolha apropriada desse valor. Um procedimento objetivo para essa escolha é seleção do valor α que fornece a melhor previsão das observações já obtidas (MORETTIN e TOLOI, 2006) ALGORITMO DE WANG-MENDEL O algoritmo original de Wang-Mendel (WANG e MENDEL, 1992) provê um método genérico de geração de regras nebulosas (fuzzy) que combina informações numéricas e lingüísticas para uso, inclusive, em previsão de séries temporais. O método sugere uma seqüência de 5 passos para geração de regras fuzzy: 1) Divisão dos dados de entrada e de saída em conjuntos fuzzy; 2) Geração das Regras Fuzzy; 3) Definição de um grau para cada regra gerada; 4) Composição da Base de Conhecimento; e 5) Defuzzificação (Previsão de valores futuros). Os quatro primeiros passos são responsáveis pela geração da base de conhecimento e compõem a chamada etapa de treinamento. O quinto passo realiza, a partir da base de conhecimento gerada, a previsão dos dados propriamente dita. Considerando-se como exemplo um vetor de entrada (X1, X2,..., Xn) que representa dados de uma série temporal, a FIG. 2.3 ilustra a divisão do domínio em intervalos de mesmo tamanho para realização do primeiro passo do método. Os intervalos são divididos em 2N+1 conjuntos fuzzy. N é definido pelo usuário para cada variável. O conjunto CE (Center) representa o intervalo de valores que situa-se no ponto 25

27 médio do domínio da variável do vetor de entrada. Os conjuntos denominados SN (Small N) referem-se aos elementos que estão abaixo do conjunto CE e BN (Big N) para aqueles que estão acima. Cada conjunto é associado a uma função de pertinência, nesse caso triangular, e tem por função mapear o vetor de entrada. Desse mapeamento serão definidos, posteriormente, os pares de dados que representarão a entrada (janela de previsão) e a saída (alvo). Os conjuntos citados são sobrepostos, como ilustrado na FIG X { B2 { Série Temporal U+ B3 { CE { { S2{ S3{ UB1 S1 µ(x) t S3 S2 S1 CE B1 B2 B3 7 regiões (N = 3) U - U+ X FIG. 2.3 Divisão dos Intervalos de domínio em conjuntos fuzzy Para cada variável de entrada e saída, o método calcula o grau de ativação da função de pertinência correspondente e seleciona a maior delas. A geração de regras nebulosas (passo 2) é realizada por meio de sentenças do tipo Se <antecedentes> Então <conseqüente>, onde as variáveis de entrada são designadas como antecedentes e a variável de saída como conseqüente. Para o exemplo proposto na FIG. 2.4, a TAB. 2.1 mostra a regra gerada a partir da escolha dos maiores graus de pertinência. 26

28 B3 { B2{ { S3 Registros de Treino (antecedentes) Janela = 4 X Registro de Treino (conseqüente) U+ { CE { S1{ S2 { B1 U - µ(x) t t1 t5 t3 t2 t4 S3 0,9 0,8 0,7 0,6 0,4 0,3 0,2 0,1 U S2 S1 CE - x3 B1 B2 B3 U+ x2 x1 x4 x5 X FIG. 2.4 Mapeamento das Variáveis de Entrada e Saída para uma Janela de Previsão igual a 4 TAB. 2.1 Regra gerada a partir da escolha dos maiores graus de pertinência para o exemplo proposto na FIG. 2.4 ANTECEDENTES X1= X3= { { B1= 0,4 B2= 0,6 B1= 0,1 CE= 0,9 X2= X4= CONSEQUENTE { { B2= 0,3 B1= 0,7 X5= { B2= 0,2 B1= 0,8 CE= 0,4 B1= 0,6 Regra: SE X1 = B2 E X2 = B1 E X3 = CE E X4 = B1 ENTÃO X5 = B1 Todas as regras geradas são armazenadas em uma base de conhecimento de onde as regras conflitantes (mesmos antecedentes) são excluídas, sendo preservadas aquelas que possuem maior grau (gerado pelo produto de todos os antecedentes e do respectivo conseqüente), concluindo-se, assim, o terceiro e quarto passo. Para a previsão de valores futuros (quinto passo), os dados de entrada são recebidos e a base de conhecimento previamente construída é aplicada, onde um processo de defuzzificação combina as saídas das regras ativadas e calcula o valor previsto pelo método do Centro de Massa (ou Gravidade). Maiores detalhes sobre o algoritmo de Wang-Mendel podem ser obtidos em (WANG e MENDEL, 1992) (SILVA et al., 2007), (RIBEIRO et al., 2008) (GOLDSCHMIDT e PASSOS, 2005). 27

29 ADAPTAÇÕES NO ALGORITMO DE WANG-MENDEL Em determinadas situações, o método de Wang-Mendel é incapaz de prever um dado futuro, produzindo uma saída nula (zero). Esse fato ocorre nas situações em que o conjunto de dados de entrada (que compõe a janela de previsão utilizada pelo método) não ocasiona a ativação de pelo menos uma das regras existentes (SILVA et al., 2007) (RIBEIRO et al., 2008). Tal fato ocorre principalmente quando se utiliza uma grande quantidade de conjuntos fuzzy (acima de 25, por exemplo) e/ou um tamanho de janela de previsão com número de entradas superior a 10 (RIBEIRO et al., 2008). Uma solução para esse problema é a redução paulatina dos antecedentes das regras da base de conhecimento até que pelo menos uma das regras seja ativada (SILVA et al., 2007). Esta solução melhora bastante o desempenho do método mantendo parte de suas características, entretanto não elimina totalmente o problema. Em uma solução híbrida, os métodos da média móvel simples ou da suavização exponencial simples são empregados para prover uma resposta alternativa diferente de zero e próxima do valor real (RIBEIRO et al., 2008) ALGORITMO BACKPROPAGATION O algoritmo de treinamento backpropagation emergiu como o algoritmo padrão para o treinamento de perceptrons de múltiplas camadas (redes neurais MLP), com o qual outros algoritmos de aprendizagem são comparados (HAYKIN, 2001). O termo backpropagation surge do fato que o algoritmo se baseia na retropropagação dos erros para realizar os ajustes de pesos das camadas intermediárias (REZENDE, 2003). De forma resumida, o algoritmo backpropagation deriva seu nome do fato de que as derivadas parciais da função custo (medida de desempenho) em relação aos parâmetros livres (pesos sinápticos e níveis de bias) da rede são determinados por retropropagação dos sinais de erro (calculados pelos neurônios de saída) através da rede, camada por camada (HAYKIN, 2001). A aprendizagem por retropropagação do erro pode ser descrita, basicamente, por dois passos computacionais: processamento para frente (propagação): o vetor de entrada é aplicado aos neurônios da rede e seu efeito se propaga através da rede, camada por camada, culminando com o cálculo do sinal de erro de cada neurônio na camada de saída. Durante este passo, os pesos da rede ficam fixos; e 28

30 processamento para trás (retropropagação): os sinais de erro calculados são passados da camada de saída para as camadas antecessoras, e recursivamente são calculados os gradientes locais de cada neurônio, sendo os pesos ajustados de acordo com uma regra de correção de erro. A propagação destes sinais de erro para trás através da rede dá origem ao termo retropropagação do erro. Os pesos são ajustados para aproximar a saída da rede com a resposta desejada. No processamento para frente, os pesos sinápticos w permanecem fixos e o sinal funcional que aparece na saída do neurônio j é calculado como: yj (n ) (vj (n )) (2.4) onde φ(vj(n)) é a função de ativação do neurônio j, sendo n o n-ésimo padrão de treinamento e vj(n) o potencial de ativação do neurônio j. A função de ativação define a saída do neurônio. Os tipos básicos de funções de ativação são: Linear, Sigmóide e Tangente hiperbólica. Com relação ao potencial de ativação, este é representado por: p vj (n ) wji (n )yi (n ) (2.5) i 0 onde p é o número total de entradas aplicadas ao neurônio j, wij(n) é o peso sináptico que conectada o neurônio i ao neurônio j, e yi(n) é o sinal de entrada do neurônio j (ou de forma equivalente, o sinal funcional na saída do neurônio i). O sinal de erro para o j-ésimo neurônio da camada de saída é definido por: ej (n ) dj (n ) yj (n ) (2.6) onde dj(n) é a resposta desejada. O cálculo desses sinais de erro encerra a fase de propagação do algoritmo. No processamento realizado pela retropropagação, o ajuste dos pesos pelo método do gradiente pode ser descrito pela equação a seguir (REZENDE, 2003): wji (n ) ( 29 E ) wji (2.7)

31 Onde: η é o parâmetro da taxa de aprendizado (que define a magnitude de atualização dos pesos) e E/ wji é a derivada parcial do erro E em relação ao peso wji. A EQ. 2.7 é conhecida como Regra Delta. Outra forma de representar esse ajuste dos pesos é expressa por: wji(n) j(n)yi(n) (2.8) sendo o gradiente local δj (n) definido por: j (n ) ej (n ) j ' (vj (n )) (2.9) A EQ. 2.9 demonstra que o gradiente local δj (n) para o neurônio de saída j é igual ao produto do respectivo sinal de erro pela derivada φ'j(vj(n)) da função de ativação relacionada. A FIG. 2.5 ilustra um diagrama da implementação desse treinamento para um neurônio de saída. Para o caso de um neurônio j localizado em uma camada oculta, o sinal de erro ej(n) não pode ser obtido diretamente, pois não existe uma resposta desejada especificada para aquele neurônio. Nessa situação o cálculo do citado sinal de erro deve ser determinado de forma recursiva, em termos dos sinais de erro de todos os neurônios ao quais o neurônio oculto está diretamente conectado (HAYKIN, 2001). Dessa forma, o cálculo do gradiente local é redefinido para: j (n ) 'j (vj (n )) k (n )wkj (n ) k (2.10) onde o índice k se refere a um neurônio que se encontra em uma camada à direita do neurônio j, quando este pertence a uma camada oculta. Uma alternativa para aumentar a taxa de aprendizagem ƞ evitando causar a instabilidade da rede é a inclusão do termo de momento α na regra delta, estendendo-a como: wji (n ) wji (n 1) j (n )yi (n ) 30 (2.11)

32 FIG. 2.5 Aplicação do treinamento de um simples neurônio localizado na camada de saída de uma rede MLP (extraída de (PALIT e POPOVIC, 2005) A EQ é chamada de regra delta generalizada, pois inclui a regra delta como um caso especial onde α = 0. O termo de momento representa o valor memorizado do último incremento e, dessa forma, a próxima mudança no peso é mantida aproximadamente na mesma direção da última (PALIT e POPOVIC, 2005) CONSIDERAÇÕES SOBRE OS MÉTODOS DE PREVISÃO Existem diversos métodos para a previsão de séries temporais. Mesmo na utilização de uma técnica considerada eficiente para um problema específico, o seu bom desempenho estará atrelado também na habilidade do pesquisador em escolher a configuração adequada para sua aplicação. Uma das justificativas para uso de um comitê de aprendizado é minimizar erros de previsão individuais além de tentar combinar opiniões de diversos especialistas com diferentes visões e interpretações sobre o problema. O paradigma (e o viés) de um método determina a forma deste método enxergar o problema. Nesse contexto é totalmente incerto colocar a preferência em um método particular porque em certo cenário de previsão um método A pode oferecer uma previsão melhor e em outro cenário um método B poderá superá-lo (PALIT e POPOVIC, 2000). Outra razão para o emprego de comitês é a possibilidade de obterem-se soluções modulares, onde um problema complexo poderá ser particionado em subtarefas que são modeladas pelos membros individuais do comitê (TRESP, 2001). 31

33 2.3 COMITÊS DE APRENDIZADO Um comitê de aprendizado representa a agregação de mais de uma máquina de aprendizado na produção de uma única solução computacional para um determinado problema (LIMA, 2004). A hipótese de que tal comitê pode apresentar uma previsão melhor que um método individual se deve a fatores como a fusão do conhecimento de vários especialistas (previsores), a obtenção de soluções modulares, a utilização de diferentes conjuntos de treinamento, e foi relatada por diversos estudos, podendo ser citados aqueles contidos em (LEONE FILHO, 2006) (LIMA, 2004) (OZA, 2001) (PALIT e POPOVIC, 2005) (HAYKIN, 2001) (TRESP, 2001) (VALENTINI e MASULLI, 2002). Conforme exposto previamente na introdução deste trabalho, será adotado o termo comitê de aprendizado para denotar todo o conjunto de conceitos e nomenclaturas que tratam da combinação de máquinas de aprendizado. Estas máquinas se referem, basicamente, aos métodos de previsão provenientes de técnicas de inteligência artificial, mas pode incluir outras derivadas da estatística, por exemplo. Algumas destas técnicas foram apresentadas nas seções anteriores deste capítulo. A FIG. 2.6 ilustra a estrutura de um comitê que combina a saída de 4 previsores (máquinas de aprendizado). Segue adiante uma descrição do processo global (LEONE FILHO, 2006): Cada previsor recebe os dados de entrada do problema, que podem não ser os mesmos para previsores distintos; Cada previsor faz um mapeamento f:rm R da saída a partir de m entradas; Cada saída de cada previsor é multiplicada por um peso, onde o somatório de todos os pesos impostos às saídas deve ser igual a 1; As saídas normalmente são selecionadas para formar o comitê, de tal forma que nem todas as saídas dos previsores são combinadas, mas somente aquelas que melhoram o desempenho do comitê; e As saídas selecionadas e ponderadas são somadas para compor a solução do comitê. 32

34 COMITÊ 4 Wi 1 Saída Combinada 4 Saída i Wi I 1 I 1 (Saída 1)*W1 (Saída 2)*W2 (Saída 3)*W3 (Saída 4)*W4 Previsor 1 Previsor 2 Previsor 3 Previsor 4 Entradas Entradas Entradas Entradas FIG. 2.6 Estrutura de um comitê de previsores, considerando 4 componentes (adaptada de (LEONE FILHO, 2006)) Após a etapa de seleção dos membros do comitê, a combinação dos resultados individuais de cada um destes pode ser feita por diversas maneiras. As mais comuns são votação múltipla ou votação majoritária para a tarefa de classificação de padrões e média aritmética ou média ponderada para a tarefa de regressão (LEONE FILHO, 2006). A classificação consiste na predição de um valor categórico como, por exemplo, predizer se o cliente é bom ou mau pagador. Na regressão, o atributo a ser previsto consiste em um valor contínuo, como por exemplo, predizer o lucro ou a perda em um empréstimo (REZENDE, 2003). Cabe ressaltar que a ênfase dada aos comitês de aprendizado corresponde à tarefa de classificação de padrões (VALENTINI e MASULLI, 2002) (OPITZ, 1999) (DIETTERICH, 2002) (HAYKIN, 2001). No entanto, os princípios que regem tais comitês também se aplicam às tarefas de previsão de séries. A pesquisa tem mostrado que um comitê eficaz deve consistir de um conjunto de modelos que são não somente altamente corretos (taxas de erros de previsão reduzidas), mas aqueles que geram seus erros de previsão em diferentes partes do espaço de entrada também (OPITZ, 1999) (VALENTINI e MASULLI, 2002). Estas considerações são importantes na aplicação de um comitê de redes neurais, pois estão intimamente ligadas ao conhecido dilema bias-variância (BROWN, 2003). 33

35 Um aspecto importante trata das máquinas de aprendizado que formam o comitê. Os resultados mais expressivos presentes na literatura, relativos à geração de componentes para o comitê, empregam redes neurais artificiais como seus componentes (LIMA, 2004). Este fato é justificável porque as redes neurais podem modelar o comportamento de sistemas conhecidos sem que sejam dados quaisquer regras ou modelos, diferentemente de outras técnicas com regras explícitas para aprender o conhecimento (WANG, 1996). A geração de modelos diversos de redes neurais pode ser feito de quatro formas (LAI, 2006): (i) diferente inicialização dos pesos iniciais para cada modelo de rede neural. (ii) treinamento das redes neurais com diferentes subconjuntos de treino. (iii) variação da arquitetura da rede neural, tais como: mudança do número de camadas ou número diferente de neurônios em cada camada. (iv) uso de diferentes algoritmos de treinamento, tais como o algoritmo backpropagation, o algoritmo função de base radial (RBF) e algoritmos de regressão Bayesianos. Existem duas formas para a manipulação de um reservatório de candidatos a compor um comitê (LIMA, 2004): aplicar procedimentos de seleção a um conjunto de candidatos que foram gerados por meio do uso de métodos concebidos para promover diversidade, ou realizar um processo contínuo de geração e seleção até que um critério de parada seja alcançado. Bagging (BREIMAN, 1994) e boosting (FREUND e SCHAPIRE, 1997) são métodos populares de comitês de aprendizado e podem ser usados como algoritmos de lote dentro de outros comitês. Estes métodos processam repetidamente o conjunto inteiro de exemplos de treinamento e requerem no mínimo uma passagem através dos dados para cada modelo base que será gerado (OZA, 2001). Os comitês de aprendizado podem ser classificados em duas categorias (HAYKIN, 2001): estruturas estáticas e dinâmicas. Na primeira, as repostas de vários previsores são combinadas por meio de um mecanismo que não envolve as entradas. Por isso a designação estática, a qual inclui os seguintes métodos: média (mais conhecido como Combinação Linear ou averaging ) e reforço (bagging e boosting são exemplos deste tipo). Na segunda estrutura, o termo dinâmica se refere ao envolvimento dos dados de entrada na atuação do mecanismo que integra as saídas dos previsores em um saída global, fato este que gera a designação dinâmica. Exemplos dessa última categoria são: Mistura de Especialistas (ME) e Mistura Hierárquica de Especialistas (HME). 34

36 2.3.1 COMBINAÇÃO LINEAR A estratégia mais simples de combinação é aplicar um somatório ponderado das saídas individuais dos membros do comitê (BROWN, 2003). A EQ 2.12 representa essa estratégia definida como combinação linear: M fc w i fi i 1 (2.12) Onde fc é a saída combinada, M é o número de métodos base, fi é a saída individual de cada método base e wi é um peso positivo associado a essa saída, sendo a soma destes pesos iguais a 1 (WICHARD e OGORZALEK, 2004) (BROWN, 200 ). Quando os pesos são idênticos, a combinação é referenciada como média simples (LIMA, 2004), sendo expressa por: fc 1 M fi M i 1 (2.13) Algumas abordagens para obtenção das ponderações contidas na EQ. 2.12, em busca de combinações lineares ótimas, são apresentadas em (PERRONE, 1993) (HASHEM, 1993) COMBINAÇÃO NÃO-LINEAR Nessa estratégia de combinação as saídas individuais dos métodos base são interrelacionadas de forma não-linear. Esse mapeamento não-linear pode ser realizado por meio de implementações isoladas de tecnologias de inteligência artificial, tais como redes neurais, lógica nebulosa e abordagem híbrida (PALIT e POPOVIC, 2000). A EQ exibe uma representação adaptada de (LAI, 2006): fc (f1, f2, f3,..., fn ) (2.14) Onde fc é a saída combinada, (f1, f2, f3,..., fn) é a saída individual de cada método base e Ψ(.) é uma função não-linear. 35

37 2.3.3 BAGGING Bagging (BREIMAN, 1994) é um método para geração de versões múltiplas de previsores e usá-los para obter um previsão agregada. Essa agregação realiza a média dessas versões quando prevê um valor numérico e faz um voto majoritário quando prevê uma classe. As versões múltiplas são formadas pelo uso de técnicas de bootstrap (EFRON e TIBSHIRANI, 1993) que replica o conjunto de treinamento e os usa como novos conjuntos de treinamento. Esses conjuntos são gerados a partir de amostragem randômica do conjunto original de dados para treinamento, com reposição, contendo o mesmo número de amostras desse último, mas algumas delas podem aparecer mais de uma vez em um dado conjunto e outras podem nem aparecer. Bagging é eficiente em algoritmos de aprendizado instáveis, tais quais aqueles usados em redes neurais, onde pequenas mudanças no conjunto de treinamento resultam em grandes mudanças nas previsões (BREIMAN, 1994) BOOSTING Boosting (SHAPIRE, 1990) é uma abordagem diferente da anterior, onde os conjuntos de treinamento da primeira não são gerados a partir de uma amostragem uniforme com reposição. Os membros do comitê são treinados seqüencialmente, e o treinamento de um membro em particular é dependente do treinamento e do desempenho dos membros treinados previamente. Uma limitação prática dessa abordagem é que requer freqüentemente uma grande amostra de treinamento (HAYKIN, 2001). AdaBoost (FREUND e SCHAPIRE, 1996) é uma variante de boosting sendo provavelmente a mais difiundida (BROWN, 2003). Ela realiza uma combinação de idéias por trás de boosting e bagging e não demanda um grande conjunto de dados (TRESP, 2001), produzindo resultados melhores do que bagging, porém é mais susceptível a presença de ruídos nos dados (OPTIZ, 1999) MISTURA DE ESPECIALISTAS (ME) O princípio que rege a arquitetura de Mistura de Especialistas (JACOBS, 1991) é que vários previsores (redes neurais) estarão aptos a especializar partes específicas do espaço de entrada. Uma rede de passagem (gating network) recebe as mesmas entradas e é responsável por aprender a combinação apropriada de pesos para modular as saídas de 36

38 cada rede neural especialista. A FIG. 2.7 ilustra a arquitetura básica. A previsão final por essa abordagem é dada por (TRESP, 2001): M tˆ( x ) g i ( x )fi ( x ) i 1 (2.15) Onde fi(x) é um membro especialista (rede neural) do comitê e o valores de gi(x), que são positivos e cuja soma é igual a 1, correspondem às saídas geradas pela rede de passagem. FIG. 2.7 Arquitetura de um Comitê de Aprendizado na Abordagem Mistura de Especialistas fonte: (TRESP, 2001) MISTURA HIERÁRQUICA DE ESPECIALISTAS (MHE) O modelo de mistura hierárquica de especialistas (JORDAN, 1994) é uma extensão natural da abordagem mistura de especialistas (ME). A FIG. 2.8 ilustra um modelo MHE de quatro especialistas e com dois níveis de hierarquia ou duas camadas de redes de passagem. Essa abordagem é similar a uma árvore, na qual as redes de passagem estão em vários pontos não-terminais da árvore e os especialistas se encontram nas folhas das árvores. Este modelo se diferencia na medida em que o espaço de entrada é dividido em conjuntos aninhados de subespaços, com a informação sendo combinada e redistribuída entre os especialistas sob o controle de várias redes de passagem arranjadas de forma hierárquica (HAYKIN, 2001). 37

39 FIG. 2.8 Arquitetura de um Comitê de Aprendizado na Abordagem Mistura Hierárquica de Especialistas (MHE) ilustrada para dois níveis de hierarquia. fonte: (LIMA, 2004) CONSIDERAÇÕES FINAIS Em função da diversidade de estratégias existentes para a criação de comitês de aprendizado, a simples escolha por uma delas já promove dificuldades computacionais para lidar com vários métodos individuais. O emprego de distintas modelagens de métodos individuais e de diferentes abordagens de combinação transforma o uso de comitês de aprendizado em uma atividade complexa. Isto se deve ao fato de caber ao analista a tarefa de integrar e compatibilizar as respostas individuais para uso pelo comitê. Dependendo do tipo de combinação a ser executada, há necessidade de normalização dos dados de entrada no nível meta e do armazenamento das respostas individuais e a ordem de obtenção destas, assim como das configurações que proporcionaram tais respostas. 2.4 MÉTRICAS PARA AVALIAR RESULTADOS Com o propósito de avaliar o desempenho dos métodos-base e dos comitês, no escopo da previsão de séries temporais, alguns critérios de avaliação devem ser definidos, de forma que se possa medir a qualidade das respostas obtidas. Essa 38

40 avaliação é realizada por meio de métricas, as quais quantificam os erros obtidos nas previsões, estabelecendo, assim, o nível de acurácia destas. Existem diversas métricas que podem ser aplicadas na previsão de séries temporais, sendo alguns dos mais importantes exemplos descritos adiante. Em função dessas métricas basearem seus cálculos sobre os erros obtidos nas previsões, os melhores resultados são gerados quando estes se aproximam ou tendem a zero. Coeficiente U-Theil (VEIGA, 2005) Esse coeficiente avalia o desempenho da previsão com relação à previsão trivial ou ingênua, que indica que o valor atual é a melhor previsão para o valor seguinte. O cálculo do coeficiente se dá através da equação: N UTheil (ak y k )2 k 1 N (2.16) (ak ak 1 ) 2 k 1 onde ak é o valor real da série na posição k e yk é o valor previsto na mesma posição. Nessa equação aparece um termo comum utilizado nas métricas para avaliação do desempenho da previsão, denominado erro de previsão (ek), representado por: ek ak y k (2.17) Nessa métrica quando o valor de U-Theil é maior do que um significa que o desempenho do algoritmo de previsão é pior do que o da previsão ingênua, ou seja, se na previsão de cada elemento fosse utilizado o valor anterior da série, o desempenho seria melhor. Quando o valor de U-Theil é menor do que um e mais próximo de zero, melhor o desempenho do algoritmo. A melhor previsão acontece quando o valor de U-Theil é igual a zero, ou seja, todos os valores previstos são iguais aos valores reais da série. Segundo (GAYNOR e KIRKPATRICK, 1995) apud (Castro, 2005), modelos de previsão com valores de U-Theil iguais ou menores a 0,55 são considerados confiáveis. Soma dos quadrados dos erros (SSE, do inglês squared sum error) Esta métrica calcula a soma quadrática dos erros de previsão, expressa pela EQ

41 N SSE 0.5 (ek )2 k 1 (2.18) Erro quadrático médio (MSE, do inglês mean squared error ) Nesta métrica a soma quadrática dos erros de previsão é dividido pela quantidade de amostras. Esta é uma das métricas mais utilizadas para previsão de séries e é formulada por: N MSE (ek )2 k 1 (2.19) N Raiz do erro quadrático médio (RMSE, do inglês root mean squared error) Esta métrica extrai a raiz quadrática do valor obtido pela métrica MSE, conforme EQ. 2.20, sendo também bastante empregada em trabalhos acadêmicos. N RMSE (ek )2 k 1 (2.20) N Erro médio absoluto (MAE, do inglês mean absolute error) Esta métrica calcula a média dos erros absolutos, dada pela EQ abaixo. Convém observar que os resultados obtidos por essa métrica devem ser analisados em função da faixa de valores da série, pois os resultados obtidos estão relacionados a essa faixa. A tendência é que valores elevados na série a ser prevista ocasionem erros relativamente elevados de previsão por essa métrica, sem que isso signifique um desempenho ruim do método. De forma inversa, mesmo que um valor reduzido seja obtido pela aplicação dessa métrica, poderá ser constatado um desempenho ruim de um método em uma série como a Mackey-Glass (WAN, 2006), que possui valores entre 0,21 e 1,38 e, conseqüentemente, produzirá erros de previsão muito inferiores a outras séries tais como a Dow Jones (WESSA, 2006), que possui faixa de valores entre 299,21 e 3833,97 e tenderá a gerar erros de maior magnitude por essa métrica. N MAE abs(ek ) k 1 N 40 (2.21)

42 Erro percentual médio absoluto (MAPE, do inglês mean absolute percentual error) Esta métrica é semelhante a MAE, sendo que a média é realizada por meio dos erros absolutos percentuais sobre o valor atual (índice k) da série, cuja descrição está contida na EQ Dessa forma, obtém-se um valor percentual que pode ser interpretado de forma independe da faixa de valores da série, ao contrário do que deve ser feito com a métrica MAE. No entanto, a métrica MAPE possui um deficiência prática: se existirem valores zero em uma série temporal, ocorrerá uma imprópria divisão por zero. Com a finalidade de aproveitar o potencial dessa métrica apesar da citada deficiência, propõe-se a seguinte estratégia: as parcelas do somatório relativas às situações em que existam valores zero na série original sejam descartadas e o número de amostras N corrigido, registrando-se o total dessas ocorrências para análise do aproveitamento ou não dessa métrica. N MAPE ek ak N abs k 1 41 (2.22)

43 3 O AMBIENTE PROPOSTO Este capítulo apresenta um ambiente para geração, seleção, combinação e avaliação de métodos de previsão de séries temporais. O objetivo de tal ambiente é oferecer flexibilidade na construção, teste, avaliação e comparação de comitês de aprendizado para previsão de séries temporais. 3.1 CONSIDERAÇÕES INICIAIS Existem métodos, técnicas e algoritmos que são aplicados para a previsão de séries temporais (BOX e JENKINS, 1976) (WANG e MENDEL, 1992) (RUMELHART e MCCLELLAND, 1986). Essa abordagens podem ser aplicadas de forma independente ou ser combinados em comitês de aprendizado. Uma das dificuldades do emprego de comitês de aprendizado é a análise dos seus resultados. Tendo em vista a possibilidade de utilização de diferentes abordagens, de diversas condições de treinamento e da não padronização das métricas empregadas para avaliação dos resultados, torna-se difícil a comparação de desempenhos individuais e de comitês. Este trabalho propõe um ambiente para o uso e a análise de resultados de um comitê de aprendizado. Este ambiente provê recursos para o uso de métodos individuais de previsão (métodos base); para a seleção e combinação de métodos base em comitês de aprendizado, e; para a análise do desempenho obtido pelos métodos base e pelo comitê. A FIG. 3.1 ilustra o ambiente proposto. O ambiente permite a seleção de uma série que terá valores previstos. Esta seleção deve ser realizada a partir de uma base de dados, de onde serão extraídos os atributos que serão utilizados para a composição da série temporal. O ambiente também permite definir que elementos da série serão utilizados nos conjuntos denominados como treinamento, validação e previsão. Para permitir que o analista faça uso de diversos métodos de previsão de série temporal, o ambiente permite o acoplamento e a execução de métodos base. As saídas destes métodos base serão usadas pelo combinador no processo de formação do comitê de aprendizado. O combinador oferece, ao analista, diferentes maneiras de combinação de saídas dos métodos base em um único parecer. A saída do combinador 42

44 é o resultado da previsão da série utilizando o comitê de aprendizado. COMBINADOR Previsão Final Configurar Combinação Selecionar Métodos nível meta nível base Saída 1 Saída 2 Saída 3... Saída N Método 1 Método 2 Método 3... Método N Particionar Conjuntos (Treinamento/Validação/Previsão) Selecionar Série Temporal FIG. 3.1 Ambiente Proposto 3.2 DESCRIÇÃO CONCEITUAL DO AMBIENTE Este item fornece detalhes conceituais sobre o ambiente proposto e uma visão do funcionamento é ilustrada na FIG Cabe ressaltar que há flexibilidade em cada uma das funcionalidades concebidas, a saber: inclusão e seleção de séries temporais, inclusão/exclusão de métodos no nível base, inclusão de métodos no nível de configuração de resultados (nível meta) e incorporação de métricas voltadas à avaliação do desempenho dos métodos nos níveis base e meta. Todas as métricas incorporadas devem ser usadas para uma melhor avaliação dos resultados obtidos. 43

45 FIG. 3.2 Visão geral do funcionamento do ambiente OBTER SÉRIE TEMPORAL E PARTICIONÁ-LA EM CONJUNTOS Como passo inicial, deverá ser escolhida a base de dados que será utilizada para a obtenção da série temporal. Em seguida, os atributos que formam a série deverão ser escolhidos, um deles correspondente ao valor a ser previsto e o outro referente a sua ordenação no tempo (hora, dia, mês, ano etc). De forma alternativa, este último atributo pode corresponder a um valor numérico seqüencial. Os elementos da série temporal são particionados em conjuntos a fim de prover dados para treinamento dos métodos nos nível base e meta e para a avaliação da 44

46 acurácia destes. A FIG. 3.3 exibe as formas como tais conjuntos podem ser particionados neste ambiente. FIG. 3.3 Particionamento dos elementos da série temporal. A FIG. 3.3a ilustra a forma tradicional de particionamento, contendo somente dois conjuntos: treinamento e teste. Na FIG. 3.3.b os elementos usados para treino são usados para uma fase de avaliação prévia do método base, onde pode-se observar o nível de aprendizado obtido quando são apresentados os mesmos elementos do conjunto de treino. A tendência esperada é que os resultados obtidos nessa validação sejam bons, pois o teste é feito em dados já conhecidos de onde se extraiu o conhecimento. Na terceira estratégia, ilustrada na FIG. 3.3.c, um conjunto de validação é montado com amostras não observadas no conjunto de treino para avaliação do desempenho de cada método base. A vantagem em relação à estratégia anterior é que os desempenhos obtidos representam uma simulação real de teste, permitindo, assim, uma análise criteriosa sobre a acurácia de cada método base. A dificuldade recai sobre o estabelecimento dos percentuais destinados a esses conjuntos, visto que um grande conjunto de validação reduzirá a quantidade disponível de elementos para treino. Assim como um pequeno conjunto de validação poderá ser insuficiente para representar o comportamento da série. 45

47 3.2.2 EXECUTAR MÉTODOS DE NÍVEL BASE A partir da preparação da série temporal no passo anterior, os métodos base são executados fazendo uso dos conjuntos de treinamento e validação definidos anteriormente. Cada um desses métodos possui particularidades específicas que necessitam ser configuradas para permitir suas execuções, uma vez que poderão ser utilizadas diferentes abordagens e paradigmas. O ambiente permite o estabelecimento de um repositório de métodos, assim como permite o acoplamento e execução de outros de forma dinâmica. Todos os resultados obtidos pelos métodos base são persistidos pelo ambiente, de forma que componham comitês e que permitam também uma avaliação frente ao desempenho destes últimos. As previsões individuais dos métodos base serão destinadas ao elemento definido como Combinador, que utilizará essas informações para realizar a seleção dos métodos e, em seguida, extrair o conhecimento sobre os mesmos para então produzir a solução final do comitê por meio da combinação das saídas dos métodos selecionados SELECIONAR MÉTODOS DE NÍVEL BASE PARA COMPOR COMITÊ A eficiência de comitês de aprendizado depende da acurácia e da diversidade das máquinas de aprendizado que compõem o comitê, isto é, se estas exibem taxas reduzidas de erro e se produzem erros diferentes (VALENTINI e MASULLI, 2002). Neste sentido, o ambiente permite que o analista selecione os membros que comporão o comitê de aprendizado de cinco formas: (i) usando todos os métodos; (ii) selecionando individualmente que métodos devem compor o comitê; (iii) seleção automática de métodos em relação a um índice; (iv) seleção automática de métodos em relação a um valor percentual referente ao melhor desempenho individual, e; (v) seleção automática do melhor conjunto de métodos base, combinados pela média simples. (i) Na seleção de todos os métodos base, todos os candidatos são aproveitados. (ii) O critério de seleção individual dos métodos base permite ao analista escolher manualmente cada método que fará parte do comitê, a partir do julgamento dos resultados no conjunto de validação. (iii) Na seleção por um índice máximo, o analista estabelece um valor máximo de erro associado a uma métrica para que sejam selecionados os membros 46

48 candidatos que possuem erros de previsão abaixo do valor estabelecido em um conjunto de validação. As métricas calculam os desempenhos qualificando-os com relação ao erros de previsão, dados pela diferença entre o valor desejado e o valor previsto. A escolha do tipo de métrica empregada permite ao analista selecionar aquela que julgue mais eficaz para avaliar os desempenhos obtidos. (iv) Na seleção por um valor percentual referente ao melhor desempenho individual, o analista estabelece um valor, nesse caso percentual, associado a uma métrica para que sejam selecionados os membros candidatos que atinjam um desempenho igual ou próximo do melhor resultado obtido isoladamente por um método base no conjunto de validação. Assim sendo, serão selecionados os candidatos que atingirem o percentual de desempenho estabelecido em relação ao melhor resultado individual. (v) As abordagens anteriores selecionam de forma direta os membros do comitê. A estratégia de seleção pelo melhor conjunto combinado pela média simples, por outro lado, realiza uma série de simulações para avaliar o comportamento dos candidatos numa combinação linear pela média simples, conforme o seguinte procedimento proposto: inicialmente os resultados individuais obtidos na etapa de validação são combinados de forma linear por meio da média simples. Este resultado é armazenado e, de forma iterativa, cada um dos membros candidatos é provisoriamente retirado e as respectivas saídas remanescentes novamente combinadas, da mesma forma realizada inicialmente. Se o novo desempenho for melhor do que o valor armazenado anteriormente, o membro candidato é definitivamente removido e o resultado armazenado é atualizado com este último desempenho, assim como o conjunto de candidatos que proporcionaram esta resposta. Na situação contrária, isto é, o novo desempenho é pior, o candidato é reincorporado, pois este contribui para contrabalançar o erro dos demais. Este ciclo se repete até que todos os candidatos sejam avaliados. 47

49 3.2.4 ESCOLHER FORMA E MÉTODO DE CONJUGAÇÃO/COMBINAÇÃO DE RESULTADOS Esse procedimento promove a combinação das saídas dos métodos base e fornece a solução dada pelo comitê. Algumas formas de combinação estão descritas no Capítulo 2, Seção 2.3, tais como bagging, boosting, combinação linear e não-linear, mistura de especialistas e mistura hierárquica de especialistas, as quais formam um conjunto de opções possíveis para emprego no ambiente proposto. Nesta seção serão abordados um procedimento proposto para a combinação linear e outro para efetuar uma combinação não-linear sob o enfoque da utilização de janelas de previsão. A combinação linear está dividida em duas modalidades: média simples (aritmética) e média ponderada. A primeira realiza um média simples das saídas dos métodos base para obtenção do valor previsto pelo comitê. A segunda combina as saídas de cada um dos métodos base por meio de uma média, neste caso ponderada, sendo esta definida por diferentes estratégias. Uma forma de estabelecer esses pesos é proposta: a partir dos resultados obtidos no conjunto de validação, por meio de uma métrica, os desempenhos individuais dos métodos base são comparados entre si, extraindo-se um valor percentual relativo, o qual é utilizado como peso na utilização da média ponderada. Em função das métricas utilizadas serem calculadas em função dos erros de previsão, os melhores desempenhos são representados pelos menores valores calculados por meio dessas métricas e, dessa forma, utiliza-se como base os seus valores inversos para o estabelecimento dos pesos, conforme EQ Vi Pi n 1 i 1 Vi (3.1) Onde Vi é o valor obtido pela métrica calculada com relação ao conjunto de validação, n é o número de métodos que compõem o comitê e Pi é o peso associado ao método i. A solução final gerada pelo comitê para cada elemento do conjunto de teste é calculada pela EQ n f k Sˆi (k ) Pi i 1 48 (3.2)

50 Onde Sˆi (k ) é o valor da saída previsto pelo método i para o elemento k do conjunto de teste e fk é o valor previsto pelo comitê para o elemento k. A TAB. 3.1 ilustra um exemplo do cálculo dos pesos associados ao desempenho de três métodos base. TAB.3.1 Exemplo do cálculo dos pesos na combinação linear pela média ponderada usando-se a métrica U-Theil Método Base Resultados na Métrica U-Theil (Valor de Vi) Valor inverso (1/Vi) Método A 0,2 5 5/(5+2,5+0,5) = 0,625 (62,5%) Método B 0,4 2,5 2,5/(5+2,5+0,5) = 0,3125 (31,25%) Método C 2,0 0,5 0,5/(5+2,5+0,5) = 0,0625 (06,25%) Peso O método A que possui o melhor resultado individual (menor erro) contribuirá com um peso maior. Com relação ao método C, que possui o pior desempenho individual (maior erro), seu peso será o menor. Os pesos calculados expressam uma proporcionalidade sobre o desempenho entre os métodos. Na combinação não-linear as saídas individuais dos métodos base são aplicadas a um segundo estágio de previsão, em uma etapa de meta-aprendizado. Os métodos que fazem o uso do conceito de janela de previsão como um dos seus argumentos de entrada podem ser utilizados nesta tarefa de meta-aprendizado. Algumas variações foram criadas para diversificar as opções de combinação nãolinear e a forma como é realizado o citado meta-aprendizado. Seguem adiante as descrições dessas variantes e as denominações definidas aqui para identificá-las: combinação simples, combinação conjugada, treinamento em fase única e treinamento em fase dupla. Para cada combinação não-linear são utilizados um tipo de combinação e uma forma de treinamento. Combinação Simples: nesta abordagem somente as saídas dos métodos base são usadas como entrada do método no nível meta que atua como combinador. Combinação Conjugada: além dos dados providos pelas saídas dos métodos base, dados históricos também são utilizados para compor a entrada do método combinador. Treinamento em fase única: Nessa forma de treinamento é usado o conjunto de treino definido nas FIG.3.3a e 49

51 FIG.3.3.b para ambos os níveis de método (base e meta). Treinamento em fase dupla: Nessa estratégia de treinamento são usados os conjuntos ilustrados na FIG. 3.3.c, onde os métodos base são treinados somente com o conjunto de treino. Em seguida, o comitê fará o treinamento com as previsões de seus membros tanto no conjunto de treino quanto no conjunto de validação, o qual é composto de amostras não utilizadas para treino desses últimos. Essa estratégia busca prover uma maior diversidade de exemplos, além de permitir que o combinador (nível meta) aprenda também como se comportam os métodos base, quando são aplicadas amostragens novas. Há um benefício desse tipo de treinamento: a possibilidade de uso das opções de seleção de métodos base sobre um conjunto de validação contendo somente amostragens novas. A TAB. 3.2 resume as possibilidades de combinação dos comitês de aprendizado apresentados neste trabalho. TAB.3.2 Resumo das possibilidades de combinação dos comitês de aprendizado Particionamento Tipo de Comitê de da série temporal aprendizado (conjuntos) Tipos de Métodos-base Forma de Combinação(ou método-meta) Pode usar diferentes Treino, paradigmas (ex. Técnicas Combinação Linear Validação(opcional) de inteligência artificial e Média simples ou ponderada e Teste estatísticas, métodos híbridos, entre outros) Combinação Não-Linear Pode usar diferentes Treino, paradigmas (ex. Técnicas Validação(opcional) de inteligência artificial, e Teste estatísticas, métodos híbridos, entre outros) Bagging Treino e Teste Métodos de um mesmo tipo (redes neurais ou média árvores de decisão) Boosting Treino e Teste redes neurais média Mistura de Treino e Teste Especialistas (ME) Redes neurais Método-meta redes neurais baseado em Mistura Hierárquica de Especialistas Treino e Teste (MHE) Redes neurais Método-meta redes neurais baseado em 50 Método-meta no qual se aplique o conceito de janela de previsão (técnicas de redes neurais e da lógica nebulosa constituem alguns exemplos)

52 3.2.5 EXECUTAR MÉTODO DE CONJUGAÇÃO/COMBINAÇÃO DE RESULTADOS Na execução dos métodos base que usam o conceito de janela de previsão, o aproveitamento dos dados da série para fins de treinamento pode ser iniciado a partir do primeiro elemento da série disponibilizado para treino, dentro do conjunto de treino definido. Entretanto, no ambiente proposto, verifica-se a necessidade de uma fase de alinhamento das janelas de previsão dos métodos base, selecionando aquelas que são úteis para treino pelos métodos meta. A FIG. 3.4 ilustra o processo voltado a tal alinhamento, considerando-se a utilização de três métodos para formar o comitê. Na FIG. 3.4.a são demonstradas as janelas de previsão iniciais de cada um dos métodos base, dentro do conjunto de dados disponíveis para treino. Convém salientar que os tamanhos das janelas de previsão irão variar para cada método, na medida em que se busca um melhor resultado individual. As setas pontilhadas apontam para os elementos alvo de cada janela de previsão. Observa-se que o terceiro método possui a maior janela de previsão e tem como alvo o décimo-primeiro elemento da série. O primeiro e o segundo método possuem como alvo o sexto e o quarto elemento, respectivamente. Dessa forma, o elemento alvo inicial do comitê será definido pelo método que possui a maior janela de previsão, e a seguir deverão ser estabelecidas as janelas iniciais dos métodos remanescentes que tenham como alvo o décimo-primeiro elemento. O resultado deste processo está exibido na FIG. 3.4.b, indicando que deverão ser utilizadas a sexta janela do primeiro método e a oitava janela do segundo método (as janelas anteriores destes métodos são descartadas), a fim de compatibilizar o início do treinamento do comitê, tendo como primeiro alvo o décimo-primeiro elemento da série. Tal processo pode ser empregado em comitês de aprendizado classificados como estruturas estáticas, os quais não usam dados históricos no mecanismo de combinação. Na abordagem em que são adicionados dados históricos (combinação conjugada), por meio de uma janela complementar denominada Janela do Comitê, o alinhamento das janelas de previsão individual deverá incluir também esta última janela. As FIG. 3.4.c e FIG. 3.4.d ilustram duas situações desse alinhamento. Na FIG. 3.4.c a janela do comitê é inferior à maior janela individual, devendo a primeira ser alinhada conforme procedimento anterior (FIG. 3.4.b), onde são aproveitadas somente as janelas que possuem como alvo aquele definido pela maior janela. 51

53 Método Base 3o Janela = 10 2o Janela = 3 1o Janela = 5 Janelas Iniciais SS 11 Índice (dados históricos) (a) indica o alvo Alinhamento das Janelas Individuais Método Base 3o 1a janela do terceiro método Janela = 10 8a janela do segundo método Janela = 3 2o 6a janela do primeiro método Janela = 5 1o SS Índice (dados históricos) (b) indica o alvo 3a janela do comitê Dados válidos para treino pelo comitê Janela do Comitê = 8 Janela = 10 Métodos Base 3o Janela = 3 2o 1o Janela = indica o alvo SS 11 Índice (dados históricos) (c) Dados válidos para treino pelo comitê (alinhamento reajustado) Janela do Comitê = 12 Métodos Base 3o 3a janela do terceiro método Janela = 10 2o 10a janela do segundo método Janela = 3 1o 8a janela do primeiro método Janela = indica o alvo SS Índice (dados históricos) (d) FIG. 3.4 Alinhamento das janelas de previsão 52

54 No exemplo da FIG. 3.4.d, em função da janela do comitê ser superior à maior janela individual, as janelas individuais são alinhadas com o alvo da janela do comitê, de forma análoga ao processo ilustrado pela FIG. 3.4.c. A Janela do Comitê tem uso obrigatório nos comitês de aprendizado que são classificados como estruturas dinâmicas. Para os comitês de aprendizado que promovem uma combinação não-linear, a utilização dessa janela é opcional. Para o exemplo ilustrado na FIG. 3.4.b, a TAB. 3.3 demonstra o conjunto de dados de entrada do Combinador. TAB.3.3 Exemplo de um conjunto de dados de entrada do combinador formado apenas pelas saídas de três previsores (métodos base) Saídas individuais (métodos base) S1 S2 Alvo 11o elemento S3 De forma similar as TAB. 3.4 e TAB. 3.5 demonstram os primeiros conjuntos de dados de entrada do Combinador para o exemplo das FIG. 3.4.c e FIG. 3.4.d, que incluem adicionalmente a utilização de dados históricos além das saídas dos métodos base (previsores). TAB.3.4 Exemplo de um conjunto de dados de entrada do combinador formado por uma janela de previsão com oito elementos históricos e pelas saídas de três métodos base Saídas Individuais (métodos base) Elementos históricos x(t-8) x(t-7) x(t-6) x(t-5) x(t-4) x(t-3) x(t-2) x(t-1) o o o o o o o S1 o S2 S3 alvo x(t) 11o TAB.3.5 Exemplo de um conjunto de dados de entrada do combinador formado por uma janela de previsão com doze elementos históricos e pelas saídas individuais de métodos base Saídas Individuais Elementos históricos x(t-12) x(t-11) x(t-10) 1 o 2 o 3 o x(t-9) x(t-8) x(t-7) o o o x(t-6) x(t-5) x(t-4) x(t-3) x(t-2) x(t-1) 7 8 o o 53 9 o 10 o 11 o 12 o S1 S2 S3 alvo x(t) 13o

55 3.2.6 AVALIAR RESULTADOS A partir da configuração e do uso de métricas, os resultados do comitê são avaliados. Nesse passo todos os desempenhos são disponibilizados e a comparação sobre diversas abordagens de comitê podem ser confrontadas. Os resultados individuais dos métodos base, armazenados no ambiente, também são usados para avaliação da capacidade do comitê em generalizar o conhecimento dos seus membros REMOVER OS MÉTODOS BASE E A SÉRIE TEMPORAL Todos os procedimentos aplicados à previsão de valores futuros incidem diretamente sobre a série temporal escolhida e sobre os conjuntos definidos (treinamento, validação e previsão). A utilização de uma nova série demanda o reinício do ambiente e, portanto, os resultados dos métodos base e do comitê são eliminados, assim como a configuração corrente da série temporal. 3.3 PROTÓTIPO Para validar o ambiente proposto, desenvolveu-se um protótipo com o objetivo de instanciar e avaliar cada item concebido no modelo conceitual, culminando com a realização de vários experimentos. Nessa tarefa incluem-se a criação de várias bases de dados, a escolha e construção de métodos base, as formas de seleção estabelecidas na Seção 3.2.3, as formas de combinação detalhadas na Seção e a configuração de diversas métricas para uso em alguns critérios de seleção e para análise dos resultados nos experimentos realizados. Em correspondência aos itens concebidos na Seção 3.2, seguem os detalhes da implementação do protótipo PLATAFORMA DE SOFTWARE O protótipo foi construído a partir do acoplamento de novas funcionalidades ao framework JavaBramining (Ribeiro et al, 2005), que usa o Sistema Gerenciador de Banco de Dados (SGBD) MySQL 4.x (ou superior) e o ambiente Java Run-Time Environment JRE6.0. O JavaBramining foi desenvolvido pelo Núcleo de Projetos e Pesquisas em Aplicações Computacionais (NUPAC) do Centro Universitário da Cidade 54

56 do Rio de Janeiro e se aplica a processos operacionais de descoberta de conhecimento e mineração de dados, incorporando diversos métodos e funcionalidades, sendo a previsão de séries temporais uma delas. A implementação dos métodos foi realizada basicamente com os recursos de programação disponíveis na API da Linguagem Java, com exceção das redes neurais (algoritmo Backpropagation), que incluíram o framework JOONE - Java Object Oriented Neural Engine (MARRONE, 2007). Cabe ressaltar que todos os componentes de software utilizados são open-source, de forma que o ambiente proposto esteja facilmente disponível para uso em novas aplicações ou para modificações. Para a inserção dos métodos de previsão utilizados neste trabalho, utilizando-se o framework JavaBramining, as seguintes atividades foram realizadas: adição de bases de dados contendo séries temporais no SGBD; inclusão de métodos voltados à previsão de séries temporais, a partir da declaração dos mesmos em arquivos XML e do respectivo código que os implementa, e; elaboração de uma interface para o usuário que permitisse configurar os diversos métodos de previsão, assim como a exibição dos correspondentes desempenhos, os quais incluem a construção de gráficos OBTENÇÃO DA SÉRIE TEMPORAL E SEU PARTICIONAMENTO Nesse passo uma tela é disponibilizada inicialmente para a seleção da base de dados que contém os atributos que formam a série (FIG. 3.5). Mediante a seleção da base de dados, existe a possibilidade das seguintes configurações: o atributo que será previsto e o atributo utilizado como índice (FIG. 3.6), ambos provenientes da base de dados que foi anteriormente selecionada. A partir da seleção dessas informações, a série temporal é extraída e poderá ser exibida graficamente (FIG. 3.7). a definição dos conjuntos de treino, validação e teste (previsão) que serão usados tanto para os métodos base como para os métodos no nível meta do comitê (FIG. 3.8). Os percentuais exibidos nessa figura referem-se ao total de elementos da série. Os dados previstos pelo comitê serão correspondentes aos elementos restantes que não foram usados para treinamento e não constituem amostras novas usadas para a fase de validação. 55

57 FIG. 3.5 Seleção da base de dados FIG. 3.6 Exemplo de seleção do atributo que será previsto e do atributo utilizado como índice para a base de dados Mackey-Glass (WAN, 2006). 56

58 FIG. 3.7 Apresentação gráfica de uma série temporal a partir da seleção dos atributos de previsão e de índice (série Mackey-Glass (WAN, 2006). FIG. 3.8 Exemplo da definição dos conjuntos para treinamento, validação e teste (previsão) para a série temporal Mackey-Glass (WAN, 2006). 57

59 3.3.3 MÉTODOS DE NÍVEL BASE Visando instanciar diversos tipos de métodos base foram implementados aqueles descritos no Capítulo 2. Os parâmetros configuráveis em cada um deles estão apresentados e comentados adiante. A utilização do método da Média Móvel Simples requer somente a configuração do tamanho da janela de previsão. Para o uso do método da Suavização Exponencial Simples apenas a fração do erro (α) deve ser especificada. Na aplicação da método baseado na Previsão Ingênua não há parâmetros a serem ajustados, pois o valor previsto é obtido diretamente do valor atual da série. A FIG. 3.9 e a FIG ilustram as telas de configuração dos métodos da média móvel simples e da suavização exponencial simples. FIG. 3.9 Exemplo de configuração do método da Média Móvel Simples 58

60 FIG Exemplo de configuração do método da Suavização Exponencial Simples. A configuração do método de Wang-Mendel e do algoritmo Backpropagation requerem uma quantidade maior de parâmetros e um detalhamento maior é descrito. Para o método de Wang-Mendel, foram instanciadas três abordagens: Wang-Mendel original (WANG e MENDEL, 1992): Devem ser configurados a quantidade de conjuntos e o tamanho da janela de previsão. As funções de pertinência utilizadas são do tipo triangular. Também é possível alterar os limites máximo e mínimo da variável que contém o atributo a ser previsto. Wang-Mendel Adaptado (SILVA et al., 2007): os mesmos parâmetros do algoritmo original de Wang-Mendel e a seleção do modo de redução do número de antecedentes das regras nebulosas em caso de falha do método original (não ativação de regras). Wang-Mendel Modificado (RIBEIRO et al., 2008): além da utilização da adaptação descrita no item anterior, também é possível a execução do método da Média Móvel Simples e ou da Suavização Exponencial Simples para os casos onde ainda ocorram falhas na execução do algoritmo de Wang-Mendel por meio da adaptação realizada em (SILVA et al., 2007). Desse modo devem ser informados adicionalmente os valores dos respectivos parâmetros da Média Móvel Simples 59

61 ou da Suavização Exponencial Simples mediante a opção pelo uso combinado de um desses últimos. A FIG exibe as telas de configuração do método de Wang-Mendel e suas adaptações. (a) (b) (c) FIG Exemplo de configuração do método de Wang-Mendel e suas adaptações. (a) definição dos conjuntos nebulosos. (b) geração das regras nebulosas. (c) opções para uso das adaptações descritas em (SILVA et al., 2007) e (RIBEIRO et al., 2008). 60

62 O algoritmo backpropagation se destina a prover o aprendizado da rede e a sua capacidade de prever valores futuros. Com relação à configuração da rede MLP, há possibilidade de uso de uma ou duas camadas ocultas, de especificar o número de neurônios em cada camada (com exceção da camada de saída fixada com apenas um neurônio) e as funções de ativação destes. As redes MLP construídas possuem suas camadas totalmente conectadas. Para o algoritmo backpropagation pode-se configurar a taxa de aprendizado, o termo momento e o número de épocas, sendo este número empregado como critério de parada no treinamento. A FIG demonstra um exemplo de configuração do algoritmo backpropagation. FIG Exemplo de configuração do algoritmo backpropagation em uma rede MLP. Conforme descrito na Seção 2.3, a utilização de diferentes arquiteturas/configurações de rede e/ou variações no conjunto de treinamento permitem a obtenção de inúmeras redes neurais cujos comportamentos diferenciados podem ser considerados métodos independentes. Para satisfazer a essas condições, o protótipo emprega variações no número de camadas, no número de neurônios em cada camada 61

63 e nas funções de ativação. O critério de parada no treinamento das redes pelo algoritmo backpropagation foi o número de épocas. A utilização de um horizonte de previsão igual a um (t+1), conhecida como um passo à frente (single-step-ahead), demandará apenas um neurônio na camada de saída da rede. Essa é a escolha mais freqüente para um previsor baseado em arquiteturas de redes neurais artificiais, pois sua construção é relativamente simples e garante os resultados mais precisos (PALIT e POPOVIC, 2005). Com relação às redes MLP, a sua inerente capacidade de estrutura de rede em três camadas promove qualquer mapeamento de entrada-saída, qualificando as redes MLP para uma previsão eficiente de séries temporais (PALIT e POPOVIC, 2005). Em virtude das funções de ativação existentes nos neurônios que formam as redes neurais requererem valores normalizados, há necessidade do emprego de procedimentos dedicados para preparação dos dados de entrada das redes neurais, adaptando-os às não-linearidades dos neurônios, visando não ultrapassar os limites de saturação. A normalização linear consiste em considerar os valores mínimo e máximo de cada atributo no ajuste da escala, mapeando esse atributo no intervalo fechado de zero até 1(um) (GOLDSCHMIDT e PASSOS, 2005). Este tipo de normalização foi implementada e a equação que a define é descrita como: xn xi xmín xmáx xmín (3.3) Onde: xn = valor normalizado xi = valor do atributo a ser normalizado xmín = valor mínimo do atributo a ser normalizado xmáx = valor mínimo do atributo a ser normalizado Convém observar a necessidade de um pós-processamento dos dados ao final do processamento da rede (previsão de valores), revertendo a normalização realizada anteriormente. 62

64 3.3.4 SELEÇÃO DE MÉTODOS DE NÍVEL BASE PARA COMPOR O COMITÊ As formas de seleção expostas na Seção foram implementadas e alguns extratos das telas correspondentes estão exibidos nas FIG (a) (b) FIG Tela de opções de seleção dos métodos base. (a) Seleção pelo Índice máximo. (b) Seleção Individual ESCOLHA DA FORMA E DO MÉTODO DE CONJUGAÇÃO/COMBINAÇÃO DE RESULTADOS As opções implementadas correspondem à Combinação Linear e Não-Linear. Para a combinação linear foram adotadas a média simples e a média ponderada, esta última utilizando o procedimento proposto na Seção Para a Combinação Não-Linear empregou-se o algoritmo Backpropagation como método de combinação no nível meta. A FIG exibe as telas de configuração das formas e dos métodos de combinação. 63

65 3.3.6 EXECUÇÃO DE MÉTODO DE CONJUGAÇÃO/COMBINAÇÃO DE RESULTADOS Na implementação da combinação linear são calculadas para cada previsão as médias simples e ponderada das saídas de cada método base que compõe o comitê. Na execução da combinação não-linear a utilização do algoritmo backprogation é feita com os mesmos parâmetros configuráveis do algoritmo construído para a geração de métodos base com a técnica de redes neurais. A diferença com relação aos métodos base está no uso das saídas destes como elementos que formam a janela de previsão, tendo os dados históricos como informações complementares, denominadas aqui como janela do comitê, conforme procedimento de alinhamento de janelas de previsão (Seção 3.2.5). Essas duas janelas são concatenados para formar o vetor de entrada de uma rede neural MLP. A FIG ilustra a configuração do treinamento para o aprendizado da rede neural que atua como combinador (método no nível meta). Convém ressaltar que a etapa de normalização de dados (EQ. 3.3) para uso da rede neural como método no nível meta requer a obtenção dos valores mínimos e máximos, que neste caso são selecionados a partir de uma busca entre os valores da série temporal e as saídas dos métodos base. (a) (b) FIG Tela de escolha e configuração do tipo de combinação. (a) Combinação Linear por meio da média simples. (b) Combinação Não-Linear 64

66 FIG Tela de configuração do treinamento para o aprendizado da rede neural que atua como combinador (método no nível meta) REMOÇÃO DOS MÉTODOS BASE E DA SÉRIE TEMPORAL A necessidade de mudança da série temporal a ser prevista ou simplesmente uma alteração no particionamento da mesma tornará incompatível os experimentos realizados anteriormente com os comitês. Assim sendo, os métodos já executados são descartados e o ambiente é reiniciado. 65

67 4 EXPERIMENTOS E RESULTADOS Este capítulo mostra algumas aplicações do ambiente proposto na previsão de séries temporais. O objetivo é mostrar como a metodologia e as funcionalidades do ambiente proposto auxiliam na configuração e execução de métodos base e de comitês de aprendizado. Adicionalmente, como um dos subprodutos destes experimentos, foi realizado uma análise de desempenho sobre o emprego de comitês de aprendizado na previsão de séries temporais. 4.1 SÉRIE TEMPORAL UTILIZADA Os testes foram realizados na série temporal Mackey-Glass (WAN, 2006), representada na FIG. 4.1, sendo bastante utilizada em trabalhos de pesquisa científica. Pode-se perceber que esta série possui ciclos de repetição. A TAB. 4.1 apresenta os detalhes estatísticos da série. FIG.4.1 Série Mackey-Glass TAB. 4.1 Detalhes da Série Mackey-Glass Série Quantidade total de registros Menor valor Maior valor Mackey-Glass , , A EXPERIMENTAÇÃO DO AMBIENTE Para verificar o comportamento do ambiente proposto, foram exploradas todas as suas funcionalidades. Inicialmente, a série Mackey-Glass é obtida a partir de uma base 66

68 de dados e alguns detalhes estatísticos são apresentados. Em seguida, são selecionados os atributos usados para previsão e índice, e a representação gráfica da série temporal é exibida para facilitar a definição da estratégia de particionamento da série em conjuntos de treino, validação e teste. O ambiente utilizará todos os recursos existentes em função dessas configurações iniciais. Podem ser executados, então, instâncias de métodos já implementados, contidos em um repositório, ou então estes poderão ser importados. Esses métodos-base podem ser iterativamente instanciados e executados, onde várias de suas configurações são avaliadas por meio dos resultados em um conjunto de validação. Por meio desses resultados, os critérios de seleção de métodos-base descritos neste trabalho podem ser aplicados. Essa última etapa pode ser realizada repetidas vezes, onde novas execuções de métodos-base são permitidas, assim como novas seleções de métodos. Todos os resultados parciais são persistidos, que incluem as configurações que resultaram nos desempenhos obtidos. Desse modo, os resultados dos métodos-base estão disponíveis para a seleção da forma e do método de combinação destes. Os resultados obtidos nessas combinações são apresentados. Nesse ponto é possível agregar ou excluir métodos-base e realizar um novo de ciclo de combinação, onde todos os resultados obtidos nessas combinações estão disponíveis para que se possa confrontar os desempenhos alcançados. Em função do algoritmo backpropagation possuir uma maior quantidade de parâmetros ajustáveis quando comparada a outros métodos implementados neste trabalho, foi adotada uma notação especial para descrever a configuração dos seus parâmetros nas redes MLP tanto para o nível base quanto para o nível meta, de forma que seja possível consolidar diversos conjuntos de informações em uma única tabela de resultados. Tal notação foi criada da seguinte forma: as letras L, S e T foram utilizadas para descrever as funções de ativação Linear (L), Sigmóide (S) e Tangente Hiperbólica (T), que compõem a configuração dos neurônios das redes MLP. Os números que antecedem essas letras correspondem ao número de neurônios em cada camada; as letras E, T e M representam o número de épocas, a taxa de aprendizado e o termo momento, respectivamente. A título ilustrativo, seguem dois exemplos dessa notação: (i) configuração da rede: 12L-6S-1L, E = 5000, T = 0,6, M = 0,3 Nesse exemplo é descrita uma arquitetura de rede neural MLP que possui uma camada de entrada com 12 neurônios e função de ativação Linear, uma camada oculta com 6 neurônios e com função de ativação Sigmóide, uma camada de saída com 1 neurônio e função de ativação Linear. O restante da notação descreve uma 67

69 quantidade de 5000 épocas para o treinamento, uma taxa de aprendizado de 0,6 e um termo momento de 0,3. (ii) configuração da rede: 12L-6S-4T-1L, E = 5000, T = 0,6, M = 0,3 Este exemplo é similar ao anterior, onde nessa última configuração foi adicionada uma segunda camada oculta (4T) que contém 4 neurônios e função de ativação Tangente Hiperbólica. A TAB.4.2 ilustra exemplos da forma como os métodos e seus parâmetros foram especificados nas tabelas de resultados, assim como um detalhamento de suas respectivas configurações. TAB. 4.2 Exemplos de configurações de métodos para uso nas tabelas de resultados Método / (Parâmetros) Previsão Ingênua Descrição da Configuração Não aplicada. Suavização Exponencial (α = 0,9) Fração de erro (α) com valor igual a 0,9. Média Móvel (janela = 3) Janela de previsão com um total de três elementos. Wang-Mendel Adaptado (conjuntos = 7, janela = 5) Rede Neural (Algoritmo Backpropagation) 4L-9S-1T E = 5000 T = 0,6 M = 0,3 Itens configuráveis: - tipo de adaptação: usada a proposta de (SILVA, 2007). As outras variações implementadas são: original (WANG e MENDEL, 1992) e modificado (RIBEIRO, 2008). - quantidade de conjuntos nebulosos: sete. - Janela de previsão: total de cinco elementos. Valores fixos em todos os experimentos: - a função de pertinência é do tipo triangular. - os limites da variável relacionada à previsão são idênticos aos limites mínimo e máximo do atributo existente na série temporal a ser previsto. Rede MLP e algoritmo backpropagation configurados com: - Quatro neurônios na camada de entrada e funções de ativação do tipo Linear. - Nove neurônios na camada oculta e funções de ativação do tipo Sigmóide. - Um neurônio na camada de saída com função de ativação do tipo Tangente hiperbólica. - Número de épocas igual a Taxa de aprendizado igual a 0,6. - Termo momento igual a 0,3. Em virtude do uso de diferentes métodos e diversas formas possíveis de combinações destes, uma série de experimentos foi elaborada com o objetivo verificar a robustez do ambiente. A TAB.4.3 descreve os tipos de experimentos aplicados nas bases de teste selecionadas. 68

70 TAB. 4.3 Tipos de Experimentos (métodos no nível base e meta) Experimentos Tipo Descrição do Experimento (verificação de desempenhos) A Métodos base de diversos tipos (todos aqueles listados na TAB. 4.2). B Métodos base de um mesmo tipo (Wang-Mendel ou algoritmo backpropagation, em função de várias configurações possíveis destes). C Combinação Linear de várias instâncias do método base fundamentado em redes neurais (algoritmo backpropagation). D Combinação Linear de várias instâncias do método de Wang-Mendel. E Combinação Não-Linear por meio do algoritmo backpropagation. As linhas das tabelas de resultados conterão as seguintes informações: - 1a. linha da tabela (combinação simples): a janela do comitê não é utilizada (uso somente das saídas dos métodos base, que corresponderão ao total de neurônios da camada de entrada da rede neural no nível meta). - 2a. linha da tabela (combinação conjugada): uso da janela do comitê com o mesmo tamanho da menor janela de previsão dos métodos base (o total de neurônios da camada de entrada da rede neural será dado pelo número de métodos base somados ao tamanho da janela do comitê). - 3a. linha da tabela (combinação conjugada): uso da janela do comitê com o mesmo tamanho da maior janela de previsão dos métodos base (o total de neurônios da camada de entrada da rede neural será dado pelo número de métodos base somados ao tamanho da janela do comitê). E.1 Combinação Não-Linear usando o treinamento em fase única (método meta treinado com os mesmos elementos da série temporal utilizados para treinamento dos métodos base, sendo estes gerados por instâncias do algoritmo backpropagation). E.2 Combinação Não-Linear usando o treinamento em fase única (método meta treinado com os mesmos elementos da série temporal utilizados para treinamento dos métodos base, sendo estes gerados por instâncias do método de Wang-Mendel). E.3 Combinação Não-Linear usando o treinamento em fase única (método meta treinado com os mesmos elementos da série temporal utilizados para treinamento dos métodos base, sendo estes gerados por instâncias de cada um dos métodos listados na TAB.4.2). E.4 Combinação Não-Linear usando o treinamento em fase dupla (método meta treinado com uma quantidade maior de elementos da série temporal do que aqueles utilizados para treinamento dos métodos base, sendo estes gerados por instâncias do algoritmo backpropagation). 4.3 RESULTADOS DAS PREVISÕES Em uma etapa preliminar foram realizados diversos testes exploratórios que visaram identificar quais configurações resultavam nos melhores desempenhos individuais dos métodos-base, de forma a permitir uma melhor composição dos comitês avaliados. Cabe ressaltar que podem ser obtidos resultados superiores mediante o uso heurísticas e outras adaptações existentes na literatura para o conjunto de métodos utilizados, sobretudo para aqueles baseados em redes neurais. Esse objetivo não faz parte do escopo deste trabalho, o qual visa, entre outros aspectos, prover mecanismos para a combinação de diferentes modelagens de métodos-base, independente do nível de 69

71 resultados que estes possam alcançar. Em cada uma das tabelas de resultados, os melhores desempenhos estão destacados por meio da alteração da cor de fundo. Esse destaque permite verificar, adicionalmente, se o melhor desempenho, tanto de métodos-base como dos comitês, está presente em todas as métricas ou de forma majoritária. As métricas utilizadas correspondem àquelas descritas no Capítulo 2, Seção 2.4. Com relação à métrica MAPE, os valores obtidos por essa métrica foram multiplicados por 100 para expressar de forma mais clara o índice percentual representado pela mesma nos diversos experimentos realizados. As referidas tabelas estão agrupadas com os resultados nos níveis base e meta e indicam a quantidade (valores percentuais) e a faixa de elementos da série utilizados RESULTADOS DOS MÉTODOS BASE A TAB. 4.4 exibe os resultados de um experimento do TIPO A. Nesse experimento somente os métodos de Wang-Mendel e do algoritmo backpropagation (redes neural) obtiveram bons desempenhos. Convém ressaltar que a métrica U-Theil sempre apresentará o valor unitário para o desempenho do método baseado na previsão ingênua, pois tal métrica mede o desempenho de um previsor confrontando-o com o desempenho da previsão ingênua. As demais métricas utilizadas mostram que a previsão ingênua apresentou um desempenho pouco melhor que média móvel e a suavização exponencial. TAB. 4.4 Experimento TIPO A Série Mackey-Glass Conjuntos: Treino 70% (1-1050), Validação 70% (1-1050), Teste 30% ( ) No Método / (Parâmetros) Resultados: Conjuntos de Validação (V) e Teste (T) V/T U-Theil MSE RMSE SSE MAE MAPE(%) V T Previsão Ingênua 2 Suavização Exponencial (α = 0,9) V , T Média Móvel (janela = 3) V T Wang-Mendel Adaptado (conjuntos = 7, janela = 7) V T Rede Neural (9L-9S-1L E = 5000 T = 0,6 M = 0,3) V E T E

72 A TAB. 4.5 exibe o resultado de oito configurações do algoritmo backpropagation em um experimento do TIPO B, contendo configurações distintas para cada um dos métodos. Estes foram utilizados como membros (métodos base) para algumas configurações de comitê. A TAB. 4.6 exibe o resultado de oito configurações do algoritmo backpropagation contendo as mesmas configurações descritas na TAB. 4.5, porém com um percentual menor de amostras utilizadas no treinamento. Os resultados da TAB. 4.6 apresentam, de forma alternativa, os desempenhos das citadas configurações com relação ao próprio conjunto usado no treinamento e no conjunto de validação que possui somente amostras novas. A intenção é demonstrar a proximidade entre os desempenhos nos dois conjuntos citados, indicando a boa qualidade do treinamento realizado. Este fato demonstra que o próprio conjunto de treinamento poderia ser usado para uma etapa de validação, onde os critérios de seleção de métodos base são aplicados. Esse conjunto de métodos também são utilizados para avaliação de comitês na seção seguinte. A TAB. 4.7 também apresenta resultados de métodos base com instâncias do algoritmo backpropagation contendo configurações diferentes das tabelas anteriores. Esses resultados serão confrontados com configurações idênticas que foram empregadas em comitês, com respeito à combinação não-linear. TAB. 4.5 Experimento TIPO B Série Mackey-Glass Conjuntos: Treino 70% (1-1050), Validação 70% (1-1050), Teste 30% ( ) No Configuração da rede Resultados: Conjuntos de Validação (V) e Teste (T) V/T U-Theil MSE RMSE SSE MAE MAPE(%) 1 12L-6S-1L E = 5000 T = 0,6 M = 0,3 V E T E L-4S-4S-1L E = 5000 T = 0,6 M = 0,3 V E T E L-5S-5S-1L E = 5000 T = 0,6 M = 0,3 V E T E L-9S-1L E = 5000 T = 0,6 M = 0,3 V E T E L-8S-1L E = 5000 T = 0,6 M = 0,3 V E T E L-10S-1S E = 5000 T = 0,6 M = 0,3 V E T E L-10T-6T-1T E = 5000 T = 0,6 M = 0,3 V E T E L-6T-1S E = 5000 T = 0,6 M = 0,3 V T

73 A TAB. 4.8 expõe os resultados de métodos construídos a partir de instâncias do algoritmo de Wang-Mendel (WANG e MENDEL, 1992). Tais resultados demonstram um bom desempenho desse algoritmo na série temporal testada. Os citados métodos foram empregados em testes de comitês na seção seguinte. TAB. 4.6 Experimento TIPO B Série Mackey-Glass Conjuntos: Treino 50% (1-750), Validação 20% ( ) No Configuração da Rede (idêntica à tabela 1) Resultados: Conjuntos de Treino (Tr) e Validação (V) Tr/V U-Theil SSE MAE MAPE(%) 12L-6S-1L 1 E = 5000 T = 0,6 M = 0,3 Tr E V E L-4S-4S-1L E = 5000 T = 0,6 M = 0,3 Tr E V E L-5S-5S-1L E = 5000 T = 0,6 M = 0,3 Tr E V E L-9S-1L E = 5000 T = 0,6 M = 0,3 Tr E V E L-8S-1L E = 5000 T = 0,6 M = 0,3 Tr E V E L-10S-1S E = 5000 T = 0,6 M = 0,3 Tr E V E L-10T-6T-1T 7 E = 5000 T = 0,6 M = 0,3 Tr E V E L-6T-1S E = 5000 T = 0,6 M = 0,3 Tr V MSE RMSE TAB. 4.7 Experimento TIPO B Série Mackey-Glass Conjuntos: Treino 70% (1-1050), Teste 30% ( ) No Configuração da Rede Resultados do Conjunto de Teste U-Theil MSE RMSE SSE MAE MAPE(%) 1 8L-5S-5S-1L E = 5000 T = 0,6 M = 0, E L-5S-5S-1L E = 5000 T = 0,6 M = 0, E L-5S-5S-1L E = 5000 T = 0,6 M = 0, E

74 TAB. 4.8 Experimento TIPO B Série Mackey-Glass Conjuntos: Treino 70% (1-1050), Validação 70% (1-1050), Teste 30% ( ) No Método / (Parâmetros) 1 Resultados: Conjuntos de Validação (V) e Teste (T) V/T U-Theil MSE RMSE SSE MAE MAPE(%) Wang-Mendel Adaptado (conjuntos = 5, janela = 7) V T Wang-Mendel Adaptado (conjuntos = 9, janela = 10) V T Wang-Mendel Adaptado (conjuntos = 5, janela = 10) V T Wang-Mendel Adaptado (conjuntos = 5, janela = 15) V T Wang-Mendel Adaptado (conjuntos = 7, janela = 7) V T RESULTADOS DOS COMITÊS A TAB. 4.9 descreve os resultados de uma combinação não-linear nos métodos da TAB A combinação número 1 (combinação simples) da TAB. 4.9 demonstrou que, apesar do fraco desempenho da maior parte dos métodos que compunham o comitê, o uso somente das saídas dos cinco previsores foi suficiente para superar o melhor desempenho individual. Nas combinações número 2 e 3 (combinação conjugada) a utilização de dados históricos compatíveis com a menor e a maior janela de previsão individual, respectivamente, obtiveram ainda desempenhos ligeiramente superiores com relação à combinação número 1. Os gráficos da combinação número 3 estão exibidos nas FIG. 4.2 e FIG. 4.3, que ilustram a excelente resposta do comitê na combinação não-linear e, de uma forma geral, em todos os experimentos realizados com a série Mackey-Glass que envolveram o algoritmo backpropagation, tanto na aplicação de métodos base como no nível meta, onde as curvas de previsão e da série original praticamente se sobrepõem. 73

75 Tabela 4.9 Experimento TIPO E.3 Série Mackey-Glass Conjuntos: Treino 70% (1-1050), Teste 30% ( ) Membros do Comitê: TAB. 4.4 (todos os métodos) No Configuração da Rede do Comitê U-Theil 1 5L-5S-5S-1L E = 5000 T = 0,6 M = 0,3 2 3 Resultados MSE RMSE SSE MAE MAPE(%) E L-5S-5S-1L E = 5000 T = 0,6 M = 0, E L-5S-5S-1L E = 5000 T = 0,6 M = 0, E FIG. 4.2 Gráfico do resultado da combinação número 3 da TAB FIG. 4.3 Gráfico do resultado da combinação número 3 da TAB. 4.7 (ampliação das últimas 20 previsões) 74

76 Em um total de 7(sete) combinações, os métodos listados na TAB. 4.5 foram seqüencialmente agregados e testados em uma combinação linear do TIPO C, sendo os resultados apresentados na TAB Com relação à combinação linear pela média simples, os resultados da TAB demonstraram previsões com erros menores a cada novo previsor agregado até a sexta combinação, independentemente dos resultados individuais dos membros do comitê que oscilaram entre desempenhos próximos (melhores e piores) ao melhor resultado individual (previsor número 2 da TAB. 4.5). Desde a segunda até a sexta combinação os resultados foram superiores ao melhor resultado individual. Na combinação número 1 não foi possível reverter o fraco desempenho do método individual número 1 da TAB. 4.5, visto que o comitê foi formado apenas por dois previsores. A combinação número 7 demonstra a sensibilidade desse tipo de combinação quando um membro do comitê apresenta um desempenho muito abaixo dos demais integrantes do comitê, degradando o desempenho deste e, justificando, assim, a existência de um mecanismo de seleção dos candidatos a membros do comitê. TAB Experimento TIPO C Série Mackey-Glass Combinação Linear Métodos No Selecionados da TAB ,2 2 1, 2, 3 3 1, 2, 3, 4 4 1, 2, 3, 4, 5 5 1, 2, 3, 4, 5, 6 6 1, 2, 3, 4, 5, 6, 7 7 1, 2, 3, 4, 5, 6, 7, 8 Média Conjunto de Teste: (30%) U-Theil MSE RMSE SSE MAE MAPE(%) Simples E Ponderada E Simples E Ponderada E Simples E Ponderada E Simples E Ponderada E Simples E Ponderada E Simples E Ponderada E Simples E Ponderada E A combinação linear pela média ponderada obteve desempenho superior em todas as combinações realizadas na TAB frente ao melhor desempenho individual da TAB O fator principal é que desempenhos individuais muito inferiores aos demais têm a sua colaboração reduzida no comitê por meio de uma ponderação menor, de 75

77 forma a não prejudicar o desempenho global. A ponderação eficiente dessas colaborações foi possível em função do excelente desempenho observado nas previsões no próprio conjunto de treino, de onde foram calculados os pesos a serem aplicados a cada saída individual, conforme descrito no Capítulo 3, Seção A TAB contém os resultados de outra combinação linear, a partir de métodos base compostos unicamente por instâncias do algoritmo de Wang-Mendel (WANG e MENDEL, 1992) descritas na TAB Esse combinação linear também apresenta um resultado melhor do que os membros do comitê, visto que estes apresentam reduzidos erros de previsão aliados à diversidade destes erros proporcionada pelas configurações diferenciadas em cada instância dos métodos-base. Para efeito de comparação entre uma combinação linear e outra não-linear, a TAB descreve os resultados de uma combinação não-linear dos métodos-base relacionados na TAB. 4.8 e que foram usados na combinação linear descrita na TAB Confrontando-se os resultados das TAB 4.11 e TAB 4.12, verifica-se um desempenho superior na combinação não-linear. TAB Experimento TIPO D Série Mackey-Glass Combinação Linear No Métodos Selecionados da TAB Todos Conjunto de Teste: (30%) Média U-Theil MSE RMSE SSE MAE MAPE(%) Simples Ponderada Tabela 4.12 Experimento TIPO E.2 Série Mackey-Glass Conjuntos: Treino 70% (1-1050), Teste 30% ( ) Membros do Comitê: TAB. 4.8 (todos os métodos) No Configuração da Rede do Comitê U-Theil Resultados MSE RMSE SSE MAE MAPE(%) E L-5S-5S-1L E = 5000 T = 0,6 M = 0, E L-5S-5S-1L E = 5000 T = 0,6 M = 0, E L_5S_5S_1L 1 E = 5000 T = 0,6 M = 0,3 2 3 A TAB descreve os resultados de uma combinação não-linear nos métodos da TAB Na combinação número 1 da TAB somente as saídas dos oito previsores 76

78 (TAB. 4.5) serviram como fonte de informação para o combinador, opção denominada como TIPO E.1. Nas combinações número 2 e 3 da TAB. 4.13, também do TIPO E.1, além dos dados providos pelas saídas dos previsores individuais, dados históricos também foram utilizados para compor a entrada do combinador. A quantidade de elementos históricos foi estabelecida como sendo a menor janela dos métodos individuais na combinação número 2 e a maior delas na combinação número 3. TAB Experimento TIPO E.1 Série Mackey-Glass Conjuntos: Treino 70% (1-1050), Teste 30% ( ) Membros do Comitê: TAB. 4.5 (todos os métodos) No Configuração da Rede do Comitê U-Theil Resultados MSE RMSE SSE MAE MAPE(%) 1 8L-5S-5S-1L E = 5000 T = 0,6 M = 0, E L-5S-5S-1L E = 5000 T = 0,6 M = 0, E L-5S-5S-1L E = 5000 T = 0,6 M = 0, E A TAB expõe o resultado de um comitê em uma combinação não-linear do TIPO E.4. Os resultados obtidos na TAB foram também superiores ao melhor desempenho individual dos métodos base da TAB. 4.6 que formaram o citado comitê e ligeiramente inferiores aos resultados da combinação não-linear da TAB Na média, superou os bons resultados da combinação linear pela média ponderada na TAB A título ilustrativo da capacidade de obtenção de resultados superiores pelos comitês, percebe-se que todos os resultados das combinações não-lineares das TAB e TAB superaram os testes análogos apresentados na TAB. 4.7, onde a mesma quantidade de informação de entrada e o mesmo tipo de configuração foram aplicados. Isto demonstra que o uso das informações de saída dos métodos base foram mais eficazes do que o uso de um correspondente conjunto de dados históricos. 77

79 TAB Experimento TIPO E.4 Série Mackey-Glass Conjuntos: Treino 70% (1-1050), Teste 30% ( ) Membros do Comitê: TAB. 4.6 (todos os métodos treinados com 50% (1-750) dos dados da série) No Configuração da Rede do Comitê U-Theil Resultados do Conjunto de Teste MSE RMSE SSE MAE MAPE(%) E L-5S-5S-1L E = 5000 T = 0,6 M = 0, E L-5S-5S-1L E = 5000 T = 0,6 M = 0, E L-5S-5S-1L E = 5000 T = 0,6 M = 0,

80 5 TRABALHOS RELACIONADOS Esta seção apresenta alguns dos softwares comerciais que possuem aplicações ou recursos para a previsão de séries temporais. 5.1 AUTOBOX Autobox (AUTOBOX, 2009) é um pacote de software para análise estatística de dados de séries temporais. Ele gera previsões de séries temporais baseadas em processos construídos nos modelos de Box-Jenkins. O Autobox possui ferramentas para análise de gráficos e para apresentação de informações estatísticas. Inclui também alternativas para o pré-processamento, tais como conversão para números inteiros ou positivos. A FIG. 5.1 ilustra um extrato de tela do Autobox. O Autobox pode ser usado em 4 modos distintos: limpeza de dados (identificação de outliers e a correção desses); previsão de séries temporais; análise de cenários, e; heurísticas para modelagem automática. Outra característica importante é a identificação do modelo de previsão de forma automática e não-automática. No modo automático o modelo é gerado sem a intervenção do usuário, a partir da escolha daquele que melhor retrata o comportamento dos dados. No modo não-automático o usuário inicia o processo de modelagem e escolhe o modelo que será usado. 5.2 DTREG O produto DTREG (DTREG, 2009) oferece uma grande variedade de técnicas estatísticas e de inteligência artificial. Possui recursos para a execução de forma automatizada ou com valores default na maior parte dessas técnicas, apresentando relatórios estatísticos detalhados. Há um único componente para o uso de um comitê de aprendizado, sendo este formado por árvores de decisão que geram modelos e dados randômicos para uma tarefa de classificação. A forma de combinação dos resultados individuais de cada árvore de decisão é feita pela técnica de votação. A FIG. 5.2 ilustra um extrato de tela do DTREG. 79

81 Os elementos da série podem ser importados de arquivos no formato CSV (comma separated value). Dentre possíveis configurações, podem-se destacar: a especificação de valores mínimo e máximo para o tamanho de uma janela de previsão, de onde serão avaliados vários desempenhos de forma automática, e; possibilidade de remoção automática de tendências contidas na série temporal. FIG. 5.1 Tela ilustrativa do software Autobox. FIG. 5.2 Tela do software DTREG. 80

82 5.3 XLSTAT O produto XLSTAT (XLSTAT, 2009) é um plugin utilizado para aumentar a capacidade analítica do software MS-Excel, contento recursos para aplicações em previsão de valores futuros de séries temporais por meio de métodos estatísticos. Ele usa o MS-Excel para a entrada de dados e para a exibição dos resultados, mas os cálculos são feitos usando-se componentes autônomos de software. O XLSTAT possui recursos tais como: regressão polinomial, ajuste sazonal, ajuste de dados faltantes pela media dos anteriores e posteriores, e diversas análises de dados que incluem métodos para verificação de correlações de dados multivariados e algoritmos para agrupamento. A interface disponibilizada ainda oferece recursos para preparação, descrição, e visualização de dados. A FIG. 5.3 exibe a tela inicial do XLSTAT. FIG. 5.3 Tela inicial do XLSTAT. 5.4 MATLAB O software MATLAB (MATLAB, 2009) provê todas as funcionalidades de uma linguagem de programação tradicional, incluindo operadores matemáticos, controle de fluxos, tipo de dados e ferramentas de diagnóstico, em um ambiente interativo e com 81

83 diversos recursos gráficos que facilitam a manipulação e conexão de componentes. Adicionalmente, uma coleção de ferramentas (toolboxes) estendem sua capacidade para tarefas e aplicações específicas. Alguns exemplos são as ferramentas que criam e manipulam séries temporais (FIG. 5.4) e outras voltadas a construção de modelos para solucionar classes particulares de problemas, por meio do uso de técnicas estatísticas e de inteligência artificial (lógica nebulosa, redes neurais e algoritmos genéticos, entre outras). Outras facilidades residem na interface gráfica para o usuário, onde é possível conectar diversos componentes para a construção de várias modelagens. No caso de previsão de séries, vários métodos podem ser construídos e instanciados em módulos (blocos) que podem ser montados para a geração de um sistema mais complexo. Isto permite que o analista desenvolva uma aplicação para formar um comitê de aprendizado específico. FIG. 5.4 Software MATLAB extrato de tela da toolbox de séries temporais. 5.5 CONSIDERAÇÕES FINAIS Em comparação ao ambiente proposto, os softwares descritos anteriormente não possuem componentes prontos para o emprego e a análise de resultados de um comitê 82