ESTUDO COMPARATIVO DE SÉRIES TEMPORAIS PARA PREVISÃO DE VENDAS DE UM PRODUTO

Transcrição

1 ESTUDO COMPARATIVO DE SÉRIES TEMPORAIS PARA PREVISÃO DE VENDAS DE UM PRODUTO William Jacobs Roselaine Ruviaro Zanini 2 Manfred Cosa 3 RESUMO: Ese arigo apresena um esudo comparaivo de modelos de séries emporais para a previsão de vendas de deerminado produo. O esudo eve como objeivo invesigar a eficácia, em ermos da capacidade prediiva de cada um dos modelos, uilizando uma série emporal real da demanda de deerminado produo. Foram uilizados rês ipos de modelos para a previsão dos valores fuuros: (i) suavização exponencial (SE); (ii) auorregressivo inegrado de médias móveis (ARIMA); e, (iii) redes neurais arificiais (RNAs). Após a modelagem, foram selecionados os modelos que apresenaram o melhor resulado em cada caegoria supraciada e enão comparado o desempenho enre cada. Os resulados demonsraram o modelo de RNAs MLP(6,0,) como aquele mais eficaz para a série emporal uilizada (MAPE de ajusameno e previsão de 28,55% e 22,33%, respecivamene). Verificou-se que o modelo de RNAs MLP(6,0,) apresenou um resulado 58% e 48% melhor, em ermos de modelagem da série, em relação aos modelos de SE e ao modelo ARIMA, respecivamene. Em ermos de capacidade prediiva, verificou-se que o modelo de RNAs MLP(6,0,) apresenou um resulado 73% e 65% melhor em relação aos modelos de SE e ARIMA, respecivamene. Palavras-chave: Previsão de venda. Modelos de suavização exponencial. Modelos ARIMA. Redes neurais arificiais. INTRODUÇÃO Em mercados alamene compeiivos, prever os resulados fuuros é uma imporane informação para as organizações que neses esão inseridas (FLORES, 2009). Quando se pode esimar, com cero grau de confiança, a quanidade a ser vendida nos próximos períodos, é possível esimar a quanidade de recursos necessários para o aendimeno dessa demanda. A parir de enão, desdobrar essa necessidade de recursos enre as principais funções e funções Mesre em Engenharia de Produção pela UFSM, Professor do curso de Engenharia de Produção do Cenro Universiário UNIVATES, Lajeado, Rio Grande do Sul, Brasil. eng.williamjacobs@gmail.com. 2 Douora em Epidemiologia pela UFRGS, Deparameno de Esaísica, UFSM (Universidade Federal de Sana Maria), Sana Maria, Rio Grande do Sul, Brasil. rrzanini@erra.com.br. 3 Mesre em Engenharia de Produção pela UFRGS, Coordenador e Professor do curso de Engenharia de Produção do Cenro Universiário UNIVATES, Lajeado, Rio Grande do Sul, Brasil. manfredcosa@yahoo.com. Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-

2 de apoio da organização, faz com que o planejado eseja mais ajusado com a realidade, resulando em maior eficiência na uilização dos recursos e eficácia nos resulados obidos. Uma eapa fundamenal no processo de previsão é a decisão de qual o modelo que será uilizado. Na área de análise de séries emporais, área que esuda os modelos e meodologias de modelagem e previsão de séries emporais, exisem diversos modelos para a uilização. O fao, porém, é que se deve observar os diversos pressuposos em que se baseiam, fao esse que pode, muias vezes, dificular a escolha (FLORES, 2009). Para Zhang (2003), é necessário que o pesquisador uilize mais de um modelo para a previsão, endo em visa a impossibilidade de conhecer, previamene, o processo gerador da série emporal. Lee e Tong (20), acrescenam que séries emporais reais frequenemene apresenam ano padrões lineares quano padrões não lineares e ambém, que alguns modelos capuram adequadamene os padrões lineares e ouros os padrões não lineares. Considerando essas recomendações e resrições, opa-se, nese esudo, de se uilizar de mais de um modelo para a modelagem e previsão da série, oimizando assim os resulados da análise. Com isso, o objeivo do presene esudo é invesigar a eficácia de previsão de rês modelos: (i) SE; (ii) ARIMA; e, (iii) RNAs; para a previsão de vendas de um deerminado produo de uma empresa de laicínios localizada na região do vale do Taquari, inerior do Esado do Rio Grande do Sul. A série emporal analisada nese esudo é composa de 292 dados de vendas mensais de um produo produzido pela empresa. Deses 292 dados mensais de venda, 268 são uilizados para a modelagem da série emporal e 24 (úlimos) são uilizados para a comparação enre os valores previsos gerados pelo modelo e os ocorridos. Para ano, o rabalho econra-se dividido da seguine forma: a Seção 2 aborda o ema previsão de vendas por inermédio de séries emporais e apresena os rês méodos de previsão abordados nese esudo; a Seção 3 apresena a meodologia uilizada para desenvolvimeno e obenção dos resulados; a Seção 4 apresena os resulados da modelagem da série emporal de vendas do produo e os resulados de previsão de valores fuuros para o modelo; e, por úlimo, a Seção 5 apresena a conclusão do presene esudo e faz considerações para a realização de rabalhos fuuros sobre o ema. 2 PREVISÃO DE VENDAS POR MEIO DE MODELOS DE SÉRIES TEMPORAIS A previsão de vendas é um processo susenado por uma meodologia de rabalho clara e definida, que apoiada em modelos esaísicos, maemáicos ou economéricos, ou ainda, em Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-3

3 modelos subjeivos, busca deerminar os valores fuuros de uma série emporal de vendas (MARTINS; LAUGENI, 2003). Segundo Figueredo (2008), al processo possibilia ao usuário ober conhecimeno a respeio da provável evolução da série no fuuro. Para Tubino (2007), a necessidade e imporância desse processo é em função de que a quanidade vendida é a variável mais imporane na definição de um sisema de produção, especialmene para as funções desenvolvidas pela área de planejameno e conrole da produção. Os méodos de previsão de vendas são classificados conforme suas abordagens, que são: (i) quaniaivos; (ii) qualiaivos; ou, (iii) que uilizam a combinação dos dois. Para a previsão uilizando os méodos quaniaivos, requer-se a consrução de modelos maemáicos baseados em dados hisóricos que descrevam a variação da demanda ao longo do empo, os modelos de séries emporais (PELLEGRINI, 2000). As séries emporais são medidas de deerminadas variáveis omadas a inervalos regulares de empo (MOORE e al., 2006). Na previsão de vendas por meio de séries emporais, são coleados e analisados dados hisóricos das vendas do produo a ser analisado, com o objeivo de ober um modelo que descreva a evolução dos valores no empo (ZHANG, 2003). Após a colea dos dados e obenção do modelo que melhor se ajusa, valores fuuros da série emporal são previsos com base no modelo obido (ZOU e al., 2007). Porém, há de se ressalar, que não exise écnica de previsão perfeia, sempre haverá erros envolvidos no processo, pois são vários os faores que influenciam o ambiene de negócios. Assim, uma esraégia imporane é a de se esabelecer uma práica de revisão conínua das previsões (CHASE; JACOBS; AQUILANO, 2006). A Seção 2 foi subdividida em ouros rês assunos relaivos ao ema, que são os modelos uilizados no presene esudo para a modelagem e previsão da série emporal de vendas. Dessa forma, a Seção 2. apresena os modelos de suavização exponencial; a Seção 2.2 inroduz os modelos ARIMA; e, a Seção 2.3 apresena os modelos de redes neurais arificiais. 2. Modelos de suavização exponencial (SE) Os modelos de SE são méodos conhecidos com esa denominação em virude deses aplicarem um conjuno de pesos desiguais aos valores passados da série emporal, sendo que ais pesos decaem de forma exponencial da mais recene a mais disane observação (MAKRIDAKIS, WHEELWRIGHT; HYNDMAN, 998; MORETTIN; TOLOI, 2006). A larga uilização dos modelos de SE são em virude de sua simplicidade, baixo cuso e razoável precisão (MAKRIDAKIS, WHEELWRIGHT; HYNDMAN, 998). A principal desvanagem Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-4

4 é a dificuldade em deerminar os valores mais apropriados das consanes de suavização (MORETTIN; TOLOI, 2006). Os modelos de SE uilizados nese esudo foram: (i) suavização exponencial de Hol (SEH); e, (ii) suavização exponencial de Hol-Winers (SEHW). Os modelos de SEH são uilizados saisfaoriamene em séries emporais que apresenam endência de crescimeno ou de decrescimeno linear. Os modelos de SEHW, ou modelos de Winers como são conhecidos, são uilizados saisfaoriamene em séries emporais que, além de endência de crescimeno ou decrescimeno linear, apresenam ambém sazonalidade. As Equações, 2 e 3, apresenam os componenes nível e endência do modelo no período e a previsão para +k períodos, respecivamene, uilizando os modelos de SEH (MAKRIDAKIS, WHEELWRIGHT; HYNDMAN, 998). L T L y () T L L T (2) yˆ L kt (3) k Os modelos de SEHW, por sua vez, dividem-se em adiivos e muliplicaivos. Quano aos modelos de suavização exponencial de Hol-Winers adiivo (SEHWA), pare-se do pressuposo que a ampliude da variação sazonal permanece consane ao longo do empo (PELLEGRINI, 2000). As Equações 4, 5, 6 e 7, apresenam os componenes nível, endência e sazonalidade do modelo no período e a previsão para +k períodos, respecivamene, para os modelos de SEHWA (MAKRIDAKIS, WHEELWRIGHT; HYNDMAN, 998). y S L T L (4) s T S L L T (5) y L S s (6) yˆ L kt S (7) k sk Quano aos modelos de suavização exponencial de Hol-Winers muliplicaivo (SEHWM), pare-se do pressuposo que a ampliude da variação sazonal varia ao longo do empo, ou seja, com o passar dese (PELLEGRINI, 2000; ALLEMÃO, 2004). As Equações 8, 9, 0 e, apresenam os componenes nível, endência e sazonalidade do modelo no período e a previsão para +k períodos, respecivamene, para os modelos de SEHWM Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-5

5 (MAKRIDAKIS, WHEELWRIGHT; HYNDMAN, 998). y L L T (8) S s T L L T (9) S y L S s (0) k L kt S sk yˆ () Esa seção apresenou os modelos de suavização exponencial de Hol e de Hol-Winers, que devido a simplicidade e capacidade de modelagem de séries emporais com endência linear e/ou sazonalidade, serão uilizados nese esudo para a previsão dos valores fuuros das vendas de um produo. 2.2 Modelos auorregressivos inegrados de médias móveis (ARIMA) Os modelos ARIMA foram descrios por Box e Jenkins (976) e caracerizam-se como uma das mais difundidas meodologias para análise de séries emporais (MADDALA, 2003; ZHANG, 2003; MORETTIN; TOLOI, 2006). Por mais de meio século ais modelos êm sido uilizados em diversas áreas que realizam previsões por inermédio de séries emporais (HO; XIE; GOH, 2002). Há diversas aplicações gerais e específicas realizadas por diversos auores ao longo dos anos, como: aplicações na área médica, ambienal, financeira, engenharia, previsão da qualidade do ar, enre ouras (WERNER; RIBEIRO, 2003). Os modelos ARIMA são modelos classificados como univariados, ou seja, uilizam apenas uma variável para a sua execução e consisem em explicar deerminada variável por meio de valores passados dela mesma, dos valores passados de choques e dos valores passados dos erros ou resíduos (SARTORIS, 2003). A principal desvanagem desses modelos, segundo Zhang (2003) e Aburo e Weber (2007), é que assumem uma relação linear enre a variável dependene e independene, o que nem sempre aconece. Quano aos benefícios, são relaivamene flexíveis e podem represenar diversas siuações diferenes de séries emporais, podendo-se uilizar apenas um filro, como: o auorregressivo (AR), ou o de médias móveis (MA), ou o auorregressivo de médias móveis (ARMA) (ZHANG, 2003). A meodologia proposa por Box e Jenkins (976) é desenvolvida com base em rês passos: (i) idenificação do modelo a ser uilizado; (ii) esimação dos parâmeros do modelo Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-6

6 idenificado; e, (iii) verificação do modelo obido. Wang (20) e Zhang (2003), ressalam a imporância de se verificar a condição de esacionariedade e sazonalidade da série anes de iniciar os passos descrios. As eapas descrias são repeidas várias vezes esando diversos modelos, aé a obenção de um modelo saisfaório (ZHANG, 2003). Fava (2000) ressala que após verificadas essas condições, o modelo poderá ser uilizado para previsão. A condição de esacionariedade da série pode ser verificada de diversas maneiras, enre elas, aravés do uso de eses de raiz uniária. Os eses de raiz uniária objeivam diagnosicar se há a presença ou não de raiz uniária na série emporal. Caso a série seja não esacionária (que possui raiz uniária), uilizam-se procedimenos de diferenciação para que esa ransforme-se em esacionária (MATOS, 2000; KUMAR; JAIN, 999). Um ese comumene uilizado para verificação de raiz uniária é o Augmened Dickey-Fuller (ADF), que pode ser verificado com mais dealhe na obra de Enders (2004). Na eapa de idenificação, são idenificados os filros que irão compor o modelo ARIMA, ou seja, a presença e o número de componenes auorregressivos e de médias móveis, respecivamene. Para ano, a écnica comumene uilizada é a análise da função de auocorrelação (FAC) e a função de auocorrelação parcial (FACP). A decisão é omada com base nos padrões idenificados para cada uma das funções, FAC e FACP, com base na respeciva descrição apresenada no Quadro (FAVA, 2000). Quadro padrões eóricos da FAC e da FACP para idenificação do modelo Tipo de modelo Padrão ípico de FAC Padrão ípico de FACP AR(p) Declina exponencialmene ou com padrão Picos significaivos aravés das defasagens p. de onda senoidal amorecida, ou ambos. Truncada em k=p. MA(q) Picos significaivos aravés das defasagens Declina exponencialmene. q. Truncada em k=p. ARMA(p,q) Declínio exponencial. Declinane a parir Declínio exponencial. de k=p. Fone: Adapado de Gujarai (2000), Fava (2000) e Morein (2008) A FAC é o conjuno de valores de r k e a represenação gráfica dese conjuno de valores em relação ao seus lags (defasagens) é denominado correlograma. A Equação 2 apresena o modelo para cálculo de r k (MAKRIDAKIS, WHEELWRIGHT; HYNDMAN, 998). r k n k y y y y n y y k ², para k=0,,2,...,n. (2) A FACP, por sua vez, mede a correlação enre o valor de deerminada série no empo Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-7

7 e seu valor defasado em -k períodos depois que a influência de y, y 2,..., y k sobre y enha sido desconada (FAVA, 2000). Exisem diversos meios para obenção dos valores da FACP, denre eles o algorimo de Box e Jenkins. Para ober maiores informações sobre a obenção dos valores da FACP, o leior poderá verificar em Enders (2004). Após analisado quais são os filros ou componenes que serão uilizados no modelo ARIMA, o próximo passo é a deerminação do número de parâmeros p e q a serem inclusos no modelo. Os valores de ais parâmeros podem ser ano obidos aravés da FAC e da FACP (KUMAR; JAIN, 999), quano aravés dos criérios de Akaike ou criério informacional de Akaike (AIC) e do criério informacional Bayesiano (BIC), escolhendo-se, denre os modelos proposos, aquele com o menor resulado denre esses criérios. O AIC e o BIC são obidos, respecivamene, aravés das Equações 3 e 4 (ENDERS, 2004). SQR AIC nlog 2 p n p (3) SQR BIC nlog p log n n p (4) Obido o modelo ARIMA(p,d,q), realiza-se enão a esimação de seus parâmeros. Fava (2000) e Maddala (2003) ressalam que quando o filro MA esiver presene, deve-se uilizar o méodo dos mínimos quadrados não lineares. Caso conrário, a esimação dos parâmeros pode ser realizada pelo méodo dos mínimos quadrados ou pelo méodo da máxima verossimilhança. Segundo Morein (2008), os pacoes esaísicos uilizados para séries emporais razem o algorimo adequado para a esimação dos parâmeros, moivo esse e em função da complexidade de ais méodos, que eses não serão abordados nese esudo. Para maiores dealhes, leia Morein (2008). Na eapa da verificação do modelo obido, avaliam-se se os resíduos gerados pelo ajusameno comporam-se como sendo ruído branco, ou seja, sua média é zero e sua variância permanece consane ao longo do empo. Oura consideração imporane nesa eapa é a de que os resíduos do modelo não sejam auocorrelacionados. Caso não seja verificada al siuação, faz-se necessária a uilização de ouro modelo (FAVA, 2000; MORETTIN, 2008). A Seção 2.2 apresenou os principais conceios relaivos a uilização dos modelos ARIMA, aos leiores ineressados em aprofundar o enendimeno sobre ais modelos sugere-se o rabalho de Box e Jenkins (976) e o de Makridakis, Wheelwrigh e Hyndman (998). Para Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-8

8 finalizar a presene seção, a Equação 5 apresena o modelo genérico ARIMA(p,d,q) e a Equação 6 apresena o modelo genérico SARIMA(p,d,q)(P,D,Q), ou como conhecido, modelo ARIMA com sazonalidade (MAKRIDAKIS, WHEELWRIGHT; HYNDMAN, 998). p q B... pb y B... qb (5) p s Ps d s D B... pb B... PB B B y q s Qs, B... qb B QB (6)... Esa seção apresenou os modelos ARIMA e o processo de obenção deses para a previsão de séries emporais, denominado meodologia de Box-Jenkins. 2.3 Redes neurais arificiais (RNAs) Uma RNA raa-se de um conjuno de enrelaçamenos, sendo que cada conexão ou sinapse apresena um peso associado para o ajuse dos dados de enrada aos dados de saída (SOBREIRO; ARAÚJO; NAGANO, 2009). Conforme Haykin (999), as RNAs possuem a propensão naural de armazenar conhecimeno experimenal e orná-lo disponível para o uso. Isso se dá em função de as RNAs serem reinadas, por inermédio de algumas regras de reinameno, que ajusam os pesos das conexões conforme os dados disponíveis são minimizados por uma função de erro apropriada (ABURTO; WEBER, 2007). A uilização de RNAs para a previsão de séries emporais, segundo Zhang, Pauwo e Hu (998), ocorreu em 968 com o rabalho de Hu, que realizava previsões referenes ao clima. Segundo Allemão (2004), em sua grande maioria, as RNAs são aplicadas a problemas relacionados à cluserização, ao reconhecimeno e à previsão de séries emporais. Allemão (2004) complemena que para a práica de previsão, uilizam-se as redes conhecidas como aproximadoras de funções, ou seja, a opologia mulilayer percepon (MLP) e redes Elman. A maior vanagem dos modelos de RNAs sob os modelos ARIMA é em virude de sua capacidade de capurar os padrões não lineares normalmene exisenes nas séries emporais (KHASHERI; BIJARI, 200; ZHANG, 2003), siuação essa não observada nos modelos ARIMA (LEE; TONG, 20). A opologia de RNA mais difundida em pesquisas que envolvem modelagem e previsão por inermédio de séries emporais é a feedforward de uma única camada escondida. Tal modelo é descrio por rês camadas (a camada de enrada, a camada escondida e a camada de Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-9

9 saída) e, a relação enre as saídas da RNA e suas enradas pode ser descria maemaicamene pela Equação 7 (KHASHERI; BIJARI, 200; ZHANG, 2003). y w q p w j g w j wij y i 0 0 (7) j i Onde w j (j = 0,, 2,..., q) e w ij (i = 0,, 2,..., p; j =, 2, 3,..., q) são os parâmeros do modelo geralmene chamados de connecion weighs; p é o número de neurônios na camada de enrada e o q é o número de neurônios na camada escondida (KHASHERI; BIJARI, 200; ZHANG, 2003). A função de ransferência geralmene uilizada na camada escondida é a função sigmóide (Equação 8) (ZHANG, 2003). Na camada de saída, a função mais uilizada é a linear, pois funções não lineares na camada de saída podem razer disorções à capacidade prediiva da RNA (KHASHERI; BIJARI, 200). g x exp x (8) Da mesma forma que nos modelos apresenados nas Seções 2. e 2.2, os modelos de RNAs uilizam de valores passados da série emporal para a previsão dos valores fuuros (KHASHERI; BIJARI, 200, ZOU e al., 2007; ZHANG, 2003). Assim, a Equação 9 apresena o modelo de série emporal para a modelagem uilizando RNAs. y f y, y,..., 2 y p, w (9) Onde w é o veor de odos os parâmeros, f é a função deerminada pela esruura e conexões sinápicas da RNA e é o erro aleaório do período. Desa forma, o presene modelo orna-se similar a um modelo não linear auorregressivo (ZHANG, 2003; KHASHERI; BIJARI, 200). A opologia de uma rede MLP é apresenada em Khashei e Bijari (200), conforme pode ser visualizado na Figura. Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-20

10 Figura Modelo esruural de uma RNA para a previsão de séries emporais Fone: Khashei e Bijari (200) A Figura apresena o modelo esruural de RNAs para a previsão de séries emporais, desacando os componenes presenes nesa esrura, que são: os valores defasados da camada de enrada ( y p ), os pesos das conexões ( w i, j ) enre a camada de enrada (inpu layer) e a inermediária (hidden layer), os pesos das conexões enre a camada inermediária (ou escondida) e a de saída (oupu layer), o bias de cada uma das camadas ( w 0 ) e a saída do modelo (y) (KHASHEI; BIJARI, 200). Uma vez definida a esruura da rede, esa esará prona para o processo de reinameno, que ajusará os pesos inernos da rede conforme uma função de cuso vai sendo minimizada. A função de cuso é um criério que busca a minimização dos erros quadrados da rede (Equação 20), sendo que a minimização é realizada aravés de um algorimo de reinameno não linear, o back-propagaion (Equação 2) e, para acelerar o processo de reinameno, eviando ambém a insabilidade do algorimo, inroduz-se um ermo chamado momenum (Equação 22) (KHASHERI; BIJARI, 200; ABURTO; WEBER, 2007; KOVÁCS, 2006). E N N N e i y w0 w j gw0 j 2 N n n j i Q ij P w ij y i 2 (20) E wij (2) w w ij E ij (22) w w ij O back-propagaion é considerado um algorimo de reinameno do ipo supervisionado, pois se uiliza das informações dos padrões de enrada fornecidos à rede e a sua respeciva Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-2

11 saída desejada e que, por meio de um mecanismo de correção de erros (gradiene descendene), ajusa os pesos da rede aos padrões de enrada fornecidos na eapa de reinameno. Assim, o reinameno é realizado em duas eapas: (i) a fase forward e (ii) a fase backward. Na primeira fase, são apresenados conjunos de dados à rede e esa propaga o sinal aé a sua camada de saída. A segunda fase realiza a correção dos erros, alerando os pesos inernos da rede, conforme a saída desejada (BRAGA; CARVALHO; LUDERMIR, 20). Esa seção apresenou as RNAs, especificamene a opologia MLP, para a previsão de séries emporais. A principal caracerísica deses modelos em comparação aos de Hol- Winers e Box-Jenkins, é a capacidade de modelar ano padrões lineares quano não lineares que podem esar presenes na série emporal. 3 METODOLOGIA O esudo foi concebido e realizado conforme os seguines passos: (i) abulou-se os dados para a obenção da série emporal da demanda do produo em análise; (ii) modelou-se a série emporal segundo os modelos apresenados na Seção 2; (iii) comparou-se os resulados gerados por cada modelo; (iv) apresenou-se os gráficos de ajusameno e de previsão do modelo que obeve o melhor resulado para a série emporal (Seção 4). Na modelagem da série emporal pelo modelo de SE, uilizou-se as suas varianes: SEH, SEHWA e SEHWM. Enão, esimaram-se os parâmeros de cada modelo, por meio do veor que minimizou a soma quadrada dos erros (ZHANG, 2003). Após, modelou-se cada um dos componenes da série emporal (nível, endência e sazonalidade) e obeve-se as medidas de erro para a modelagem e previsão. Para os modelos ARIMA, na primeira eapa verificou-se a condição de esacionariedade da série emporal e, para isso, uilizou-se o ese ADF apresenado na Seção 2. Em seguida, com base na FAC e FACP, idenificou-se e esimou-se cinco modelos como candidaos para a modelagem da série emporal, e o escolhido foi aquele que minimizou os criérios AIC e BIC. Enão, foi verificado se os resíduos gerados pelo modelo são ruído branco ou seja, média zero, variância consane e não auocorrelacionados. Na modelagem das RNAs uilizou-se a opologia MLP com o back-propagaion como algorimo de reinameno. Implemenou-se as RNAs com camada inermediária para a modelagem da série emporal, e a configuração das RNAs seguem o dealhameno disposo no Quadro 2, oalizando a modelagem de 8 RNAs para a série emporal esudada. Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-22

12 Quadro 2 Configuração das RNAs modeladas no presene esudo Número de neurônio nas camadas Rede MLP com camada escondida Camada de enrada 3, 6 e 2 Camada escondida 5, 0, 5, 20, 25 e 30 Camada de saída Número de modelos 8 Fone: Elaborado pelos auores A modelagem das RNAs foi realizada conforme o seguine procedimeno: (i) separou-se os vine e quaro úlimos valores da série emporal para a verificação da capacidade de predição e generalização da rede; (ii) dos dados resanes da série, uilizou-se 70% para o reinameno e 30% para a validação; (iii) modelou-se a série emporal da demanda de conforme as configurações dadas no Quadro 2; (iv) avaliou-se empiricamene a possibilidade de superajusameno, comparando as medidas de erro do conjuno de reinameno e do conjuno de validação; (v) realizou-se a previsão de vine e quaro valores fuuros; (vi) obevese e analisou-se os resulados do ajusameno e da previsão da série emporal. Para a verificação de superajusameno das RNAs aos dados da série, a análise empírica consisiu na comparação da variação das medidas de erro do processo de reinameno e de validação das RNAs. Caso consaada divergências acenuadas enre ais medidas, haveria fores suposições de que deerminada RNA eria memorizado os dados fornecidos para o seu reinameno, perdendo a capacidade de generalização, siuação esa que não gera resulados práicos a presene pesquisa. Segundo Braga, Carvalho e Ludermir (20), para a RNA não apresenar o problema de superajusameno, ais medidas deveriam, eoricamene, ser próximas uma da oura. Uilizaram-se os criérios de avaliação conforme pesquisa realizada por Menzer e Khan nos anos 995 e Os auores, com o inuio de verificar a imporância de vários criérios de avaliação de méodos de previsão, realizaram pesquisas com profissionais e acadêmicos da área no ano de 995 e no ano de 2006, com 86 e com 86 respondenes, respecivamene. Segundo os pesquisadores, os criérios mais uilizados são o Mean Absolue Percenage Error (MAPE) e o Mean Absolue Error (MAE) que obiveram na primeira pesquisa 75% da preferência e na segunda 65% (FELICIANO, 2009). As equações Equações 23 e 24 apresenam, respecivamene, ais criérios. MAPE n n e y 00 (23) Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-23

13 MAE N N e i i (24) Após a comparação enre as modelagens realizadas no esudo, a úlima eapa consisiu na apresenação do gráfico com o ajusameno do modelo à série emporal e com a previsão de seus vine e quaro valores fuuros. Além do gráfico de ajusameno, realizou-se os devidos comenários a respeio dos modelos obidos. 4 RESULTADOS DO ESTUDO Nesa seção, como forma de apresenar os resulados do esudo, são apresenadas as eapas de modelagem e da previsão da série emporal do produo em análise. Na Seção 4., é apresenada a modelagem da série uilizando os modelos de SE, ARIMA(p,d,q) e de RNAs. Na Seção 4.2, é apresenada a previsão de vine e quaro valores fuuros por meio do modelo que melhor descreveu o processo gerador da série emporal. 4. Modelagem da série emporal das vendas do produo Para a modelagem uilizando os modelos de SE, ano a esimação dos parâmeros, quano a modelagem da série, foram realizadas uilizando o pacoe esaísico R versão A Tabela apresena os respecivos modelos de SE uilizados, os valores esimados de seus parâmeros, o MAE de ajusameno (MAEa), o MAPE de ajusameno (MAPEa), o MAE de previsão (MAEp) e o MAPE de previsão da série emporal (MAPEp). Tabela Modelagem da série emporal do produo uilizando os modelos de SE Modelo Parâmeros MAEa MAPEa MAEp MAPEp SEH : 0,0078 : 0, , ,9578 SEHWA : 0, : 0, , ,7799 : 0, SEHWM : 0, : 0,00009 : 0, , ,7799 Fone: Elaborada pelos auores Os modelos da Tabela, em ermos de MAPEa e MAPEp, não apresenaram resulados saisfaórios. Além disso, não houve diferenças enre a esimação dos modelos de SEHWA e de SEHWM. O modelo de SEHWA é mais adequado para séries emporais onde a variância Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-24

14 permanece consane ao longo do empo e, do conrário, o modelo de SEHWM é mais adequado para séries emporais onde a variância não permanece consane. A próxima eapa consisiu na modelagem da série emporal de vendas do produo uilizando os modelos ARIMA(p,d,q). O processo de modelagem foi realizado uilizando o sofware Grel, versão.9.5cvs, exceo o ese de raiz uniária ADF, que foi realizado no sofware Eviews, versão 4. Para o início do processo de modelagem da série, a primeira eapa consisiu na análise do correlograma de sua FAC e no correlograma de sua FACP, conforme é apresenado na Figura 2a e na Figura 2b, respecivamene. Figura 2 Correlograma da FAC (a) e da FACP (b) da série emporal de vendas do produo Fone: Elaborado pelos auores Poseriormene, foi realizada a verificação da condição de esacionariedade. Verificouse nas Figuras 2a e 2b, que alguns dos coeficienes de auocorrelação esão fora dos limies do inervalo de confiança em que o coeficiene é considerado como sendo esaisicamene igual a zero e que há um padrão de persisência na magniude deses coeficienes. Para ano, conforme apresenado na Tabela 2, foi realizado o ese de raiz uniária ADF para esar a hipóese de esacionariedade. d Tabela 2 Tese ADF para a verificação de esacionariedade da série emporal Valor do ese p-valores dos parâmeros Valor críico do ese Decisão do ese 0,0 % -3,99 / c H : 7, 0,0 5% -3,43 / c H : 0,0 0% -3,3 / c H : Fone: Elaborada pelos auores 49 % 0 5% 0 0% 0 O ese ADF uilizado foi aquele que apresena os componenes inercepo e endência, pois a regressão realizada para o ese ADF aponou como significaiva a uilização de ais parâmeros. O resulado do ese ADF com inercepo e endência indica que a série é Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-25

15 esacionária em nível (para os níveis de significância de %, 5% e 0%), não sendo necessária, porano, a realização de diferenciação na série para que esa se orne esacionária. Quano à sazonalidade, o modelo apresena alguns picos significaivos em deerminados lags. Porém, não há um padrão definido possível de ser idenificado no processo gerador da série emporal. Desa forma, a Tabela 3 apresena alguns modelos idenificados como possíveis para descrever saisfaoriamene o processo gerador. Além dos modelos idenificados, são apresenados os p-valores dos coeficienes do modelo, os criérios AIC e BIC, o MAE e o MAPE do ajusameno e previsão do modelo. Tabela 3 Modelos ARIMA(p,d,q) idenificados e esimados para a série emporal do produo Modelo ARIMA (3,0,0) ARIMA (3,0,0)* ARIMA (2,0,0) SARIMA (3,0,0)(,0,0)2 SARIMA (3,0,0)(,0,0)2 SARIMA (2,0,0)(,0,0)2 p-valores dos coeficienes c:,56x0e-73 : 0, : 0,0044 : 0,008 3 : 0,003 2 :,8x0E-3 :,63x0E- 3 : 5,08x0E-2 2 : 5,8x0E-23 : 0,006 2 : 3,06x0E-3 : 6,40x0E- 3 : 0,0283 c:,45x0e-62 : 0, : 0,0055 : 0, AIC BIC MAEa MAPEa MAEp MAPEp , , , , , , , , , ,648 : 0,0296 : 5,82x0E-0 2 : 2,4x0E , ,5988 : 0,0077 Fone: Elaborada pelos auores O modelo que melhor ajusou-se à série emporal do produo foi o modelo ARIMA(3,0,0), ou seja, um modelo auorregressivo descrio por rês parâmeros e sem inercepo. Ese modelo foi escolhido em função da significância esaísica de seus Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-26

16 parâmeros (conforme seus p-valores) e em função dese er sido aquele que minimizou os criérios AIC e BIC. Para o aendimeno aos pressuposos da meodologia, procedeu-se ao ese para a verificação da condição de auocorrelação nos resíduos gerados pelo modelo ARIMA(3,0,0). Para ano, a Figura 3 apresena o correlograma da FAC dos resíduos do modelo. Figura 3 Correlograma da FAC dos resíduos da série emporal do produo Fone: Elaborado pelos auores Percebe-se pela Figura 3, que não há coeficienes de auocorrelação fora do inervalo de aceiação. Há sim, deerminados coeficienes próximos ao limie máximo de aceiação (ano no inferior quano no superior). A exisência de coeficienes fora do inervalo de aceiação é considerada uma siuação indesejada na modelagem de séries emporais uilizando os modelos ARIMA(p,d,q), pois deerminados padrões exisenes na série não eriam sido capurados pelo modelo. Ese ese comprovou que o modelo desenvolvido poderá ser uilizado. A próxima eapa do esudo foi a modelagem da série emporal das vendas do produo uilizando os modelos de RNAs. O processo de modelagem e previsão foi realizado uilizando o sofware EasyNN, versão 4.0.g. A Tabela 4 apresena os modelos de RNAs uilizados para a modelagem da série e o MAEa, o MAPEa, o MAEp e o MAPEp, que auxiliaram na escolha do modelo que melhor descreveu o processo gerador da série. Tabela 4 Modelagem da série emporal das vendas do produo uilizando RNAs MLP MAEa MAPEa MAEp MAPEp MLP (3,5,) , ,346 MLP (3,0,) , ,2474 MLP (3,5,) , ,332 MLP (3,20,) , ,366 MLP (3,25,) , ,2787 MLP (3,30,) , ,4090 MLP (6,5,) , ,3732 MLP (6,0,)* , ,2233 MLP (6,5,) , ,4059 MLP (6,20,) 9.3 0, ,2986 MLP (6,25,) , ,243 MLP (6,30,) , ,2770 Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-27

17 MLP MAEa MAPEa MAEp MAPEp MLP (2,5,) , ,3053 MLP (2,0,) , ,2396 MLP (2,5,) , ,2804 MLP (2,20,) , ,295 MLP (2,25,) , ,2889 MLP (2,30,) , ,350 Fone: Elaborada pelos auores Verificou-se que o modelo de RNAs que melhor descreveu o processo gerador da série emporal foi o MLP (6,0,), ou seja, o modelo com seis neurônios na camada de enrada, dez neurônios na camada inermediária e um neurônio na camada de saída. Observou-se que al modelo não apresenou superajusameno aos dados de reinameno, pois a modelagem ou of sample apresenou erros, em ermos de MAPE, semelhanes. A Figura 4 apresena o reinameno da rede MLP (6,0,). Para odos os modelos de RNAs uilizados nese esudo, foi esipulado o número máximo de ciclos de reinameno, endo como objeivo eviar o superajusameno aos dados de reinameno. Figura 4 Gráfico do reinameno da rede MLP (6,0,) Fone: Elaborado pelos auores Observou-se que o erro médio do processo de reinameno (0,0067) convergiu ao erro mea esipulado (0,0). O erro do processo de validação foi de 0,094 e o erro máximo do processo de reinameno foi de 0,067. Embora o erro máximo e o erro de validação não enham aingido o criério de convergência (0,0) para os ciclos de reinameno, verificou-se que o processo de reinameno da RNA aingiu valores aceiáveis de erro (em ermos do erro médio). Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-28

18 4.2 Previsão das vendas do produo A Tabela 5 apresena os resulados de ajusameno (MAEa e MAPEa) e previsão (MAEp e MAPEp) para cada uma das caegorias de modelos uilizados no esudo, considerando nesas apenas aqueles que obiveram o melhor resulado em ermos de ajusameno e previsão. Tabela 5 Comparação enre os modelos de previsão da série emporal de vendas Tipos/Modelos MAEa MAPEa MAEp MAPEp SEH SEHWA e SEHWM , ,7799 ARIMA ARIMA (3,0,0) , ,582 RNAs* MLP (6,0,) , ,2233 Fone: Elaborada pelos auores Observou-se que o modelo genérico de RNAs foi o que apresenou os melhores resulados em ermos de ajusameno e de capacidade prediiva, sendo que o modelo MLP (6,0,) foi o aquele que apresenou os melhores resulados denre os demais modelos que comporam ese ipo. A Figura 5 apresena o gráfico do ajusameno do modelo à série, bem como a previsão realizada vine e quaro períodos adiane. Figura 5 Gráfico do ajusameno e previsão da série emporal de vendas uilizando o modelo MLP(6,0,) Série MLP(6,0,) Previsão Fone: Elaborado pelos auores Observou-se que o modelo MLP (6,0,), de forma geral, descreveu adequadamene o processo gerador da série emporal. Essa consaação se dá, principalmene, devido à capacidade do modelo em capurar a heerocedasicidade presene na série emporal. 5 CONCLUSÕES No presene esudo, foi modelada uma série emporal das vendas de um produo de uma empresa de laicínios, uilizando rês modelos genéricos exisenes na lieraura que raa sobre a previsão de séries emporais. A jusificaiva da uilização deses modelos foi em virude das Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-29

19 suas uilizações clássicas em modelagem e previsão de séries emporais, bem como devido ao comporameno linear e não linear geralmene presene nas séries emporais, onde se eve como objeivo invesigar a eficácia em ermos de previsão para cada um dos modelos. Verificou-se que em ermos de ajusameno à série, comparando os modelos de cada caegoria que apresenaram os melhores resulados segundo os criérios adoados nas respecivas, os modelos de RNAs iveram um desempenho 58% melhor em relação aos modelos de SE e aproximadamene 48% melhor em relação aos modelos ARIMA(p,d,q). Em ermos de capacidade prediiva, os modelos de RNAs apresenaram um desempenho de aproximadamene 73% melhor em relação aos modelos de SE e aproximadamene 65% em relação aos modelos ARIMA(p,d,q). Dessa forma, consaa-se a superioridade dos modelos de RNAs, para a série emporal das vendas modelada no presene esudo, em relação aos modelos de SE e ARIMA(p,d,q), ano para a modelagem quano para a previsão da série. Uma possível forma de se melhorar a capacidade de previsão da série emporal esudada é por meio da combinação das previsões obidas pelos modelos SE, ARIMA e MLP. A combinação de previsões em como caracerísica o aproveiameno das informações capuradas por cada modelo. Desa forma, seria possível aproveiar os resulados obidos com a modelagem de cada modelo aqui uilizado, não descarando aquele que simplesmene apresena um resulado global inferior ao melhor modelo. Como sugesão para pesquisas fuuras, sugere-se a uilização de écnicas de combinação de previsões para a previsão da série emporal. Poderia aqui ser analisado qual das écnicas de combinação disponíveis na lieraura apresenaria o melhor desempenho. COMPARATIVE STUDY OF TIME SERIES FORECASTING MODELS TO FORECAST ONE PRODUCT S SALES ABSTRACT: This paper presens a comparaive sudy among hree generic ime series models o forecas a deermined produc. The objecive of his sudy was analyzing he efficacy hroughou he forecasing capaciy of each model, using a real sales ime series. The ime series models used in his research were: (i) exponenial smoohing (ES); (ii) auoregressive inegraed moving average (ARIMA); and, (iii) arificial neural nework models. Afer fied he series, he bes model of each model caegory were seleced and compared o each ohers. The resuls showed ha arificial neural nework mulilayer percepron (MLP) MLP (6,0,) is he bes predicor o he ime series used in relaion o he adjusmen and he forecasing mean absolue percenage error of 28,55% and 22,33%, Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-30

20 respecively. In erms of process modeling, he MLP (6,0,) showed an improvemen of 58% and 48%, comparing o he exponenial smoohing and auoregressive inegraed moving average models, respecively. In erms of forecasing capaciy, he MLP (6,0,) showed a resul 73% and 65% beer han he ES and ARIMA models, respecively. Keywords: Sales forecasing. Exponenial smoohing models. ARIMA models. Arificial neural nework models. REFERÊNCIAS ABURTO, L.; WEBER, R. Improved suplly chain managemen based on hybrid. Applied Sof Compuing, n. 7, p , ALLEMÃO, M.A.F Redes Neurais Aplicadas à Previsão de Demanda de Numerário em Agências Bancárias. Disseração (Mesrado em Ciência da Compuação).. Programa de Pós Graduação em Ciência da Compuação, Universidade Federal do Rio de Janeiro, BOX, P.; JENKINS, G.M. Time series analysis: forecasing and conrol. San Francisco, CA: Holden-day Inc, 976. BRAGA, A.P.; CARVALHO, A.P.L.F.; LUDERMIR, T.B. Redes Neurais Arificiais: eoria e aplicações. 2ª ed. Rio de Janeiro: Ed. LTC Livros Técnicos e Cieníficos, 20, 226 p. CHASE, R.B.; JACOBS, F.R.; AQUILANO, N.J. Adminisração da produção para a vanagem compeiiva. 0 ed. Poro Alegre/RS: Ed. Bookman, 2006, 724 p. ENDERS, W. Applied Economeric Time Series. 2 ed. Unied Saes of America: Ed. Wiley Series In Probabiliy And Saisics, 2004, 466 p. FARUK, D.O. A hybrid neural nework and ARIMA model for waer qualiy ime series predicion. Engineering Applicaions of Arificial Inelligence, Turquia, n. 23, p , 200. FAVA, V.L. Análise de Séries de Tempo. In: Vasconcellos, M.A.S.; Alves, D. Manual de economeria: nível inermediário. São Paulo: Ed. Alas, FELICIANO, R.A. Uma proposa de gerenciameno inegrado da demanda e disribuição, uilizando sisemas de apoio à decisão (SAD) com business inelligence (BI). Disseração (Mesrado em Engenharia). Universidade de São Paulo, FIGUEREDO, C.J. Previsão de séries emporais uilizando a meodologia Box & Jenkins e redes neurais para inicialização de planejameno e conrole da produção. Disseração (Mesrado em Engenharia). Programa de Pós Graduação em Méodos Numéricos em Engenharia, Universidade Federal do Paraná, FLORES, J.H.F. Comparação de modelos MLP/RNA e modelos Box-Jenkins em séries emporais não lineares. Disseração. Mesrado em Engenharia de Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-3

21 Produção, Escola de Engenharia, Universidade Federal do Rio Grande do Sul, GUJARATI, D.M. Economeria básica. 3 Ed. São Paulo/SP: Ed. Makron books, 846p, HAYKIN, S. Redes Neurais: Princípios e práicas. 2 ed. Poro Alegre: Ed. Armed S. A., 999, 903 p. HO, S.L.; XIE, M.; GOH, T.N. A comparaive sudy of neural nework and Box-Jenkins ARIMA modeling in ime series predicion. Compuers & Indusrial Engineering, n. 42, p , KHASHEI, M.; BIJARI, M. An arificial neural nework (p,d,q) model for imeseries forecasing. Exper Sysems wih applicaions, n. 37, p , 200. KOVÁCS, Z.L. Redes Neurais Arificiais: Fundamenos e aplicações. 4 ed. São Paulo/SP: Ed. Livraria da Física, 2006, 77 p. KUMAR, K.; JAIN, V.K. Auoregressive inegraed moving averages (ARIMA) modelling of a raffic noise ime series. Applied Acousics, n. 58, p , 999. LEE, Y.S.; TONG, L.I. Forecasing ime series using a mehodology based on auoregressive inegraed moving average and geneic programming. Knowledge-Based Sysems, n. 24, p , 20. MADDALA, G.S. Inrodução à Economeria. 3 ed. Rio de Janeiro: Ed: LTC Livros Técnicos e Cieníficos, 2003, 345 p. MAKRIDAKIS, S.; WHEELWRIGHT, S.C.; HYNDMAN, R.J. Forecasing: mehods and applicaions. 3ª ed. Unied Saes of America: Ed. Wiley & Sons, 988, 642 p. MARTINS, P.G., LAUGENI, F.P. Adminisração da Produção.. ed. São Paulo/SP: Ed. Saraiva, MATOS, O.C.M. Economeria básica: eoria e aplicações. 3ª ed. São Paulo/SP: Ed. Alas, 2000, 300 p. MOORE, D.S.; McCABE, G.P.; DUCKWORTH, W.M.; SCLOVE, S.L. A práica da esaísica empresarial: como usar dados para omar decisões. ª Ed. Rio de Janeiro/RJ: Ed. LTC, 2006, 952 p. MORETTIN, P.A Economeria Financeira: Um curso em séries emporais financeiras. ª ed. São Paulo/SP: Ed: Blucher, 39 p. MORETTIN, P.A.; TOLOI, C.M.C. Análise de séries emporais. 2. ed. São Paulo/SP: Ed. Edgard Blüncher, 2006, 53 p. Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-32

22 PELLEGRINI, F.R. Meodologia para implemenação de sisemas de previsão de demanda. Disseração. Mesrado em Engenharia de Produção, Escola de Engenharia, Universidade Federal do Rio Grande do Sul, SARTORIS, A. Esaísica e inrodução à economeria. ª ed. São Paulo/SP: Ed. Saraiva, 2003, 43 p. SOBREIRO, V.A.; ARAÚJO, P.H.S.L.; NAGANO, M.S. Precificação do eanol uilizando écnicas de redes neurais arificiais. Revisa de Adminisração da USP. v. 44, n., p , TSENG, F.M.; YU, H.C.; TZENG, G.H. Combining neural nework model wih seasonal ime series ARIMA model. Technological Forecasing and Social Change, n. 69, p TUBINO, D.F. Planejameno e conrole da produção: eoria e práica. ª ed. São Paulo/SP: Ed. Alas, 2007, 90 p. WANG, C.C. A comparison sudy beween fuzzy ime series model and ARIMA model for forecasing Taiwan expor. Exper Sysems wih Applicaions, n. 38, p , 20. WERNER, L.; RIBEIRO, J.L.D. Previsão de demanda: uma aplicação dos modelos Box- Jenkins na área de assisência écnica de compuadores pessoais. Revisa Gesão & Produção, v. 0, n., p ZHANG, G.; PATUWO, B.E.; HU, M.Y. Forecasing wih arificial neural neworks: The sae of he ar. Inernaional Journal of Forecasing, n. 4, p , 998. ZHANG, G.P. Time series forecasing using a hybrid ARIMA and neural nework model. Neurocompuing, n. 50, p , ZOU, H.F., XIA, G.P., YANG, F.T., WANG, H. Y. An invesigaion and comparison of arificial neural nework and ime series models for Chinese food grain price forecasing. Neurocompuing, n.70, p , Originais recebidos em: 08/0/203 Aceio para publicação em: 0/03/204 Iberoamerican Journal of Indusrial Engineering, Florianopolis, SC, Brazil, v. 6, n. 2, p. 2-33