PLANEJAMENTO DA CADEIA DE SUPRIMENTO NA INDÚSTRIA DE PETRÓLEO: UMA NOVA ABORDAGEM UTILIZANDO PROCESSO DE DECISÃO DE MARKOV. Daniela Lopes Chagas

Transcrição

1 PLANEJAMENTO DA CADEIA DE SUPRIMENTO NA INDÚSTRIA DE PETRÓLEO: UMA NOVA ABORDAGEM UTILIZANDO PROCESSO DE DECISÃO DE MARKOV Daniela Lopes Chagas Dissertação de Mestrado apresentada ao Programa de Pós-graduação em Engenharia de Produção, COPPE, da Universidade Federal do Rio de Janeiro, como parte dos requisitos necessários à obtenção do título de Mestre em Engenharia de Produção. Orientadores: Edilson Fernandes de Arruda Laura Silvia Bahiense da Silva Leite Rio de Janeiro Fevereiro de 2017

2 PLANEJAMENTO DA CADEIA DE SUPRIMENTO NA INDÚSTRIA DE PETRÓLEO: UMA NOVA ABORDAGEM UTILIZANDO PROCESSO DE DECISÃO DE MARKOV Daniela Lopes Chagas DISSERTAÇÃO SUBMETIDA AO CORPO DOCENTE DO INSTITUTO ALBERTO LUIZ COIMBRA DE PÓS-GRADUAÇÃO E PESQUISA DE ENGENHARIA (COPPE) DA UNIVERSIDADE FEDERAL DO RIO DE JANEIRO COMO PARTE DOS REQUISITOS NECESSÁRIOS PARA A OBTENÇÃO DO GRAU DE MESTRE EM CIÊNCIAS EM ENGENHARIA DE PRODUÇÃO. Examinada por: Prof. Edilson Fernandes de Arruda, D.Sc. Profᵃ. Laura Silvia Bahiense da Silva Leite, D.Sc. Prof. Marcelo Dutra Fragoso, D.Sc. Dr. Paulo Cesar Ribas, D.Sc. RIO DE JANEIRO, RJ - BRASIL FEVEREIRO DE 2017

3 Chagas, Daniela Lopes Planejamento da Cadeia de Suprimento na Indústria de Petróleo: Uma Nova Abordagem Utilizando Processo de Decisão de Markov/ Daniela Lopes Chagas Rio de Janeiro: UFRJ/COPPE, XI, 110 p.: il.; 29,7 cm. Orientadores: Edilson Fernandes de Arruda Laura Silvia Bahiense da Silva Leite Dissertação (mestrado) UFRJ/ COPPE/ Programa de Engenharia de Produção, Referências Bibliográficas: p Cadeia de Suprimento. 2. Processo de Decisão de Markov. 3. Indústria de Petróleo. I. Arruda, Edilson Fernandes de et al. II. Universidade Federal do Rio de Janeiro, COPPE, Programa de Engenharia de Produção. III. Título. iii

4 Agradecimentos A Deus, por todas as oportunidades que me deu nesta vida e por todas as respostas durante este longo caminho. Aos meus pais e minha irmã, por estarem sempre ao meu lado, durante toda minha vida, sempre repletos de amor, paciência e carinho. A toda minha família que sempre esteve ao meu aldo. Ao Pedro, meu marido, companheiro e amigo, por ter sido toda a minha estrutura nesta jornada, a pessoa que não me deixou desistir e sempre me fez acreditar que eu conseguiria. Por ter me dado, além de muito amor, toda força que eu precisava. Nunca terei palavras suficientes para agradecer. Aos meus orientadores Edilson e Laura, por todos os conhecimentos compartilhados e tempo dedicado no desenvolvimento deste trabalho. A todos meus amigos pelas palavras de incentivo e pela compreensão nos momentos de ausência. Não tenho como enumerar todos que em algum momento foram importantes nesta etapa. A Petrobras e meus gestores, por possibilitarem a realização deste projeto. Aos meus colegas de trabalho por toda compreensão e incentivo neste período de jornada dupla. Por fim, a todo corpo administrativo da COPPE pela dedicação aos seus alunos. iv

5 Resumo da Dissertação apresentada à COPPE/UFRJ como parte dos requisitos necessários para a obtenção do grau de Mestre em Ciências (M.Sc.) PLANEJAMENTO DA CADEIA DE SUPRIMENTO NA INDÚSTRIA DE PETRÓLEO: UMA NOVA ABORDAGEM UTILIZANDO PROCESSO DE DECISÃO DE MARKOV Daniela Lopes Chagas Fevereiro/2017 Orientadores: Edilson Fernandes de Arruda Laura Silvia Bahiense da Silva Leite Programa: Engenharia de Produção A produção brasileira de petróleo tem grandes perspectivas de crescimento, ancoradas nos extensos números que giram ao redor do pré-sal. Toda estrutura desta cadeia tem sido estudada e gerenciada, a fim de garantir o melhor resultado ao longo dos anos. Para garantir melhores resultados, capturando oscilações e incertezas, pode-se empregar uma abordagem estocástica, a qual ganha cada vez mais espaço nos campos acadêmico e corporativo. Inserido nesse contexto, o presente trabalho tem por objetivo apresentar uma nova abordagem para o planejamento da cadeia de suprimento de uma empresa de petróleo, com foco na área de downstream, utilizando Processos de Decisão de Markov. O modelo considerou três tipos de incertezas: demanda de diesel e gasolina, margens de refino e produção de petróleo, e foi solucionado com o método de Agregação Temporal. A partir da política ótima, é possível realizar simulações da evolução da cadeia em um horizonte de 12 meses. São apresentadas análises estatísticas das principais operações envolvidas: nível de refino, importações e exportações de petróleos e derivados. Além disso, algumas análises de sensibilidade que ajudam a quantificar novas oportunidades na operação ou em investimentos futuros. Por fim realiza-se uma comparação deste resultado com o obtido através de um modelo de programação linear, insensível a incertezas e mais comumente utilizado. v

6 Abstract of Dissertation presented to COPPE/UFRJ as a partial fulfillment of the requirements for the degree of Master of Science (M.Sc.) SUPPLY CHAIN PLANNING OF OIL INDUSTRY: A NEW APPROACH USING MARKOV DECISION PROCESS Daniela Lopes Chagas February/2017 Advisors: Edilson Fernandes de Arruda Laura Silvia Bahiense da Silva Leite Department: Industrial Engineering Brazilian crude oil production has huge growth expectations, anchored mainly on the large scale and great productivity of the presalt projects. All that structure has been carefully studied and managed in order to guarantee the most efficient and profitable result over the years. To obtain the desired results, capturing oscillations and uncertainties, a stochastic approach, which is increasing in importance not only in the academic field but also in the corporate, can be employed. In that context, this work focuses on presenting a new approach for optimizing the supply chain planning of an integrated oil company using Markov Decision Processes. Three types of uncertainties were considered in the model: diesel and gasoline demand, refining margins and oil production, and was solved by the Time Aggregation method. From the optimal policy obtained, it became possible to perform supply chain simulations for a 12-month horizon. Statistical analysis of the main chain operations are presented: refining level, imports and exports of crude oils and its derivatives, as well as some sensitivities that may help to quantify new operation opportunities or new projects. Finally, the results obtained are compared with a similar analysis, but considering a deterministic and widely used linear programming model. vi

7 Sumário 1. INTRODUÇÃO Motivação e abordagem geral do problema Objetivos Estrutura da dissertação REVISÃO BIBLIOGRÁFICA Planejamento de cadeia de suprimento sob incerteza Aplicações de modelos matemáticos à cadeia de suprimento de petróleo Aplicações de modelos de Processos de Decisão de Markov O problema de gerenciamento de estoques DESCRIÇAO DO PROBLEMA Cadeia de suprimento de petróleo Visão Geral Downstream Refino, Comercialização, Logística e Distribuição Segmento de Downstream no Brasil Abordagem do problema PROCESSOS DE DECISÃO DE MARKOV Cadeia de Markov Processos de Decisão de Markov Estrutura de um Processo de Decisão de Markov Algoritmos para resolução O Algoritmo de Agregação Temporal MODELAGEM E SOLUÇÃO DO PROBLEMA PROPOSTO Parâmetros de Entrada Parâmetros estocásticos Parâmetros Determinísticos Estrutura do PDM Conjunto de Estados Conjunto de Ações Matriz de transição Função retorno Agregação Temporal DADOS DE ENTRADA E RESULTADOS Parâmetros Estocásticos Parâmetros Determinísticos vii

8 6.3 Conjunto de Estados Conjunto de Ações Resultados CONSIDERAÇÕES FINAIS REFERÊNCIAS BIBLIOGRÁFICAS viii

9 Lista de Figuras Figura 1 - Preços de óleo Diesel (Boletim Anual de Preços 2015 ANP) Figura 2 - Estrutura do modelo proposto Figura 3 - Projeção de vendas Petrobras (PNG ) Figura 4 - Projeção de vendas Petrobras (PNG ) Figura 5 - Preços praticados pelos produtores no Brasil para QAV, Gasolina e Diesel (fonte: Levantamentos de Preços ANP) Figura 6 - Preços praticados pelos produtores no Brasil para Nafta, OC e GLP* (fonte: Levantamentos de Preços ANP) Figura 7 - Representação gráfica de uma cadeia de Markov (Bremaud, 1999) Figura 8 - Representação gráfica da cadeia imersa de Markov Figura 9 - Vendas Brasil de Diesel e gasolina (Fonte: ANP) Figura 10 - Distribuição do erro de previsão da demanda de diesel Figura 11 - Distribuição do erro de previsão da demanda de gasolina Figura 12 - Distribuição do erro de previsão da produção de petróleo Figura 13 - Ofertas de importação e exportação Figura 14 - Variação das ações em função da margem de preço Figura 15 - Variação do refino total em função do estoque de gasolina Figura 16 - Variação do refino total e importação de diesel em função do estoque inicial Figura 17 - Variação das ações em função do patamar de sazonalidade de gasolina Figura 18 - Variação das ações em função do patamar de sazonalidade de diesel Figura 19 - Variação das ações em função do estoque inicial de petróleo base Figura 20 - Evolução do Retorno médio (u.m.f./mês) ao longo das iterações Figura 21 - Histograma das operações com Diesel e Gasolina Figura 22 - Histograma das operações com Petróleos Figura 23 - Histograma Resultado Médio Esperado ix

10 Lista de Tabelas Tabela 1 - Processos de Refino Tabela 2 - Classificação dos petróleos segundo a densidade Tabela 3 - Exemplo matriz de transição de patamar de sazonalidade Tabela 4 - Demanda de diesel Tabela 5 - Demanda de Gasolina Tabela 6 - Produção de petróleo Tabela 7 - Rendimentos de Petróleo Tabela 8 - Parâmetros determinísticos Tabela 9 - Probabilidades de Transição entre os patamares de preços Tabela 10 - Probabilidades de Transição entre os patamares de sazonalidade de gasolina Tabela 11 - Probabilidades de Transição entre os patamares de sazonalidade de diesel 78 Tabela 12 - Possibilidades de refino total (em mil m3) Tabela 13 - Dados de entrada temporais do PL Tabela 14 - Dados de estoque por período do modelo de PL Tabela 15 - Dados de importação e exportação por período do modelo de PL Tabela 16 - Quadro comparativo de resultados médios obtidos Tabela 17 - Quadro comparativo de retornos obtidos x

11 Lista de Símbolos P Conjunto de políticas Conjunto de Estados Conjunto de Ações Probabilidade de transição Retorno médio de um processo estocástico controlado por uma política Tamanho médio do da cadeia imersa de Markov Retorno médio da cadeia imersa de Markov função valor para uma política no domínio da agreagação temporal parâmetro real xi

12 1. INTRODUÇÃO Algumas décadas atrás as empresas possuíam vantagens competitivas significativas em termos de recursos financeiros, mão-de-obra, recursos naturais e posição geográfica. Porém com as recentes mudanças tecnológicas, sociais e econômicas da sociedade, aumentando a globalização e alterando as lógicas de negócio de forma cada vez mais dinâmica, a gestão eficaz da cadeia de suprimento é hoje uma das maiores vantagens competitivas das empresas. Ballou (2006) diz que o gerenciamento da cadeia de suprimentos trata da coordenação do fluxo de produtos ao longo de funções e de empresas para produzir vantagem competitiva e lucratividade para cada uma das companhias na cadeia e para o conjunto de integrantes dessa mesma. A integração entre todas as partes de uma cadeia é essencial para que se aumentem seus ganhos e retornos. Essa integração só é possível a partir de um fluxo de informações em todos os sentidos, delineando coordenadamente as formas de operação e buscando sempre a melhoria contínua do processo. O surgimento ao longo das ultimas décadas de métodos que permitam a exploração de energias renováveis e limpas tem aos poucos construído fontes alternativas à matriz energética tradicional. Entretanto, ainda constata-se que indústria de óleo e gás continua sendo muito estratégica e o coração das sociedades modernas, com o papel de fornecer energia e combustível para todas as indústrias espalhadas ao redor do mundo. Um levantamento recente (BP, 2016) mostra que o consumo apenas de óleo representa 32,9% do consumo mundial de energia, e que só em 2015 cresceu cerca de 1,9% totalizando mil barris por dia (mbpd) ou 4331 milhões de toneladas no ano. Um total de mbpd foram movimentados em negociações de importação e exportação ao redor do globo, um crescimento apurado de 5,2% em relação a A produção no Brasil atualmente representa 3% da produção mundial de óleo, atingindo o patamar de 2527 mbpd em Uma vez que esta indústria possui um mercado mundial e suas reservas estão espalhadas por todas as partes do globo, a cadeia de suprimento de petróleo é uma das mais complexas cadeias existentes atualmente (Sahebi et al., 2014). A produção de petróleo brasileira tem grandes perspectivas de crescimento ancoradas principalmente nos extensos números que giram ao redor do présal (camada mais profunda de reservas de óleo explorada até o momento). Toda estrutura desta cadeia para escoamento, movimentação e comercialização deste óleo e 1

13 seus derivados tem sido estudada, projetada, implementada e gerida a fim de garantir o melhor resultado possível. No entanto, oscilações no cenário econômico mundial afetaram muitas empresas nos últimos anos, principalmente as do ramo de óleo e gás, e entre elas a maior no Brasil a Petrobras. A adoção de um programa de otimização de custos é uma das estratégias adotadas para garantir elevação das margens das operações entre outras medidas que tem por objetivo garantir um aumento da eficiência e gestão da cadeia desta empresa. De acordo com as informações divulgadas no Plano de Negócios e Gestão desta empresa, a perspectiva é que a produção de petróleo e gás natural alcance em 2021 a marca de 3,4 milhões de barris por dia e que os custos de refino sejam reduzidos em 22% em relação ao praticado em 2015 (Petrobras, 2016). Com base nestes fatos (e na existência de outras incertezas econômicas e geopolíticas que envolvem o país e o mundo na fase atual), torna-se mais importante do que nunca um olhar crítico sobre todas as operações da cadeia de suprimento de petróleo e seus derivados, com foco em um planejamento que considere as principais incertezas neste ambiente, a fim de subsidiar tomada de decisões que tragam os melhores resultados econômicos. 1.1 Motivação e abordagem geral do problema Muito se tem investido em ferramentas e sistemas de comunicação para que as informações possam ser cada vez mais completas e obtidas de forma rápida. Com o aumento da complexidade dos dados e cada vez mais com as expansões geográficas das empresas ou de seus negócios, rupturas na cadeia de suprimento ainda podem acontecer e o planejamento entra como forma de direcionar as atividades e contribuir para que estas ocorrências sejam cada vez mais escassas. Para tal é necessário cada vez mais levar em consideração todos os riscos que envolvem uma cadeia de abastecimento. A vida real é repleta de incertezas inerentes a todas as áreas de previsão, e os modelos determinísticos desenvolvidos para dar suporte a decisões ignoram tal fato. As ferramentas determinísticas calculam soluções ótimas para cenários analisados separadamente, enquanto uma abordagem estocástica oferece uma análise simultânea de diferentes probabilidades de ocorrência gerando respostas mais robustas e consistentes. As técnicas de otimizações estocásticas estão ganhando cada vez mais espaço nos campos acadêmico e corporativo por conseguirem capturar oscilações que podem acontecer no cenário natural e incorporarem as incertezas na modelagem através da 2

14 inclusão de variáveis aleatórias com distribuição de probabilidade conhecida, como no caso de programação estocástica, robusta e processos de decisão de Markov. Na indústria de óleo e gás, com foco na distribuição e refino de petróleo e derivados, muitas empresas utilizam modelos determinísticos para representar a complexa malha que envolvem os sistemas de suprimento da cadeia. Sob a ótica de incerteza, observa-se que a maioria dos estudos nesta área aplicam a técnica de programação estocástica de dois estágios, onde permite-se que as decisões sejam tomadas em dois momentos diferentes. Para problemas com horizonte de tempo existe a programação estocástica de multi-estágio, porém estes modelos se tornam rapidamente intratáveis dependendo do número de cenários existentes, normalmente sendo aproximados para problemas de dois estágios. Ainda outras técnicas de otimização estocástica são abordadas como programação robusta ou lógica fuzzy, porém em menor quantidade. Com objetivo de olhar o horizonte completo do planejamento tático desta cadeia, considerando as incertezas em todos os períodos, a utilização da programação dinâmica pode oferecer algumas vantagens em relação as demais técnicas de otimização: possibilidade de utilização de funções descontínuas, não diferenciáveis, não convexas, determinísticas ou estocásticas; falta de necessidade de isolar previamente uma região convexa para aplicação do procedimento; existência de um algoritmo mais barato que a simples enumeração de todas as possibilidades de um problema combinatório, o que, em alguns casos, se torna impraticável (Marreco, 2001). Os Processos de Decisão de Markov se baseiam em algoritmos de programação dinâmica para resolução de sistemas que possuem a propriedade markoviana, ou seja, seu estado futuro depende apenas do estado atual independente da trajetória traçada para se chegar até ele. Têm sido muito aplicados em áreas da ciência e tecnologia, porém pouco aplicados à indústria de óleo e gás, principalmente na parte de downstream. Puterman (1994) descreve o Processo de Decisão de Markov como um processo estocástico de decisão sequencial caracterizado por cinco elementos: épocas de decisão, estados, ações, probabilidades de transição e retorno. Dadas as necessidades expostas anteriormente relacionadas a elaboração de um planejamento bem feito para melhor se otimizar os ganhos na cadeia de suprimento de óleo e gás, que incorpore incertezas a fim de se obter resultados robustos capazes de subsidiar o decisor, a motivação deste trabalho está em apresentar uma nova abordagem para o planejamento da cadeia de suprimento de uma empresa deste ramo, com foco na área de downstream, utilizando Processos de Decisão de Markov. Este problema 3

15 envolve decisões do tipo: nível de operação das refinarias, perfil de petróleo a ser processado e volumes a serem negociados externamente (importações e exportações) de petróleos e seus derivados. As incertezas abordadas são referentes a produção de petróleo, demanda de diesel e gasolina e preço internacional do óleo. 1.2 Objetivos Com base no que foi exposto anteriormente, os objetivos a serem alcançados com este trabalho são os seguintes: Uma nova abordagem para o planejamento tático sob incerteza da cadeia de suprimento de uma empresa de petróleo com foco na área de downstream, apresentando uma modelagem consistente com a realidade das operações que expresse as principais decisões e condições envolvidas no processo de planejamento, e que seja aplicável e sustentável de se realizar no dia a dia em termos de esforço computacional e horas demandadas; Obtenção de uma política ótima de simples entendimento e coerente com as mudanças dos cenários mapeados externos e internos à empresa, capaz de subsidiar o decisor de forma robusta em todos os momentos de decisão ao longo do horizonte de planejamento; Avaliação do desenvolvimento do sistema em um determinado horizonte de tempo a partir da implementação da política ótima obtida, sendo capaz de analisar o comportamento e tendências das principais variáveis que possam auxiliar em estudos de médio e longo prazo, contribuindo também para as decisões estratégicas da empresa. 1.3 Estrutura da dissertação Este trabalho esta organizado em sete capítulos, da seguinte forma: O capítulo 2 consiste de uma revisão da literatura sobre as pesquisas realizadas na área de gerenciamento de cadeia de suprimento sob incerteza, as técnicas mais utilizadas e suas aplicações na indústria de petróleo, assim como as incertezas consideradas mais relevantes que normalmente permeiam este ambiente. Na sequência 4

16 apresenta uma revisão das aplicações encontradas na literatura para o Processo de Decisão de Markov e o problema de gerenciamento de estoques. O capítulo 3 trata da descrição do problema, apresentando a cadeia de suprimento de petróleo e as características do segmento de downstream no Brasil, o detalhamento das operações e as tomadas de decisões que estão envolvidas no seu planejamento. Em seguida, é apresentado como este problema será abordado neste trabalho e as simplificações que serão feitas. O capítulo 4 descreve a teoria que envolve a Cadeia de Markov e os Processos de Decisão de Markov, as características do problema, assim como os principais algoritmos que são utilizados para sua resolução e ainda o método de Agregação Temporal, o qual foi escolhido para aplicação neste trabalho. O capítulo 5 apresenta a modelagem do problema descrito no capítulo 3, detalhando os elementos considerados para o Processo de Decisão de Markov, os limites das variáveis utilizadas, os parâmetros determinísticos e a obtenção dos parâmetros estocásticos, as restrições e a função de retorno. São apresentados também os algoritmos utilizados para resolução do problema. No capítulo 6 inicialmente todos os valores para os dados de entrada utilizados no modelo para a instância em questão são apresentados. Em seguida são discutidos os resultados obtidos, começando pela política ótima e seu comportamento diante das variáveis do sistema, e na sequência a simulação realizada para avaliar o comportamento do sistema a partir de um estado inicial, assim como algumas sensibilidades para embasar decisões para a gestão da cadeia de suprimento. Por fim, é mostrado um modelo similar em programação linear, e os resultados da simulação caso fosse aplicada uma política determinística à cadeia. Para finalizar o capítulo 7 apresenta as considerações finais do trabalho, suas contribuições e as propostas para estudos futuros a serem desenvolvidos nesta área. 5

17 2. REVISÃO BIBLIOGRÁFICA Nesta seção o objetivo é apresentar uma revisão da literatura sobre o problema e a ferramenta a ser estudada neste trabalho, com intuito de esclarecer quais os tópicos tem sido estudados e aplicados ao longo dos anos mais relacionados com a abordagem aqui escolhida. Inicialmente, será apresentado uma revisão em relação ao planejamento da cadeia de suprimento sob incerteza e as ferramentas que têm sido utilizadas para auxiliar esta operação; no item seguinte olharemos mais especificamente para a cadeia de óleo e gás e as maiores incertezas que estão presentes nos trabalhos desta área; em seguida no item 2.3 será apresentado as aplicações envolvendo Processos de Decisão de Markov (PDM), relacionando as principais áreas e as decisões que normalmente estão envolvidas. Por fim, ainda mostrando a aplicabilidade dos PDM, o problema de gerenciamento de estoques será abordado por ser a base inicial de todo trabalho desenvolvido. 2.1 Planejamento de cadeia de suprimento sob incerteza Uma cadeia de suprimento é definida como um sistema integrado que sincroniza uma série de processos de negócios inter-relacionados a fim de se obter matérias-primas e suprimentos necessários, gerar a partir deles produtos acabados, agregar valor a estes produtos, distribuir e comercializar estes aos revendedores ou consumidores e por fim, facilitar a troca de informações entre as várias entidades comerciais (Min e Zhou, 2002). Beamom (1998) apresenta em seu trabalho a ideia de que uma cadeia de suprimento pode ser separada em duas estruturas básicas integradas: (1) Planejamento de produção e controle de estoques, (2) Distribuição e processos logísticos. No primeiro caso, engloba-se aquisição de matéria-prima, planejamento e programação da produção, controle de materiais e políticas de estoque. O segundo caso comporta todas decisões referentes a como realizar o suprimento de todos produtos, utilizando as diversas formas de transporte e possibilidades de distribuição. A concepção e a gestão desses processos de forma integrada determinam como a cadeia de suprimento atenderá aos objetivos de desempenhos exigidos. No gerenciamento de uma cadeia de suprimento todas as decisões tomadas estão relacionadas com os fluxos de informações, produtos e recursos, sempre com o objetivo de aumentar o lucro do negócio envolvido. Chopra e Meindl (2001) classificam os 6

18 níveis de decisões de uma cadeia de suprimento em três categorias: (1) Estratégica decisões que envolvem a estrutura e configuração da cadeia para os próximos anos, definindo as restrições que deverão ser desdobradas aos próximos níveis de decisões; (2) Planejamento decisões referentes à utilização dos recursos estabelecidos pelas decisões estratégicas, de forma a otimizar o desempenho da cadeia onde o horizonte de planejamento costuma variar de meses a poucos anos; (3) Operacional decisões ligadas à execução das ações determinadas nos níveis superiores, com horizonte mensal ou diário. Ballou (2006) apresenta classificações semelhantes, chamando de decisões Táticas o que Chopra e Meindl consideram Planejamento, porém sem se distinguirem nos conceitos. O gerenciamento da cadeia de suprimento engloba as diversas atividades, como previsão de demanda, aquisição de matérias primas, produção, distribuição, armazenagem e transporte, que estão diretamente relacionadas com as perspectivas estratégicas, táticas e operacionais da cadeia. Dada a globalização das operações, novos modelos e ferramentas tornam-se necessários para melhorar a previsão, o planejamento e a coordenação das atividades ao longo de uma cadeia de suprimento. Modelos matemáticos têm sido muito utilizados em várias áreas de negócio para suportar decisões nos níveis estratégicos, táticos e operacionais. Este tem sido um campo fértil de estudos acadêmicos e Vidal (1997) apresenta uma revisão dos principais modelos de otimização e suas aplicações com foco na utilização de programação inteira mista, que geraram algumas revisões e propostas de classificações, com intuito de clarear e tornar mais compreensível os elos que envolvem uma cadeia de suprimento, suas interrelações e como subsidiar as decisões dos gestores desta cadeia. Os autores Mula et al (2010) também apresentam uma revisão bibliográfica sobre os modelos matemáticos usados para planejamento de produção e transporte, nos quais destacam-se os modelos de programação inteira mista e o objetivo de minimizar os custos da cadeia. Dos trabalhos pesquisados, quase 90% se concentravam no nível tático de decisão. Como uma das indicações para pesquisas futuras, indicam a necessidade de aplicação de modelos em estudos de casos reais, criando uma ponte entre a pesquisa acadêmica e o mundo corporativo. Com objetivo de criar uma taxonomia razoável para estes modelos de cadeia de suprimento, Giaonoccaro e Pontrandolfo (2001) sugerem uma classificação baseada em duas dimensões: tipo de problema e abordagem de modelagem. Os tipos de problemas são classificados em tipo de coordenação ou configuração e as abordagens de modelagem consideradas são conceitual, analítica, inteligência artificial e 7

19 simulação. Além disso, apresentam uma revisão de vasta gama de trabalhos desenvolvidos dentro de cada categoria por eles proposta. Grande parte dos trabalhos apresentam a abordagem analítica, que envolve diferentes técnicas da pesquisa operacional, como programação linear, programação inteira mista, programação dinâmica, programação multiobjetivo, processo de decisão de Markov e processo de hierarquia analítica. Incertezas desempenham um importante papel no planejamento tático e estratégico. Decisores podem se preparar melhor para responder a essas incertezas através de um planejamento que analise alguns possíveis cenários (análises de sensibilidades) e de forma mais profunda, pelo desenvolvimento e aplicação de modelos de otimização estocástica que permitam que os riscos sejam cobertos e avaliados. Com base na classificação de Giaonoccaro e Pontrandolfo (2001) citada anteriormente, Mula (2006) apresenta uma vasta revisão sobre modelos de planejamento de produção sob incertezas onde divide as publicações analisadas de acordo com tipo de modelo e de acordo com a área aplicada. São citadas sete grandes áreas de atuação: planejamento agregado, planejamento hierárquico de produção, planejamento de necessidades de materiais, planejamento de recursos empresariais, planejamento de capacidade, gerenciamento de inventários e planejamento da cadeia de suprimento. Os modelos analíticos, em particular o de programação estocástica, foram os mais frequentes na pesquisa e os de programação dinâmica pouco encontrados. Os modelos de Processos de decisão de Markov foram utilizados apenas em problemas de gerenciamento de inventários. Incertezas em relação a demanda são as abordagens mais frequentes e o estudo deixa um proposta para pesquisas futuras sobre incorporação de todos tipos de incertezas de uma forma integrada, o que ainda é um desafio pois cenários reais envolvem muitas variáveis incertas. Outro trabalho que também estuda as principais abordagens na otimização sob incertezas é o de Sahinidis (2004), que tem como focos a programação estocástica, programação fuzzy e programação dinâmica e a apresentação de suas principais características. Interessante aspecto levantado é o fato de que enquanto a programação dinâmica e fuzzy não apresentam nenhum software padrão para sua implementação, a programação estocástica já possui softwares comercialmente negociados, o que supõe-se facilitar a sua implementação e utilização de forma corporativa. Vemos assim que otimizações considerando incertezas já tem sido bastante pesquisadas a alguns anos e têm ganhado cada vez mais espaço pelo seu caráter 8

20 completo no auxílio às tomadas de decisão. Sahebi H. et al. (2014) afirmam que quase todas as otimizações são construídas a partir de parâmetros cuja previsão não é isenta de incerteza. Por esta razão, os modelos em que todos os parâmetros são assumidos como determinísticos podem não ser realistas. Isso se torna ainda mais pronunciado no nível estratégico da cadeia de suprimento, que lida com horizontes de tempo relativamente longos e, portanto, mais propensos a incertezas. Além disso, os tomadores de decisões geralmente não dispõem de informação perfeita para especificar todos os parâmetros com quantidades conhecidas e determinadas. Este fato provoca uma alta incerteza relativa a esses parâmetros (por exemplo, demanda, preços, o rendimento do produto, prazo de entrega, etc.). O grande problema é que a maioria dos problemas reais apresenta uma gama de variáveis e parâmetros que aumentam exponencialmente a sua complexidade de resolução. Representar todo o sistema e obter um resultado ótimo é tanto teoricamente como computacionalmente impossível. Uma forma de lidar com estas complexidades é realizar aproximações, como mostra Sethi et al (2002), em sua abordagem sobre controle ótimo e hierárquico. A ideia é reduzir o problema complexo a problemas administráveis aproximados, ou subproblemas, para a construção de uma solução para o problema original a partir das soluções destes subproblemas mais simples. O crescimento das técnicas de aproximação viabiliza a programação dinâmica em problemas que pouco tempo atrás eram intratáveis devido ao elevado número de estados. 2.2 Aplicações de modelos matemáticos à cadeia de suprimento de petróleo Ao longo dos últimos anos alguns autores elaboraram revisões de literatura dedicadas a aplicações de ferramentas analíticas nos problemas da cadeia de suprimento da indústria de óleo e gás. Shah et al. (2010) apresentam uma revisão destinada a aplicação na área de planejamento e programação de refinarias, além de abordarem trabalhos sobre a estrutura e planejamento da cadeia de forma geral. Como ponto importante neste trabalho ressaltam a importância de se expressar as não-linearidades existentes no processo e o desenvolvimento de soluções adequadas para esta abordagem. Leiras et al. (2011) realizaram uma revisão sobre a adoção de modelos que abordem incertezas no planejamento de refinarias, concluindo que a técnica mais aplicada para resolução deste problema é a otimização robusta. Sahebi et al. (2014) 9

21 apresentam uma vasta revisão sobre os modelos matemáticos aplicados à cadeia de suprimentos de petróleo nos contextos táticos e estratégicos. Dentro das decisões estratégicas, 61% dos trabalhos pesquisados tratam de decisões de alocação de instalações, e no nível tático, problemas do tipo de planejamento de produção de refinarias, gerenciamento de inventários e distribuição são em torno de metade dos trabalhos, na maior parte das vezes combinados entre si. Com relação a consideração de incertezas, 46% dos trabalhos analisados são modelados levando alguma incerteza em consideração, o que, na visão do autor, torna compulsória esta característica em trabalhos futuros. Os fatores incertos mais comumente empregados levantados nesta pesquisa são: demanda, preço de petróleo e preços de produtos finais. A maioria dos problemas estudados utilizam a técnica de programação estocástica de dois estágios. Como direcionamento para futuras pesquisas, ele coloca a necessidade de pesquisar a abordagem sob incerteza com modelos estocásticos de múltiplos estágios. Grandes empresas também têm investido em pesquisa sobre modelos que possam traduzir as restrições da sua rotina de forma a aprimorar o planejamento da sua cadeia de suprimento na busca por alcançar maior eficiência em seus serviços. No trabalho desenvolvido por Lasschuit e Thijssen (2004) eles apresentam um modelo de programação não linear inteira mista elaborado pela empresa Shell Global Solutions para representar todas as atividades da cadeia de suprimento desde a aquisição de matérias-primas até a comercialização dos produtos finais. Com objetivo de convergir as decisões estratégicas, planejamento e programação das suas atividades possui aplicabilidade na rotina de trabalho e velocidades de otimização em tempo real. No plano de decisão operacional, Neiro e Pinto (2004) se baseiam nas atividades de outra grande empresa do ramo, a brasileira Petrobras. Eles apresentam um modelo de programação não linear inteira mista para representar uma cadeia de suprimento de petróleo composta por quatro refinarias e cinco terminais. O casos analisados se diferenciavam pela adição de restrições quanto a oferta de petróleo (obrigatoriedade de cumprimento de contrato e indisponibilidade de ativo logístico) e constituíam de 1 a 2 períodos de tempo, aumentando muito o tempo computacional no segundo caso. Marcellino (2013) propõe em seu trabalho um modelo distribuído de otimização, baseado em satisfação de restrições e utilizando um sistema multiagentes holônico, o qual é aplicado ao planejamento integrado da cadeia de suprimento também da Petrobras, abrangendo desde a extração do óleo até o transporte dos derivados para as bases distribuidoras. Apesar de determinístico, o modelo tem por objetivo analisar o 10

22 impacto das mudanças imprevisíveis do ambiente, como a indisponibilidade de recursos, sobre o desempenho da cadeia. Entretanto, em nenhum dos três trabalhos mencionados anteriormente, são apresentados abordagens de incertezas nos parâmetros do modelo desenvolvido. Esta visão, aparece nos trabalhos de Senne (2009) e Oliveira (2014), envolvendo igualmente as atividades da empresa Petrobras. Ambos trabalhos se baseiam na elaboração do planejamento da cadeia de suprimento de downstream e a ferramenta utilizada é um modelo de programação estocástica de dois estágios. Como em quase todos os casos, simplificações são necessárias para utilizar este tipo de modelo e os trabalhos apresentam diferenças neste sentido, já que Oliveira (2014) apresentou uma forma de aprimorar a escolha dos cenários a serem trabalhados. As variáveis aleatórias escolhidas em ambos trabalhos são demanda de combustíveis, produção de petróleo e preços de petróleo, as mesmas que foram utilizadas como base para esta dissertação. Os autores Ribas et al. (2010) apresentam um modelo focado nas decisões estratégicas de investimento envolvendo uma cadeia integrada da indústria de óleo e gás, com horizonte de 10 anos, também se baseando nas atividades da empresa Petrobras Apesar de vários estudos sobre planejamento considerarem incertezas na indústria de óleo e gás, segundo os autores poucos até então tinham sido direcionados para o planejamento estratégico. Neste trabalho o propósito então foi estudar o impacto das incertezas (demanda, preço do óleo e produção nacional) nas decisões de investimentos, sob diferentes abordagens baseadas em programação estocástica e programação robusta. Os modelos analíticos são os mais utilizados nos problemas referentes a indústria de óleo e gás, como constatado nesta revisão. Processos de Decisão de Markov são pouco mencionados, principalmente em aplicações do setor de downstream. Shi e Guo (2014) aparecem como um dos poucos trabalhos que relacionam um modelo de Processo de Decisão de Markov neste setor da indústria de óleo e gás. O modelo proposto é um PDM estacionário com horizonte infinito e retorno esperado total descontado, cujo objetivo é encontrar a melhor política para o gerenciamento de estoque de um posto de abastecimento de combustível, quanto ao suprimento de gasolina sujeito a incertezas na demanda. Os estados são caracterizados pelos níveis de estoque e o período de decisão são medidos em termos horários. O modelo presume que o centro de distribuição está sempre disponível para atendimento ao posto, o que deixa uma recomendação para estudos futuros no sentido desta afirmação não ser verdadeira. 11

23 Dentro do conceito de roteamento de veículos com controle de estoque e também aplicado ao setor de downstream, Cheng e Duran (2004) elaboraram um modelo que aplica as técnicas de simulação de eventos discretos e Processos de Decisão de Markov para resolução do problema de roteamento de navios tanques de petróleo que tem por objetivo movimentar o óleo da fonte supridora para quatro rotas possíveis. As incertezas consideradas são a demanda de óleo e o tempo de deslocamento entre a fonte supridora e o cliente final. Para resolver o PDM foi aplicada uma aproximação por decomposição do sistema em subsistemas menores, e aproximação da função de custo para uma função linear. Em relação às atividades do primeiro elo da cadeia de óleo e gás, o upstream, um dos trabalhos encontrados é o de Bai et al. (2015), que utiliza Processos de Decisão de Markov para o problema de decisão de reservas estratégias de petróleos. O problema é aplicado ao caso da China, onde as fontes de incerteza estão nas rupturas de suprimento de petróleo. Neste caso, o preço mundial do petróleo é influenciado pelas oferta e demanda deste. O objetivo é escolher qual melhor política adotar em termos de reservas estratégicas de óleo, definindo-se uma melhor ação (aquisição ou redução) para cada estado do sistema (caracterizado por tamanho da reserva, magnitude da ruptura de suprimento e duração desta ruptura). O próximo item abordará as aplicações do modelos de Processo de Decisão de Markov nas mais diversas áreas, não só na indústria de óleo e gás, para uma visão mais geral das possibilidades de utilização deste método. 2.3 Aplicações de modelos de Processos de Decisão de Markov Poucos trabalhos foram encontrados que apresentem uma revisão dos estudos publicados referentes a utilização e implementação de Processos de Decisão de Markov nas mais diversas áreas. Em fato, apenas foram encontrados nesta pesquisa três trabalhos neste formato, realizadas pelo mesmo autor. White (1985) mostra que a partir de 1970 muitos trabalhos surgiram, principalmente no campo computacional, porém muitos estavam voltados apenas para análises teóricas do problema. Neste trabalho, o autor realiza uma pesquisa sobre trabalhos realizados com bases de dados reais, implementados ou não, totalizando 26 achados. Dentre esses, as áreas mais abrangidas foram de recursos energéticos (11,5%) e agricultura (11,5%), porém muitas outras áreas 12

24 de aplicações foram citadas, como serviços de saúde, controle de inventário e produção, manutenção, pesca, finanças e outros. Posteriormente o mesmo autor segue apresentando revisões de aplicações de PDM. Em White (1988) publica um trabalho onde apresenta estudos com base de dados reais porém com um pouco mais de liberalidade e em White (1993) o foco passa a ser materiais de natureza um pouco mais hipotética onde os modelos não representam necessariamente situações reais. No primeiro caso, o numero de pesquisas voltadas para recursos energéticos, mais especificamente hídricos, aumentou sua participação para 33%. No segundo, White (1993) observa maior participação dos trabalhos voltados para inspeção, manutenção e reparos (18%), recursos hídricos (15%) e suprimento, inventário e manutenção (14%). Com relação a resolução dos métodos, a maior parte utiliza programação dinâmica e uma pequena parte, programação linear. Como visto anteriormente, a aplicação de PDM pode ocorrer em diversas áreas, mantendo sempre a estrutura que lhe é característica. Em seguida serão apresentados alguns tipos de aplicações e a caracterização dos espaços de estados, ações e dados incertos, assim como a forma encontrada para resolução do problema. Na área de energia, Krzysztofowicz (1990) apresenta um modelo onde considera um sistema que opera sensível a presença ou não de vento. Um Processo de Decisão de Markov com horizonte discreto e finito, estacionário e sequencial é implementado onde as ações constituem tomar decisões no inicio de cada período sobre tomar medidas que protejam o sistema, ou não. A esta ação existe um custo imediato associado, da mesma forma que quando as ações não são tomadas e existe a presença de vento, o sistema sofre perdas que também acarretam custos. A decisão disponível no momento da decisão é a previsão da ocorrência de vento para o próximo período, que é desenvolvida em dois tipos, previsão probabilística e categórica. O modelo é resolvido para ambas formas. O objetivo é encontrar uma política que minimize a perda esperada total para operação do sistema, e o problema é resolvido com programação dinâmica. Na área de planejamento de vendas, Ferreira e Wu (2011) desenvolveram um modelo de Processo de Decisão de Markov associado a DEA data envelop analysis, com objetivo de reduzir o tamanho do conjunto de estados possíveis. Com DEA tornase capaz de prever as formas de pacotes mais eficientes que serão realizadas em cada tempo com os produtos disponíveis e assim utilizar o PDM para melhor decisão de precificação destes pacotes. O modelo possui horizonte discreto e finito, e é resolvido pelo algoritmo iteração de valores. O conjunto de ações disponíveis em cada período de 13

25 tempo representam os níveis de preço que podem ser adotados por cada pacote de produtos. O conjunto de estados incluem todas as possíveis posições do inventário, ou seja, o número de pacotes disponíveis para cada tipo de pacote, e as transições de um estado para o outro estão relacionadas com as probabilidades de venda do produto pelo preço determinado pela ação escolhida. As receitas estão relacionadas com as transições de estado de um nível de estoque para o outro e o objetivo geral do problema é saber quais pacotes oferecer em cada período e como é a melhor forma de precificação de forma a obter o maior retorno ao fim do horizonte. Como visto na pesquisa realizadas por White (1985, 1988 e 1993) uma área que possui grande aplicação dos processos de Decisão de Markov é a utilização de recursos energéticos, especificamente recursos hídricos. Giuliani et al. (2014) apresentam um modelo aplicado a escolha de um sistema de reservatórios de água, na quantidade que será escoada para suprir as necessidades a que se propõem. O conjunto de estados são definidos pela quantidade e qualidade da água em cada reservatório, as ações envolvem quanto liberar de cada sifão (quinze no total) empilhados verticalmente para permitir que a barragem possa liberar água em diferentes profundidades com diferentes propriedades físico-químicas, com possibilidade de mistura. As probabilidades de transições são representadas pelas mudanças de qualidade na água e os possíveis níveis de estoque no período seguinte. O problema é concebido como multi-objetivo, ou seja, a função objetivo é construída de forma a otimizar os custos obtidos em diferentes áreas que um reservatório possa impactar, como nível de algas, sedimentação, irrigação dos sistemas de plantação, etc. O trabalho propõe uma forma de resolver o problema agregando dez objetivos em apenas cinco de forma a reduzir a sua dimensão, baseado em NPCA (Non-negative Principal Component Analysis). Estes foram alguns exemplos de modelos que utilizaram a abordagem de Processos de Decisão de Markov para resolução de problemas reais. Os trabalhos que apresentam a teoria de PDM e algumas metodologias de resolução serão mencionados no capítulo 4, dedicado somente a este assunto. Outra área de grande relevância e que servirá de base para modelagem do problema aqui tratado é o gerenciamento de estoques, por isso no próximo tópico ele será abordado com mais detalhes e apresentados trabalhos com aplicação nesta área. 14

26 2.4 O problema de gerenciamento de estoques O problema de gerenciamento de estoques já foi abordado por vários autores utilizando como recurso, entre outras ferramentas matemáticas, a programação dinâmica. Esta seção tem por objetivo apresentar alguns destes trabalhos e suas características, que servirão de base para a elaboração do modelo proposto neste trabalho. Quando se pensa sobre as incertezas que envolvem o ambiente de decisões envolvendo o controle de estoques, a maior atenção está sobre a incerteza na demanda, que de fato é muito importante de ser considerada e por isso quase todos os autores assumem esta premissa. Kalymon (1971) foi além disso e considera também a incerteza dos preços futuros de aquisição, que são modelados como um processo estocástico de Markov. Este modelo assume que as decisões são tomadas em períodos regulares, sendo o nível de estoque conhecido no início de cada período e o preço antes da ordem de compra ser feita, ou seja, são considerados variáveis de estado. O estoque é consumido pela demanda ao longo do período, que é uma variável aleatória cuja probabilidade de distribuição depende do preço. O estoque ao final do período, após as ordens de compra, serão base para o cálculo do seu custo de manutenção e do custo da falta de estoque, ou o custo da demanda insatisfeita, que deverá ser atendida assim que tiver produto disponível (backlogging). Com relação ao suprimento, o prazo de entrega neste caso é considerado determinístico e um custo fixo para cada ordem de compra também é computado. O autor define que a demanda, os estoques e as possibilidades de ordem assumem apenas valores discretos, e o preço é restrito a um número finito de possibilidades. O autor apresenta o critério de otimalidade para o horizonte finito - onde o objetivo é achar a política ótima que minimize os custos totais ao longo do horizonte - e infinito, onde tanto o critério de custo médio por período ou custos totais descontados são utilizados. O problema no caso infinito é então resolvido pelo algoritmo de iteração de valores e por programação linear. Outro tipo de incerteza que pode ser adotado é com relação ao suprimento. Nem sempre uma ordem pode ser entregue no período definido, o que faz os autores trabalharem com prazos de entrega expressos como variável aleatória. Isto significa que a quantidade de reposição de estoque seguirá uma distribuição conhecida de probabilidade. Shin e Lee (2005) consideram em seu modelo incertezas tanto de demanda, como do tempo de entrega do produto adquirido (lead time). Neste caso, 15

27 existem a opões de mais de um fornecedor independentes um do outro, onde cada um apresenta diferentes confiabilidades no prazo de entrega. Estas são representadas pela distribuição de probabilidade de cada um, e de maneira lógica, o fornecedor com maior confiabilidade possui o maior preço. Todos os fornecedores possuem capacidades máximas ou mínimas configuradas, de forma que seja aplicável da melhor forma possível aos problemas reais. A realização da demanda é modelada como um processo de Markov e a demanda em um período será a demanda do mês anterior mais a sua realização, ou seja, Os eventos são seguem da seguinte forma: os estoques são repostos no início de cada período, a demanda é realizada e um novo estado se configura. Com estas informações em mãos, o decisor escolhe sobre um novo pedido. Clark e Scarf (1960) desenvolveram um trabalho pioneiro sobre o gerenciamento de inventário em vários níveis, ou seja, mais de uma instalação pode fazer estoque, e uma instalação deve fornecer a outra em um sistema mais simples (cada instalação recebe de uma outra instalação a reposição do seu estoque) ou mais complexo (várias instalações possuem o mesmo fornecedor). Neste modelo a demanda é estocástica e ocorre no último nível do planejamento, não é considerado restrições de capacidade e o custo de setup (fixo) só é permitido no primeiro estágio. Perante esta premissa, eles mostram que a política ótima para controle do estoque segue a política de estoque de base para cada nível separadamente, onde uma ordem de tamanho s é efetuada a cada momento que a variável de estoque atinge patamares menores ou iguais a S. O nível de estoque pode ser resolvido a partir de uma série de problemas de inventário de uma única instalação com uma penalidade em caso de não ter estoque suficiente para abastecer os demais elos. O trabalho é apresentado em horizonte finito para um único produto, podendo ocorrer backlogging (estoque negativo representando a demanda não atendida), e os custos considerados são: custo de aquisição variável de acordo com a quantidade, custo fixo de aquisição, custo de manutenção de estoque, custo da falta de estoque (quando ocorre backlogging) e custo de distribuição. Sob a mesma ótica de vários níveis de estoque ao longo da cadeia, Huggins e Olsen (2003) modelam um problema de uma cadeia de suprimento de dois níveis, com controle centralizado. Neste contexto, aproveitam para elucidar a questão que envolve um planejamento individual x planejamento centralizado. A grande diferença deste modelo é que backlogging não é permitido assim como não existe demanda insatisfeita, ou seja, todo e qualquer pedido deve ser atendido mesmo que com custo mais elevado. 16

28 Este modelo se adequa muito as cadeias de suprimento automobilísticas, onde durante a montagem se houver previsão de escassez de estoque as encomendas de novas peças podem ser transportadas por avião a fim de disponibilizar o produto mais rápido possível, incorrendo em custo muito mais elevadas obviamente, que o custo de produção de novas peças. Desta forma, esta forma de suprimento é evitada a menos que estritamente necessária. 17

29 3. DESCRIÇAO DO PROBLEMA Esta seção tem por objetivo apresentar com mais detalhes o problema abordado neste trabalho. Inicialmente, uma contextualização da cadeia de suprimento de petróleo é feita no item 3.1, posteriormente é apresentada a atual situação brasileira no segmento de Downstream no item 3.2. Por fim, o item 3.3 apresenta como o problema é tratado neste trabalho, com suas abordagens e simplificações. 3.1 Cadeia de suprimento de petróleo O petróleo é uma substância oleosa, menos densa que a água, composta por moléculas de carbono e hidrogênio os hidrocarbonetos. Devido a esta composição básica é comercializado como uma commodity mundialmente. Esta característica faz com que, além de toda dificuldade em descobrir novas reservas, exista um enorme desafio para a indústria de petróleo e gás de colocá-las em produção, extrair os derivados e entregá-los para os consumidores com o menor custo possível. O que diferencia uma empresa da outra não são os produtos inovadores, mas sim operações mais eficientes. Desta forma, um processo de gerenciamento de cadeia de suprimentos existe para reforçar a eficiência e tentar aprimorar ainda mais as tomadas de decisões existentes em todas as etapas da cadeia, de forma a otimizar os recursos disponíveis, gerando o maior valor possível para a empresa Visão Geral A cadeia de suprimento da indústria de óleo e gás se caracteriza basicamente pelas seguintes fases: Exploração, Produção, Refino, Comercialização, Distribuição e Consumo Final. Normalmente são divididas em Upstream, Midstream e Downstream, porém aqui será tratada de forma simplificada apenas em duas etapas: Upstream formada por exploração e produção do óleo e gás, e Downstream pelas demais etapas. Dentro de cada uma destas fases existem muitas operações, que podem ser resumidas da seguinte forma: Exploração: inclui desde o estudo e a análise de dados geofísicos e geológicos das bacias sedimentares, como métodos sísmicos por exemplo, até a perfuração 18

30 de poços pioneiros. Segundo Thomas, J.E. (2001) a fase de prospecção tem os objetivos de (i) localizar dentro de uma bacia sedimentar as situações geológicas que tenham condições para acumular petróleo e (ii) verificar qual, dentre estas situações, possui mais chance de conter petróleo; Produção: abrange as operações de perfuração dos poços, estudo dos reservatórios e das características que maximizam a produção de óleo e gás, produção propriamente dita (retirada e elevação dos fluidos de dentro das rochas), além das instalações de engenharia; Refino: consiste na complexa transformação do petróleo bruto em seus derivados finais, que serão consumidos principalmente como fonte de energia. Os principais tipos de processos envolvidos são os de separação, conversão e tratamentos; Comercialização: inclui as etapas de negociações de venda dos combustíveis e demais derivados, abrangendo também as operações de importação e exportação de petróleos e produtos finais; Logística e Distribuição: inclui todas as operações de transporte dos petróleos e derivados até seus pontos de venda para os consumidores finais. Estas movimentações podem ocorrer em oleodutos, gasodutos, ferrovias e rodovias, e ainda por meio aquaviários. Nos setores de exploração e produção da indústria do petróleo, como dito anteriormente, o produto é praticamente o mesmo para todas as empresas concorrentes: petróleo e gás, com diferenciações muito estreitas entre suas classes. Consequentemente, as empresas não podem diferenciar-se entre si através da introdução de um novo produto surpreendente mas sim em função da capacidade de encontrar e produzir de forma mais eficiente que seus concorrentes. Rabbino et al (2003) expõem a pressão que as áreas de exploração e produção têm sofrido para aumentar a produção, em condições mais desafiadoras, custos reduzidos e com equipes cada vez menores. A necessidade de busca de óleos em locais cada vez mais profundos e distantes da costa aumenta as dificuldades operacionais e técnicas, e também os custos e riscos associados à operação, o que leva as empresas a deixarem seu papel de perfuradoras para assumirem papéis de gestoras de recursos e desenvolvedoras de reservas. 19

31 Nesse sentido, os interesses de todas as empresas caminham para um aumento da produção, com maior rentabilidade e melhor aproveitamento dos seus ativos, para atendimento da demanda mundial. Segundo informações extraídas do relatório estatístico da empresa BP (2015), o consumo de óleo no mundo cresceu 0,8 milhões de barris por dia (bpd) em 2014, patamar relativamente menor que o crescimento da produção 2,1 milhões bpd que atingiu um patamar em torno de 88 milhões bpd. Deste volume, aproximadamente 57 milhões bpd foram movimentados em transações comerciais mundialmente em Chima (2007) constata que muito poucas indústrias no mundo, além da de óleo e gás, exigem essa imensa variedade de produtos para serem movidos diária e frequentemente em grandes quantidades no mercado interno e a nível mundial, onshore e offshore. Na mesma linha, Marcellino (2013) conclui que as empresas de petróleo atuam de forma complexa e possuem relacionamentos produtorconsumidor entre suas próprias unidades que podem ultrapassar fronteiras nacionais, o que requer que as operações de planejamento logístico e de produção sejam adequadamente sincronizadas e intimamente acopladas Downstream Refino, Comercialização, Logística e Distribuição Considera-se aqui como Downstream todas etapas que sucedem a produção do óleo e gás, sendo elas: transporte de petróleo, refino, armazenagem, comercialização e distribuição dos derivados. Em uma empresa integrada, o óleo que será processado pode ser produzido por ela mesma ou adquirido no mercado internacional. Em grande escala, as movimentações dos óleos acontecem em navios tanques até terminais que possuem conexões com as refinarias através de uma rede de dutos. Dentro das refinarias, os óleos sofrem alguns processos de transformação que dão origem aos seus derivados. Estes devem ser direcionados aos clientes finais, de forma direta ou através de distribuidores (bases secundárias). Os modais de transporte utilizados para estas movimentações são diversos: navios, barcaças, ferrovias, rodovias ou dutos, dependendo da infraestrutura do país e região. Para complementar o suprimento do seu mercado, uma empresa pode adquirir no mercado internacional derivados, que na maioria das vezes são movimentados por navios de diferentes portes e características, da mesma forma como o excedente é negociado externamente. As decisões a serem tomadas nesta instância normalmente são relativas ao suprimento de cada refinaria, o perfil de produção de 20

32 acordo com os ativos disponíveis, as negociações com mercado externo (importação e exportação de óleos e derivados) e a movimentação de todos estes produtos através da rede logística. A etapa de Refino é fundamental, uma vez que transforma o petróleo cru em produtos que possam ser utilizados pelos clientes finais, na maioria das vezes como fontes geradoras de energia. Por este motivo, possui um alto grau de complexidade, que Farah (2012) apresenta detalhadamente. De acordo com autor, o processo de transformação de petróleo em derivados dentro de uma refinaria é separado em três classes que englobam todas as etapas de produção de derivados: (1) Processos de Separação, quando os constituintes da carga são separados em função de alguma propriedade física e não ocorrem transformações químicas, (2) Processos de Conversão, quando os hidrocarbonetos da carga são transformados em outros hidrocarbonetos através de processos químicos e (3) Processos de Tratamento, quando ocorre a remoção de contaminantes da carga, sem alterações físicas ou químicas da mesma. De forma resumida, pode-se dizer que o refino do petróleo se inicia através da separação física das suas frações básicas pelo processo de destilação atmosférica e a vácuo, onde são fracionadas de acordo com suas faixas de temperaturas de ebulição. Estas frações podem seguir para composição final de um derivado ou passar por outros processos intermediários de conversão, onde suas características físico-químicas serão ajustadas, ou por tratamentos para retirar impurezas e contaminantes presentes. Os principais processos que existem em uma refinaria estão explicitados na tabela 1. Os derivados finais obtidos são basicamente separados nos seguintes grupos: GLP (gás liquefeito de petróleo), nafta petroquímica, gasolina, querosene, óleo diesel, óleo combustível e asfalto. Alguns subprodutos são obtidos em menor quantidade, como coque e enxofre, e são também comercializados. Vale ressaltar que cada refinaria possui um processo único, que diz respeito as suas unidades disponíveis e modo de operação. A distribuição é a etapa que compreende a aquisição, a armazenagem e o transporte de derivados, de forma a permitir que cheguem ao seu consumidor final. Cardoso (2005) afirma que a distribuição de derivados de petróleo caracteriza-se por transportar produtos de baixo valor agregado e mínimo risco de obsolescência. Os tipos de modais de transporte geralmente utilizados para movimentação de derivados são rodoviário, dutoviário, ferroviário e hidroviário, destacando a grande presença do modal rodoviário no Brasil, principalmente entre bases e postos finais de combustíveis. A armazenagem dos produtos (e também do óleo) é feita em tanques atmosféricos ou sob 21

33 pressão, dependendo do tipo de produto. O estoque de derivados provenientes das refinarias é descentralizado em diversas bases primárias, que por sua vez atendem a bases secundárias, com objetivo de fornecer aos postos mais distantes de uma região. A comercialização dos produtos se dá entre o produtor e distribuidor (atacadista) e entre este e o varejista. Normalmente as transações ocorrem em base mássica para petróleos e derivados do grupo escuros (óleos combustíveis e asfalto) e em base volumétrica para produtos do grupo claros (diesel, gasolina, querosene, etc). Neste caso, um fator importante é a temperatura de referência para que alterações de volume não implique em divergências comerciais. Tabela 1 - Processos de Refino Processo Tipo Descrição Destilação Craqueamento Catalítico Fluido Coqueamento Retardado Reforma Catalítica Hidrotratamento Desasfaltação Separação Conversão Conversão Conversão Tratamento Separação Processo físico que separa as frações do petróleo de acordo com seu ponto de ebulição. Processo de craqueamento catalítico (uso de catalisador químico) das cadeias de hidrocarbonetos que transforma frações pesadas em frações leves. Processo de craqueamento térmico das cadeias de hidrocarbonetos que transforma frações muito pesadas em frações leves. Processo de reação catalítica de alteração do tipo de cadeia do hidrocarboneto para formar compostos aromáticos. Processo de adição de hidrogênio às cadeias de petróleo para retirada de compostos sulfurados e nitrogenados. Processo de separação física das frações oleosas da parte asfáltica contida no resíduo gerado na destilação a vácuo. 3.2 Segmento de Downstream no Brasil Atualmente o segmento Brasileiro de Downstream está concentrado na atuação de uma grande empresa, a Petrobras. Este sistema é composto por treze refinarias, uma unidade de industrialização de xisto e quarenta e oito terminais (entre aquaviários e 22

34 terrestres), distribuídos ao longo de todo o território nacional. As movimentações de petróleos e derivados são feitas principalmente através de modais dutoviários e marítimos pela Petrobras, e rodoviários pelas distribuidoras de combustíveis que permitem a capilaridade do sistema. É possível separar o sistema atual de suprimento de combustíveis em quatro subsistemas, seguindo mesma classificação feita por Oliveira (2014). Esta considera o grau de sinergia ou isolamento das operações comerciais, logísticas e de refino de cada região, que pode ser promovido pelo compartilhamento de sistema de suprimento de petróleo, distribuição de derivados, troca de produtos intermediários e composição conjunta de produtos finais, e possibilidade de mudanças de área de influência de cada refinaria dentro da mesma região. São eles: I. Subsistema Sul: Este sistema é composto por duas refinarias localizadas no Rio Grande do Sul e Paraná. O recebimento de petróleo pelas refinarias é feito através de modal dutoviário, ligando-as aos terminais de Osório e São Francisco do Sul. Além destes, existem mais dois terminais aquaviários nesta região (Niterói e Paranaguá) e terminais terrestres (Biguaçu, Guaramirim e Itajaí) ligados ao duto que abastece também o mercado de Santa Catarina. Estas refinarias, por estarem mais próximas, possuem sinergias em atendimentos aos mercados, principalmente em momentos de falhas ou paradas programadas. II. Subsistema RJ-MG: O sudeste é divido em subsistemas menores em função das grandes sinergias existentes entre suas refinarias. O subsistema RJ-MG é composto por uma refinaria em cada estado e o sistema de recebimento de petróleo é compartilhado pelas duas refinarias. Este ocorre através de dois terminais aquaviários (Angra dos Reis e Ilha D água) e dois terrestres (Campos Elíseos e Cabiúnas). O terminal de Campos Elíseos também possui capacidade de movimentação de derivados de petróleo entre as duas refinarias, ou até o terminal aquaviário de Ilha d água para saída/entrada de produtos. O terminal de Cabiúnas é responsável por bombear a produção de petróleo local até o terminal de Campos Elíseos. No terminal de Angra dos Reis é onde ocorre a maioria das exportações de petróleos realizadas por esta empresa. 23

35 III. Subsistema São Paulo Este subsistema possui a malha dutoviária mais complexa do sistema nacional, pois eles interligam as quatro refinarias existentes no estado (sendo uma a de maior capacidade de processamento do sistema) movimentando os produtos claros, escuros e petróleos até os terminais e bases. Devido a isso, grandes sinergias acontecem entre estas refinarias, que estão ainda localizadas em regiões diferentes no aspecto topológico ( Planalto e Baixada Santista). Este subsistema ainda conta com um duto que liga a cidade de Paulínia à Brasília com quatro bases intermediárias, com objetivo de atender a demanda do centro oeste e ainda uma parte de Minas Gerais. No total são dois terminais aquaviários (Santos e São Sebastião) por onde ocorrem grandes movimentos de importações e exportações e dez terminais terrestres (Guararema, Guarulhos, Cubatão, São Caetano do Sul, Barueri, Ribeirão Preto, Uberaba, Uberlândia, Senador Canedo e Brasília) que atendem aos mercados locais. O abastecimento de petróleo é feito por São Sebastião até as refinarias por dutos específicos. IV. Subsistema Norte-Nordeste São cinco refinarias bastante distintas entre si que compõem este subsistema (em termos de complexidade, ou seja, tipos de processos disponíveis, e capacidade instalada). A maior parte das entregas é feita nas bases ligadas aos terminais aquaviários, que são chamados, por isto, de pólos de cabotagem. Possui um terminal de grande relevância por onde chega grande parte das importações de derivados no país (São Luís). No total são doze terminais aquaviários distribuídos ao longo da costa e dois terminais terrestres ligados a um duto na Bahia. O planejamento tático da cadeia referente ao segmento de Downstream da Petrobras abrange desde a disponibilização do petróleo pela área de Upstream (incluindo sua movimentação até o local de processamento) até a entrega dos derivados finais nas bases das distribuidoras. Atualmente, é utilizado como ferramenta para o suporte de decisões um modelo determinístico de programação linear. As principais decisões a serem tomadas envolvem as esferas de refino, logística e comercial: escolha do tipo do elenco e quantidade de petróleo a ser processado em cada refinaria, perfil de 24

36 produção dos derivados de petróleo, nível de exportação e importação de petróleos e derivados, e utilização dos ativos logísticos. Não é tratada a etapa de distribuição, que é a entrega destes derivados até o cliente final de consumo. Uma premissa relevante considerada no planejamento é o atendimento integral ao mercado nacional, de forma que o desabastecimento de combustíveis não é uma possibilidade considerada, mesmo que para isso seja necessário incorrer em custos muito altos de aquisição e/ou produção. Baseado em dados históricos até 2015, observa-se que o preço de realização das vendas de derivados no Brasil não acompanha o mercado internacional na mesma velocidade dos acontecimentos, ou seja, estes custos (ou ganhos) de aquisição não são necessariamente repassados aos clientes na íntegra. Durante muito tempo, esses preços permaneceram estagnados frente a variações nos dois sentidos das referências internacionais, mostrando-se, então, pouco sensíveis à estas grandes flutuações externas. Isto sugere que a demanda nacional não está atrelada a variações mundiais no preço do petróleo e seus derivados. A figura 1 ilustra um pouco deste comportamento para o óleo diesel, que ficou mais evidente a partir do 2 o semestre de Figura 1 - Preços de óleo Diesel (Boletim Anual de Preços 2015 ANP) Apesar de o Brasil ser um grande produtor de petróleo e a Petrobras possuir a maior participação neste resultado, os petróleos possuem qualidades diferentes entre si, o que leva muitas vezes a uma necessidade de complemento do elenco processado. Sua 25

37 estrutura básica, como dito anteriormente, são os hidrocarbonetos. Porém, seguindo a classificação estabelecida por Farah (2012), os petróleos podem ser separados, entre outras características, a partir da sua densidade. A densidade é uma informação importante pois ela reflete, em termos médios, o conteúdo de frações leves e pesadas do óleo, pois se trata de uma propriedade aditiva em base volumétrica. Nesta indústria é comum usar o grau API (American Petroleum Index) como medida de densidade, que é definido por: onde d 15,6/15,6 é a densidade relativa do produto a 15,6 o C. A tabela 2 mostra a classificação sugerida por este autor com base nesta medida. A produção brasileira em 2014, de acordo com anuário da ANP (2015), possui grau API médio de 24,6, classificando o óleo nacional, em média, como pesado. Neste ano observou-se ainda um aumento da participação dos óleos do pré-sal (camada mais profunda da exploração de petróleo, depositada abaixo da camada de rocha salina no subsolo marítimo) em aproximadamente 9%. Grande parte destes óleos apresentam um resíduo atmosférico (fração mais pesada do petróleo que usualmente é destinada para formulação de produtos com menor valor agregado, tipo óleo combustível) capaz de ser processado na unidade de Craqueamento. Estes petróleos normalmente são do tipo médio e são chamados de RatCraq (por possuírem um resíduo capaz de ser craqueável) por conta desta característica especial que agrega um valor adicional ao óleo. Como mencionado na tabela 1, o processo de Craqueamento transforma frações mais pesadas do petróleo em frações mais leves, que serão usadas principalmente para produção de gasolina, por exemplo. Tabela 2 - Classificação dos petróleos segundo a densidade o API Classificação API > 40 Extra-leve 40 > API > 33 Leve 33 > API > 27 Médio 27 > API > 19 Pesado 19 > API > 15 Extra-Pesado API < 15 Asfáltico 26

38 Contudo, de acordo com Oliveira (2014), isoladamente o grau API não contém todas as informações relacionadas ao rendimento para cada faixa de temperatura, ou seja, o quanto eu posso obter de cada derivado por tipo de petróleo. Essa informação é dada pelo assay do petróleo, o qual contém, entre outras informações, o rendimento de cada corte, que é utilizado para valorar mais precisamente o preço de cada petróleo, e suas qualidades. Outras qualidades relevantes para um petróleo são: a concentração de enxofre (que determina a necessidade de tratamento para obtenção dos produtos finais), a acidez do petróleo (que determina limites de processamento devido à restrição metalúrgica da refinaria), a concentração de sais, a concentração de metais, dentre outros. A partir de todos os tipos de petróleo podem-se obter quase todos os seus tipos de derivados, o que os difere são os processos de refino disponíveis para que esta produção seja viável, refletindo nos custos de processamento do óleo. Logo, o valor comercial de cada tipo de óleo depende da sua qualidade, e este valor será mensurado quanto ao seu rendimento e tipos de derivados obtidos através de um determinado esquema de refino (Farah, 2012). Isso significa que um mesmo petróleo pode ter valores diferentes em refinarias diferentes. Esta é a decisão a ser tomada relacionada à alocação de petróleo nas refinarias, considerando ainda as ofertas de petróleo disponíveis no mundo com qualidades que podem ser diferentes do óleo nacional (maior rendimento em frações mais nobres, como diesel e gasolina). Caso se decida por não alocar todo petróleo nacional nas refinarias, a opção é a exportação. Estas trocas, por conta das diferenças de qualidade dos óleos, são comuns e envolvem decisões comerciais estão relacionadas principalmente com os preços dos petróleos disponíveis e o valor do petróleo nacional no mercado internacional. Entretanto, nem todos petróleos produzidos atualmente são disponibilizados para exportação. As questões levadas em consideração para esta decisão transitam pelas esferas logística, operacional e tributária. Em termos logísticos, o limite se refere principalmente à capacidade de transbordo nos terminais. Alternativas mais caras podem existir (como transbordo em alto mar) porém também possuem capacidade limitada. Em termos operacionais, para que um óleo possa ser ofertado ao mercado externo deve possuir qualidade e volumes de produção estáveis. As correntes de petróleo, após extraídas, precisam passar por alguns procedimentos para retirada de elementos que afetam seu processamento e valor comercial (como água, por exemplo). Em alguns casos um padrão de vendas pode não ser atingido e depreciar muito o óleo, 27

39 que terá maior valor dentro do próprio sistema. Alguns poços produtivos ainda podem apresentar produção em declínio, ou ao contrário, estar na fase inicial de testes. Em ambos os casos seus volumes de produção e qualidades não serão regulares, o que impossibilita que estes óleos sejam exportados de forma estrutural. Por fim, a questão tributária envolve os royalties e participações especiais, que é uma indenização aos estados pela exploração do petróleo e é pago pela produção de óleo calculado em cima de um preço de referência. Este preço é o maior entre o preço definido pela Agência Nacional de Petróleo, Gás e biocombustíveis (ANP) ou o valor comercializado deste produto. Logo, comercializar um óleo externamente pode gerar automaticamente um aumento dos impostos recolhidos. Todos estes fatores devem ser quantificados para as tomadas de decisões da estratégia a ser adotada, no entanto, uma vez definidos quais os óleos que pertencem à cesta de exportação, logicamente aqueles que ficarem de fora serão processados mandatoriamente nas refinarias nacionais. Neste caso, a decisão não é mais apenas quanto se refina, mas qual o melhor lugar para processar determinado tipo de petróleo. O perfil de produção de um petróleo alocado a uma refinaria está relacionado, como dito anteriormente, com a disponibilidade de unidades de processo, tanto em tamanho quanto ao tipo. Por exemplo, quanto mais capacidade de conversão existente, maior a margem financeira desta refinaria, pois pode-se processar petróleos mais pesados (e normalmente mais baratos) gerando produtos (derivados) com maior valor agregado. A razão entre capacidade de conversão e destilação é um indicador muito importante para traçar o perfil de elenco que uma refinaria é capaz de absorver, assim como a razão entre capacidade de destilação e tratamento. Quando estas unidades não existem ou estão saturadas, normalmente o produto obtido a partir do petróleo é um produto de baixo valor agregado, e este processamento pode acarretar uma margem negativa para o negócio. Neste momento, pode tornar-se mais interessante importar o derivado ao invés de continuar a processar o petróleo. Outra restrição importante é a disponibilidade de ativos logísticos. Como disponibilidade logística entende-se a capacidade de movimentação de um determinado grupo de produtos através da malha logística. Os dutos são os principais meios de internação e escoamento de produtos e suas capacidades estão relacionadas às vazões operacionais (volume/hora), regime de operação (horas/dia) e dias de operação (dias/mês). Os terminais aquáticos possuem quantidade de berços limitados para 28

40 atracação de navios, e muitas vezes estes berços são dedicados a um único tipo de produto (derivados ou petróleos). Apurar quanto um terminal é capaz de movimentar não é tarefa trivial, mas a movimentação pode ser restringida em um modelo com base nos dados históricos de operação. Além disso, a quantidade de tanques disponível para armazenar produtos também é uma restrição tanto em terminais aquáticos como terrestres. Estas informações são importantes para conhecimento do real limite de movimentação em um determinado ponto, tanto para receber como para escoar produtos. Desta forma, as decisões envolvidas não são apenas entre refinar petróleo nacional ou importado, mas além disso, também entre refinar mais petróleo para gerar seus próprios derivados ou importar os produtos já prontos para entrega ao cliente final, e, consequentemente, exportar mais óleos nacionais. Estas macrodecisões estão interligadas e precisam ser avaliadas em conjunto com objetivo de gerar um melhor resultado para o sistema como um todo. Os grandes direcionadores destes trade-offs são: (i) os spreads de preços no mercado internacional, (ii) a demanda esperada de derivados, e (iii) a produção esperada de petróleo nacional (sujeitos às restrições de disponibilidade de unidades de processo, e disponibilidade dos ativos logísticos, como dito anteriormente): Spreads de preços : os preços de derivados e petróleos acompanham referências internacionais de preço. A mais utilizada para petróleo é o Brent, que representa um óleo padrão produzido no Mar do Norte. De acordo com a qualidade e valor de mercado de um óleo, ele terá um prêmio ou desconto em cima deste marcador. Assim funciona também para os derivados, cada qual com seu respectivo marcador. As curvas de mercado futuro de cotações de derivados possuem correlações muito fortes com os petróleos, podendo variar em algumas épocas do ano em função de sazonalidades específicas. As compras ou vendas destes produtos podem ser feitas por contratos de longo prazo ou em cima de operações pontuais (operações spot), sendo estas últimas normalmente menos atrativas (mais caras no caso da importação e mais baratas no caso de exportação). Normalmente, os prazos considerados para uma importação ou exportação variam de quinze a trinta dias para efetivação da operação (entrega do produto ao cliente). Em resumo, tem-se que quanto maior a diferença entre os preços de derivados e petróleos, maior será a tendência de aumentar o refino 29

41 interno. E quando esta diferença for mais estreita, maior a tendência em importar derivados e produzir menos internamente. Demanda esperada: Como dito anteriormente, o atendimento à demanda é considerado obrigatório para o planejamento, o que torna a previsão deste número muito importante para as tomadas de decisões. Alguns produtos, como diesel e gasolina, apresentam uma sazonalidade bem definida, porém fatores como atividade agrícola e desenvolvimento do etanol podem afetar diretamente estas previsões. Pequenos erros percentuais podem representar números equivalentes a uma carga de importação excedente para substituir uma produção não planejada. Conhecer todas as incertezas associadas a esta previsão pode representar uma grande economia para a empresa. Em um modelo determinístico, incertezas com relação a este parâmetro não são absorvidas, e o sistema fica sujeito a falhas de atendimento que efetivamente podem representar um custo elevado para cadeia, como um alto estoque imobilizado para suportar estas flutuações. Produção Nacional: o óleo produzido por uma empresa pode ser consumido internamente ou exportado, porém já foi esclarecido que a sua exportação é limitada. Sendo assim, parte deste óleo necessariamente será processado para gerar os derivados necessários de forma a atender a demanda esperada. Uma não produção significa maiores custos para atendimento da demanda final de derivados. Uma produção muito acima da expectativa pode gerar uma sobra de produto que implicará em alto custo de armazenagem. A maior parte das variações negativas quando se compara realização com previsão é em função de paradas não programadas das unidades de produção. Outros motivos contribuem para os fatores, mas esta grande incerteza associada a problemas de curtíssimo prazo é a mais relevante. Dadas todas as características apresentadas anteriormente, em seguida apresentase a lógica utilizada neste trabalho para expressar esta realidade complexa em termos de um modelo matemático estocástico que possa auxiliar as tomadas de decisão desta cadeia de suprimento, absorvendo as incertezas mais relevantes associadas ao problema em questão. 30

42 3.3 Abordagem do problema De acordo com a revisão bibliográfica realizada, até onde se pôde observar, a abordagem proposta neste trabalho, através da utilização de Processos de Decisão de Markov como ferramenta para auxílio no planejamento desta cadeia, será o primeiro trabalho desenvolvido neste sentido. Para isso, torna-se coerente e necessária a realização de várias simplificações para início da pesquisa nesta área. As possíveis melhorias mapeadas e o aumento da complexidade do modelo ficarão como indicação para estudos futuros, com objetivo de aprimorar esta representação da realidade e a qualidade dos resultados. A primeira decisão defrontada foi escolher qual subsistema representar, de forma que apresentasse questões relevantes para serem trabalhadas na modelagem. O escolhido então foi o subsistema RJ-MG, por conter duas refinarias complexas que possuem todos os tipos de unidades de conversão e tratamento (craqueamento, coque e HDT) além de possuírem um sistema de compartilhamento de movimentação de petróleos e derivados. Estas duas características fazem dele um sistema mais homogêneo e, então, mais fácil de representar. Os processos internos das refinarias não serão detalhados, e elas serão representadas como uma única unidade, logo os rendimentos e o perfil de produção foram levantados pela observação de dados históricos desta região, uma vez que não passaram por nenhuma grande mudança estrutural nos últimos anos. Pelo fato de compartilharem a logística de suprimento de petróleo, os elencos alocados são muito equivalentes e estáveis, pois alguns dos petróleos produzidos na Bacia de Campos não são exportáveis e são, então, alocados neste subsistema, o que facilita este tipo de simplificação. A figura 2 apresenta a estrutura do modelo proposto. 31

43 Figura 2 - Estrutura do modelo proposto Os grupos de produtos escolhidos para serem trabalhados representam as principais correntes obtidas no fracionamento do petróleo: GLP, Nafta/Gasolina, Querosene, Diesel e Escuros. Estes produtos possuem características de aplicações diferentes e por isso possuem valores comerciais bem diferentes. Os produtos mais nobres são as frações médias de querosene e diesel, utilizadas no mercado de aviação e automotivo principalmente, e as frações mais leves que compõem a gasolina. De acordo com a projeção apresentada no Plano de negócio da Petrobras (2015) mostrada na Figura 3, constata-se que as vendas de diesel e gasolina somadas representam (e continuarão representando) mais da metade de toda sua venda de derivados. Se considerarmos que o preço por unidade de volume destes produtos é mais elevado que das outras frações exceto para o querosene de aviação, porém seu volume de venda é significativamente menor constatamos, então, que ambos produtos são os maiores responsáveis pelas receitas obtidas neste segmento (vide figuras 4 e 5). Desta forma, constatam-se, tanto pelos volumes quanto pelos valores, que as demandas destes produtos são alguns dos dados que mais impactam as decisões a serem tomadas. Em função disso, elas serão tratadas como variáveis estocásticas, enquanto as demais demandas serão abordadas como determinísticas. 32

44 Figura 3 - Projeção de vendas Petrobras (PNG ) Figura 4 - Projeção de vendas Petrobras (PNG ) 33

45 Figura 5 - Preços praticados pelos produtores no Brasil para QAV, Gasolina e Diesel (fonte: Levantamentos de Preços ANP) Figura 6 - Preços praticados pelos produtores no Brasil para Nafta, OC e GLP* (fonte: Levantamentos de Preços ANP) *Foram consideradas as seguintes densidades respectivamente: 0.69, 1.02 e Como dito anteriormente, este subsistema possui uma variação pequena de elenco de petróleo, absorvendo parte das produções de petróleo da Bacia de Campos do Rio de Janeiro. Chamaremos de petróleo do tipo base a maior parte do óleo consumida por estas refinarias, que neste caso será uma mistura de óleos médios e pesados, sendo os primeiros em maior proporção, para cálculo do rendimento. O óleo do tipo ratcraq é 34

46 o segundo tipo de petróleo, que poderá ser processado em campanhas (bateladas) de volumes específicos de acordo com premissas operacionais das unidades. Este óleo e o do tipo base poderão ser exportados caso não sejam refinados. Por último, o outro tipo de óleo que pode ser processado será o importado, caracterizado como um petróleo do tipo leve ou diluição. Este óleo possui quantidade limitada, tanto em função de restrições operacionais das unidades como por questões tributárias (óleos importados podem aumentar demasiadamente um custo tributária associado ao ICMS imposto sobre circulação de mercadorias e serviços que não será detalhado neste trabalho). Os petróleos do tipo importado e ratcraq não são misturados ao petróleo do tipo base durante a armazenagem para não perderem seu valor, logo seus estoques são considerados separadamente. Mesmo que a capacidade de tancagem disponível para estes óleos não esteja sendo atingida, esta capacidade só poderá ser consumida com óleos do mesmo tipo. Porém, quando os estoques destes óleos estiverem zerados, os tanques podem ser convertidos para petróleo do tipo base. Em relação aos estoques, as capacidades das refinarias e dos terminais foram agregadas para todos os produtos, sem perdas de generalização. Estas capacidades levam em consideração não apenas a quantidade de tanques, mas também a disponibilidade de volume para movimentação de um determinado produto. Usualmente tanques que expedem produto não recebem, além disso muitos tanques precisam ser usados para manobras internas nos terminais ou nas refinarias. Portanto, o conhecimento da operação através dos históricos é a melhor fonte de informação na modelagem de um problema deste tipo. Com exceção do petróleo importado e ratcraq, os demais produtos não terão estoques iguais a zero, pois entende-se que existe um estoque mínimo operacional, onde abaixo deste valor o risco de desabastecimento é muito grande. Quando os estoques atingirem valores abaixo deste mínimo, um custo de falta será incorrido, representando a aquisição de produto em situação desfavorável (mais caro) de forma a elevar o estoque ao nível mínimo. Da mesma forma, quando os estoques forem maiores do que a capacidade disponível, incorrerá um custo da perda, representando o impacto na cadeia a depender do produto que será tratado. Os limites de movimentação de produtos serão abordados apenas para o grupo de claros e serão limitados a um número de carga que historicamente seja razoável de operação no terminal de Ilha D água. O terminal de Angra, que pertence ao mesmo subsistema, opera apenas com a entrada de petróleos para unidade de processamento de lubrificantes (que será considerada com uma vazão e produção fixa, dado que existe um 35

47 contrato de longo prazo destes óleos importados) e exportação da grande parte dos óleos produzidos no Brasil. As decisões envolvidas no problema têm por objetivo a maximização dos resultados obtidos e são as seguintes: volume total de óleo que será processado por tipo, volume de óleo que será importado e exportado, e volumes de derivados que serão internados ou escoados desta região. As decisões possíveis para cada estado mapeado serão baseadas nas capacidades físicas dos ativos (viabilidade) e também no conhecimento do problema para delinear o conjunto mais provável e coerente de decisões. As restrições envolvendo as ações possíveis em cada estado serão detalhadas no próximo capítulo, assim como outras considerações para modelagem do problema. 36

48 4. PROCESSOS DE DECISÃO DE MARKOV Cadeias de Markov constituem uma ferramenta adequada de modelagem de sistemas dinâmicos sujeitos a incertezas. Trata-se de um modelo simples, mas ao mesmo tempo capaz de caracterizar comportamentos complexos (e.g., Bremaud, 1999). Quando um mecanismo de controle é capaz de moldar o comportamento da cadeia, vemo-nos em face de um processo de decisão de Markov, no qual decisões são tomadas em sequência, para se moldar o comportamento da cadeia de Markov controlada. Para maiores detalhes sobre processos de decisão de Markov, recomenda-se o trabalho de Puterman (1994). Descrições detalhadas sobre cadeias de Markov e processos de decisão de Markov são apresentadas na sequência. 4.1 Cadeia de Markov Neste tópico serão apresentadas as principais definições e propriedades relacionadas a Cadeias de Markov, que servem de base para o entendimento da próxima seção, onde serão abordados Processos de Decisão de Markov. Processos estocásticos são de grande interesse porque podem descrever o comportamento de um sistema dinâmico operando ao longo de um período. De acordo com Bremaud (1999) define-se como processo estocástico uma sequência de variáveis aleatórias indexadas no tempo. A sequência de varáveis aleatórias que assume valores de um conjunto S, denominado espaço de estados, é chamada de processo estocástico em tempo discreto; diz-se que Xt = i quando o sistema está no estado i no período t. Seja um processo estocástico em tempo discreto com um conjunto enumerável de estados S. Se para todo inteiro e todos estados i 0,..., i t-1, j, P ( Xt+1 = j Xt = i, Xt-1 = it-1,..., X0 = i0) = P ( Xt+1 = j Xt = i), (4.1) sempre que os dois lados da equação estiverem bem definidos, então o processo estocástico é chamado de Cadeia de Markov. Quando o lado esquerdo da equação (4.1) independe de t, então a cadeia é dita homogênea. Esta equação traduz a chamada Propriedade de Markov, que afirma que a probabilidade condicional de qualquer evento futuro independe dos eventos passados, dado o estado presente. Por conta desta 37

49 propriedade, as cadeias de Markov possuem atualmente grandes aplicações em várias áreas, como meio ambiente (Masseran, 2015), física (Cervone et al. 2015), sociologia (Pan e Nagurney, 1994), engenharia (Spicar e Junuska, 2015), economia (Fingleton, 1997), entre outros. As probabilidades condicionais apresentadas numa cadeia de Markov são chamadas probabilidades de transição e são representadas pela matriz, sendo que pij = P ( Xt+1 = j Xt = i) (4.2) é chamado matriz de transição de probabilidade da cadeia de Markov. Essa matriz representa as probabilidades do sistema sair do estado i no período t e passar para o estado j no período seguinte. Desta forma. Se estas probabilidades se mantêm constantes para todo t, então são chamadas de probabilidades de transição estacionárias. Uma cadeia de Markov pode ser representada graficamente por meio de um grafo de transições, exemplificado na figura 6. Os estados estão dentro dos vértices e as setas indicam as probabilidades de transição entre eles. Note que neste exemplo a probabilidade, ou seja, uma vez no estado 2 não se pode passar para o estado 1 em uma única etapa. Figura 7 - Representação gráfica de uma cadeia de Markov (Bremaud, 1999) Hillier e Lieberman (2010) definem a probabilidade de transição como sendo a probabilidade de um sistema se encontrar no estado j após n-etapas, dado que ele inicia no estado i a qualquer instante t. Neste caso considera-se,. 38

50 Supondo o conjunto de estados S = {0,..., M}, para se calcular a probabilidade de transição em n-etapas, os autores apresentam as equações de Chapman-Kolmogorov: Da mesma forma apresentam que a matriz de probabilidades de transição em n- etapas uma etapa pode ser obtida calculando-se a n-ésima potência da matriz de transição em, ou seja, Os estados de um sistema podem ser classificados de acordo com suas propriedades. Antes porém tornam-se necessárias algumas definições. Bremaud (1999) define que em uma cadeia de Markov um estado j pode ser chamado de acessível pelo estado i se para algum, e que eles se comunicam se o estado j for acessível a partir do estado i e o estado i for acessível a partir do estado j. Pelas equações de Chapman-Kolmogorov decorre que se o estado i se comunica com estado k e o estado k se comunica com o estado j, então o estado i se comunica com estado j. Separando em conjuntos fechados os estados que se comunicam, os estados podem ser subdivididos em classes distintas. Se existir uma única classe, ou seja, todos os estados se comunicarem, a cadeia de Markov é dita irredutível. Dadas as características de comunicação entre os estados, podemos classificá-los da seguinte forma: Estados transientes: estados com possibilidade de jamais serem visitados novamente, ou seja, o numero de visitas será finito. Um estado i é dito transiente se, e somente se, existir um estado j i que seja acessível de i, mas não contrário. Estados recorrentes: estados em que, uma vez estando nele, o processo com certeza retornará novamente. Um estado é recorrente se, e somente se, não for transiente. Um tipo especial de estado recorrente são os estados absorventes, para os quais a probabilidade. Se houver dois números consecutivos t e t+1 tais que o processo possa se encontrar no estado i nos instantes t e t+1, o estado é dito como tendo período 1 e é denominado estado aperiódico. Em uma cadeia de Markov de estado finitos, os estado recorrentes que forem aperiódicos são denominados estados ergódicos. Uma importante propriedade duradoura de uma cadeia de Markov, que seja tanto irredutível como 39

51 ergódica, é que as probabilidades de transição em n-etapas convergirão para probabilidades de estado estável à medida que n cresce. Isto significa que quando n for relativamente grande, a probabilidade de se encontrar em determinado estado independe do estado inicial do sistema. 4.2 Processos de Decisão de Markov Todos os dias muitas decisões precisam ser tomadas com objetivo de se alcançar um resultado melhor para o sistema. Para se tomar decisões é preciso conhecer o estado atual do seu sistema da forma mais detalhada possível, assim como os impactos que suas decisões irão causar a ele. Muitas vezes mapear o estado presente pode não ser algo tão difícil, mas os impactos das ações dependem de fatores externos que na maioria das vezes fogem do alcance do decisor. As incertezas referentes ao ambiente de negócios e aos processos estão cada vez mais presente em estudos que envolvem aplicação de modelos matemáticos, como foi mencionado na seção 2.1. Nesta seção será apresentado um modelo para tomada de decisões em sequência sob incerteza, levando em conta tanto os impactos imediatos como futuros das ações escolhidas ao longo dos períodos. Puterman (1994) descreve o modelo probabilístico de decisão sequencial da seguinte forma: A cada período de decisão, o estado atual do sistema provê todas as informações necessárias para que o tomador de decisão escolha uma ação do conjunto de ações possíveis. Como resultado desta escolha duas coisas acontecem: o decisor recebe um retorno e o sistema possivelmente evolui para um outro estado no próximo período de decisão. Tanto o retorno quanto a probabilidade de transição dependem do estado atual e da ação escolhida. Ao longo do tempo, o decisor receberá uma sequência de retornos. Uma política corresponde a uma sequencia de decisões a serem tomadas em vários períodos. O objetivo do problema é escolher a política que apresente o maior retorno para o decisor com base no estado atual do sistema. Este tipo de problema de decisão, é chamado Processo de Decisão de Markov (PDM). Sob condições gerais, a política ótima é estacionária e prescreve uma única ação a ser tomada toda vez que o sistema visite um dado estado. Uma vez escolhida uma política estacionária, que prescreve uma única ação para cada estado, o sistema se comporta como uma cadeia de Markov, conforme visto na seção anterior. 40

52 4.2.1 Estrutura de um Processo de Decisão de Markov Um modelo de Processo de decisão de Markov (PDM) consiste em cinco elementos, como Puterman (1994) apresenta em seu trabalho. Estes elementos são descritos da seguinte forma: Períodos de decisão: Todas as decisões são tomadas em algum instante de tempo, o qual denominamos período de decisão. Estes períodos podem ser discretos ou contínuos, finitos ou infinitos, e são representados pelo conjunto T. Quando os períodos são discretos, as decisões são tomadas no inicio de cada período; quando são contínuos, podem ser tomadas em instantes aleatórios, em função de algum acontecimento ou em qualquer tempo escolhido pelo decisor; Conjunto de estados: Denotado por S, corresponde a todos estados que o sistema pode ocupar. Este conjunto representa todas características que o decisor precisa conhecer do sistema para escolher a decisão adequada. Assume-se que ele não varia com o tempo, podendo ser finito ou infinito enumerável (discreto). Outros casos podem ocorrer mas não serão abordados aqui. Conjunto de Ações: Em cada período, o sistema ocupa um estado e o decisor deve escolher uma ação pertencente ao subconjunto de ações possíveis para o estado s. O conjunto de todas as decisões possíveis pode ser representado por. As ações podem ser escolhidas de forma determinística ou aleatória. Neste ultimo caso deve-se considerar uma probabilidade de que a ação seja selecionada. Probabilidades de Transição: A distribuição de probabilidade determina qual estado o sistema ocupará no próximo período de decisão. Para um sistema no estado no período, quando a ação é tomada, indica a possibilidade do sistema evoluir 41

53 para o estado no período. Tratando-se de probabilidade, sabe-se que. Função de Retorno: Como resultado da escolha de uma ação no estado e no período, temos a mudança do sistema para um novo estado determinado por uma probabilidade de transição e uma recompensa imediata caracterizada pela função. Quando uma recompensa depende do estado que o sistema ocupará no período de decisão seguinte, então escreve-se e o valor esperado no momento de decisão pode ser mensurado com a seguinte expressão: Desta forma caracterizamos um Processo de Decisão de Markov (PDM) pela seguinte tupla PMD = (T, S, A, Pr, R), na qual Pr e R representam as funções de probabilidade de transição e de retorno, respectivamente. Sendo o conjunto de todas possíveis políticas, uma política é uma função, que define para cada estado uma regra de decisão a ser adotada. Uma política pode ser classificada quanto à sua relação com as épocas de decisão, como estacionária se a ação recomendada independe da época de decisão e não-estacionária, se a ação tomada depende da época de decisão. Uma política pode ainda ser determinística, quando a cada estado sempre corresponde uma única ação ou não-determinística (randomizada ou estocástica), quando cada estado pode adotar um conjunto de ações, cada uma delas com uma probabilidade de ser escolhida. O objetivo de um PDM é proporcionar uma política ótima para o decisor, que garanta o maior retorno possível. Para comparar duas políticas é necessário definir um critério de desempenho, também chamado de critério de otimalidade. A formulação mais comum para o critério de otimalidade é a soma descontada esperada ao longo do horizonte de tempo determinado, que pode ser finito ou infinito. Logo, para uma política estacionária, com S discreto, com uma função de retorno limitada e considerando horizonte infinito, temos que: 42

54 corresponde ao retorno total descontado esperado de uma política estacionária, sendo o fator de desconto, de forma que. Usando este critério de otimalidade e sendo A finito é possível demonstrar que para um PDM com horizonte infinito, sempre existe uma política ótima que é estacionária e determinística. Provas destas duas proposições podem ser encontradas no livro de Puterman (1994 página 154), para o caso em que S é finito. Para modelos com horizonte de tempo infinito, são chamadas de equações de otimalidade ou equações de Bellman, o seguinte sistema de equações: Uma política é considerada uma política ótima se, e somente se, for solução da equação de otimalidade. Desta forma, temos que Algoritmos para resolução Uma variedade de métodos foram desenvolvidos ao longo dos anos para resoluções de Processos de Decisão de Markov. Entre estes, métodos exatos que trabalham com programação linear e com a estrutura de programação dinâmica. Estes últimos serão o foco deste trabalho e desta forma serão apresentados dois métodos disponíveis mais influentes e comuns iteração de valor e iteração de política com comentários sobre as modificações para melhoria da sua eficiência. Em seguida serão apresentadas algumas referências de pesquisa de métodos desenvolvidos com base nestes algoritmos, e em outros cujos resultados também apresentaram bons desempenhos. 43

55 a. Iteração de Valor Primeiramente proposto por Bellman (1957), esta abordagem também pode ser chamada de aproximações sucessivas, iteração pre-jacobi, indução retroativa, ou até mesmo como programação dinâmica propriamente dita (Puterman, 1994). Conceitualmente o algoritmo é simples e de fácil implementação. Através de iterações sucessivas, o algoritmo calcula o valor de cada estado usando o valor dos estados adjacentes até a convergência, ou seja, quando o incremento de valor entre duas iterações consecutivas é menor do que uma determinada tolerância. Quanto menor esta tolerância maior a precisão dos resultados. Os passos do algoritmo são apresentados abaixo. Algoritmo iteração de valor Selecionar, especificar, e ajustar n = 0. Para cada, computar como: Se, Então seguir para o próximo passo. Caso contrário, incrementar 1 unidade em n e retornar à etapa 2. Para cada, escolher uma regra de decisão d de tal forma que: Parar. Nesta versão básica do algoritmo, Puterman (1994) mostra que para próximos de 1 a convergência deste algoritmo pode ser bem lenta. Algumas técnicas para melhoria da convergência são apresentadas por ele, baseadas numa decomposição do problema baseada numa divisão regular (Gauss-Seidel, Jacobi, etc) ou ainda associadas a uma super-relaxação. 44

56 b. Iteração de Políticas Hillier e Lieberman (2010) apresentam de uma forma clara o algoritmo de iteração de políticas. Diferente do anterior, que focava numa melhoria da função de valor a cada iteração, este analisa diretamente as políticas e basicamente é separado em dois passos: avaliação da política, na qual se calcula o seu valor para cada estado, e a melhoria da política, que atualiza a política de acordo com melhores ações disponíveis. Desta forma as etapas deste algoritmo são: Algoritmo iteração de políticas 1. Selecionar aleatoriamente uma política, e ajustar n = Para a política resolver o sistema de equações: 3. Utilizando os valores atuais de, achar uma política, mantendo sempre que possível a ação atual, tal que para cada, selecione-se uma ação que 4. Se, parar. Então é uma política ótima. Caso contrário, retorne ao passo 2 incremente uma unidade ao n. O algoritmo apresenta sempre um, além disso fornece um número finito de iterações para os casos em que o problema apresenta quantidade de estados e ações finitas. Este algoritmo é mais eficiente que o iteração de valor, conseguindo chegar numa solução ótima em menos iterações. Ainda assim, para uma quantidade grande de estados, a avaliação das políticas torna-se computacionalmente inviável. Puterman (1994) apresenta também um algoritmo de iteração de políticas modificado, que converge com menos iterações do que o tradicional. O algoritmo modificado não computa a função valor exato a cada passo, mas usa uma 45

57 aproximação (que é suficiente para escolher a melhor ação no passo de melhoria). A solução do sistema linear no passo 2 é trocada por uma variante de iteração de valor com política fixa e tolerância arbitrária. Para problemas muito grandes, normalmente quase todos os problemas reais, a chamada maldição da dimensionalidade afeta os PDMs, principalmente nos três níveis referentes às dimensões do espaço de estados, espaço de decisões e espaço das saídas. Uma classe de algoritmos para tentar lidar com isso é chamada de Programação Dinâmica Aproximada, ou ADP de acordo com a sigla em inglês. Powell e Roy (2004) utilizam esta abordagem para modelar um problema de alocação dinâmica de recursos de elevadas dimensões, no qual a essência é substituir cada função de valor denominada por por uma arquitetura de aproximação, isto é, uma família de funções parametrizadas por um vetor de valores reais, na qual cada é uma função de mapeamento de estados para valores reais. Aproximação da função de valor envolve escolher uma arquitetura apropriada e depois computar os parâmetros de forma que. Esta aproximação deve representar bem a estrutura do problema a ser estudado, caso contrário a aplicação de programação dinâmica aproximada pode não funcionar de forma apropriada, ou até mesmo amplificar os desafios computacionais. Neste trabalho os autores mencionam duas classes de arquiteturas que têm sido aplicadas com sucesso em problemas de transporte: arquiteturas lineares e arquiteturas côncavas separáveis. Bertesekas (2011) apresenta uma pesquisa a respeito da utilização de aproximações e simulações no clássico algoritmo de iteração de políticas com objetivo de tentar lidar com o problema da maldição da dimensionalidade. São estudados duas formas principais de abordagens para avaliação de políticas: equações projetadas e diferença temporal, e agregação. Neste trabalho se conclui que de uma forma geral os métodos com base na abordagem de agregação possuem comportamento mais estável e menor dificuldades relacionadas com a exploração, porém são limitados nas escolhas de funções de base que podem usar, podendo ser uma limitação importante para alguns problemas. Dentro desta esfera uma técnica que foi desenvolvida por Barto et al. (1995) chama-se Real-Time Dynamic Programing, ou RTDP. O algoritmo RTDP é baseado em programação dinâmica, busca heurística e amostragem. Uma heurística é uma função que estima a recompensa acumulada esperada de um estado. É dita uma heurística admissível se não subestima a recompensa ótima, ou seja 46

58 . O algoritmo inicia com uma função valor baseada em uma heurística admissível e prossegue melhorando a estimativa repetidamente até que a política gulosa, seja ótima e fechada em relação a Uma política é ótima e fechada em relação a um estado inicial se a função valor dessa política satisfaz a equação de Bellman em todos estados alcançáveis a partir de segundo a própria política. Para melhorar a sua estimativa, o algoritmo RTDP realiza simulações (trials) de sequências de execução de ações partindo do estado inicial e sorteando os próximos estados de acordo com a ação gulosa segundo a função valor atual. Os estados percorridos pelos trials têm seus valores atualizados de acordo com a atualização de Bellman. Alguns variações do RTDP foram desenvolvidos com objetivo de eliminar a dificuldade deste em verificar a sua convergência, e assim evitar atualizar inutilmente valores de estados que já convergiram, com por exemplo Labeled RTDP (LRTDP) (Bonet e Geffner, 2003) e Bounded RTDP (BRTDP) (McMahan et al., 2005). Muitas outras técnicas foram desenvolvidas para lidar com as questões de dimensionalidade dos problemas modelados como Processos de Decisão de Markov e tornar possível a implementação de casos mais reais. A que será utilizada para resolução do problema proposto neste trabalho será o tema da próxima seção. 4.3 O Algoritmo de Agregação Temporal Como visto na seção anterior, a maioria dos problemas reais possuem dimensões que tornam sua resolução pelos métodos tradicionais (iteração de valor e iteração de política) impossível. Desta forma, baseado no trabalho de Cao et al (2002), o método de agregação temporal foi escolhido para resolução do problema abordado neste trabalho. O principal objetivo da agregação é reduzir o conjunto de estados agregando os estados originais em um conjunto mais fácil de gerenciar, mantendo sua propriedade markoviana. Supondo que apenas uma parte pequena dos seus estados são controláveis, ou seja, um número grande de estados possuem apenas uma ação possível, a ideia principal é gravar o estado toda vez que a cadeia de Markov se apresentar neste subconjunto pequeno de estados controláveis. A sequencia resultante se torna uma nova cadeia de Markov, denominada Cadeia de Markov imersa, que agrega a função de desempenho da cadeia original no segmento entre os dois ponto desta nova cadeia. Assim converte-se o problema da cadeia original no mesmo problema para a cadeia imersa, porém com um número muito menor de estados. O método de agregação 47

59 temporal também foi utilizado por Arruda e Fragoso (2015) para resolução de um problema de produção e estoque, e com base nestes trabalhos serão apresentados os principais conceitos deste método. Considerando um Processo de Decisão de Markov homogêneo e discreto com um conjunto de estados S finitos e possivelmente muito grande, A(i) representa o conjunto de ações possíveis para o estado i e ; é a probabilidade da cadeia sair do estado i para o estado j aplicando-se uma ação de controle A(i). Da mesma forma que em (Cao et al., 2002) assume-se que o processo é ergódico sob todas as políticas possíveis. Desta forma temos que o custo médio de longo prazo é dado pela equação assumindo-se que o processo evolui sob a política de controle, sendo a função de desempenho que representa o retorno por um único período da cadeia de Markov controlada. Uma vez que a cadeia é ergódica, temos que este custo é independente do estado inicial. Sob o mesmo argumento, temos que sendo o vetor de probabilidades estacionárias para todos os estados i. O objetivo então é achar uma política ótima tal que. A função valor para uma política de um PDM é uma função de tal forma que o custo médio de longo prazo desta política pode ser obtido resolvendo-se a Equação de Poisson, como descrito em Puterman (1994): Para aplicar a agregação temporal, seleciona-se um subconjunto. De acordo com Arruda e Fragoso (2015), este subconjunto é normalmente um grupo pequeno de estados mais importantes do sistema sob o ponto de vista de controle ou aqueles estados que espera-se serem visitados mais frequentemente sob alguma política. Para os demais estados pertencentes ao complementar F c, define-se uma política externa como o conjunto de ações prescritas pela política para todos estes estados. Esta escolha normalmente esta relacionada com o conhecimento do decisor 48

60 sobre o problema e sua sensibilidade. O objetivo então torna-se maximizar o retorno médio, sujeito a uma política pré-definida A política, então resultado do problema, denota o controle que será exercido nos estados que pertencem a F, de tal forma que. Suponha uma trajetória da Cadeia de Markov, com X 0. Sendo t 0 = 0 e t i = min { t > t i-1, X t }, i = 1, 2,... uma representação de todas as vezes que o processo visita o subconjunto F, temos que forma uma cadeia imersa de Markov, que também é ergódica. Esta cadeia então guarda as informações das sequências de visitas da cadeia original ao subconjunto F, e os segmentos são compostos por todos os estados que foram visitados entre duas chegadas no subconjunto F. O segmento correspondente ao estado é então e o custo esperado deste segmento que se inicia no estado sob uma ação, é Para os casos em que representa o tamanho do segmento Y i, i.e. o intervalos entre duas visitas a F a partir de i. Denominando como a probabilidade de estado estacionária para a cadeia imersa de Markov, de acordo com Cao et al (2002) temos que: (4.10) sendo os vetores colunas com os respectivos valores individuais de e, e que representa o comprimento médio dos segmentos que compõem esta cadeia. Se a nova função de desempenho for definida para a cadeia imersa desta forma 49

61 temos que esta cadeia possuirá o mesmo custo médio de longo prazo que a original. O valor desta função de desempenho para cada estado pertencente a F representa de fato uma média dos valores do segmento Y correspondente. É como se todo o segmento fosse imerso em um único ponto e estas informações fossem então guardadas e suas propriedades mantidas (figura 7). S F Figura 8 - Representação gráfica da cadeia imersa de Markov As probabilidades de transição desta nova cadeia sob uma política expressas pela seguinte matriz: podem ser onde temos as transições entre estados que pertencem aos grupo F e seu complementar (, e ainda as transições internas a estes dois subconjuntos (. As probabilidades e são fixas pois os estados pertencentes a F c não são controláveis. Ainda assim, calcular exatamente todas as transições para cada par de estado-ação apresenta uma tarefa praticamente impossível para problemas muito grandes. Porém o maior obstáculo constatado por Cao et al (2002) é a dependência entre e o tamanho médio dos segmentos, pois isto depende de ações tomadas em estados que não sejam o próprio i. Desta forma os autores apresentam uma nova função de desempenho, que retornará a mesma política ótima como resultado: 50

62 sendo um parâmetro real que será refinado a cada iteração até o custo médio do PDM modificado convergir a zero. Quando isto acontece, o parâmetro será igual ao custo médio do problema original. Desta forma, a equação de Poisson pode ser escrita no domínio da agregação temporal. Supondo então, temos: Assim, a política ótima expressa por o caso de uma maximização do resultado: será determinada pela seguinte expressão para Técnicas de simulação são também apresentadas para calculo das e dos estados que não são controláveis e serão aplicadas neste trabalho, a serem detalhadas mais posteriormente. 51

63 5. MODELAGEM E SOLUÇÃO DO PROBLEMA PROPOSTO Este capítulo tem por finalidade apresentar toda modelagem e solução proposta para resolução do problema apresentado na seção 3. O objetivo macro do trabalho é elaborar o planejamento da cadeia de suprimento de uma empresa de óleo e gás que atua no setor de downstream, utilizando para isto uma ferramenta consistente que auxilie o gerenciamento de decisões em busca do melhor resultado financeiro. Para isto torna-se fundamental a incorporação de incertezas associadas a esta cadeia, permitindo que a análise fique mais robusta e precisa. Com base nisso, este problema foi modelado como um Processo de Decisão de Markov (PDM) em tempo discreto e com horizonte infinito. O modelo proposto é baseado na formulação de problemas de controle de estoques para vários produtos, sem atrasos e com prazo de entrega determinístico. A elaboração do planejamento engloba os 12 meses subsequentes, logo o período considerado para tomadas de decisão será o mês, considerando sua extensão de 30 dias. De forma resumida, os acontecimentos se desenrolam da seguinte forma: no início de cada período o gestor recebe as informações dos estoques de abertura, previsões de demanda e previsão de produção de petróleo para os 30 dias subsequentes. Com base ainda nas informações circunstanciais do negócio (época de sazonalidade dos produtos e situação da margem de refino mundial) as decisões referentes às operações de produção, importação e exportação são tomadas. Ao final da primeira quinzena do mês todas as cargas de importações já devem estar a caminho, de forma que a chegada do produto ocorra dentro do período corrente (o tempo de viagem dependerá da origem do produto, considerando variações entre 15 e 30 dias). Os produtos que estão em trânsito, então, são considerados para contabilização do estoque do mês corrente. As exportações ocorrem ao longo de todo o mês e o produto deixa de estar disponível assim que carregado para o cliente. A demanda e a produção de petróleo se realizam ao longo do período, e a contabilização do estoque final se dá ao final do último dia do mês. Neste momento, o gestor recebe as novas informações, e o ciclo recomeça. Uma vez que as decisões dependem exclusivamente do estado atual que o sistema se encontra, e as probabilidades de transição para os demais estados independem da trajetória percorrida para se chegar até as condições atuais, o problema se caracteriza como um Processo de Decisão de Markov. Cabe ao gestor encontrar uma melhor política para 52

64 cada estado que o sistema se encontre, de forma a maximizar o resultado esperado ao longo do horizonte de decisão. Para facilitar o entendimento do problema, será definido o conjunto de todos os produtos como com cada elemento representando respectivamente: petróleo importado, petróleo ratcraq, petróleo base, gasolina/nafta, diesel, GLP, querosene e escuros. O subconjunto ={4, 5} contém então os elementos diesel e gasolina/nafta (chamado a partir de agora apenas de gasolina), o subconjunto {1, 2, 3} contém os petróleos importado, base e ratcraq, e o subconjunto {6, 7, 8} contém os demais elementos, de tal forma que, e. O capítulo está organizado da seguinte forma: primeiramente serão apresentados os parâmetros de entrada determinísticos e estocásticos no item 5.1, em seguida a caracterização do Processo de Decisão de Markov será feita no item 5.2, com a descrição de todos seus elementos. Finalmente, na seção 5.3 será apresentada o algoritmo de Agregação Temporal e a solução do problema. 5.1 Parâmetros de Entrada Nesta seção serão apresentados todos os parâmetros necessários para entendimento do equacionamento do problema. Eles serão divididos em parâmetros estocásticos e determinísticos. As variáveis de estado e decisão serão apresentadas na sequência. Para os dados que representam volume, a unidade mil m 3 foi adotada em toda modelagem. Para aqueles que se referem a valores financeiros, será utilizada uma unidade monetária fictícia, denominada como u.m.f Parâmetros estocásticos Duas incertezas são abordadas em grande parte dos trabalhos referentes a cadeias de suprimento de empresas de petróleo: demanda e preços de petróleo (Sahebi et al., 2014). Além destas, este trabalho considerará também a incerteza na produção de petróleo nacional, em linha com os trabalhos de Oliveira (2014) e Senne (2009). Os preços serão tratados como variáveis de estado e serão apresentados no item 5.2. De todos os grupos de derivados de petróleo que são gerados a partir de um processamento desta matéria-prima, apenas as demandas referentes ao grupo diesel e gasolina serão tratadas como variáveis aleatórias. As demais GLP, querosene e escuros serão 53

65 determinísticas. As incertezas de demanda e produção nacional de petróleo foram caracterizadas pelo erro relativo das previsões, de acordo com a equação (5.1), descrita abaixo. Para tal considera-se o valor da previsão calculado no mês anterior ao mês de referência e o valor realizado deste mês em uma série histórica suficientemente grande, para cada produto individualmente. A variável aleatória então é definida por: Para definir as funções de distribuição de probabilidade com base neste histórico para cada produto foi utilizado a funcionalidade Distribution Fitting do versão 7.5. As distribuições de probabilidade do Erro então encontradas para demanda de diesel, gasolina e produção nacional foram discretizadas em M intervalos, de forma que com y representando as possíveis observações da variável aleatória em questão. Com estas distribuições definidas, o erro então é aplicado em cima de um valor de referência, que é a previsão mais atual das demandas ou da produção de petróleo que o gestor irá receber no início de cada ciclo. O objetivo então é, com base numa previsão determinística, avaliar quais a realizações possíveis para as variáveis aleatórias que representam as demandas (D x ) e produção (F), de forma que p(d) = P(D x = d) e p(f) = P(F = f). Supondo que a previsão de demanda do produto x para um patamar de sazonalidade específico (assunto será abordado na seção 5.2.) seja definido por uma constante K, então o valor esperado da demanda neste patamar em questão será: Da mesma forma para a produção de petróleo, porém neste caso apenas um patamar será considerado e apenas um produto em questão (produção de petróleo nacional), definimos a previsão por Z, logo: 54

66 5.1.2 Parâmetros Determinísticos Os dados que não serão tratados como estocásticos serão apresentados nesta seção. Os valores utilizados para cada parâmetro serão apresentado posteriormente no capítulo 6, juntamente com a apresentação dos resultados. Em x volume mínimo que o estoque do produto x poderá assumir de acordo com restrições operacionais; Ex x volume máximo que o estoque do produto x poderá assumir tancagem disponível; EmP volume mínimo que o somatório dos estoques de petróleos do tipo base e ratcraq podem assumir de acordo com restrições operacionais; ExP volume máximo que o somatório dos estoques dos diferentes tipos de petróleos podem assumir de acordo com tancagem disponível; Prc volume de produção de petróleo do tipo ratcraq disponível para processamento neste subsistema mensalmente. Este valor é determinístico, pois capacidade de processamento é muito pequena perto da produção total deste tipo de óleo. Assume-se como variável estocástica apenas a produção do petróleo do tipo base; Pxp volume máximo que poderia ocorrer de produção de petróleo, de acordo com distribuição assumida no item anterior; Dm x baseado no patamar de sazonalidade e curva de distribuição das demandas, volume mínimo que poderia ocorrer de demanda do derivado x; Dx x baseado no patamar de sazonalidade e curva de distribuição das demandas, volume máximo que poderia ocorrer de demanda do derivado x; Dd x volumes de demanda dos produtos x, referentes apenas a GLP, querosene e escuros; Cr x custo de processamento do petróleo do tipo x. Baseado no consumo de utilidades, catalisadores, hidrogênio e qualquer outro insumo necessário para processar um petróleo. Não contempla o custo da matéria-prima em si; 55

67 Ce x custo de armazenagem e estocagem do produto x. Este custo pode ser baseado no custo de aluguel dos espaços, manutenção dos tanques, seguro do produto, ou apenas no custo financeiro de estoque imobilizado; Cp x custo associado a perda de um produto por falta de espaço nos tanques de armazenagem. Os custos decorrentes representam principalmente o aluguel de navio tanque para que sirva de armazenagem flutuante. No caso de petróleos podem até representar os prejuízos envolvendo uma parada de produção da plataforma devido a elevado estoque; Cf x custo associado à falta de um produto para atender uma demanda obrigatória ou retornar a um nível mínimo de estoque operacional. Este custo reflete uma compra urgente no mercado, normalmente a preços muito mais altos do que o preço médio do mercado; Pr x (v) preço médio de importação ou exportação do produto x, em função do volume v a ser comercializado. No caso de uma importação, representa o custo de aquisição do produto no terminal nacional, também chamado de preço CIF (cost, insurance and freight). Isto significa que este valor inclui além do valor do produto as parcelas de frete, seguros, despesas portuárias e qualquer outro custo que incida sobre o produto até que ele seja entregue no local disponível para uso. A função do preço médio de importação é uma função crescente. Isto porque a primeira carga importada será realizada em cima da oferta mais barata, e a medida que mais cargas são negociadas, as ofertas são cada vez menos atrativas e o preço médio então se eleva. Quando referente a uma exportação, o preço representa o preço médio do produto no local de expedição, antes de qualquer incidência de custos, também chamado de preço FOB (free on board). Isto significa que este valor não inclui as parcelas de frete, seguros, despesas portuárias e qualquer outro custo que incida sobre o produto até que ele seja entregue para o cliente. A função do preço médio de exportação, ao contrário da importação, é uma função decrescente. Isto porque a primeira carga exportada será realizada em cima da oferta mais cara, e a medida que mais cargas são negociadas, as ofertas são cada vez menos atrativas e o preço médio então reduz; Pv x preço de venda no mercado interno referente ao produto x. L quantidade máxima de navios que podem ser operados em um terminal no período de um mês. I representa o intervalo que um valor de estoque representa, uma vez que estes 56

68 valores foram discretizados. R p,x rendimento volumétrico do petróleo p no derivado x quando processado na refinaria, de tal forma que O rendimento pode ser maior que 1 devido a uma expansão volumétrica que ocorre em alguns processos em função da quebra das moléculas de hidrocarboneto em moléculas menores. 5.2 Estrutura do PDM Como apresentado no capítulo 3, um Processo de Decisões de Markov é caracterizado por cinco elementos, sendo eles: período de decisão, conjunto de estados, conjunto de decisões, probabilidades de transição e função de retorno. O período de decisão considerado será discreto (mensal) e o horizonte infinito; os demais elementos serão mais detalhados a seguir. O critério de otimalidade será o custo médio esperado e será apresentado junto com algoritmo de Agregação Temporal no tópico Conjunto de Estados O conjunto engloba todas os possíveis estados que o sistema pode se encontrar durante uma observação do processo estocástico em um período. Para o problema em questão, cada estado é composto por oito variáveis distintas separadas em três tipos: patamar de sazonalidade, patamar de preço e estoque. Conforme descrito na seção 3, os derivados diesel e gasolina são responsáveis pela maior parte das vendas, tanto em volume quanto em receita, tornando-se os principais direcionadores das tomadas de decisões. Neste contexto, apenas estes produtos junto com os tipos de petróleos serão representados nas variáveis de estado, quando aplicável. Sendo assim, as variáveis de estado que compõem o estado s, denominadas por s 1,..., s 8, são: patamar de sazonalidade de diesel, patamar de sazonalidade de gasolina, patamar de preço de petróleo, estoque petróleo tipo importado, estoque de petróleo tipo ratcraq, estoque de petróleo do tipo base, estoque de diesel e estoque de gasolina. Estas variáveis serão 57

69 detalhadas a seguir. a) Patamar de Sazonalidade (s 1 e s 2 ): Este patamar representa o nível previsto de demanda que o estado se encontra, em funções de sazonalidades observadas ao longo de um período de 12 meses. No Brasil, a sazonalidade do diesel está relacionada principalmente com as épocas de safra dos grãos, e a da gasolina com a safra do álcool e época de férias escolares. Como pode ser observado na figura 8, para um mesmo ano os níveis de venda podem variar em quantidades significativas, isto é, não trabalhar com diferentes níveis de demanda poderia embutir erros grosseiros no modelo, dado o caráter estrutural deste parâmetro. Figura 9 - Vendas Brasil de Diesel e gasolina (Fonte: ANP) Apesar das fortes relações com épocas específicas do ano, os picos e vales de demanda nem sempre se comportam como esperado, como em 2010 e 2011 por exemplo (variações climáticas imprevisíveis a longo prazo alterando época de colheita e variações da oferta de etanol no mercado nacional justificam grande parte deste comportamento). Em verdade, praticamente todo ano alguma interferência deste tipo ocasiona deslocamentos ao longo do horizonte. Pela complexidade em se obter uma relação de condicionalidade entre estes produto, optou-se por tratar estas variáveis como independentes. Como foi mencionado no item , cada patamar de sazonalidade possui uma demanda de referência associada. De acordo com as distribuições do erro de cada 58

70 produto x em relação à previsão, pode-se então calcular para cada patamar os valores possíveis de realização da demanda, d x,. Para avaliar a quantidade N de patamares a serem trabalhados por produto, o gestor pode se basear nas séries históricas, na previsão que possui para os meses subsequentes, ou em ambas. As probabilidades de transição entre os patamares podem ser calculadas de acordo com a quantidade de meses observada em cada nível. Por exemplo: baseado nos dados da previsão, constata-se que um produto possui dois patamares relevantes que expressam a sua sazonalidade, de forma que ao longo de doze meses, três deles são passados em um patamar, e nove no outro. Sendo assim, a matriz de probabilidades de transição seria expressa como a tabela abaixo: Tabela 3 - Exemplo matriz de transição de patamar de sazonalidade Patamares /3 1/3 2 1/9 8/9 Essa simplificação foi adotada para o estudo para representar a dinâmica do processo, no entanto pode não ser capaz de capturar todos os movimentos possíveis de serem realizados embutindo algum erro na análise. b) Patamar de Preço de Petróleo (s 3 ): Um parâmetro importante para tomada de decisões referentes às trocas entre derivados e petróleo é o que se chama de crack do derivado, definido pela diferença entre o seu preço de venda e o preço de venda do petróleo, usando uma mesma região como referência. Em algumas épocas do ano estes cracks aumentam ou reduzem, sejam por questões circunstanciais (nível de estoque nos países ao redor do mundo, por exemplo) ou estruturais (estação do ano ou férias escolares), que refletem no equilíbrio entre oferta e demanda mundial. Cada produto possui características peculiares do seu mercado e representar todas as relações entre derivados x derivados, petróleo x petróleo e petróleo x derivados seria efetivamente muito complexo. Neste trabalho, definiu-se por abordar apenas a variação dos petróleos x derivados, mantendo-se as demais relações constantes. Esta diferença é também conhecida com a margem de refino 59

71 teórica. Margens mais elevadas tendem a reduzir as importações de derivados e as exportações de petróleo, e o contrário ocorre quando as margens estão mais baixas. Em um processos de rotina, este dado deve ser gerado a cada atualização do planejamento, de acordo com as previsões existentes para o momento da tomada da decisão. Os preços de importação e exportação de petróleos foram definidos de acordo com o patamar de preço, os demais preços são determinísticos variando apenas com as quantidades, como visto no item anterior. c) Estoques (s 4 a s 8 ): Os estoques representam a quantidade de produto disponível para ser utilizado ao longo de um período, levando em conta os estoques em mãos e em rânsi o para importação. Os níveis de estoque estão associados às variáveis aleatórias de demanda ou produção de petróleo, e ainda às decisões que envolvem a política adotada. Serão considerados para derivados os estoques de diesel e gasolina, e petróleos os tipos base, importado e ratcraq. São considerados patamares mínimos de estoque por tipo de produto, que representam o menor volume operacional possível associado ao lastro existente; abaixo destes níveis é necessário um esforço rápido de recomposição. O limite máximo representa a tancagem disponível para movimentação do produto. Como estamos tratando de um problema com conjunto finito de estados, as possibilidades de estoque foram discretizadas, ou seja, cada valor possível desta variável representa uma faixa de estoque de acordo com tipo de produto. Algumas restrições com relação à operação da tancagem foram embutidas. Para facilitar a descrição das equações, será utilizada a nomenclatura como sendo a variável que representa o estoque do produto x no período t. Temos, então, as seguintes restrições: sendo 60

72 A equação (5.6) representa os níveis mínimo e máximo de operação para diesel e gasolina. A equação (5.7) representa o nível mínimo de operação de petróleo considerando-se apenas os óleos nacionais, isto porque o petróleo importado é injetado em frações pré-definidas na carga total, logo seu processamento é restrito. A equação (5.8) representa a singularidade dos petróleos na armazenagem, sem que seja permitido a mistura de tipos diferentes, porém se para um determinado tipo o estoque for equivalente a zero, este tanque será disponibilizado para outro tipo. Como o petróleo ratcraq é consumido por batelada (também utiliza-se o termo campanha ) equivalente ao tamanho do lote (o lote do petróleo corresponde ao volume total do tanque disponível para ele), e apenas uma campanha é permitida por período, seu processamento corresponderá a 0 ou 100% do estoque. O mesmo não ocorre para o petróleo importado, logo uma vez que o tanque esteja ocupado por ele, mesmo não estando na capacidade máxima, o volume restante não poderá ser disponibilizado para os demais óleos. Quando ambos os petróleos não tiverem disponíveis em estoque, estes tanques podem então ser usados para armazenar petróleo do tipo base. O mesmo não acontece para diesel e gasolina, por questões de contaminação dos produtos Conjunto de Ações Para cada estado existe um conjunto que representa as ações possíveis a serem tomadas neste estado, sendo o conjunto de todas ações possíveis. Cada ação corresponde a um vetor com os seguintes elementos respectivamente: refino total, refino de óleo importado, refino de óleo ratcraq, importação de petróleo, exportação de petróleo base, exportação de óleo ratcraq, importação de diesel e exportação de gasolina. O refino total corresponde à carga total da refinaria para um período (no caso considerado 30 dias), considerando os três tipos de petróleos a serem processados. O refino de óleo importado indica o percentual deste óleo que será injetado na carga, dentro de uma faixa específica que não ofereça problemas operacionais. O refino de petróleo ratcraq indica se terá ou não campanha deste óleo no período, e o refino de petróleo do tipo base é obtido pela diferença entre o total e todas demais parcelas. As decisões de importação e exportação de todos produtos correspondem às quantidades de navios que serão movimentadas multiplicadas pelo seu tamanho de navio típico. Para definição do conjunto de ações possíveis teremos as restrições apresentadas a seguir. 61

73 Balanço de petróleos sendo A equação (5.9) apresenta o balanço de petróleo importado, de forma que não sejam planejados sobras de produto e nem refino maior do que a sua disponibilidade. Similarmente, a equação (5.10) apresenta o mesmo balanço para o petróleo do tipo ratcraq, contando com uma produção mensal estável. No caso do petróleo do tipo base, existe uma incerteza com relação à produção. Neste caso, a restrição (5.11) coloca uma situação limite onde as decisões de refino e exportação deste produto não devem ser maiores do que a sua disponibilidade, numa situação de produção máxima possível. De acordo com ação a definida, a produção para cada derivado será calculada de acordo com a equação: Utilizando a equação anterior, temos então: Balanço de Derivados A equação (5.13) se refere à gasolina e a (5.14) ao diesel, e ambas restringem as ações de modo que a disponibilidade do produto sempre atenda a menor demanda possível, e não seja maior que a maior demanda possível somada à capacidade de estoque. As constantes são retiradas dos limites da distribuição das variáveis aleatórias de Demanda (em função do patamar que o estado se encontre) e Produção de Petróleo. Capacidade de movimentação no Terminal de Derivados A análise do problema em si, aliada ao conhecimento do gestor, podem 62

74 restringir ainda mais estes conjuntos, reduzindo o leque de variação permitida para cada uma dessas variáveis, ou flexibilizando-o quando se julgar necessário Matriz de transição A matriz de transição é elaborada de forma a indicar a probabilidade de transitar de um estado inicial para um outro estado,, independente do período t (cadeia homogênea), de forma que cada elemento seja indicado então por p ij e,. O cálculo das probabilidades de transição entre os estados envolve as três categorias de variáveis de estado. A primeira e a segunda, que indicam os patamares de sazonalidade e preço respectivamente, são dados de entrada conforme apresentado no item A terceira, referente aos estoques, será apresentada aqui com mais detalhes. Em um período em que o sistema se encontre em um estado inicial e a variável de estoque seja dada por e x,t, o estoque e x,t+1 dependerá da ação a ser tomada e também das ocorrências das variáveis aleatórias: D x,t representando a demanda do produto x no período t para o caso de diesel e gasolina, ou F t referente à produção de petróleo do tipo base. Cada patamar de sazonalidade possui uma demanda de referência associada, como foi mencionado no item De acordo com as distribuições do erro de cada produto x em relação à previsão, pode-se então calcular para cada patamar os valores possíveis de realização da demanda, d x. Levando em conta todas as parcelas do balanço apresentadas nas equações (5.13) e (5.14), o estoque final dos derivados seria dado por: Consequentemente, temos para a gasolina e o diesel respectivamente: Logo a probabilidade de transição entre os níveis de estoque seria dada por: 63

75 Porém os valores de estoque definidos representam uma faixa de estoque onde ou seja, se = 100 e intervalo = 5, então representa a faixa de estoque compreendida entre ]95, 105]. Levando isto em consideração, o cálculo da probabilidade de transição entre um estoque inicial e final de derivado deve ser realizado de acordo com a faixa que ele engloba. A variável d inf é referente ao cálculo da demanda com o estoque no limite superior e d sup ao limite inferior, de acordo com equação (5.16), logo: Quando for equivalente ao Ex x, para o caso de derivados, temos que qualquer demanda menor que a inferior manterá o estoque no seu nível máximo, e ocorrerá então uma perda de produto. Efetivamente não existe perda, mas o produto precisa ser deslocado para outra região, e algumas vezes ficar em navios até que os estoques nacionais reduzam, logo esse volume recebe um custo associado elevado, e será tratado diretamente na função de retorno. Similarmente, quando é igual a Em x, qualquer demanda maior que a demanda superior deixará os estoques no nível mais baixo de operação, indicando uma falta de produto que será mensurada no cálculo da função de retorno. Então a função de probabilidade de transição final entre as variáveis de estoque para os derivados é: (5.21) Para o caso de petróleo, a diferença é que o valor de estoque máximo contabiliza os três tipos diferentes, de forma separada. Então nesse caso o valor de referência não seria estoque máximo efetivamente, mas quanto ainda existe de sobra de espaço disponível para armazenar produto. Os estoques de petróleos do tipo importado e RatCraq são determinísticos, pois não possuem nenhuma variável aleatória associada ao seu cálculo (a incerteza está apenas na produção de petróleo do tipo base). Logo para estes tipos temos que a probabilidade de transição será: 64

76 Para o cálculo do estoque de petróleo do tipo base, define-se então a variável SobraEst, em linha com a equação (5.4), como: sendo E o cálculo final das probabilidades de transição segue a mesma linha para derivados, com a equação de balanço correspondente: (5.25) Por fim, o cálculo da transição entre dois estados i e j será dado pela multiplicação das probabilidades de patamar de sazonalidade, patamar de preço e estoques Função retorno A função de retorno representa a consequência da ação tomada no estado atual. Neste trabalho ela indicará o resultado de cada estado após a diferença entre receitas geradas e os custos obtidos. Algumas parcelas desta função não dependem apenas do estado atual e da ação tomada, mas também do estado que o sistema irá ocupar no período seguinte, portando consideramos como um retorno esperado. A função de retorno será dada então por: 65

77 A parcela representa o retorno imediato, que não depende dos estados futuros. Esse retorno é composto por: receitas esperadas das vendas no mercado interno de diesel e gasolina, receitas de vendas dos demais produtos e de exportações, custo de refino de cada tipo de petróleo e importações. Supondo que as importações dos derivados GLP e querosene e as exportações de escuros sejam dadas pela diferença entre as suas respectivas produções e demanda de forma linear, elas serão representadas pelas variáveis g, sendo positivas quando ocorrer uma sobra e assim, uma exportação, e negativas em caso contrário e neste caso a consequência é uma importação. Logo temos: A parcela denominada de depende do estado no período subsequente. Isto porque abrange as receitas de exportação de petróleo, o custo de estoque e os custos de perda e falta de produto. O custo de estoque é dado em função da média entre o estoque inicial e o estoque final. Os custos de perda e falta incidem quando temos quantidade de produto maior que a tancagem disponível para armazenagem e produto insuficiente para atingir o patamar mínimo de estoque, respectivamente. Estas quantidades são representadas por. As exportações acontecem homogeneamente ao longo do período e como a precificação ocorre normalmente na data de término de carregamento do produto, o melhor valor a ser considerado é também a média entre o preço atual e o preço no estado futuro. Estes preços vão depender do patamar de preço de cada estado, logo poderão ser diferentes em i e j. Sendo assim, temos que: 66

78 5.3 Agregação Temporal O algoritmo de agregação temporal, apresentado no capitulo 4, foi escolhido para solução do Processo de decisão de Markov. A evolução de um processo estocástico controlado por uma política é governado por uma cadeia de Markov {Y t, t 0}. Sendo a função de retorno, o retorno médio é dado por Definindo o conjunto e seu complementar, sendo apenas o primeiro um conjunto controlável, temos então que O objetivo do gestor é achar uma política ótima que maximize o retorno médio satisfazendo sujeito a. Para aplicar o algoritmo de Agregação Temporal, inicialmente torna-se necessário definir o conjunto que será otimizado. Este conjunto deve representar os estados mais importantes para o problema ou os mais visitados durante a evolução do processo estocástico. Uma vez definido o conjunto, a execução foi separada em duas etapas. Em um primeiro momento foi realizado um pré-processamento com objetivo de determinar os parâmetros de cada elemento do conjunto. São eles: o número de passos médio da trajetória até atingir um elemento do subconjunto, o retorno médio desta trajetória e as probabilidades de transição. Esta etapa foi feita com base em uma simulação de Monte Carlo, apresentada abaixo: Algoritmo 1: Simulação 1) Defina o número de simulações a serem realizadas; 2) Defina a política ; 3) Para cada, defina,, e faça: a. Definir, retorno = 0 e ; b. Dado i, sortear as variáveis aleatórias referentes ao Patamar de sazonalidade, patamar de preço, demanda e produção de petróleo; c. Identificar o estado j para qual o sistema evoluirá; 67

79 d. Definir e calcular de acordo com as equações (5.28) e (5.29): Se, então seguir para próximo passo. Caso contrário, fazer e retornar para b. e. Registrar o estado f. Contabilizar g. Definir. Se então retornar ao passo a. Caso contrário seguir adiante. h. Contabilizar e. Calcular o número de ocorrências de cada estado e obter. 4) FIM. O representa a quantidade média de passos necessários para que a partir de um estado atinja um estado do subconjunto F. Para o calculo de que entrará no algoritmo de agregação temporal, devemos contabilizar todo o caminho percorrido a partir de um estado. Desta forma, dado uma ação, calculando todas as probabilidades de transição possível deste estado, temos que: Da mesma forma os valores de e as probabilidades de transição devem levar em consideração os caminhos percorridos externamente ao conjunto F. Logo para todo estado : Considerando que seja a probabilidade final de atingir um estado em F a partir de outro estado qualquer, e que é a probabilidade obtida na simulação de F c, temos que: 68

80 A segunda etapa diz respeito a resolução do problema propriamente dito. Para resolver a agregação temporal será aplicado o algoritmo de Iteração de Políticas de acordo com o que foi apresentado no capítulo 4. Utilizando então a equação 4.14 como base, o algoritmo é apresentado a seguir. Algoritmo 2: Iteração de políticas com Agregação Temporal 1) Escolher uma política inicial Definir Especificar Inicializar o vetor de dimensão F e 2) Para cada achar o valor de e de acordo com equações (5.31), (5.32) e (5.33), em que 3) Calcular para todo : 4) Calcular a norma spam definida como: se, ir para etapa 5. Caso contrário, faça e retorne para etapa 3. 5) Calcule o retorno médio como: se, então siga para 6. Caso contrário, faça: defina e retorne para 3. 6) Encontre uma política de forma que : 69

81 se, então FIM. Caso contrário, defina e retorne para etapa 2. 70

82 6. DADOS DE ENTRADA E RESULTADOS Este capítulo tem por objetivo expor e discutir os resultados obtidos a partir da proposta de trabalho apresentada ao longo dos capítulos anteriores. Para isto, incialmente torna-se necessário conhecimento sobre os valores dos parâmetros utilizados no problema e uma breve explicação sobre o seu levantamento, quando necessário. Posteriormente, os resultados propriamente ditos serão apresentados e discutidos. Neste contexto, temos as seções 6.1, 6.2, 6.3 e 6.4 mostrando os dados estocásticos, determinísticos, conjunto de estados e conjunto de ações, respectivamente, e a última seção apresentando os resultados. 6.1 Parâmetros Estocásticos Os parâmetros estocásticos do modelo se referem às distribuições de erros das demandas de diesel e gasolina, e produção de petróleo. Para levantar tais valores considerou-se a previsão calculada no mês anterior ao mês de referência e o valor realizado deste mês em uma série histórica de janeiro/2006 ate março/2015, para cada produto individualmente (no caso do petróleo a análise englobou todas as correntes), conforme equação 5.1 apresentada no capítulo 5. Os valores obtidos são apresentados nas figuras 9,10 e 11. Figura 10 - Distribuição do erro de previsão da demanda de diesel 71

83 Figura 11 - Distribuição do erro de previsão da demanda de gasolina Figura 12 - Distribuição do erro de previsão da produção de petróleo Após encontradas as distribuições e discretizados os intervalos de trabalho, os valores utilizados de demanda e produção de petróleo para aplicação no modelo estão apresentados nas tabelas 4, 5 e 6. Tabela 4 - Demanda de diesel Erro -9% -6% -3% 0% 3% 6% 9% Probabilidade 3.0% 10.1% 22.3% 29.2% 22.3% 10.1% 3.0% Patamar baixo Patamar médio Patamar alto

84 Tabela 5 - Demanda de Gasolina Erro -9% -6% -3% 0% 3% 6% 9% Probabilidade 13.8% 16.5% 23.9% 22.0% 13.5% 6.2% 4.1% Patamar baixo Patamar alto Tabela 6 - Produção de petróleo Erro -6% -4% -2% 0% 2% 4% 6% Probabilidade 3.5% 12.4% 21.1% 26.0% 21.1% 12.4% 3.5% Produção A produção de petróleo se refere apenas ao volume máximo que pode ser consumido na região que o problema vai tratar, RJ-MG. Observa-se que apenas o erro relativo da previsão de demanda de gasolina não segue uma distribuição Normal. Neste caso, observa-se dos dados históricos que as previsões tendem a ficar abaixo dos valores realizados, o que desvia um pouco a média da distribuição para a esquerda. 6.2 Parâmetros Determinísticos Os rendimentos de petróleo serão apresentados na tabela 7. Eles estão expressos em base volumétrica, por isso pode-se notar uma pequena expansão, ou seja, a soma não resulta em 1. Isto ocorre por conta de alguns processos internos da refinaria, que ao quebrarem moléculas de hidrocarboneto em moléculas menores, causam um aumento do volume final do produto (o balanço de massa permanece igual, porém neste caso a base volumétrica é utilizada para facilitar os cálculos de movimentações nas refinarias). Tabela 7 - Rendimentos de Petróleo Tipo Petróleo GLP Gasolina Querosene Diesel Escuros Total Base 0,098 0,267 0,133 0,389 0,166 1,062 RatCraq ,027 Importado ,007 73

85 Convém explicar a abordagem dos preços de importações e exportações utilizados. Como dito anteriormente, estes preços médios variam em função da quantidade a ser comercializada. Para importação, a medida que você importa mais, seu preço médio aumenta, e o inverso para as exportações. Desta forma, para poder quantificar estes comportamentos e descrevê-los na forma de função, levantou-se os dados das ofertas disponíveis tanto de importação como de exportação para cada produto. O comportamento observado é apresentado na figura 12 (apenas ilustrativa), na qual os platôs indicam as ofertas disponíveis, e a curva pontilhada o preço médio a medida que estas ofertas vão sendo exercidas. Desta forma, as funções utilizadas para calcular o preço de cada produto em função do volume negociado, com base nas ofertas disponíveis, foram as seguintes: Para os petróleos, a função representa o valor do delta do preço do produto em relação ao preço de referência. Isto porque o preço de referência de petróleo é uma variável de estado. Este delta normalmente reflete a diferença de qualidade entre os produtos assim como o valor da diferença de frete que seria necessário para trazer ambos a um mesmo local geográfico como referência. Para o petróleo importado, usouse o petróleo Agbami como referência, logo o preço não varia em função da quantidade pois não existem vários fornecedores ofertando este produto. Sendo assim, as funções para determinação do preço de comercialização de petróleo para todo são: 74

86 Preço Preço Importação Exportação Volume Volume Figura 13 - Ofertas de importação e exportação Os demais dados de entrada determinísticos estão listados na tabela 8. Tabela 8 - Parâmetros determinísticos Parâmetro Descrição Valor Em 1 Estoque mínimo Petróleo Importado 0 Em 2 Estoque mínimo Petróleo RatCraq 0 Em 3 Estoque mínimo Petróleo Base 50 Em 4 Estoque mínimo Gasolina 30 Em 5 Estoque mínimo Diesel 50 Ex 1 Estoque máximo Petróleo Importado 50 Ex 2 Estoque máximo Petróleo RatCraq 50 Ex 3 Estoque máximo Petróleo Base 230 Ex 4 Estoque máximo Gasolina 60 Ex 5 Estoque máximo Diesel 90 EmP Estoque mínimo Petróleo 90 Emx Estoque máximo Petróleo 230 Prc Produção Ratcraq 50 Dd 6 Demanda GLP 165 Dd 7 Demanda Querosene 170 Dd 8 Demanda Escuros 60 Cr 1 Custo refino Petróleo Importado

87 Parâmetro Descrição Valor Cr 2 Custo refino Petróleo Rcraq 60.0 Cr 3 Custo refino Petróleo Base 60.0 Ce 1 Custo estoque Petróleo Importado 30.7 Ce 2 Custo estoque Petróleo Rcraq 30.7 Ce 3 Custo estoque Petróleo Base 30.7 Ce 4 Custo estoque Gasolina 29.5 Ce 5 Custo estoque Diesel 32.1 Cp 3 Custo da perda Petróleo Base Cp 4 Custo da perda Gasolina Cp 5 Custo da perda Diesel Cf 3 Custo da falta Petróleo Base Cf 4 Custo da falta Gasolina Cf 5 Custo da falta Diesel Pv 4 Preço de venda Gasolina Pv 5 Preço de venda Diesel Pv 6 Preço de venda GLP Pv 7 Preço de venda Querosene Pv 8 Preço de venda Escuros L Limite de movimentação de Claros 350 I Intervalo de estoques Conjunto de Estados As variáveis de estado estão separadas em três tipos, como apresentadas no capítulo anterior: patamar de sazonalidade, patamar de preço e estoques. Para avaliar a quantidade N de patamares a serem trabalhados por produto, foram analisadas as séries históricas entre janeiro de 2005 e março de 2015, tanto para a questão de sazonalidade como de preço. A decisão foi feita unindo os dados coletados no histórico e a previsão dos próximos 12 meses que serviu de base para o trabalho (abril de 2015 a março de 2016). O objetivo é que a cada rodada do planejamento, esta premissa seja revisitada para que os valores e quantidades associadas a cada patamar sejam aderentes à realidade 76

88 Margem baixa Margem média Margem Alta do momento que a empresa esteja vivenciando. O maior número possível para N é 12, supondo que cada mês representasse um patamar. Isso pode não representar ganho significativo de modelagem e aumentar significativamente o esforço computacional para resolução, portanto este número deve ser avaliado com razoabilidade. Para a identificação dos patamares de preço a serem considerados usou-se a abordagem da margem de refino teórica conhecida no mercado de petróleo como crack spread 3:2:1, pela qual calcula-se a diferença entre a soma dos valores dos derivados obtidos a partir de um petróleo 2 partes de gasolina e 1 parte de diesel e o preço deste. Para esta análise utilizou-se os dados dos preços de referência do golfo americano frente ao petróleo LLS (Louisiana Light Sweet crude), também da mesma região. Definiu-se, então, três patamares destas margens e o valor como referência para os preços de petróleo variando de 314 a 189 u.m.f.. Para os patamares de sazonalidade foram definidos dois para gasolina e três para o diesel. As tabela 9, 10 e 11 apresentam os patamares de preços e sazonalidades, e as probabilidades de transição entre elas. Tabela 9 - Probabilidades de Transição entre os patamares de preços Patamares de Preços Margem baixa Margem média Margem Alta

89 Baixo Médio Alto Baixo Alto Tabela 10 - Probabilidades de Transição entre os patamares de sazonalidade de gasolina Patamares de Sazonalidade Gasolina Baixo Alto Tabela 11 - Probabilidades de Transição entre os patamares de sazonalidade de diesel Patamares Sazonalidade Diesel de Baixo Médio Alto Os estoques dos produtos a serem trabalhados serão: petróleo importado, petróleo ratcraq, petróleo base, gasolina e diesel, e os dados foram apresentados na tabela 8 (estoques mínimos e máximos e o intervalo considerado). Com base nisso, a instância trabalhada apresentou um total de estados. O subconjunto F foi definido por acessibilidade, ou seja, foram escolhidos aqueles estados que possuíam mais chances de serem visitados. Em um pré-processamento realizado foram avaliados todos os estados possíveis de serem atingidos a partir de um estado m, para cada conjunto de ações. Repetiu-se este procedimento para todos os estados. Por fim, foram selecionados os 1500 estados que mais acessos tiveram para compor o subconjunto F. 78

90 6.4 Conjunto de Ações A primeira etapa é definir as ações disponíveis para cada estado do subconjunto F, sujeitas às condições apresentadas no capítulo 5. Inicialmente, o refino total foi definido com base no conhecimento da operação, de forma que valores pouco interessantes não fossem avaliados, pois já era conhecida sua baixa atratividade. Isso é refletido para o limite mínimo e máximo de refino que são disponibilizados para o conjunto de ações. Poderia abranger toda a faixa entre a carga mínima operacional e capacidades dos ativos, porém resultaria em maior número de ações a serem avaliadas. Normalmente os valores são definidos pela operação em escalas diárias, mas no caso todos os dados já foram convertidos para base mensal, de forma que as opções disponibilizadas estão apresentadas na tabela 12 a seguir. Tabela 12 - Possibilidades de refino total (em mil m3) carga/dia: carga/mês: O refino total é a soma do refino dos três óleos disponíveis para este subsistema: importado, ratcraq e base. O refino de petróleo importado será definido pelo percentual de óleo deste tipo que será injetado na carga total: 0 ou 5 %. Os valores possíveis de importação deste produto representam um lote típico, definido em 50 mil m 3, e apenas 0 ou 1 navio pode ser importado em cada período para entrada neste subsistema. O mesmo tamanho de lote é utilizado para o petróleo do tipo ratcraq e ele é consumido em bateladas de 50 mil m 3, sendo o máximo de duas bateladas por mês. Logo as opções de refino são: 0, 50 ou 100 mil m 3. A sua exportação pode ser de 0 ou 1 carga com mesmo tamanho de lote. Importante frisar que esta exportação não representa uma saída de estoque, mas sim uma decisão em cima da produção disponibilizada. Ou seja, uma vez que a decisão para a produção é exportação, ela vai para o terminal de exportação ao invés de entrar na refinaria. O refino de petróleo base é obtido pela diferença entre as parcelas anteriores, logo é uma decisão indireta. O lote típico de uma exportação deste óleo é de 150 mil m 3, e as possibilidades variam de 0 a 5 cargas. Em relação aos derivados, para as importações de diesel e as exportações de gasolina foram considerados lotes típicos de 50 mil m 3 e possibilidades de 79

91 movimentações de 1 a 4 cargas por período. Enfatizando que, como estamos tratando de uma parte do sistema, não necessariamente este produto será exportado para fora do país, mas apenas para fora das fronteiras do subsistema considerado. A importação pode ser feita por outra região ou por produto efetivamente trazido de fora do país. Ambos os casos possuem o custo de oportunidade de uma importação relacionada. A segunda etapa foi definir a política fixa do subconjunto F c. Para isto foi utilizada uma regra simples para definição desta política, visto que o foco do trabalho estava nos estados que foram escolhidos para compor o subconjunto F. Mesmo assim, esta política poderia ser aprimorada e este ponto ficará como indicação para estudos futuros. A política fixa de F c foi então definida da seguinte forma: Refino total igual a 1140 para todos os estados de F c ; Importação de petróleo igual a 0 para todos os estados de F c ; Importação de diesel igual a 3 para todos os estados de F c ; Exportação de gasolina igual a 1 para todos os estados de F c ; Exportação de petróleo base igual a 2 para todos os estados de F c ; Refino de petróleo importado igual a 5 se o estoque de petróleo importado for diferente de 0, e caso contrário igual a 0; Refino de petróleo ratcraq igual a 50 e exportação de ratcraq igual a 1, se estoque deste petróleo for igual a 50. Caso contrário o refino e exportação são iguais a Resultados O objetivo do problema é obter uma política que expresse, para cada estado que o sistema poderia se encontrar, a melhor combinação de ações levando em consideração todas as incertezas inerentes ao problema. Para implementar o modelo utilizou-se a plataforma Eclipse para programação na linguagem C++. A plataforma computacional empregada foi OS X processador 1.8 GHz Intel Core i5 e memória RAM 4GB. O tempo total do algoritmo, incluindo a etapa de simulação do subconjunto F c, foi de 34,3 horas. O algoritmo utilizado resulta em uma solução ótima para o problema, considerando fixas as ações arbitradas para o subconjunto F c, como demonstrado por Cao et al (2002). Neste sentido serão apresentadas alguns exemplos que demonstram a coerência entre as ações definidas para cada estado, e as influências das mudanças de 80

92 algumas variáveis. Para esta análise foram selecionados alguns grupos de estados que tivessem todas as variáveis iguais, com exceção daquela de interesse. Desta forma a tendência de comportamento observado no par ação-estado será única e exclusivamente em função da variável que estamos analisando. Primeiramente, com relação ao impacto da variável de patamar de preço, a expectativa é que a medida que o preço do petróleo fique menor, as exportações de petróleo se reduzam, assim como as importações de derivados. Isto ocorre pois as margens de refino ficam maiores, uma vez que no modelo os preços dos derivados estão fixados em um mesmo patamar. Margens maiores representam que os derivados ficam relativamente mais caros que a matéria-prima, logo o processo de refino passa a ter cada vez mais valor. De uma forma geral a política final apresenta esta tendência. O refino total apresentou tendência de aumento e as exportações de óleos do tipo base também reduziram. Isto provoca o aumento da produção de derivados internamente, reduzindo necessidade de importação (diesel, querosene e GLP). Em relação aos derivados nos quais normalmente a região é superavitária, como gasolina e escuros, a sua exportação também fica mais atrativa e é mais um incentivo para o aumento de refino. Por sua vez, o processamento de óleo importado não se altera, mas com o aumento da carga processada o número absoluto de petróleo importado processado é maior. Este óleo possui um bom rendimento em gasolina, favorecendo o aumento da sua exportação. A figura 13 mostra como este comportamento ocorreu para 5 grupos de estados selecionados: as únicas diferença dentro das estados de cada grupo eram as variáveis de preço. Uma análise de todos os estados do conjunto F mostra que 88% dos estados sofreram influência da mudança de patamar de preços de petróleo, mas a proporção desta mudança está diretamente relacionada com as outras características do estado. 81

93 Figura 14 - Variação das ações em função da margem de preço A segunda variável a ser analisada foi o estoque inicial de gasolina. O impacto desta variável foi menor. De fato, na maioria dos casos apenas o refino total diminuiu a medida que o estoque aumentou, e a exportação deste produto permaneceu constante. Em alguns casos, o refino se manteve inalterado mas a exportação aumentou. Percebese que em ambas situações a tendência é de redução da disponibilidade de gasolina, evitando patamares altos de estoque. Outro ponto observado em alguns estados é a redução do refino de petróleo ratcraq, que possui maior rendimento neste produto. A figura 14 apresenta o efeito do estoque de gasolina sobre o refino total, com os estoques iniciais variando de 30 a 50 mil m 3. O estoque inicial de diesel apresenta efeito semelhante ao de gasolina. O impacto maior é sobre o refino total, e em alguns casos sobre a importação de diesel, sempre no sentido de reduzir a disponibilidade de diesel para evitar estoques muito altos. De acordo com a figura 15, vemos que nos casos em que o refino reduz o volume de importação fica constante, e quando o refino permanece constante, as importações são reduzidas. Foram selecionados estados com os estoques extremos de 50 e 90 mil m 3, pois variações intermediárias não apresentaram muita diferença nas suas ações. 82

94 Figura 15 - Variação do refino total em função do estoque de gasolina Figura 16 - Variação do refino total e importação de diesel em função do estoque inicial Os patamares de sazonalidade, assim como os patamares de preço, apresentaram efeitos mais expressivos nas ações para cada estado. No caso da gasolina, a variação entre os dois patamares possíveis apresentou maior impacto nas exportações deste produto e também no refino total. Quanto maior o patamar, maior a necessidade de produto, logo espera-se aumento de refino e redução das exportações. Outras ações que também contribuíram em alguns casos envolvem a mudança do elenco de petróleo processado, com maior utilização dos óleos importados e ratcraq, por possuírem maior rendimento em gasolina. Nos grupos de estados selecionados, são apresentados três situações na figura 16: o aumento do refino total aliado à redução da exportação e manutenção do processamento de óleo ratcraq; uma pequena redução do refino total, grande redução da exportação e aumento do processamento de óleo ratcraq; e por fim a manutenção do nível de refino total, a redução de exportação e aumento do processamento de ratcraq. Em todos os casos ocorre o aumento de disponibilidade de 83

95 gasolina para o sistema. Nos grupos 1 e 3 a produção de gasolina aumenta, já no grupo 2 ela reduz um pouco em função da queda do refino total, porém a redução de exportação compensa este volume. Figura 17 - Variação das ações em função do patamar de sazonalidade de gasolina Em relação ao patamar de sazonalidade de diesel, constata-se que o refino total é a ação mais impactada. Os volumes variam em até 240 mil m 3, como se pode observar no grupo 2 na figura 17. Na maioria das vezes, as variações são acompanhadas de um aumento do processamento de óleo do tipo base. Este óleo possui o melhor rendimento para óleo diesel, e consequentemente suas exportações são reduzidas. Nos casos em que as variações de refino são menores, observa-se um aumento da importação de diesel, também de forma a aumentar a disponibilidade do mesmo no sistema. Como consequência direta do elevado aumento de refino temos o aumento das exportações de gasolina. O estoque de petróleo do tipo base possui impacto direto no processamento deste óleo, assim como na sua exportação, da mesma forma como observado para os demais produtos tendência de redução de disponibilidade de forma a operar com estoques mais baixos. Os grupos selecionados de estados apresentam variação de 90 a 130 mil m 3. Quanto maior o volume de estoque inicial, maior o processamento deste óleo. Isto 84

96 pode ocorrer através de um aumento de refino, observado nos grupos 2 e 4 da figura 18, ou através de redução de processamento de óleo do tipo ratcraq, como no grupo 3. O grupo 1 apresenta refino e elenco constantes, porém indica um aumento da exportação de óleo, lembrando que cada carga deste tipo de petróleo representa 150 mil m 3. No grupo 4 observa-se inclusive uma redução de 1 carga de exportação, porém com o aumento relevante de refino, o consumo de petróleo médio acaba sendo maior. Fazendo uma análise cruzada com outro fator o patamar de preço podemos constatar que ele influencia no tipo de decisão a ser tomada: no grupo 1 e 3 o patamar de preço de petróleo é o mais elevado e as decisões são para manutenção do nível de refino total e aumento das exportações de petróleo base. No grupo 4 o patamar de preço é o mais baixo possível, e a decisão de reduzir exportação e aumentar refino faz todo sentido neste cenário. Figura 18 - Variação das ações em função do patamar de sazonalidade de diesel 85

97 Figura 19 - Variação das ações em função do estoque inicial de petróleo base Os estoques de petróleo importado e petróleo ratcraq não apresentaram influências significativas no conjunto de ações escolhidas para cada estado. A política ótima obtida gerou um retorno esperado médio para o sistema de u.m.f./mês. A medida que o algoritmo evolui melhores politicas são definidas, e o retorno tende a aumentar até chegar ao patamar ótimo. A figura 19 mostra a evolução deste retorno ao longo das iterações. Figura 20 - Evolução do Retorno médio (u.m.f./mês) ao longo das iterações Uma vez em posse dos resultados da política ótima, analisada sua coerência, o passo seguinte foi simular a Cadeia de Markov controlada. Este é o principal fruto do trabalho realizado, pois a partir destes dados pode-se avaliar melhor a evolução do sistema a partir de um estágio inicial e ajustar as tomadas de decisões com bases nas incertezas absorvidas neste processo. Os dados obtidos podem ser utilizados para 86

98 diversos tipos de análises, entre elas: contratação de ativos logísticos (tanques, terminais), contratos de comercializações para evitar compras e vendas spots e ajuste de política de estoques por produto. Para auxílio da análise dos dados foi utilizado a funcionalidade Distribution Fitting do versão 7.5. A simulação foi feita para um período de 12 meses, até a média do resultado tornar-se quase constante. Observou-se que isso ocorreu a partir de 1000 simulações aproximadamente, e optou-se por trabalhar com 2000 simulações, a fim de garantir a estabilidade dos resultados. O estado inicial do conjunto F escolhido para fazer as análises foi o estado 0, onde temos patamar de sazonalidade de diesel e gasolina no nível mais baixo, patamar de preço alto, estoque de diesel igual a 50, estoque de gasolina igual a 30, estoque de óleo base igual a 50, estoque de petróleo importado igual a zero, estoque de óleo ratcraq igual a 50. Com base nos números obtidos a frequência de ocorrência de cada estado observado, assim como os valores mínimo e máximo, foram analisados. A primeira análise a ser feita com utilização da simulação teve como objetivo confirmar se a escolha do conjunto F foi adequada. Isto foi feito medindo-se a frequência que a cadeia permanecia dentro deste subconjunto, e o número obtido foi 81%. Isto significa que a cada 5 passos dados apenas 1 seria para fora do subconjunto F, mostrando que este subconjunto abrange os estados mais importantes da cadeia. Foram feitas simulações a partir de outros estados pertencentes ao conjunto F e todas indicaram permanência maior que 75% em F. Simulações com estados iniciais que não pertencem ao conjunto F apresentaram probabilidades menores de permanência em F, com média de 69%, número ainda bem elevado. Ainda assim, constata-se que este conjunto F poderia ser melhor trabalhado, pois em média foi observado que com esta política ótima apenas 20% dos estados são atingíveis a partir de um determinado estado inicial, e que este grupo de estados atingíveis é relativamente constante. A redução da cardinalidade do conjunto de estados F pode reduzir o esforço computacional necessário para resolução do problema. Como dito anteriormente, o conhecimento da probabilidade de ocorrência de uma importação ou exportação, direcionada por fatores de rentabilidade, auxilia na efetivação de melhores negociações das cargas, seja para um contrato duradouro ou para uma melhor oportunidade vista com antecedência. A simulação realizada pode trazer informações destes dois tipos: a média de movimentação anual que pode subsidiar decisões para contratos de 12 meses, por exemplo. E, olhando para apenas o segundo 87

99 mês, avaliar a probabilidade de indicação de importação ou exportação de cargas possibilita que os negociadores tenham mais tempo para buscar fornecedores ou clientes melhores, inclusive que tenham um tempo de viagem maior. A partir do estado 0, os dados obtidos na simulação para importação de diesel indicam que em 89,5% dos casos a média de importação está entre 1 e 2 cargas/mês. O máximo de importação em todos os meses em todas as simulações não ultrapassou 3 cargas, quando o permitido seria até 4 cargas (figura 20 indica o resultado encontrado). Olhando apenas o segundo mês, o comportamento é semelhante, e a frequência de importação de diesel indica que em 90% das simulações a importação é de apenas uma carga e não há nenhuma indicação de 4 cargas. O mínimo disponibilizado como ação para importação de diesel foi de 1 carga, e justo o que apareceu com maior frequência. Uma análise de sensibilidade foi feita alterando a faixa disponível para importação de diesel permitindo a opção de nenhuma carga importada. A nova configuração da distribuição se altera de forma que a probabilidade de se importar entre 1 e 2 cargas cai para 45%, e a probabilidade entre 0 e 2 é de 93,5%. O retorno médio esperado da nova política obviamente é melhor que a anterior, sendo de u.m.f./mês. Isto mostra uma melhoria na instância inicial, com dados mais ajustados à necessidade do sistema no momento. Cabe sempre ao gestor este olhar crítico e realização de ajustes para que o modelo esteja sempre o mais aderente à realidade e expressando todas as oportunidades possíveis de maximização do retorno. A exportação de gasolina foi analisada da mesma forma que a de diesel e o seu histograma também está apresentada na figura 20. Inicialmente, olhando para a média mensal, temos que existe uma probabilidade de 90% de exportar ao menos 1,5 por mês, ou 3 cargas a cada 2 meses. Como estamos tratando de uma parte do sistema total, esta exportação pode indicar de fato uma exportação para fora do país ou apenas para uma outra região deficitária no produto. Neste caso esta movimentação estaria substituindo uma possível importação do produto, dependendo do balanço total do sistema no momento. Até 2015, o sistema Petrobras era basicamente deficitário de derivados claros, e superavitário de derivados escuros. O que indica que provavelmente para o diesel estaríamos falando de uma importação real do produto, e no caso da gasolina um envio a outras regiões substituindo uma importação deste produto. Observando apenas o segundo mês do horizonte, apenas 2% das rodadas de simulação indicaram exportação de 3 cargas, 80% 2 cargas e nenhuma indicação de 4 cargas. Constata-se então que em 88

100 98% dos casos ao menos uma carga de gasolina sairá desta região no segundo período do horizonte, informação bastante relevante para o planejamento total da cadeia. Figura 21 - Histograma das operações com Diesel e Gasolina As indicações de importação e exportação estão diretamente relacionadas com o nível de processamento de petróleo. De acordo com a figura 21 vemos que a média de 89

101 refino ao longo do horizonte da simulação é em torno de 1275 mil m 3 /mês, o equivalente a 42,5 mil m 3 /dia, e que existe 90% de probabilidade do refino estar entre 1205 e 1340 mil m 3 /mês. Observa-se também que o nível máximo de refino possível, 1500 mil m 3 /mês, possui probabilidade praticamente nula de ser atingido. Do processamento indicado, uma parte é de óleo importado, uma parte de óleo ratcraq e o restante de óleo base. O processamento do petróleo ratcraq se dá por bateladas de 50 mil m 3 /mês e apenas duas bateladas por mês são permitidas. Com base no resultado pode-se dizer que em média a cada 2 meses há indicação de realização de uma campanha deste tipo no horizonte da simulação, e praticamente em todos os meses que não há indicação de ocorrer a exportação do produto. Para o petróleo importado, o processamento ocorre em função do percentual da carga. A indicação média é processar aproximadamente 18 mil m 3 /mês, algo em torno de uma carga a cada 3 meses. Na figura 22 também temos a distribuição média mensal de importação de petróleo, e observa-se que esta curva tem média igual a 0,39, que é menos de uma carga a cada dois meses. Este volume adquirido é direcionado tanto para o refino como para formação de estoque. Olhando apenas para o segundo mês, temos que em 75% dos casos não há necessidade de importação de petróleo neste período, logo a decisão mais coerente seria não adiantar nenhuma negociação e aguardar o período seguinte para realizar a compra, caso necessária. Já em relação ao petróleo base, olhando apenas o segundo mês, a ação mais provável é de exportação de 2 cargas, pois em 98% dos casos esta foi a indicação. Olhando apenas a média dos 12 meses, a distribuição média também fica em torno de 2 cargas por mês. Os estoques de todos os produtos permaneceram próximos aos patamares mínimos definido atualmente. O objetivo principal da criação deste modelo não era determinar as faixas ideais nem meta de estoque para cada produto, tanto que os valores habituais de trabalho foram levantados para tentar refletir o modo de operação atual e estabelecer estes limites que serviram de entrada. Porém esta pode ser uma saída muito válida para reavaliar se a operação está trabalhando nos melhores níveis de estoque e se algum ganho poderia estar embutido na redução destes valores. Este fato levou a realização de uma análise sensibilidade, mantendo todas as condições do problema original e possibilitando apenas que os estoques de diesel e gasolina cheguem a um valor menor do que o atual em 10 mil m 3, ou seja, para o diesel o mínimo de estoque seria 40 mil m 3 e para gasolina 20 mil m 3. O resultado obtido pela simulação a partir do estado 0 com a nova política ótima indica que os estoques médios tendem a ficar sempre próximos aos valores mínimo. Para o diesel, a média de 12 meses para o problema 90

102 original era de 52,6 mil m 3 e com a nova política foi para 41,9. O mesmo para gasolina, que anteriormente era de 30,6 mil m 3 e passou para 20,5. Isto significa que com os custos atuais a melhor forma de trabalhar seria reduzir os estoques mínimos, estimando um retorno médio esperado de u.f.m./mês, o que representa uma economia média de 401 u.f.m./mês. Este ganho representa menos de 0,5% do retorno atual, mas poderia ser obtido sem nenhum investimento apenas com mudança na forma de operação. Nesta mesma lógica vemos que este subsistema a princípio não apresenta reais necessidades de investimento em tancagem. Claro que para avaliações deste tipo os modelos com maiores detalhes do agendamento (scheduling) das operações seriam mais precisos, todavia o modelo aqui apresentado pode ser utilizado para indicativos iniciais que depois devem ser aprofundados em estudos mais elaborados. 91

103 Figura 22 - Histograma das operações com Petróleos A simulação a partir do estado 0 indicou um resultado médio de u.m.f./mês, bem próximo ao obtido na resolução do algoritmo de agregação temporal com melhorias de política. A figura 22 indica a distribuição obtida deste retorno através da simulação. 92

104 Figura 23 - Histograma Resultado Médio Esperado Com objetivo de tentar mostrar as diferenças entre as respostas de um modelo determinístico e um modelo baseado em Processo de Decisão de Markov, foi criado um modelo de programação linear (PL) utilizando os mesmo moldes do modelo de PDM, com as diferenças inerentes a cada estrutura: o modelo de programação linear terá todas as variáveis como determinísticas, utilizando sempre o valor relacionado a 0% do erro; não terá formação de lote mínimo para cargas de importação e exportação, pois não será utilizado programação inteira, assim como o processamento do óleo ratcraq não será por campanha; os preços médios de importação e exportação não serão uma função da quantidade importada, ou o modelo se transformaria em não-linear, sendo assim utilizou-se preços médios para os derivados e petróleos, sendo estes últimos variando de acordo com o patamar de preço previsto ao longo do horizonte. No modelo PL os preços de exportação e importação de petróleos serão referentes única e exclusivamente ao período atual, sendo um ganho do modelo de PDM a visão de um preço médio esperado. Para manter a coerência entre os modelo, trabalhou-se com as demandas dos derivados iguais ao longo de todos os períodos (exceto diesel e gasolina), e foram mantidas as condições de contorno do problema original (limites de estoques, ações e movimentação no terminal). As variáveis de decisão do modelo estocástico (a 1,..., a 8 ) 93