Manoel Leandro de Lima Júnior 1, Jorge Dantas de Melo 2, Adrião Duarte Dória Neto 3

Transcrição

1 Copyrigh 2004, Insiuo Brasileiro de Peróleo e Gás - IBP Ese Trabalho Técnico Cienífico foi preparado para apresenação no 3 Congresso Brasileiro de P&D em Peróleo e Gá a ser realizado no período de 2 a 5 de ouubro de 2005, em Salvador. Ese Trabalho Técnico Cienífico foi selecionado e/ou revisado pela Comissão Cienífica, para apresenação no Eveno. O coneúdo do Trabalho, como apresenado, não foi revisado pelo IBP. Os organizadores não irão raduzir ou corrigir os exos recebidos. O maerial conforme, apresenado, não necessariamene reflee as opiniões do Insiuo Brasileiro de Peróleo e Gá Sócios e Represenanes. É de conhecimeno e aprovação do(s) auor(es) que ese Trabalho será publicado nos Anais do 3 Congresso Brasileiro de P&D em Peróleo e Gás UTILIZAÇÃO DE SISTEMAS INTELIGENTES BASEADOS EM APRENDIZAGEM POR REFORÇO PARA A OTIMIZAÇÃO DO PROBLEMA DO GERENCIAMENTO DE SONDAS DE PRODUÇÃO TERRESTRE Manoel Leandro de Lima Júnior 1, Jorge Danas de Melo 2, Adrião Duare Dória Neo 3 1 Universidade Federal do Rio Grande do Nore, Campus Universiário, Lagoa Nova, Naal- RN, mleandro@dca.ufrn.br 2 Universidade Federal do Rio Grande do Nore, Campus Universiário, Lagoa Nova, Naal- RN, jdmelo@dca.ufrn.br 3 Universidade Federal do Rio Grande do Nore, Campus Universiário, Lagoa Nova, Naal- RN, adriao@dca.ufrn.br Resumo Ese rabalho mosra um algorimo original, baseado na Aprendizagem por Reforço, para a oimização do Problema do Gerenciameno de Sondas de Produção Terresre (OimSPT). O OimSPT consise em enconrar o melhor iinerário para a froa de sondas de produção erresre disponívei minimizando o cuso oal decorrene dos deslocamenos das sondas para o aendimeno das soliciaçõe maximizando a produção diária de uma bacia perolífera e reduzindo as perdas de produção de óleo devido a espera por serviço. O OimSPT será raado como um problema de compuação online, mais especificamene, como uma aplicação do Problema dos k Servos Homogêneos Online (PKS). O OimSPT foi modelado segundo a Aprendizagem por Reforço, e em seguida uilizado o algorimo Q-Learning como méodo de solução. Experimenos com uma seqüência de soliciações criada de maneira aleaória foram gerados e o seu desempenho comparado com o um méodo de solução do PKS consagrado pela lieraura e cujas axa de compeiividade c foi provada, visando comprovar a eficiência do algorimo sugerido. Palavras-Chave: Produção de Peróleo, Sondas de Produção, Aprendizagem por Reforço, Problemas dos k Servo Oimização. Absrac This work presens an original algorihm, based on Reinforcemen Learning, as a soluion for he problem of scheduling workover rigs. I consiss in finding he bes schedule for he available workover rig so as o minimize he coss inheren in he ravels of he workover rigs for servicing he reques o maximize he daily raes of oil producion and o minimize he producion loss associaed wih he wells awaiing for servicing. The problem of schedule workover rigs was deal like a problem of online compuaion, more specifically, like an Online Homogeneous k Server Problem, and was modelled according o Reinforcemen Learning approach, and subsequenly he Q-Learning algorihm was used as a means of soluion. A series of experimens was conduced wih he aim of evaluaing he appropriaeness and performance of he proposed soluion. The resuls obained show he efficiency of he suggesed algorihm in comparison wih oher mehod of solving he k-server problem cied in he lieraure, whose rae of compeiiveness have already been proven. Keywords: Oil producion, workover rig Reinforcemen Learning, k-server Problem, opimizaion

2 3 o Congresso Brasileiro de P&D em Peróleo e Gás 1. Inrodução Uma bacia de produção de peróleo é composa por uma série de campos perolíferos conendo um número de poços variável. A imensa maioria deses poços não são surgene vale dizer, não possuem pressão naural suficiene para que os fluidos ainjam a superfície. Por causa diso, a elevação dos óleos conidos nesses poços ocorre de maneira arificial, aravés da uilização de equipamenos que auarão juno aos poços realizando o bombeameno conínuo dos seus fluídos. A uilização permanene deses equipameno que esão sujeios à falha faz com que, ao longo do empo, inervenções sejam feias para realizar serviços de manuenção. Nesse conexo, em-se que as sondas de produção erresre (SPT) são unidades móveis que realizam os serviços de inervenção em equipamenos de elevação arificial de óleo. A PETROBRAS, por razões de ordem financeira, possui uma froa limiada de sondas de produção em relação ao número de equipamenos de bombeameno dos poços. Esa limiação no número de sondas pode acarrear perdas na produção do óleo devido à demora na inervenção para corrigir as falhas nos equipamenos de bombeameno, ocasionando perdas poenciais. O Problema do Gerenciameno de Sondas de Produção Terresre (OimSPT) consise em enconrar o melhor iinerário para a froa de sondas de produção erresre disponívei visando minimizar o empo de aendimeno das soliciações e os cusos correspondenes às perdas decorrenes de poços inaivos por fala de manuenção, maximizando, assim, a produção oal da bacia perolífera. O objeivo dese rabalho é propor uma solução original, baseada na Aprendizagem por Reforço, para oimizar o OimSPT. Serão consideradas como criério de deslocameno das sonda inicialmene, somene as disâncias enre os poço de al forma, que não exisirão prioridades no aendimeno de deerminados poço independene de qual seja o faor deerminane da prioridade (axa média de produção, localização geográfica, empo de inervenção, enre ouros). Esa resrição não impede que, em rabalhos fuuro ouros criérios para a seleção das SPTs possam ser considerados. Ese arigo esá organizado da seguine forma: na Seção 2 é apresenada a modelagem do OimSPT como o Problema dos k Servos Homogêneos Online. Na Seção 3 inroduz-se o conceio de análise compeiiva de algorimos online. Na Seção 4 apresena-se uma breve descrição da abordagem da Aprendizagem por Reforço e do méodo Q- Learning uilizado para a solução do OimSPT. A modelagem do OimSPT segundo a Aprendizagem por Reforço e os resulados compuacionais obidos em experimenos são apresenados na Seção 5. A conclusão do rabalho é apresenada na Seção O OimSPT Viso como o Problema dos k Servos Homogêneos Online A solução de problemas de compuação online em sido objeo de esudo há basane empo (Borodin e al., 1998). Denre dese conexo, o OimSPT pode ser modelado como um problema de compuação online da seguine forma: dada uma seqüência de soliciações = { 1, 2, L, m} de inervenção nos equipamenos de bombeameno dos poço um algorimo OimSPT online deve aender cada uma dessas soliciações sem o conhecimeno prévio das soliciações subseqüene ou seja, em um dado insane, não se conhece em qual poço irá surgir a próxima inervenção (soliciação), no insane de empo, ou seja, é desconhecido se >. Desde que o aendimeno das soliciações implica em cuso o objeivo buscado é a minimização desses cusos. Formalmene, a bacia perolífera é caracerizada por um grafo ponderado G = { N, A}, onde N é o conjuno de ponos (o qual represena os poços), com N = n, e A é o conjuno de aresas ( i, j) (cada qual represenando o caminho que inerliga dois poços). A cada aresa ( i, j) é associada uma ponderação d ( i, j), represenando o cuso de deslocameno das sondas de produção por ese caminho. Simplificadamene, o OimSPT pode ser visualizado como o Problema dos k Servos Homogêneos 1 Online (PKS) (Manasse e al., 1988). O modelo do PKS é basane esudado na lieraura e serve como absração para uma ampla gama de problemas online (Borodin e al., 1998). O PKS modelado de acordo com o OimSPT pode ser definido formalmene da seguine maneira: Seja K um conjuno de SPTs (servos), com K = k, localizados em k poço necessariamene disino da Bacia Perolífera G, e seja = { 1, 2,..., m}, uma seqüência de soliciaçõe as quais podem surgir em um poço qualquer, de inervenção nos poços. Para aender a cada uma dessas soliciações i em um dado insane i ( i = 1,2,..., m ), um dos SPTs deve ser movido de sua posição aual para o poço i. Associado a esse deslocameno de um nó i para um nó j, exise um cuso de aendimeno proporcional à disância percorrida d ( i, j). O m objeivo em quesão é aender a oda a seqüência de soliciaçõe minimizando o cuso oal, dl ( i, j). l = 1 1 O ermo Homogêneo é uilizado para caracerizar que odos os servos são idênicos e que as soliciações por serviço podem ser aendidas com o deslocameno de qualquer um dos servos aos locais onde as soliciações surgiram.

3 3 o Congresso Brasileiro de P&D em Peróleo e Gás 3. Análise Compeiiva Uma solução óima para o problema é normalmene possível se a seqüência ineira é conhecida a priori. Nesse caso, o algorimo de solução do problema é dio ser offline. No problema online, não se conhecem as soliciações fuuras em um dado insane, ou seja, é desconhecido se >. Um algorimo online A é dio ser c-compeiivo se exisirem consanes c e α, al que C A( ) c C OPT ( ) + α para qualquer seqüência. Nessa expressão, C A( ) e C OPT ( ) correspondem aos cusos associados ao algorimo A e ao algorimo óimo offline, respecivamene. A consane c é chamada razão de compeiividade de A, considerando que A é deerminísico. 4. Aprendizagem por Reforço O Algorimo Q-Learning O OimSPT pode ser viso como um processo de decisão em múliplas eapa onde a cada insane ( i = 1,2, L, m) considerado, uma decisão deve ser omada sobre qual SPT deve ser deslocada para aender a soliciação de inervenção i. Esse processo é markoviano, uma vez que a decisão a ser omada no insane i depende apenas das informações disponíveis nesse insane. Desa forma, considera-se o OimSPT um problema de conrole óimo em processos de decisão markovianos. Para a solução de problemas de decisão markoviano uma abordagem basane eficiene é a Aprendizagem por Reforço (Suon e al., 1998). Traa-se de um processo de aprendizado nãosupervisionado, que ensina como mapear siuações para açõe de modo a maximizar (minimizar) um sinal numérico de reforço. O aprendizado baseia-se na ieração de um agene de aprendizagem com o seu ambiene. O agene irá ineragir com o ambiene para realizar o aprendizado. O ambiene é represenado por um conjuno finio de esados S = { s1, s2, K, sk }, cujos elemenos s represenam as localizações das SPTs na bacia perolífera G num insane de empo discreo 2. Para cada esado, esá associado um conjuno A ( s ) finio de ações a, onde cada ação represena o deslocameno de uma SPT para aender uma soliciação. Para cada ação omada e caso uma ransição de esados s s +1 enha ocorrido, uma avaliação do resulado desa ação, na forma de um sinal numérico r + 1, denominado reforço, é apresenada ao agene pelo ambiene. O processo de aprendizagem em por finalidade orienar o agene a omar as ações que venham a maximizar (minimizar) o somaório dos sinais de reforços recebidos ao longo do empo, denominado reorno, o que nem sempre significa maximizar o reforço imediao a receber. Maemaicamene (para Tarefas de Horizone Infinio 3 ), em-se: R = r 2 k r γ r + 3 = γ r + k + 1 k = 0 γ K (1) onde R represena o reorno (somaório dos reforços) recebido ao longo do empo, r + k o sinal de reforço imediao, e γ é o faor de descono, 0 γ 1, uilizado para garanir que R seja finio. Uma políica, expressa por π, represena o comporameno que o agene deve seguir para alcançar a maximização (minimização) do reorno. Uma políica π ( é um mapeameno de esados s em ações a, omadas naquele esado, e represena a probabilidade de seleção de cada uma das ações possívei de al forma que as melhores ações correspondem às maiores probabilidades de escolha. Para se saber se um agene esá conseguindo escolher as melhores açõe alguma medida de qualidade dessas ações precisa ser considerada. Para ano, em-se o conceio de Função de Valor esado-ação Q(, a qual é um número que represena uma esimaiva do quão bom é para o agene esar em um dado esado s e omar uma dada ação a, quando se esá seguindo uma políica π qualquer. O ermo represena o valor esperado de reorno para o esado s = s (esado aual), iso é, o somaório dos reforços aplicando-se a axa de descono γ. Maemaicamene, em-se: Q π ( = k Eπ γ r k = 0 = s a + k + 1 s, = a (2) A quesão cenral da Aprendizagem por Reforço pode enão ser colocada: Dada uma políica π (, qual a melhor forma de esimar Q (? 2 O ermo esado é sinônimo de Configuração das SPTs. 3 Tarefas de Horizone Infinio são problemas em que a ieração enre o agene e o ambiene coninua sem limie, de maneira conínua. Como por exemplo, o aprendizado para realizar o conrole de sensores em uma indúsria.

4 3 o Congresso Brasileiro de P&D em Peróleo e Gás Conhecendo-se uma resposa afirmaiva para a quesão anerior, de que forma essa políica pode ser modificada, al que Q ( aproxime o valor óimo dessa função, e a conseqüene políica óima correspondene possa ser obida? Vários são os resulados enconrados na lieraura que aporam uma resposa a esas quesõe noadamene aqueles baseados em Programação Dinâmica (Bellmann, 1957), Méodos de Mone Carlo e Diferenças Temporais (Suon e al., 1998). Nese rabalho, opou-se por uilizar o algorimo Q-Learning, desenvolvido por Wakins e al. (1992). Denre as vanagens desse algorimo esá o fao dele aproximar direamene o valor óimo de Q (, independenemene da políica uilizada. Os valores de Q ( são aualizados segundo a equação: [ r + max Q( s, Q( )] Q( = Q( + α + 1 γ a + 1 a (3) onde α é a axa de aprendizagem. O algorimo que implemena o Q-Learning esá mosrado na Figura 1. Inicialize Q( arbirariamene; Repia (para cada episódio) Inicializar s Repia (para cada insane de empo) Escolher a para s usando a políica π ; Dado a ação a, observe r, s ; Q( = Q( + α [ r γ maxa Q( s + 1, Q( ]; s s ; aé condição de parada esabelecida Figura 1. Algorimo Q-Learning. Dado que a convergência do algorimo só é garanida se odos os pares esado-ação forem visiados infinias veze a escolha da políica a ser uilizada no Q-Learning deve garanir que odos os pares enham uma probabilidade não nula de serem visiados. Iso pode ser alcançado uilizando-se uma políica ε-gulosa, definida por: ε 1 ε +, se a = a* = arg maxq( A( s) a π ( = (4) ε, a a * A( s) 5. Modelagem do OimSPT Segundo a Aprendizagem por Reforço O objeivo a ser alcançado pela modelagem da Aprendizagem por Reforço para a solução do OimSPT é enconrar uma políica π que indique os movimenos das SPTs de modo que o cuso oal neses deslocamenos seja o menor possível. Do pono de visa da Aprendizagem por Reforço, o problema pode ser modelado como segue: o esado do ambiene é represenado por uma configuração possível das k SPT ou seja, por k-uplos do ipo s = { SPT1, SPT2, K, SPTk }. As ações correspondem aos deslocamenos permiidos das SPTs em um esado válido. Em cada esado, e considerando o surgimeno de uma inervenção j em um dos n poços da bacia perolífera, um dos k SPTs será deslocado. Dese modo, em-se que o número de ações permiidas para aender j é k. Nese rabalho, só será considerado o surgimeno de uma inervenção por vez, deixando a análise de múliplas inervenções para rabalhos fuuros. O número oal de esados possíveis é dado pela combinação faorial do número de poços pelo de SPT de n! acordo com a expressão C n, k =, onde n indica o número de poços e k o número de sondas disponíveis. Diane ( n k)! k! diso, pode-se inferir que para armazenar os valores da função Q, uma esruura de dimensão C n, k k n deve ser uilizada, onde C n, k represena o número oal de esados válidos e k n o número de ações permiidas por esado.

5 3 o Congresso Brasileiro de P&D em Peróleo e Gás Deve-se observar que a dimensão da esruura de armazenameno uilizada pela Aprendizagem por Reforço cresce em função do número de poços e das SPTs. Ao se analisar esse crescimeno, percebe-se que o mesmo ocorre de maneira exponencial. Ese problema, denominado Maldição do Dimensionameno, foi inroduzido por Belmann (1957) e significa a impossibilidade de execução de um algorimo para ceras insâncias de um problema, pelo esgoameno de recursos compuacionais para obenção de sua saída. Infere-se, conseqüenemene, que para que se possa aplicar a solução baseada no Q-Learning a um número significaivo de poço algum mecanismo deve ser criado para conornar o problema do dimensionameno inerene ao méodo da Aprendizagem por Reforço. Para superar o problema supraciado, uma solução hierarquizada baseada na Aprendizagem por Reforço e no Méodo Guloso foi proposa. A idéia geral é aplicar a Aprendizagem por Reforço a um número reduzido de poço selecionados seguindo um criério específico, do conjuno de poços da bacia e enar generalizar o aprendizado obido nese reinameno para ouros pares esado-ação não visiados. Quando a generalização não for possível, uiliza-se o criério guloso para selecionar o servo a ser deslocado. Os passos do algorimo que implemena a solução hierarquizada em Poruguês Esruurado são apresenados na Figura 2: 1. Divida o conjuno de poços em grupamenos de proximidade; 2. Para cada grupameno formado a. Escolha um nó para represenar o grupo nós-cenro; b. Execue o algorimo da Aprendizagem por Reforço no conjuno de nós que compõem o grupo; 3. Execue o algorimo da Aprendizagem por Reforço nos nós escolhidos no passo anerior - nós-cenro; 4. Se o par esado-ação não foi visiado no passo anerior e a generalização não puder ser feia, uilize o criério guloso para escolher o servo a ser deslocado. Figura 2. Algorimo Hierarquizado. Para realizar a divisão do conjuno de n poços da bacia em x grupos ( x < n ), uilizou-se o Algorimo de Boruvka (Goldbarg a al., 2000), a parir da Árvore Geradora Mínima (Goldbarg a al., 2000) da bacia (grafo). O número de grupos formados é fornecido como parâmero. O criério de escolha dos poços que represenam cada grupo, os quais foram denominados nós-cenro, é a média do cuso para deslocar uma SPT, considerando sempre como pono inicial o poço em quesão, a odos os demais poços do seu grupo. Em ouras palavra o poço selecionado será aquele que possuir, em média, o menor cuso para deslocar uma sonda para odos os ouros poços do seu grupo, considerando sempre como pono inicial de parida o poço em quesão. Nos primeiros passos do algorimo hierarquizado, o conjuno de n poços do problema foi dividido em x grupamenos de proximidade, e para cada grupameno um nó-cenro foi selecionado, oalizando x nós-cenro. A Aprendizagem por Reforço será aplicada nese conjuno de x nós-cenro e em cada conjuno de poços que compõem os x grupameno manendo-se consane o oal de k SPTs. A execução da Aprendizagem por Reforço, nese conjuno reduzido de nó maném as mesmas caracerísicas da execução se a mesma ocorresse no conjuno de n nós que compõem a bacia perolífera complea. Porém, deve-se observar que os servos e os possíveis locais de demanda esarão localizados somene nos nós selecionados durane cada execução. A redução da esruura de armazenameno usada pela Aprendizagem por Reforço para armazenar os valores da n função Q ocorrerá em função de um faor de redução δ, de acordo com a expressão, C n k. O valor de δ é, k δ δ função do número de grupos formados. Quando os servos e as demandas perencerem a grupos disino odos ele e os mesmos não esiverem nos nós-cenros dos seus respecivos grupo serão considerados como se esivessem. A parir desa suposição, uiliza-se o conhecimeno obido durane a execução da Aprendizagem por Reforço para escolha do servo a ser deslocado, já que o aprendizado com os servos e as demandas localizados nos respecivos nós-cenros dos seus grupos já foi realizado. Esa ransposição da posição dos servos ou da requisição faz com que o aprendizado possa ser uilizado em pares esadoação que não foram visiado generalizando o conhecimeno obido durane o aprendizado. Quando o par esado-ação não for visiado pela Aprendizagem por Reforço e a generalização do conhecimeno não puder ser feia, o criério para o deslocameno dos servos será o guloso, ou seja, o servo a ser deslocado será o que apresenar o menor cuso para deslocar a sonda aé o pono que esá soliciando inervenção. Para verificar o desempenho da solução apresenada, experimenos foram realizados e o desempenho comparado com o Algorimo Harmonic de solução do PKS, cuja axa de compeiividade já foi prova por Baral e al. (1991). O Harmonic foi modelado de acordo com o OimOPT. Foram realizados 3 experimenos. Em cada experimeno, foram apresenadas 100 seqüências de inervenções. Uma seqüência é composa por 500 pedidos de inervenção j em poço sendo cada inervenção gerada randomicamene. Para cada experimeno, alerou-se o número de grupos formados. Regisrou-se o cuso ao se deslocar as sonda segundo os criérios de seleção esabelecidos pelos algorimos.

6 3 o Congresso Brasileiro de P&D em Peróleo e Gás No final dos experimeno anoou-se, o menor e o maior cuso de deslocameno para aender à seqüência de requisiçõe o valor médio dos cusos e quanas vezes cada algorimo foi o melhor em comparação ao ouro, vale dizer, quanas vezes conseguiu ober o menor cuso oal decorrene dos deslocamenos das SPTs para aender a seqüência de requisições. O reinameno do algorimo da Aprendizagem por Reforço nos nós-cenro foi feio a parir de uma seqüência de requisições apresenadas ao mesmo, considerando α = 0. 1, γ = 0. 9 e ε = Os resulados são apresenados na Tabela 1. Tabela 1. Resulados obidos nos eses. n = 100 k = 3 grupos = 18 i. = 3e05 Algorimos Min Max µ Vi. Hierárquico Harmonic n = 100 k = 3 grupos = 20 i. = 3e05 Algorimos Min Max µ Vi. Hierárquico Harmonic n = 100 k = 3 grupos = 24 i. = 3e05 Algorimos Min Max µ Vi. Hierárquico Harmonic Legenda µ - média dos Cusos Vi. Viórias obidas Pela análise dos resulados apresenado consaou-se que o desempenho do algorimo hierárquico foi mais eficiene do que o do Harmonic. Em seu melhor caso, obeve 80% das viórias. Em seu pior caso, 65%. Em odos os caso obeve mais viórias do que o ouro algorimo. 6. Conclusão A Aprendizagem por Reforço mosrou-se uma ferramena eficaz no desenvolvimeno de algorimos para a oimização do Problema do Gerenciameno de Sondas de Produção Terresre (OimSPT). O OimSPT foi raado como uma aplicação online do Problema dos k Servos Homogêneo e em seguida modelado segundo as caracerísicas da Aprendizagem por Reforço, uilizando-se o Q-Learning como méodo de solução. Observou-se que o desempenho do algorimo proposo foi melhor do que o de algorimos consagrados para a solução do PKS e cujas axas de compeiividade já foram provadas. A redução dos cusos associados aos deslocamenos das sondas e a redução da perda na produção de óleo decorrene da espera por serviços é o principal araivo para se buscar novos méodos para o agendameno das SPTs. Para ano, visa-se para rabalhos fuuros a incorporação de novas resrições ao deslocameno das sonda adequando o problema a condições reais dos deslocamenos das SPT de al forma que se consiga verificar o desempenho da solução proposa para insâncias de problemas reais. 7. Referências Baral, Y. and Grove, E., The Harmonic K-Server Algorihm is Compeiive. 23rd ACM Symposium on Theory of Compuaion, pages ,1991. Bellman, R., Dynamic Programming, Princeon Universiy Pres Borodin, A. and El-Yaniv, R., Online Compuaion and Compeiive Analysi Cambridge Universiy Pres Goldbarg, M. C. and Luna, H. P. C., Oimização Combinaória e Programação Linear: Modelos e Algorimo Ediora Campu Manasse, M. S., McGeoch, L. A. and Sleaor, D. D., Compeiive Algorihms for On-Line Problem In: Proc. 20h Annual ACM Symposium on Theory of Compuing, pages , Suon, R. S. and Baro, A. G., Reinforcemen Learning: An Inroducion,The MIT Pres Wakin C. J. C. H. and Dayan, P., Q-Learning: Machine Learning, Kluwer Academic Publisher pages , 1992.