CAPÍTULO 3. Sistemas com Vários Componentes (Multicomponentes) em Modelos Markovianos de Decisão

Transcrição

1 CAPÍTULO 3 Sistemas com Vários Componentes (Multicomponentes) em Modelos Markovianos de Decisão Multicomponentes Conceitos Básicos: O conceito de multicomponente é utilizado em diversas áreas de modelagem de sistemas, como por exemplo: em Shaked e Shanthikumar (1990) na teoria da confiabilidade, e em Cieslak et al. (1988), Lin e Wonham (1990), Rudie e Wonham (1992) e Ushio (1993, 1997) na teoria de autômata. Na teoria de confiabilidade um sistema é composto de componentes que estão sujeitos a degradação e falha. Shaked e Shanthikumar (1990) definem um Sistema de Confiabilidade Binário da seguinte forma: os n componentes do sistema e o sistema podem estar no estado funcionando ou quebrado num dado instante de tempo; isto é, para cada i (i=1,,n) seja x i o estado do componente i tal que: x i 1 = 0 se se o o componente componente i i está está em condição quebrado de bom funcionamento Então, o estado z do sistema é uma função dos estados das componentes. Assim, 1 z = φ(x) = 0 se se o o sistema sistema está está em condição quebrado de bom funcionamento Para qualquer estado x {0, 1} n de componentes, o estado do sistema é φ(x), onde φ:{0,1} n {0,1}. Para o estudo do desempenho de sistemas, a idéia anterior, que corresponde à decomposição do sistema em componentes e a modelagem do comportamento de cada componente a partir de transições entre estados, pode ser diretamente utilizada. No 39

2 entanto, considera-se que cada componente pode ser classificado em mais que dois estados, por exemplo que um componente em condição de bom funcionamento pode estar operando ou esperando (bloqueado ou ocioso) Ainda que esteja fora do escopo deste trabalho, é interessante mencionar que idéias próximas às aqui apresentadas aparecem na teoria de autômata. Nesta teoria têm-se, segundo Lin e Wonham (1990), que os sistemas com eventos discretos são modelados por um autômata e seus comportamentos descritos por uma linguagem formal associada. O controle é exercido por um supervisor, cujas ações são permitir ou incapacitar eventos (transições) em um subconjunto de eventos controláveis; o supervisor pode estar restrito a observar somente eventos em subconjuntos distintos de eventos observáveis. O comportamento do sistema em modelos markovianos pode ser modelado por um diagrama de estado onde cada estado representa uma configuração possível para o sistema e as transições correspondem a mudanças de configurações que ocorrem de forma aleatória ao longo do tempo ou em função das decisões tomadas. Uma configuração corresponde a um conjunto de informações sobre o estado físico de cada componente do sistema (livre, ocupado, quebrado, ). As transições são fornecidas por eventos que correspondem ao final de uma tarefa, à ocorrência de uma perturbação no funcionamento do sistema (uma falha, por exemplo) ou ainda a uma decisão tomada (bloqueio de uma máquina). A estrutura usada para a representação dos estados do sistema considera que cada estado é uma configuração possível para os estados dos seus diversos componentes. Assim, os estados são representados por ênuplas de valores inteiros. Cada coordenada da ênupla representa o estado de um componente do sistema. Para os modelos baseados em Processos de Markov a Tempo Discreto, cada transição é caracterizada pelo estado de partida, pelo estado de chegada e pela probabilidade de transição entre os dois estados. Para os modelos baseados em Processos de Markov a Tempo Contínuo, cada transição é caracterizada pelo estado de partida, pelo estado de chegada e pela taxa de transição entre os dois estados. 40

3 O Processo Markoviano de Decisão modela sistemas dinâmicos que têm seu comportamento alterado por decisões tomadas dinamicamente. Nestes processos, um supervisor observa o sistema e toma uma decisão conforme o estado atual de seus componentes acarretando em um custo. Nos modelos a tempo contínuo, a caracterização do sistema como um processo markoviano de decisão exige o cálculo, para cada estado i E e para cada ação a A, das seguintes grandezas: p ij (a) = probabilidade de no próximo instante de decisão o sistema estar no estado de observação j E, dado que o sistema está no estado i e a ação a é escolhida; c i (a) = valor esperado do custo total incorrido até o próximo instante de decisão; τ i (a) = tempo esperado até o próximo instante de decisão. Para a utilização de Processos Markovianos de Decisão com supervisão descentralizada, é interessante uma estruturação do espaço de estados de forma que as informações disponíveis para cada supervisor sejam facilmente identificadas. Analogamente, é interessante uma estruturação do espaço de ações de tal forma que as políticas de controle para cada supervisor também sejam facilmente identificadas. Para isto, a decomposição do sistema em componentes é bastante útil. Com ela, torna-se fácil e claro indicar para cada supervisor as informações disponíveis através de componentes visíveis e as decisões a ele delegadas através da indicação dos componentes que ele deve controlar. Em geral, os objetivos dos supervisores podem ser diferentes. Neste trabalho, admite-se que um centro de decisões, considerando o objetivo global do sistema, é responsável pela obtenção da política de controle de cada supervisor. Cabe a cada supervisor observar o comportamento do sistema e, em função das observações, tomar as decisões prescritas pela política gerada pelo centro de decisões. A seguir, são apresentados os conceitos importantes usados para o desenvolvimento deste trabalho: 41

4 1) Os estados de um sistema com vários componentes, multicomponentes, são representados matematicamente por uma ênupla (i 1, i 2, i 3, i 4,..., i N ) onde cada coordenada, i n, n = 1, 2,..., N guarda a informação sobre o estado corrente de cada um dos componentes do sistema. 2) O centro de decisões atribui políticas de controle a cada supervisor com base no comportamento dinâmico do sistema, dado que possui as informações globais do sistema. 3) Um supervisor é um agente que executa a política atribuída pelo centro de decisões, supervisionando um ou mais componentes de um sistema e agindo de acordo com as decisões prescritas pela política a ele atribuída. Um supervisor ainda pode controlar um processo externo ao sistema (por exemplo, o supervisor pode aceitar ou rejeitar a chegada de um cliente em um sistema). 4) Um componente pode ser controlável ou não controlável. Um componente é controlável quando está sujeito à ação de um supervisor e é não controlável quando não está sujeito à ação de um supervisor. 5) Em sistemas multicomponentes, em geral o comportamento de cada componente depende do comportamento dos demais componentes e, ainda, o estado de um componente pode impor restrições ao estado de outro componente do sistema. 7) Um subsistema é constituído por um ou mais componentes de um sistema. 8) Num sistema multicomponentes com supervisão centralizada, um único supervisor observa todos os componentes do sistema e controla todo o sistema. Num sistema com supervisão descentralizada, um centro de decisões atribui políticas de controle a um número finito de supervisores. Cada supervisor dispõe de um conjunto de informações sobre o sistema (subsistema) e as decisões devem ser tomadas em função das informações que lhes são disponíveis. 9) Loeve (1995) utiliza a expressão controle descentralizado para caracterizar a 42

5 situação descrita no item anterior. Preferiu-se no presente trabalho a expressão supervisão descentralizada com o objetivo de diferenciar a obtenção das políticas de controle, que continua concentrada no centro de decisões, e sua execução. Esta sim descentralizada, através de supervisores que observam o comportamento de parte do sistema e agem de acordo com uma política prescrita pelo centro de decisões. 10) O sistema reage às ações de todos os supervisores que o controlam. Em um sistema com k supervisores, k = 1, 2..., S, a ação do supervisor k é a A k, onde A k é o espaço de ações para o supervisor k, k = 1, 2,..., S. Assim, o espaço de ações desse sistema é é dado pelo produto cartesiano das ações de todos os supervisores: A 1 A 2 A S. 11) Cada supervisor tem visibilidade parcial sobre um sistema multicomponentes, ou seja, cada supervisor observa um subsistema composto por um ou mais componentes do sistema. Também, é possível que um supervisor tenha visibilidade total sobre um sistema multicomponentes, ou seja, o supervisor observa todos os componentes do sistema. No modelo desenvolvido neste trabalho, além de considerar visibilidade parcial sobre um sistema multicomponentes, também considera uma visibilidade parcial do estado de um componente. Visibilidade total do estado de um componente representando uma máquina de um sistema, por exemplo, significa que o supervisor pode observar se a máquina está em uma das condições {esperando, processando, quebrado}. Entretanto, se o conhecimento que se tem é de que o componente pode estar em uma das condições {ligado, desligado}, diz-se que se tem uma visibilidade parcial do componente representado pela máquina. Isto porque quando a máquina está ligada ela pode estar processando ou em reparo; e quando está desligada é porque ela está esperando. 43

6 3.2 - Tipos de Controle em Sistemas Sistemas com Supervisão Centralizada Na supervisão centralizada representada na Figura 3.1, um único supervisor observa e toma decisões levando em conta todos os estados observados em todos os componentes do sistema. indica que o supervisor único recebe todas as informações do sistema indica que o supervisor controla todo o sistema Supervisor Único S I S T E M A Fig Estrutura com supervisão centralizada Sistemas com Supervisão Descentralizada Para alguns sistemas complexos, é muito difícil o sistema ser observado e controlado por um único supervisor. Assim, a utilização de supervisão centralizada para tratar destes problemas pode não ser a mais adequada. Neste caso, é interessante decompor o sistema em um conjunto de subsistemas (componentes) e cada subsistema ser controlado por um supervisor. Alguns exemplos típicos de sistemas considerados complexos são: energia elétrica; 44

7 tráfego urbano; linhas de produção; redes de computadores; sistemas ecológicos; sistemas econômicos. Segundo Sandell Jr. et al. (1978), tais sistemas são frequentemente caracterizados pela separação geográfica, tal que questões como o custo econômico e a confiabilidade de linhas de comunicação são levados em consideração. Neste contexto, existe uma tendência para decisões descentralizadas e controles hierárquicos. Em modelos com supervisão descentralizada o objetivo é designar estratégias de controle locais (Figura 3.2), onde cada supervisor, conhece apenas o que ocorre na parte do sistema que controla (ou próximo dela). Na Figura 3.2, considera-se como sistema a parte física, como por exemplo máquinas e estoques. A parte humana, como por exemplo o centro de decisões e os supervisores, são considerados externos ao sistema. As flechas têm os seguintes significados: fluxo de informações globais sobre o comportamento dinâmico do sistema fluxo de atribuição de políticas de controle fluxo de decisões locais fluxo de informações locais sobre o estado corrente dos subsistemas Obs: A última seta indica que há possibilidade de que informações locais de um subsistema i também possam ser informações para um supervisor j para i j. 45

8 Centro de Decisões Supervisor 1 Supervisor 2 Supervisor n subsistema 1 subsistema 2. subsistema n S I S T E M A Fig Estrutura com supervisão descentralizada Exemplos de Controle de Sistemas A seguir, apresentam-se dois exemplos de tipos de controle. Exemplo 1: Política (s, S) A solução clássica deste problema consiste em procurar uma política de estoque do tipo (s, S) que prescreve o bloqueio da máquina quando o nível de estoque cresce até atingir o nível S (S > s) e prescreve o desbloqueio de uma máquina quando o nível do estoque por ela alimentado decresce até atingir o nível s. Em Hwang e Koh (1992) é apresentado um modelo markoviano para a obtenção de uma política (s, S) que minimize o custo esperado a longo prazo do estoque de peças semi- 46

9 acabadas entre duas máquinas M 1 e M 2 em série. A política (s, S) é um exemplo de política de controle com informação parcial, pois leva em consideração apenas os níveis de estoques. O estado dos outros componentes não é observado. Exemplo 2: Problema de um Sistema de Linha de Produção com Estoques Intermediários Considera-se a fabricação contínua de uma peça num sistema de produção composto por três máquinas em série, M 1, M e M 2, separadas por estoques intermediários. A 3 fabricação de cada peça exige um processamento pela máquina M 1 seguido de um processamento pela máquina M 2 e, finalmente, um processamento pela máquina M 3. Admitindo-se que as máquinas estão sujeitas a quebras, o problema tratado é o controle ótimo do estoque P 1 de peças semi-acabadas entre as máquinas M 1 e M 2 e do estoque P 2 de peças semi-acabadas entre as máquinas M 2 e M 3. Consideram-se políticas de controle que decidem sobre o bloqueio ou desbloqueio dinâmico da máquina M 1 ou da máquina M 2 não apenas em função do tamanho do estoque intermediário, mas também em função do estado observado de cada máquina. Este problema será tratado com detalhes no Capítulo 5 deste trabalho. 47