Transacções distribuídas:

Transcrição

1 Transacções distribuídas: Three-Phase Commit (3PC) Departamento de Engenharia Informática É não-bloqueante: Todos os processos que não falham eventualmente decidem Qual a condição de terminação no 2PC? Problema no 2PC: se coordenador falha antes de enviar mensagem da fase 2 (resultado) a um processo correcto Processo correcto não pode decidir commit pois algum processo pode ter votado não Também não pode decidir abort pois processo pode ter decidido commit e posteriormente falhado

2 Transacções distribuídas: Three-Phase Commit (3PC) Departamento de Engenharia Informática Solução: protocolo deve garantir que se um processo está incerto, então nenhum processo pode ter decidido commit Criar um novo estado: Pré-Confirmar, antecede o commit Em caso de falha do coordenador, eleger novo coordenador

3 Transacções distribuídas: 3PC - diagramas de estados Departamento de Engenharia Informática Coordenador Participante Inicial Inicial - (Preparar) Preparar (voto não) Preparar (voto sim) Protocolo Terminação Esperar Preparado Um voto não (Abortar Global) Todos votos sim (Preparar Confirmação) Pré-Confirmar Abortar Global (Feito) Preparar Confirmação (Preparado) Pré-Confirmar Abortar Todos preparados (Confirmar Global) Confirmar Abortar Confirmar Global (Feito) Confirmar Expirou Temporizador

4 Transacções distribuídas: 3PC Mensagens e fases Departamento de Engenharia Informática P P P C P C P C P C P P P Preparar Sim Preparar confirmação Preparado Confirmar Global Feito

5 Transacções distribuídas: Tolerância a faltas no 3PC Departamento de Engenharia Informática Timeout no Coordenador Estado Esperar (já não era bloqueante no 2PC) Aborta unilateralmente a transacção Estados Pré-Confirmar Os participantes podem não estar no Pré-Confirmar, mas pelo menos estão no Preparado Sabe que nenhum pode estar no estado de abortar porque de outra forma ele não podia estar no estado de Pré-confirmação E (re)envia a mensagem Confirmar Global Abortar e Confirmar Considera a transacção terminada Os Participantes estão nos estados Pré-Confirmar ou Preparado

6 Transacções distribuídas: Tolerância a faltas no 3PC Departamento de Engenharia Informática Timeout num Participante Estado Inicial (já não era bloqueante no 2PC) Opta unilateralmente por abortar a transacção Estado Preparado ou Pré-Confirmar Depende da decisão do Coordenador que já influenciou Corre protocolo de terminação

7 Protocolo de Terminação Eleger novo coordenador Novo coordenador pergunta o estado a todos Se algum estiver em Commit/Abort envia Commit/Abort a todos Se todos em Preparado, nenhum em Commit envia Abort a todos Se todos em Pre-confirmar, nenhum em Abort envia Commit a todos Se alguns em Preparado, outros em Pré-confirmar, nenhum em Abort corre duas fases finais (Preparar, Confirmar)

8 Transacções distribuídas: Tolerância a faltas no 3PC Departamento de Engenharia Informática Recuperação do Coordenador Estados Inicial Pode abortar unilateralmente Estado Esperar Pode ter sido eleito um Novo Coordenador Se o NC estiver nos estados Esperar ou Abortar a transacção abortou Pergunta aos Participantes como terminou a transacção Estado Pré-Confirmar Pergunta aos Participantes como terminou a transacção Estados Abortar ou Confirmar Se ainda não recebeu todas as confirmações repete o envio da mensagem global previamente enviada

9 Transacções distribuídas: Tolerância a faltas no 3PC Departamento de Engenharia Informática Recuperação de um Participante Estado Inicial Aborta unilateralmente a transacção Estado Preparado ou Pré-Confirmar Pergunta ao Coordenador ou aos Participantes como terminou a transacção

10 Transacções Atómicas em Web Services

11 Transacções em Web Services Visão mais abrangente: mecanismo para participantes numa aplicação obter um consenso sobre um resultado Suporta vários modelos/protocolos transaccionais E.g., modelo ACID, 2PC, nested, business transactions,... Separar a coordenação que tem sempre de existir dos protocolos específicos de consenso WS-coordination: criar o contexto, definir o coordenador e saber quem são os participantes numa actividade transaccional

12 WS-Coordination - modelo Uma aplicação é um conjunto de actividades (e.g., transacções, ou outras) O WS-coordination é uma especificação de um protocolo para gerir as actividades que constituem uma aplicação

13 WS-Coordination - modelo Cada mensagem trocada inclui um CoordinationContext para compreendê-la: Identificador único da actividade Registration Service utilizado Tipo de coordenação (Transacção atómica vs. BusinessActivity)

14 WS-Coordination - Serviços Activation Service Usado para criar transacção/ actividade, retorna CoordinationContext Registration Service Usado pelos participantes para se registarem junto do coordenador para um protocolo Coordination Protocol Services Específico a cada protocolo de coordenação

15 WS - Transaction WS - AtomicTransaction WS - BusinessActivity WS - Coordination

16 WS - Transaction Dois tipos de coordenação: Transacção Atómica (AT) Usado para coordenar actividades de curta duração Garantem atomicidade (e.g., usando o 2PC) Desenhados para garantir compatibilidade com sistemas transaccionais existentes Business Activity (BA) Actividades de longa duração Desenhado para uma lógica de negócio Desenhados para garantir compatibilidade com sistemas de modelação de processos de negócio / workflow

17 Transacção Atómica (AT) Norma que usa o WS-Coordination, estendendo-o para suportar transacções atómicas: Ao criar uma transacção atómica, criar um CoordinationContext associado ao coordenador Propagar o CoordinationContext nas mensagens Registar os participantes nos protocolos de coordenação Suporta 2PC ou outros protocolos

18 Exemplo de uso do CoordinationContext <?xml version="1.0" encoding="utf-8"?> <S:Envelope xmlns:s=" <S:Header>... <wscoor:coordinationcontext xmlns:wscoor=" xmlns:wsu=" xmlns:myapp=" <wsu:identifier> </wsu:identifier> <wsu:expires> t13:20:00-05:00</wsu:expires> <wscoor:coordinationtype> </wscoor:coordinationtype> <wscoor:registrationservice> <wsu:address> </wsu:address>< myapp:myapp:betamark>... </myapp:myapp:betamark> <myapp:ebdcode>... </myapp:ebdcode> </wscoor:registrationservice> <myapp:isolationlevel>repeatableread</myapp:isolationlevel> </wscoor:coordinationcontext>... </S:Header>... </S:Envelope>

19 Seq. de Mensagens numa Transacção Atómica

20 WSDL de Participante no 2PC <wsdl:porttype name="2pcparticipantporttype"> <wsdl:operation name="prepare"> <wsdl:input message="wstx:prepare" /> </wsdl:operation> <wsdl:operation name="onephasecommit"> <wsdl:input message="wstx:onephasecommit" /> </wsdl:operation> <wsdl:operation name="commit"> <wsdl:input message="wstx:commit" /> </wsdl:operation> <wsdl:operation name="rollback"> <wsdl:input message="wstx:rollback"> </wsdl:operation> <wsdl:operation name="unknown"> <wsdl:input message="wstx:unknown" /> </wsdl:operation> <wsdl:operation name="error"> <wsdl:input message="wstx:error" /> </wsdl:operation> </wsdl:porttype>

21 WSDL de Coordenador no 2PC <wsdl:porttype name="2pccoordinatorporttype"> <wsdl:operation name="prepared"> <wsdl:input message="wstx:prepared" /> </wsdl:operation> <wsdl:operation name="aborted"> <wsdl:input message="wstx:aborted"/> </wsdl:operation> <wsdl:operation name="readonly"> <wsdl:input message="wstx:readonly"/> </wsdl:operation> <wsdl:operation name="committed"> <wsdl:input message="wstx:committed"/> </wsdl:operation> <wsdl:operation name="replay"> <wsdl:input message="wstx:replay"/> </wsdl:operation> <wsdl:operation name="unknown"> <wsdl:input message="wstx:unknown" /> </wsdl:operation> <wsdl:operation name="error"> <wsdl:input message="wstx:error"/> </wsdl:operation> </wsdl:porttype>

22 Transacções de Negócio Novo modelo transaccional Semelhante: acede múltiplos objectos, cada acesso transaccional Diferente: Em caso falha, em vez de ocultar resultados, executa compensação

23 Transacções de Negócio Exemplo Agência de viagens necessita comprar bilhetes de avião, estadia, e alugar carro para um cliente Cada um destes passos é um web service exportado por entidade autónoma (diferentes domínios administrativos) Processo pode ser moroso O que fazer se tem todas as reservas feitas e descobre que não há carros para alugar?

24 Actividade de Negócio (Business Activity) Unidade de base: Actividade O processo de nível mais alto denomina-se actividade de negócio Pode ter longa duração Não compatível com uso de trincos Permite que acções provisórias sejam expostas a outros participantes no negócio

25 Compensação Se uma acção não for bem sucedida, executa acção de compensação Por exemplo, cancelar as reservas de voo e hotel (mesmo que, para tal, tenha de pagar uma taxa) Em certos casos poder-se-ia retomar a actividade de negócio após compensação

26 Compensação Assume-se que t4 aborta mas que a actividade poderia continuar se repuser o estado modificado por algumas das tarefas anteriores a t4. Neste caso devem ser realizadas novas tarefas TC1 e depois uma eventual continuação da actividade com as tarefas t5 e t6

27 Filas de Mensagens Message Oriented Middleware - MOM

28 Canal com fila de mensagens Emissor Rede Receptor Emissor Emissor fila Modelo do RPC ou de ligação de transporte fila Receptor Receptor Emissor fila fila Receptor

29 Integração por Mensagens Message Oriented Middleware A integração é feita através do encaminhamento de informação (mensagens) entre os sistemas. As aplicações recebem e enviam as mensagens para um servidor central (broker). As mensagens uma vez recebidas pelo broker podem ser reformatadas, combinadas ou modificas por forma a serem entendidas pelo sistema de destino. Normalmente não é necessário modificar os sistemas envolvidos. Os Message Brokers fornecem adaptadores para as aplicações mais comuns (SAP, Baan, PeopleSoft, etc.).

30 Comparação de canais com e sem fila de mensagens Mensagens Directas (mecanismo de transportes) Positivo As API são muito simples. Qualquer tipo de dados pode ser transmitido. Total separação entre os dados e o código das aplicações que tratam as mensagens Negativo As aplicações tem de fazer manualmente a codificação e a descodificação dos dados Filas de Mensagens Message queuing Message Oriented Middleware Tudo o que está acima + Funcionamento assíncrono permite distribuir carga e ganhar eficiência Permite um funcionamento desconectado da rede. Permite 1 para muitos e muitos para muitos. Tudo o que está acima + A maioria dos produtos de queuing não interoperam bem O assincronismo torna a programação mais difícil (programação por eventos).

31 Modelo de Comunicação Comunicação Assíncrona O emissor é imediatamente desbloqueado depois da mensagem ter sido aceite para envio (funcionamento assíncrono) O servidor responde também assincronamente Comunicação Sincrona O emissor só continua quando recebe um ack que a mensagem foi recebida Pedido-resposta comunicação síncrona Muitas interacções baseiam-se num pedido e numa resposta. Comportamento semelhante ao da chamada remota de procedimentos O emissor pode especificar o endereço de resposta mas este depende da organização da rede. A infraestrutura pode encarregar-se de fazer o emparelhamento, permitindo que a resposta provenha de uma outra aplicação

32 Exemplo de MOM Java Messages

33 Java Messaging Service - JMS Elementos da infraestrutura Filas de mensagens - queues Envio e recepção de mensagens Mensagens ponto a ponto Subscrição e publicação de mensagens Formato das Mensagens API do modelo de objectos

34 Envio e Recepção de Mensagens As aplicações falam com o message broker através de uma connection. Dentro de uma connection um processo pode ter várias sessions para cada uma das suas tarefas (threads) Depois estar ligado ao message broker associa-se ou cria uma queue Cria um message sender ou message receiver para aceder à queue Um processo pode enviar mensagem ou receber mensagens de uma queue através das funções do objecto queue A recepção pode ser síncrona ou assíncrona As mensagens podem ser: Stream sequência de tipos básicos de Java Texto na qual se incluem documentos XML Objectos objectos Java serializados Bytes

35 Arquitectura

36 Envio das Mensagens Ponto a Ponto (a designação pode confundir) Quer dizer que a aplicação define a queue para onde envia a mensagem. A aplicação pode obter a referência para a queue através de um serviço de nomes (JNDI) O sistema passa automaticamente a referência para a queue de resposta Publicar e Subscrever Neste modo as mensagens não são enviadas para um destinatários mas para um tópico As mensagens podem ser consideradas eventos

37 Envio das Mensagens (II)

38 Exemplo JMS(I) public class Hello { public static void main(string[] args) { try { /* Declaração das variáveis JMS */ QueueConnectionFactory queueconnectionfactory = null; QueueConnection queueconnection = null; Queue queue = null; QueueSession queuesession = null; QueueSender queuesender = null; QueueReceiver queuereceiver = null; TextMessage textmessage = null; Message message = null; /* Declaração de variáveis para argumentos da linha de comando */ final String MQ_HOST_NAME; final String MQ_HOST_PORT; /* Validação dos argumentos recebidos na linha de comando */ if ( args.length < 2 ) {

39 Exemplo JMS(II) System.out.println("Usage: java Hello <mq_host_name> <mq_host_port>"); System.exit(1); } MQ_HOST_NAME = args[0]; MQ_HOST_PORT = args[1]; System.out.println("Message queue host is " + MQ_HOST_NAME + ":" + MQ_HOST_PORT); /* Instanciação de uma fábrica de ligações */ /* Instancia-se directamente a classe Sun MQ para poder usar os métodos para definir nome e porto do servidor de mensagens */ com.sun.messaging.queueconnectionfactory sunqueueconnectionfactory = new com.sun.messaging.queueconnectionfactory(); sunqueueconnectionfactory.setproperty("jmqbrokerhostname", MQ_HOST_NAME); sunqueueconnectionfactory.setproperty("jmqbrokerhostport", MQ_HOST_PORT); queueconnectionfactory = sunqueueconnectionfactory; /* Criação de uma ligação ao servidor de mensagens */ queueconnection = queueconnectionfactory.createqueueconnection(); /* Criação de uma sessão dentro da ligação estabelecida */

40 Exemplo JMS(III) Indica que a Session não é Transaccional queuesession = queueconnection.createqueuesession(false, Session.AUTO_ACKNOWLEDGE); /* Instanciação de uma fila de mensagens com o nome especificado */ /* A fila é criada implicitamente no servidor, caso não exista */ queue = new com.sun.messaging.queue("world"); /* Criação do produtor de mensagens */ queuesender = queuesession.createsender(queue); /* Criação e envio de uma mensagem */ textmessage = queuesession.createtextmessage(); textmessage.settext("hello World"); System.out.println("Sending Message: " + textmessage.gettext()); queuesender.send(textmessage); /* Neste exemplo muito simples é o mesmo programa a enviar e a receber a mensagem */ /* Criação de um consumidor de mensagens a partir da fila */ queuereceiver = queuesession.createreceiver(queue);

41 Exemplo JMS(IV) /* Reiniciação da ligação */ queueconnection.start(); /* Recepção de mensagem e análise do conteúdo */ message = queuereceiver.receive(); if (message instanceof TextMessage) { textmessage = (TextMessage) message; System.out.println("Read Message: " + textmessage.gettext()); } /* Fecho da sessão e da ligação */ queuesession.close(); queueconnection.close(); } catch (Exception e) { /* À falta de melhor tratamento de erro, é conveniente imprimir a excepção */ System.out.println("Exception occurred : " + e.tostring()); } } } System.out.println("Finished");

42 Exemplo: receptor Assíncrono (I) public class AsynchReceiver { public static void main(string[] args) { int exitresult = 0; String queuename = null; /* Declaração das variáveis JMS */ QueueConnectionFactory queueconnectionfactory = null; QueueConnection queueconnection = null; QueueSession queuesession = null; Queue queue = null; QueueReceiver queuereceiver = null; TextListener textlistener = null; /* Declaração de variáveis para argumentos da linha de comando */ final String MQ_HOST_NAME; final String MQ_HOST_PORT; /* Validação dos argumentos recebidos na linha de comando */ if (args.length!= 3) { System.out.println("Usage: java AsynchReceiver <mq_host_name> <mq_host_port> <queue_name>"); System.exit(1);

43 Exemplo: receptor Assíncrono (II) MQ_HOST_NAME = args[0]; MQ_HOST_PORT = args[1]; System.out.println("Message queue host is " + MQ_HOST_NAME + ":" + MQ_HOST_PORT); queuename = new String(args[2]); System.out.println("Queue name is " + queuename); /* Criar uma fábrica de ligações, criar uma ligação, criar uma sessão a partir da ligação (false indica que não é transaccional), criar uma fila de mensagens */ try { com.sun.messaging.queueconnectionfactory sunqueueconnectionfactory = new com.sun.messaging.queueconnectionfactory(); sunqueueconnectionfactory.setproperty("jmqbrokerhostname", MQ_HOST_NAME); sunqueueconnectionfactory.setproperty("jmqbrokerhostport", MQ_HOST_PORT); queueconnectionfactory = sunqueueconnectionfactory; } queueconnection = queueconnectionfactory.createqueueconnection(); queuesession = queueconnection.createqueuesession(false, Session.AUTO_ACKNOWLEDGE); queue = queuesession.createqueue(queuename);

44 Exemplo: receptor Assíncrono (III) } catch (Exception e) { System.out.println("Connection problem: " + e.tostring()); if (queueconnection!= null) { try { queueconnection.close(); } catch (JMSException ee) { } } System.exit(1); } /* Criar consumidor de mensagens,registar o tratamento de mensagens (TextListener) e iniciar a recepção de mensagens. O 'listener' escreve as mensagens obtidas. O programa fica bloqueado até o 'listener' receber a mensagem final e efectuar o desbloqueio. */ try { queuereceiver = queuesession.createreceiver(queue); textlistener = new TextListener(); queuereceiver.setmessagelistener(textlistener); /* Iniciar a ligação */ queueconnection.start(); /* Aqui o programa está livre para ir fazer qualquer outra coisa

45 Exemplo: receptor Assíncrono (IV) /* Quando não houver mais nada para fazer, vai bloquear-se para esperar o fim da recepção de mensagens */ textlistener.monitor.waittilldone(); } catch (JMSException e) { System.out.println("Exception occurred: " + e.tostring()); exitresult = 1; } } finally { if (queueconnection!= null) { try { queueconnection.close(); } catch (JMSException e) { exitresult = 1; } } } System.out.println("Finished"); System.exit(exitResult); }

46 Função que trata as mensagens assíncronas public class TextListener implements MessageListener { final DoneLatch monitor = new DoneLatch(); /** método invocado no Listener de mensagens quando chega uma mensagem nova */ public void onmessage(message message) { if (message instanceof TextMessage) { TextMessage msg = (TextMessage) message; try { System.out.println("Reading message: " + msg.gettext()); } catch (JMSException e) { System.out.println("Exception in onmessage(): " + e.tostring()); } } } } else { /* A mensagem que não é de texto indica o fim da sequência. Acorda quem esteja à espera */ monitor.alldone(); }

47 Enterprise Application Integration (EAI) baseado em Filas de Mensagens Agregam as funcionalidades dos message brokers com a possibilidade de execução de processos de negócio transversais às várias aplicações, dentro e fora de uma organização. A arquitectura integração por camadas típica compreende serviços comuns (segurança, repositório, etc.), um bus de mensagens, adaptadores, transformação de mensagens, gestão de processos e portais de informação.