Filas de Mensagens. Canal com fila de mensagens

Transcrição

1 Filas de Mensagens Message Oriented Middleware - MOM Canal com fila de mensagens Emissor Rede Receptor Emissor Emissor fila Modelo do RPC ou de ligação de transporte fila Receptor Receptor Emissor fila fila Receptor

2 Integração por Mensagens Message Oriented Middleware A integração é feita através do encaminhamento de informação (mensagens) entre os sistemas. As aplicações recebem e enviam as mensagens para um servidor central (broker). As mensagens uma vez recebidas pelo broker podem ser reformatadas, combinadas ou modificas por forma a serem entendidas pelo sistema de destino. Normalmente não é necessário modificar os sistemas envolvidos. Os Message Brokers fornecem adaptadores para as aplicações mais comuns (SAP, Baan, PeopleSoft, etc.). Comparação de canais com e sem fila de mensagens Mensagens Directas (mecanismo de transportes) Positivo As API são muito simples. Qualquer tipo de dados pode ser transmitido. Total separação entre os dados e o código das aplicações que tratam as mensagens Negativo As aplicações tem de fazer manualmente a codificação e a descodificação dos dados Filas de Mensagens Message queuing Message Oriented Middleware Tudo o que está acima + Funcionamento assíncrono permite distribuir carga e ganhar eficiência Permite um funcionamento desconectado da rede. Permite 1 para muitos e muitos para muitos. Tudo o que está acima + As formas mais úteis de comunicação requerem mecanismos de queuing A maioria dos produtos de queuing não interoperam bem O assincronismo torna a programação mais difícil (programação por eventos).

3 Características Message Oriented Middleware (I) Store Forward A mensagem deve ser aceite pelo serviço de mensagens e e armazenada até que o receptor ou receptores estejam disponíveis para a receberem O emissor deve ser imediatamente desbloqueado depois da mensagem ter sido aceite para envio (funcionamento assíncrono) As Mensagens são armazenadas de forma persistente pelo middleware Broker de mensagens Para além de uma comunicação ponto-a-ponto, o sistema efectua a distribuição de mensagens permitindo o envio de mensagens de uma aplicação para um conjunto de outras que se executam em diversos sistemas. Subscrição e Publicação Os receptores interessados subscrevem o tópico e recebem todas as mensagens ou aplicam um filtro de selecção Características MOM (II) Garantia de entrega O mecanismo deve garantir a entrega da mensagem ao receptor(es) A entrega deve ser exactamente uma vez (não pode ser duplicada) Se a aplicação que envia a mensagem tem esta garantia de qualidade de serviço, não necessita de verificar a entrega Sequência das mensagens A sequência de envio das mensagens de um emissor deve ser respeitada, garantido a ordenação dos acontecimentos que as mensagens representam. Evita que as aplicações se preocupem com a ordem. Routing simbólico O endereçamento das mensagens baseia-se em nomes simbólicos virtualizando a rede de comunicações

4 Características MOM (III) Pedido-resposta Muitas interacções baseiam-se num pedido e numa resposta. Comportamento que á a base da chamada remota de procedimentos O emissor poderia especificar o endereço de resposta mas este estaria dependente da organização da rede. A infraestrutura pode encarregar-se de fazer o emparelhamento, permitindo que a resposta provenha de uma outra aplicação Eventos Assinalam acontecimento que podem ter origem dentro ou fora do sistema Permitem alterar o fluxo dos processos Transformação de mensagens Possibilidade de aceitar mensagens com formatos predefinidos e transformá-las para o formato do receptor. Permite que as integrações não estejam dependentes de um formato de aplicações herdadas Características MOM (IV) Resolução de excepções A infraestrutura deve tentar tratar os erros habituais como os de comunicação Deve assinalar os acontecimentos que envolvam quebra da semântica: impossível de entregar, exactamente uma-vez na entrega não respeitado, etc. Transferência de ficheiros A maioria das mensagens devem ser relativamente pequenas, contudo a infra-estrutura deve poder enviar ficheiros de dimensão grande entre aplicações porque muitas integrações são feitas com ficheiros Segurança A segurança tem de ser considerada a dois níveis Dentro da organização típico Enterprise Application Integration Com sistemas externos típico Business to Business Deve permitir privacidade, integridade, autenticação, não repudiação

5 Exemplo de MOM Java Messages Java Messaging Service - JMS Elementos da infraestrutura Filas de mensagens - queues Envio e recepção de mensagens Mensagens ponto a ponto Subscrição e publicação de mensagens Formato das Mensagens API do modelo de objectos

6 Envio e Recepção de Mensagens As aplicações falam com o message broker através de uma connection. Dentro de uma connection um processo pode ter várias sessions para cada uma das suas tarefas (threads) Depois estar ligado ao message broker associa-se ou cria uma queue Cria um message sender ou message receiver para aceder à queue Um processo pode enviar mensagem ou receber mensagens de uma queue através das funções do objecto queue A recepção pode ser síncrona ou assíncrona As mensagens podem ser: Stream sequência de tipos básicos de Java Texto na qual se incluem documentos XML Objectos objectos Java serializados Bytes Arquitectura

7 Filas de mensagens e transacções O tratamento de erros e a garantia de entrega é assegurada pelas filas de mensagens serem persistentes - durable Para assegurar o exactamente-uma vez as JMS sessions podem opcionalmente ser transaccionais (transacted) através de um parâmetro na criação da sessão O transaccional existe quer do lado do envio quer da recepção. No envio a mensagem só é considerada como estando na fila até aplicação fazer commit Na recepção, se a aplicação ou o commit falham a mensagem permanece na fila Uma Session está sempre associada a uma transacção corrente, não há begin; commit e rollback porque uma transacção automaticamente começa outra Nota: As transacções são locais entre o processo e o message broker. O JMS não implementa transacções distribuídas Envio das Mensagens Ponto a Ponto (a designação pode confundir) Quer dizer que a aplicação define a queue para onde envia a mensagem. A aplicação pode obter a referência para a queue através de um serviço de nomes (JNDI) O sistema passa automaticamente a referência para a queue de resposta Publicar e Subscrever Neste modo as mensagens não são enviadas para um destinatários mas para um tópico As mensagens podem ser consideradas eventos O subscritor (queue receiver) pode ser durable, caso em que as mensagens são armazenadas enquanto está inactivo

8 Envio das Mensagens (II) Formato da Mensagem O JMS não define uma norma para o formato das mensagens pelo que produtos do tipo JMS podem ter formatos diferentes Mas define um formato de mensagem abstracto que define a informação que deve existir numa mensagem

9 API do JMS Modelo de objectos que considera: Queue connection factory abstracção que encapsula os detalhes da ligação a um JMS provider (semelhante ao driver JDBC) Queue Connection canal de comunicação com o JMS provider socjets, RMI, etc. Queue session uma para cada thread e representa uma conversação ou um conjunto de transacções Modelo Encontrar uma ConnectionFactory através do JNDI Encontrar uma Destination através do JNDI Usar a Connection Factory para criar uma Connection Usar a Connection para criar uma ou mais Sessions Usar a Session e a Destination para criar o MessageProducer e MessageConsumer Iniciar a Connection Application Queue Connection Factory Queue Connection Queue Session Text Message Queue Sender Queue Receiver createqueueconnection createqueuesession createsender (queue) createreceiver (queue) Start() creattextmessage () settext(messagetext) Send(message) Receive()

10 Exemplo JMS(I) public class Hello { public static void main(string[] args) { try { /* Declaração das variáveis JMS */ QueueConnectionFactory queueconnectionfactory = null; QueueConnection queueconnection = null; Queue queue = null; QueueSession queuesession = null; QueueSender queuesender = null; QueueReceiver queuereceiver = null; TextMessage textmessage = null; Message message = null; /* Declaração de variáveis para argumentos da linha de comando */ final String MQ_HOST_NAME; final String MQ_HOST_PORT; /* Validação dos argumentos recebidos na linha de comando */ if ( args.length < 2 ) { Exemplo JMS(II) System.out.println("Usage: java Hello <mq_host_name> <mq_host_port>"); System.exit(1); MQ_HOST_NAME = args[0]; MQ_HOST_PORT = args[1]; System.out.println("Message queue host is " + MQ_HOST_NAME + ":" + MQ_HOST_PORT); /* Instanciação de uma fábrica de ligações */ /* Instancia-se directamente a classe Sun MQ para poder usar os métodos para definir nome e porto do servidor de mensagens */ com.sun.messaging.queueconnectionfactory sunqueueconnectionfactory = new com.sun.messaging.queueconnectionfactory(); sunqueueconnectionfactory.setproperty("jmqbrokerhostname", MQ_HOST_NAME); sunqueueconnectionfactory.setproperty("jmqbrokerhostport", MQ_HOST_PORT); queueconnectionfactory = sunqueueconnectionfactory; /* Criação de uma ligação ao servidor de mensagens */ queueconnection = queueconnectionfactory.createqueueconnection(); /* Criação de uma sessão dentro da ligação estabelecida */

11 Exemplo JMS(III) Indica que a Session não é Transaccional queuesession = queueconnection.createqueuesession(false, Session.AUTO_ACKNOWLEDGE); /* Instanciação de uma fila de mensagens com o nome especificado */ /* A fila é criada implicitamente no servidor, caso não exista */ queue = new com.sun.messaging.queue("world"); /* Criação do produtor de mensagens */ queuesender = queuesession.createsender(queue); /* Criação e envio de uma mensagem */ textmessage = queuesession.createtextmessage(); textmessage.settext("hello World"); System.out.println("Sending Message: " + textmessage.gettext()); queuesender.send(textmessage); /* Neste exemplo muito simples é o mesmo programa a enviar e a receber a mensagem */ /* Criação de um consumidor de mensagens a partir da fila */ queuereceiver = queuesession.createreceiver(queue); Exemplo JMS(IV) /* Reiniciação da ligação */ queueconnection.start(); /* Recepção de mensagem e análise do conteúdo */ message = queuereceiver.receive(); if (message instanceof TextMessage) { textmessage = (TextMessage) message; System.out.println("Read Message: " + textmessage.gettext()); /* Fecho da sessão e da ligação */ queuesession.close(); queueconnection.close(); catch (Exception e) { /* À falta de melhor tratamento de erro, é conveniente imprimir a excepção */ System.out.println("Exception occurred : " + e.tostring()); System.out.println("Finished");

12 Exemplo: receptor Assíncrono (I) public class AsynchReceiver { public static void main(string[] args) { int exitresult = 0; String queuename = null; /* Declaração das variáveis JMS */ QueueConnectionFactory queueconnectionfactory = null; QueueConnection queueconnection = null; QueueSession queuesession = null; Queue queue = null; QueueReceiver queuereceiver = null; TextListener textlistener = null; /* Declaração de variáveis para argumentos da linha de comando */ final String MQ_HOST_NAME; final String MQ_HOST_PORT; /* Validação dos argumentos recebidos na linha de comando */ if (args.length!= 3) { System.out.println("Usage: java AsynchReceiver <mq_host_name> <mq_host_port> <queue_name>"); System.exit(1); Exemplo: receptor Assíncrono (II) MQ_HOST_NAME = args[0]; MQ_HOST_PORT = args[1]; System.out.println("Message queue host is " + MQ_HOST_NAME + ":" + MQ_HOST_PORT); queuename = new String(args[2]); System.out.println("Queue name is " + queuename); /* Criar uma fábrica de ligações, criar uma ligação, criar uma sessão a partir da ligação (false indica que não é transaccional), criar uma fila de mensagens */ try { com.sun.messaging.queueconnectionfactory sunqueueconnectionfactory = new com.sun.messaging.queueconnectionfactory(); sunqueueconnectionfactory.setproperty("jmqbrokerhostname", MQ_HOST_NAME); sunqueueconnectionfactory.setproperty("jmqbrokerhostport", MQ_HOST_PORT); queueconnectionfactory = sunqueueconnectionfactory; queueconnection = queueconnectionfactory.createqueueconnection(); queuesession = queueconnection.createqueuesession(false, Session.AUTO_ACKNOWLEDGE); queue = queuesession.createqueue(queuename);

13 Exemplo: receptor Assíncrono (III) catch (Exception e) { System.out.println("Connection problem: " + e.tostring()); if (queueconnection!= null) { try { queueconnection.close(); catch (JMSException ee) { System.exit(1); /* Criar consumidor de mensagens,registar o tratamento de mensagens (TextListener) e iniciar a recepção de mensagens. O 'listener' escreve as mensagens obtidas. O programa fica bloqueado até o 'listener' receber a mensagem final e efectuar o desbloqueio. */ try { queuereceiver = queuesession.createreceiver(queue); textlistener = new TextListener(); queuereceiver.setmessagelistener(textlistener); /* Iniciar a ligação */ queueconnection.start(); /* Aqui o programa está livre para ir fazer qualquer outra coisa Exemplo: receptor Assíncrono (IV) /* Quando não houver mais nada para fazer, vai bloquear-se para esperar o fim da recepção de mensagens */ textlistener.monitor.waittilldone(); catch (JMSException e) { System.out.println("Exception occurred: " + e.tostring()); exitresult = 1; finally { if (queueconnection!= null) { try { queueconnection.close(); catch (JMSException e) { exitresult = 1; System.out.println("Finished"); System.exit(exitResult);

14 Função que trata as mensagens assíncronas public class TextListener implements MessageListener { final DoneLatch monitor = new DoneLatch(); /** método invocado no Listener de mensagens quando chega uma mensagem nova */ public void onmessage(message message) { if (message instanceof TextMessage) { TextMessage msg = (TextMessage) message; try { System.out.println("Reading message: " + msg.gettext()); catch (JMSException e) { System.out.println("Exception in onmessage(): " + e.tostring()); else { /* A mensagem que não é de texto indica o fim da sequência. Acorda quem esteja à espera */ monitor.alldone(); Enterprise Application Integration

15 EAI baseado em Filas de Mensagens Agregam as funcionalidades dos message brokers com a possibilidade de execução de processos de negócio transversais às várias aplicações, dentro e fora de uma organização. A arquitectura integração por camadas típica compreende serviços comuns (segurança, repositório, etc.), um bus de mensagens, adaptadores, transformação de mensagens, gestão de processos e portais de informação. Funcionalidade típica de um EAI Armazenamento de mensagens Guarda persistentemente as mensagens que chegam ao message broker. Dá suporte a mining de mensagens, armazenamento de mensagens e auditorias. Transformação de mensagens Converte uma mensagem de entrada para um formato que permita ser enviada para outro sistema. Processamento de regras Permite definir regras utilizadas no processamento e encaminhamento das mensagens. Re-encaminhamento inteligente Capacidade de re-enviar uma mensagem de acordo com o seu conteúdo e a sua origem. Serviços de repositório Mantém informação sobre as aplicações de origem e destino das mensagens. Adaptadores Camada de software que faz a ligação entre o message broker e as aplicações mais habituais

16 Integração Business-to-Business (B2B) Permite que os parceiros de negócio partilhem informação que suporta os processos de negócio comuns. Complementa a Integração de Sistemas Empresariais (EAI). É mais complicado integrar dois sistemas de empresas diferentes do que dentro da mesma empresa. É necessário dar mais ênfase a factores como a segurança, disponibilidade, qualidade do serviço. Empresa A Empresa C Middleware B2B Empresa B Plataformas de EAI

17 BizTalk Server 2004 (BTS 2004) Plataforma Integração Microsoft Information Workers Developers Administradores Definir processos negócio Definir regras negócio Acesso tempo real dados Office (InfoPath, Excel) Ambiente desenvolvimento Integrado Colaborar efectivamente com Information Workers (Visual Studio.NET) Ferramentas para: Deployment Gestão\Administração Monitorização Windows (MMC) Infraestrutura tecnológica Standards Uso ferramentas que já conhecidas

18 Arquitectura do BPMS no BTS 2004 Biztalk BizTalk Server usa XML para definir as estruturas de dados dos documentos de negócio transmitidos nas mensagens Usa protocolos Internet como Hypertext Transfer Protocol (HTTP) e Simple Mail Transfer Protocol (SMTP) para transmitir os documentos, permitindo a interoperação com varias aplicações desde que em ambientes que suportam Internet standards. O BizTalk Server transacciona documentos formatados como Extensible Markup Language (XML), EDI, ou flat files. Serviços Biztalk: Sending, Receiving, Parsing, Tracking documents; receipt generation and correlation; Data mapping, Integrity, Security.

19 Architectural Overview Application A Application B Application C HTTP SMTP Routing Services Messaging Content Based Bus Declarative Routing Application Adapter Receive Services MSMQ MQSeries Transformation Services Technology Adapter File Web Service Publish/Subscribe Business Process XML EDI Flat Custom Delivery Services Application Adapter Application D Application E Application F Biztalk Biztalk Editor facilmente define e edita documentos esquematizados para qualquer tipo de documento estruturado como XML, EDI e flat files. Biztalk Mapper Constrói documentos de transformação que permitem aplicações e parceiros de negócio que utilizam diferentes definições de documentos comunicarem entre si. Biztalk Orchestration Designer Define e constrói visualmente processos de negócio robustos e distribuídos. Biztalk Messaging Manager Define relações entre parceiros de negócio e fluxos de negócio. Suporte para XML Web Services Através do Biztalk Adapter for Web Services, permite integrar web services com os processos de negócio. Suporte para UN/EDIFACT e ANSI X12 EDI sustentação de especificações de documentos standards para usar em EDI VANS (Value- Added Network Service) e aplicações

20 Ferramentas - Implementação Visual Studio.NET (Solução.NET) Biztalk Editor - Editor de esquemas Schemas Suporta XSD, XDR, DTD, Flat-file, EDI Biztalk Mapping Editor de ligações de estruturas (esquemas) entre sistemas, possibilitando o mapeamento recorrendo a functoids : Bases Dados; Agregação; Cientifico; Datas; Lógica; Matemática; Texto; Avançado (scripting) Create the documents involved in the application/process as well as their respective schema definitions. This is accomplished in the Schema Editor, a BizTalk Server module accessed from within Visual Studio.NET.

21 Create and define the transformation requirements for any document interchanges. In applications that are composed of loosely coupled interactions between XML objects, document transformation becomes a functionally exposed mapping subprocess. In BizTalk Server this subprocess is created in BizTalk Server Mapper. Specify the business logic governing event execution If the business logic is simple, it can be embedded as an expression directly within a BizTalk Server orchestration decision step. If the business logic is complex, the BizTalk Server Rules Composer can be used to create and process the sophisticated rule sets. Each rule set (or Policy ) drives a specific activity or function and becomes a resource object embedded into a BizTalk Server orchestration.

22 Determine and implement requirements for message preprocessing and post-processing This is accomplished in the BizTalk Server Pipeline Designer module. Accessed through the BizTalk Server orchestration workspace, the Pipeline Designer module is used to implement the interchange requirements for encryption, authentication, and data format conversion with external applications and parties. Compose and orchestrate the application/process steps

23 Biztalk e SOA Functionally transparent and isolated, each object property within the solution (orchestrations, schemas, maps, and so forth) is accessible from the host Visual Studio.NET environment or directly through its XML representation. The completed orchestration can generate a Business Process Execution Language (BPEL) document of the entire process. Because a BPEL instruction set is an XML representation of a process with a precise language and grammar structure, it provides a readable and understandable instruction set for documenting a process. The process shapes in Orchestration Designer symbolize basic and structured BPEL elements such as receive, invoke, sequence, flow, role, link, and source. A process developed in BizTalk Server Orchestration Designer can be exported as a BPEL document and be imported into any other BPEL-compliant application. Conversely, a BPEL document can be imported into BizTalk Server Orchestration Designer to generate an orchestration diagram. The standardized interchange of process instructions can potentially facilitate collaborative business process development between business partners. XML and XML Schema have enabled the creation of the Web services protocols SOAP and WSDL. Integração Biztalk Web Service

24 Expor um Processo via Web Services Cliente verifica Stock ERP verifica Stock Agregação de Web Services Verificar Stock no Fornecedor Verificar Verificar Status Cliente no ERP

25 Segurança A nível da mensagem Autenticação de parceiros: Validação de assinatura digital Resolução parceiro Autenticação obrigatória Autenticação trust Recebe autorização Encriptação e signing das mensagens: Assinar certificados Encriptar certificados S/MIME A nível de autenticação (utilizadores) Sigle Sign-On Mapeia credenciais utilizador de windows para non-windows Assinatura Digital Windows Escalabilidade O Biztalk é quase todo stateless Load Balancing e Fail over Permite fazer o scale-out de: Parsing mensagens; conversão; extracção de propriedades, assim como transporte Excepções existentes num layer dedicado: Orquestração: persistência (transacções long-running ) Correlação mensagens para a máquina correcta Protocolos baseados em sessão (eg. MSMQT) Excepções não são um problemas para scale-out

26 Outros BPMS BEA Empresa Produto WebLogic Application Integrator Web Site ( bea.com CrossWorlds Software IBM Corp. Microsoft Corp. SeeBeyond Sybase (New Era of Networks) TIBCO Software Inc. Vitria Technology WebMethods Collaborators, Connectors WebSphere Business Integrator BizTalk Server 2004 e*xchange ebusiness Integration Suite NEON MQIntegrator ActiveEnterprise BusinessWare webmethods enterprise crossworlds.com ibm.com microsoft.com seebeyond.com sybase.com tibco.com vitria.com webmethods.com