Comunicação orientada a mensagens

Transcrição

1 Comunicação orientada a mensagens

2 críticas a RPC sincronismo modelo um a um dificuldades de tratamento de falhas dificuldades com arquiteturas não clienteservidor volta ao modelo de troca de mensagens com diferentes níveis de abstração

3 Sistemas de mensagens suporte para ponto a ponto e grupos desacoplamento temporal persistência das mensagens espacial canais e congêneres

4 Comunicação em grupo primitiva única transmite msgs a grupo de procs grupos abertos e fechados grupos estáticos e dinâmicos serviços de controle de participantes

5 Comunicação em Grupo motivações replicação e tolerância a falhas ferramentas para colaboração jogos conferências edição colaborativa um primeiro exemplo: no MPI, ligado a modelo SPMD operações coletivas

6 MPI - message passing interface } MPI_Init(&argc, &argv); MPI_Comm_size(MPI_COMM_WORLD, &size); MPI_Comm_rank(MPI_COMM_WORLD, &rank); if (rank == 0) { strcpy(message, "Hello, world"); for (i = 1; i < size; i++) MPI_Send(message, 13, MPI_CHAR, i, type, MPI_COMM_WORLD); } else MPI_Recv(message, 20, MPI_CHAR, 0, type, MPI_COMM_WORLD, &status); printf( "Message from process = %d : %s\n", rank, message); MPI_Finalize();

7 grupos no MPI todos os processos de uma aplicação pertencem a um comunicador (grupo) MPI_COMM_WORLD grupos fechados com comunicação sincronizada operações coletivas têm como um de seus parâmetros um comunicador MPI_Bcast(&n, 1, MPI_INT, 0, MPI_COMM_WORLD); novos comunicadores podem ser criados dentro do programa

8 Operações Coletivas no MPI Barrier: sincronização pura Broadcast Gather Scatter Reduction todas criam barreira implícita

9 exemplo: MPI_Scatterv

10 Header for MPI_Scatterv int MPI_Scatterv ( void *send_buffer, int *send_cnt, int *send_disp, MPI_Datatype send_type, void *receive_buffer, int receive_cnt, MPI_Datatype receive_type, int root, MPI_Comm communicator)

11 ex. simétrico: Function MPI_Gatherv

12 outros modelos de comunicação em grupo integração com modelos de chamadas de objetos divulgação de um para muitos distribuição em escala geográfica sistemas pub/sub replicação e tolerância a falhas réplicas ativas X passivas necessidade de multicast ordenado e confiável discutido nos tópicos de sincronização e tolerância a falhas

13 RMI e grupos alguns trabalhos estendem o conceito de chamada remota para chamada em um grupo de objetos relação com programação SPMD ProActive Charm++...

14 programação SPMD no ProActive suporte a operações coletivas grupos tipados: coleções de objetos de determinada classe (ou subclasses) A ag = (A) ProActiveGroup.newGroup ( A, params, {node1, node2, node3}); ag.foo() // operação coletiva... V vg = ag.bar() // vg é um grupo de classe V vg.f(); // outra operação coletiva // chamadas sobre f s disparadas a medida // em que resultados se tornam disponíveis

15 interface Group

16 OO-SPMD Jacobi barreiras forçam sincronização antes da execução de nova chamada assíncrona chamadas assíncronas

17 publish/subscribe sistema onde se registra interesse em receber mensagens filtragem de assuntos diferentes níveis aplicação final: newsgroups primitivas de comunicação modelos push e pull relação com orientação a eventos e arquitetura da aplicação

18 pub/sub P P P P P serviço de pub/sub A A A A A P. Eugster, P. Ferrer, R. Guerraoui e A. Kermarrec. The many faces of publish/subscribe. ACM Computing Surveys, 35(2), jun A

19 padrão básico de interação assinantes registram interesse em eventos ou padrões de eventos publicação de evento gera notificação assíncrona desacoplamento tempo espaço sincronização

20 desacoplamento espacial publicador publica serviço de eventos Notify() Notify() Notify() Notify()

21 desacoplamento temporal serviço de eventos publicador publica Notify() Notify() publicador serviço de eventos Notify() Notify()

22 desacoplamento de sincronização publicador serviço de eventos publica Notify() Notify() estilo assíncrono permite que partes se comuniquem sem se sincronizar

23 usos exemplo clássico de bolsa de valores notícias em geral bancos de dados jogos e simuladores monitoramento de recursos interesse de combinar paradigmas em uma mesma aplicação

24 variações nos sistemas p/s 1. baseados em tópicos listas de interesse similaridade com grupos alguns sistemas p/s baseados no ISIS canais de comunicação em geral, strings usados como identificação de canal uso de strings hierárquicos

25 inscrição com tópicos public class StockQuote implements Serializable { public String id, company, trader; public float price; public int amount; } public class StockQuoteSubscriber implements Subscriber { public void notify (Object o) { if (((StockQuote)o).company == 'TELCO'&& ((StockQuote)o).price < 100) buy(): } } Topic quotes = EventService.connect ("/LondonMarket/Stock/StockQuotes"); Subscriber sub = new StockQuoteSubscriber(); quotes.subscribe(sub);

26 variações nos sistemas p/s 2. baseados em conteúdo em geral atributos internos eventos são conjuntos de pares (atributo, valor) uso de filtros para estabelecer registro 4. baseados em tipo

27 inscrição por conteúdo public class StockQuote implements Serializable { public String id, company, trader; public float price; public int amount; } public class StockQuoteSubscriber implements Subscriber { public void notify (Object o) { buy(): } } String criteria = ("company == 'TELCO'and price < 100") Subscriber sub = new StockQuoteSubscriber(); EventService.subscribe(sub);

28 linguagens com filtros filtros podem ser dados por: strings SQL expressões lógicas templates código executável relação com strings segurança e otimização

29 p/s e espaços de tuplas distinção feita qto ao sincronismo no acesso à informação modelo pull interface de acesso adequada para p/s por tópicos e por conteúdo limitação na linguagem de filtros

30 arquiteturas centralizadas e distribuídas serviço de pub/sub serviço de pub/sub

31 arquiteturas centralizadas facilidade de ordenação consistência e transações problemas de escalabilidade

32 arquiteturas distribuídas redes de servidores rede de overlay mais complicado de manter

33 redes de servidores como distribuir trabalho? sistemas de tópicos: tópicos podem ser distribuídos entre servidores cada servidor fica responsável por disseminação de alguns tópicos ex: Scribe sistemas sem estruturas de tópicos roteamento a partir de diferentes pontos ex: Siena, Rebecca

34 roteamento inscrições usadas para estabelecer rotas comuns val<5 val<10 val<10 uso de anúncios para facilitar roteamento Siena, Rebecca

35 relação com p2p contexto de p/s têm estimulado discussão sobre arquiteturas simétricas o que é um sistema p2p? disc. no contexto de distribuição de conteúdo Androutsellis-Theotokis e Spinellis. A Survey of P2P Content Distribution Technologies. ACM Computing Surveys, 36(4), dez 2004.

36 o que é p2p? sistemas onde todos os nós são equivalentes em funcionalidade e no papel desempenhado... sistemas que utilizam recursos nas bordas da Internet

37 características compartilhamento de recursos sem necessidade de um elemento centralizador ciclos de CPU, armazenamento, banda... instabilidade e conectividade variável como normal população flutuante

38 exemplos de uso comunicação entre usuários chat, trabalho colaborativo serviços específicos: multicast genéricos: infras de computação distribuída sistemas replicados bancos de dados servidores web distribuição de conteúdo

39 p2p - questões localização de recursos } adaptação a entradas e saídas arquitetura escalabilidade privacidade e confidencialidade disponibilidade e persistência diferentes objetivos criam diferentes necessidades anonimato X reputação

40 p2p - arquitetura redes de overlay noções de vizinhança e conectividade independentes daquelas da rede subjacente

41 p2p - arquiteturas qto a centralização híbridas servidores usados para algumas tarefas parcialmente centralizadas supernós escolhidos dinamicamente totalmente distribuídas servents qto a estrutura não estruturadas estruturadas: localização de recurso baseada em chave

42 arquiteturas não estruturadas híbridas uso de um servidor central para informação de disponibilidade de recursos em distribuição de conteúdo: índices de arquivos listas de conexões correntes simplicidade falta de escalabilidade? para que escala?

43 ñ estruturadas descentralizadas todos os participantes têm papel simétrico uso de bases de dados ou até servidores para encontrar algum participante corrente roteamento por inundação

44 exemplo ñ estruturada descentralizada

45 arquiteturas ñ estrut. parcialmente centralizadas supernós atuam como servidores de cache ou de indexamento disponibilidade de banda e de memória usados como critério de escolha de supernós adaptação à heterogeneidade relação com free riding

46 arquiteturas estruturadas roteamento baseado em endereço /identificador de nó conteúdo: arquivos armazenados em nós com identificador próximo ao seu útil para busca por nome exato

47 exemplo busca estruturada

48 relação com forma de comunicação como se encaixaria um sistema de RPC aqui? uso de mensagens tradicionais ou pub/sub é mais conveniente