MEMÓRIA COMPARTILHADA DISTRIBUÍDA

Transcrição

1 MEMÓRIA COMPARTILHADA DISTRIBUÍDA Sistemas Distribuídos 290 Formas de comunicação entre processos (IPC) Troca de mensagens originador: send(destinatário, dados) receptor receive(dados) Memória compartilhada write(address, data) var d = read(address) Sistemas Distribuídos 291 1

2 DSM (Distributed Shared Memory) Uma abstração usada para compartilhar dados entre computadores que não dividem a mesma memória física (memória principal) - multicomputadores com barramento memória CPU memória CPU memória CPU memória CPU camada de SW que implementa a abstração de um espaço comum de endereçamento integra memórias locais isoladas em uma única entidade lógica aplicações podem usar DSM como memória local: também chamado de Distributed Shared Virtual Memory Sistemas Distribuídos 292 Distributed Shared Memory Processo acessando DSM Memória Principal Memória Principal Memória Principal Sistemas Distribuídos 293 2

3 Arquitetura geral de sistemas com DSM nodos tem memória local e um ou mais processadores nodos são interconectados por rede de alta velocidade SW em cada nodo faz função de Memory-mapping Manager: mapeia memória local na DSM memória compartilhada é particionada em blocos cache é utilizado para reduzir latência de acesso à memória remota memória principal dos nodos é usada para cachear DSM o Memory-mapper de cada nodo vê a memória local como uma grande cache da DSM unidade básica de caching é o bloco Sistemas Distribuídos 294 Arquitetura geral de sistemas com DSM procedimento de acesso processo em um nodo acessa posição de memória da DSM o memory-mapper local toma conta do pedido: se o bloco contendo os dados acessados reside na memória local, o request é satisfeito passando os dados locais senão gera um network block fault manda mensagem para nodo onde o bloco está o bloco migra para o nodo onde o processo deseja acessar cópias de blocos podem ser mantidas necessidade de coerência Sistemas Distribuídos 295 3

4 Kernels podem colocar algumas páginas em sua cache, com isto pode haver problemas de inconsistência Imagine que dois kernels possuam a mesma página em suas caches, o que fazer para garantir que as informações que estão nestas caches estejam atualizadas e que não hajam conflitos Contrato feito entre a aplicação e o sistema de DSM conhecido como Modelo de Consistência Sistemas Distribuídos 296 Strict Consistency Model valor retornado por uma leitura a uma variável é sempre o último valor escrito na variável implica tempo global Convenções: P1: W(x)1 P2: respeita tempo W(x)a - escreve o valor a na posição de memória x R(x)a - le o valor a da posição de memória x R(x)1 P1: P2: W(x)1 R(x)0 não respeita R(x)1 Sistemas Distribuídos 297 4

5 Sequential Consistency Model processos vêem a mesma ordem de acesso a memória para todas as operações na memória compartilhada P1: P2: W(x)1 R(x)a P3: R(x)b Duas execuções possíveis: W(x)a+1 W(x)b+1 W(x)1, R(x)a, W(x)a+1, R(x)b, W(x)b+1 Resultado: x = 3 W(x)1, R(x)a, R(x)b, W(x)a+1, W(x)b+1 Resultado: x = 2 Modelo tem Consistência Sequencial quando todos processos tem o resultado da mesma sequencia de operações na memória global Sistemas Distribuídos 298 Sequential Consistency Model processos vêem a mesma ordem de acesso a memória para todas as operações na memória compartilhada P0: W(x)0 P0: W(x)0 P1: W(x)1 P1: W(x)1 P2: R(x)0 R(x)1 P2: R(x)0 P3: R(x)0 R(x)1 P3: R(x)1 respeita não respeita R(x)1 R(x)0 Sistemas Distribuídos 299 5

6 Causal Consistency Model somente vê na mesma ordem as operações que tem uma relação de causa P1: P2: operação tem relação de causa se uma pode influenciar na outra write é influenciado por read anterior do mesmo processo write de dois processos não tem relação de causa se um não leu antes algo que o outro escreveu W(x)1 W(x)2 P3: R(x)2 R(x)1 P4: R(x)1 R(x)2 respeita P1: P2: W(x)1 R(x)1 W(x)2 P3: R(x)2 R(x)1 P4: R(x)1 R(x)2 não respeita Sistemas Distribuídos 300 Pipelined Random-Access Memory (PRAM) Consistency Model escritas de um mesmo processo são vistas na mesma ordem por todos os processos escritas de diferentes processos podem ser vistas por diferentes processos em diferentes ordens P1: W(x)1 P2: R(x)1 W(x)2 P3: R(x)2 R(x)1 P4: R(x)1 R(x)2 respeita Sistemas Distribuídos 301 6

7 Weak Consistency Model nem toda operação de escrita precisa ser vista pelos outros processos várias escritas podem ser aglutinadas e seu resultado mandado em conjunto para outros processos ex.: seção crítica - outros processos não acessarão variáveis da SC - tornar writes visíveis no momento da saída da SC acesso a variável de sincronização (S) diz quando sincronizar valores com a DSM - aumenta trabalho de programadores acesso a S é feito segundo Sequential Consistency Semantics P1: P2: W(x)1 W(x)2 S R(x)1 R(x)2 S P3: R(x)2 R(x)1 S não respeita respeita (depois de sincronizar (lê antes de sincronizar - deve ler o último valor escrito) qualquer seqüência é válida) Sistemas Distribuídos 302 P1: P2: W(x)1 W(x)2 S S R(x)1 Modelo baseado em Paginação Baseado em multicomputadores, onde cada processador tem acesso somente a sua memória principal Usa mecanismo de troca de mensagens META: incluir uma camada de software ao S.O. de forma que programas que executam em ambientes multiprocessados possam executar em multicomputadores Sistemas Distribuídos 303 7

8 Sistema de memória virtual Utilizado em sistemas operacionais para aumentar o tamanho da memória principal Baseado em sistema de paginação (outros modelos de acesso: bloco, segmentação) Utiliza discos para armazenar informações que não se encontram em memória Sistemas Distribuídos 304 Memória Virtual Memória Principal Acesso 0 Page Fault Processo Devolve dado Carrega página Memória secundária (disco) Sistemas Distribuídos 305 8

9 Distributed Shared Memory Processo acessando DMS 3 5 Memória Principal Memória Principal Memória Principal Sistemas Distribuídos 306 Granularidade do bloco Qual o tamanho certo? Aproveitar que para transferir 1024 bytes pela rede não demora o dobro da transmissão de 512 bytes Cuidar para não ter bloco muito grande caso contrário pode causar o mesmo problema de sistemas de memória virtual, isto é, thrashing thrashing alta transferência de blocos sem progresso significativo na aplicação. Maior probabilidade de ocorrência cfe. tamanho das páginas, já que regiões distintas da mesma página podem estar em modificação por diferentes processos. Sistemas Distribuídos 307 9

10 modelo mais comum características principais: migração e replicação de blocos ==>> estratégias nonreplicated, nonmigrating blocks (NRNMBs) nonreplicated, migrating blocks (NRMBs) replicated, migrating blocks (RMBs) replicated, nonmigrating blocks (RNMBs) Sistemas Distribuídos 308 nonreplicated, nonmigrating blocks (NRNMBs) cada bloco tem cópia única, localização fixa requests enviados ao owner node do bloco localização dos dados: função simples de mapeamento de posição de memória para nodo do SOD consistência sequencial é garantida nodo owner processa requests na ordem que os recebe desvantagens: acesso serializado aos dados cria gargalo baixo paralelismo Sistemas Distribuídos

11 nonreplicated, migrating blocks (NRMBs) cada bloco tem cópia única acesso ao bloco causa sua migração para o nodo onde o acesso ocorre owner do bloco muda somente processos executando em um nodo podem ler ou escrever do bloco garantia de consistencia sequencial permite explorar a característica de localidade de acessos alta localidade de acessos amortiza custo de migração devido a múltiplos acessos pode levar a thrashing Sistemas Distribuídos 310 nonreplicated, migrating blocks (NRMBs) - cont. para achar o bloco broadcasting à procura nodo que tem bloco manda o bloco para nodo que enviou broadcast servidor centralizado nodo central mantém info. sobre localizacao, recebe requests de todos nodos localiza bloco, muda localização, manda pedido de mudança de nodo servidor distribuído fixo mapeia bloco para gerente do bloco gerente do bloco mantém a informação de ownership dos blocos que gerencia Sistemas Distribuídos

12 nonreplicated, migrating blocks (NRMBs) - cont. para achar o bloco servidor distribuído dinâmico em todo nodo mantém-se a informação sobre ownership de todos blocos informação não necessariamente está atualizada para alguns blocos pode referenciar nodo que já foi owner mas não é mais neste caso tem que ir consultando o nodo indicado, sucessivamente, até encontrar o owner probable owner Sistemas Distribuídos 312 replicated, migrating blocks (RMBs) para aumentar paralelismo - replicação de blocos leituras podem ser realizadas em paralelo nos vários nodos custo médio de leitura baixa pois não há overhead de comunicação se o bloco lido está no nodo replicação aumenta custos de escrita write em um bloco tem que invalidar ou atualizar todas réplicas ==>> taxa leituras/escrita é importante no desempenho do sistema Sistemas Distribuídos

13 protocolos para coerência de consistência sequencial a) Write Invalidate todas cópias de um dado, exceto uma, são invalidadas antes de um write se acontece um write fault (* foi escrever mas bloco não está no nodo *) nodo copia bloco acessado invalida todas outras cópias do bloco mandando mensagem invalidate para os nodos hospedando cópias daquele bloco muda acesso do bloco local para write realiza a escrita note que depois de invalidar um bloco, somente o nodo que realiza a escrita tem o bloco válido - todos outros tem que buscar o bloco deste nodo antes de realizar qualquer operação de leitura ou escrita Sistemas Distribuídos 314 protocolos para coerência de consistência sequencial a) Write Invalidate 3 - Invalidate Block Cliente: tem cópia válida do bloco depois da escrita 1 - Request Block 2 - Replicate Block 3 - Invalidate Block 3 - Invalidate Block... Sistemas Distribuídos

14 protocolos para coerência de consistência sequencial b) Write Update modifica todas as cópias do bloco nodo copia bloco para si atualiza todas cópias do bloco fazendo write local e mandando posição modificada no bloco e novo conteúdo para as cópias do bloco write acaba quando todas cópias do bloco foram atualizadas após término do write, todos nodos têm cópia válida da página garantia de sequencia: uso de mecanismo de ordenação consistente para ordenar operações de escrita Sistemas Distribuídos 316 protocolos para coerência de consistência sequencial b) Write Update Cliente: tem cópia válida do bloco depois da escrita 3 - Update Block 1 - Request Block 2 - Replicate Block 3 - Update Block 3 - Update Block... Modificação Modificação Sequenciada Modificação Sequenciada Modificação Sequenciada Modificação Sequenciada... Sistemas Distribuídos

15 protocolos para coerência de consistência sequencial Write Invalidate vs. Write Update write update: caro, muito uso de rede, replica bloco mesmo quando não necessário write invalidate: bloco somente transferido quando usado, bloco pode sofrer várias atualizações antes de ser transferido Sistemas Distribuídos 318 protocolos para coerência de consistência sequencial Write Invalidate - algoritmos Read request se bloco local contém dado e é válido - request satisfeito senão: obtém cópia do bloco de um nodo com uma cópia válida se o bloco estava com writable no outro nodo, fica como read-only bloco fica válido até receber invalidate Sistemas Distribuídos

16 protocolos para coerência de consistência sequencial Write Invalidate - algoritmos Write request se bloco local contém dado e é válido e writable - request satisfeito senão: obtém cópia do bloco de um nodo com uma cópia válida muda estado para writable invalida todas outras cópias do bloco Sistemas Distribuídos 320 estratégias de localização de dados -> similares a NRMB, mas com manutenção de listas de cópias de blocos broadcasting cada nodo tem uma tabela de blocos mantidos (owner) cada bloco que o nodo é owner tem uma entrada, em cada entrada tem uma lista de nodos que mantém tem uma cópia do bloco quanto acontece read fault nodo manda read request em broadcast owner do bloco responde, adiciona o nodo requisitante na lista de nodos com cópias manda cópia do bloco para o nodo Sistemas Distribuídos

17 estratégias de localização de dados broadcasting quanto acontece write fault nodo manda write request em broadcast owner do bloco renuncia ownership e manda bloco + lista de nodos com cópia do bloco para o nodo requisitante nodo requisitante recebe bloco+lista e manda mensagem de invalidação nodo requisitante é agora owner do bloco lista de nodos com cópia é resetado pois cópias foram invalidadas Sistemas Distribuídos 322 estratégias de localização de dados servidor centralizado servidor centralizado mantém tabela indicando o owner corrente de cada bloco e a lista de nodos com cópias de cada bloco quanto acontece read fault nodo manda read request para servidor central servidor central retorna o nodo owner do bloco e adiciona nodo requisitante na lista de nodos com cópia do bloco requisitado - requisitante pede bloco para owner quanto acontece write fault nodo manda write request para servidor central servidor retorna informação do owner e lista de nodos com cópia do bloco requisitado o nodo requisitante pede bloco para owner e invalida as cópias existentes Sistemas Distribuídos

18 estratégias de localização de dados servidor distribuído fixo distribuição da função do central para aumentar paralelismo existem vários block managers, gerenciando conjuntos diferentes de blocos função fixa de mapeamento de bloco -> block manager indica qual manager deve ser contatado Sistemas Distribuídos 324 estratégias de localização de dados servidor distribuído dinâmico similar ao NRMB, com manutenção de listas de cópias de cada bloco cada nodo tem tabela que guarda informação de ownership de todos os blocos, se nodo é owner, mantém ainda a lista de nodos com cópias informação de ownership não necessariamente atualizada para alguns blocos se read ou write fault passa request para o nodo dito owner na tabela - probable owner se este não é owner, passa adiante, cfe. sua tabela, o request se é owner se read -> adiciona nodo requisitante original na tabela de nodos com cópia manda bloco para requisitante se write -> manda bloco para requisitante + lista de cópias, deleta sua lista requisitante recebe bloco+ lista e invalida as cópias Sistemas Distribuídos

19 (paginação) Troca de páginas O que fazer quando não existe espaço na memória local para colocar uma página? Que página retirar? (LRU) Onde colocar? se não for dono de alguma página simplesmente descarta a mesma se for dono passe a propriedade para outro, se existir cópia senão passe uma cópia da página para alguem Sistemas Distribuídos