Memória Compartilhada Distribuída 1

Transcrição

1 Memória Compartilhada Distribuída 1 Cesar Eduardo Atilio Lionis de Souza Watanabe 20 de maio de Orientador: Prof. Dr. Norian Marranghello

2 Sumário 1 Introdução 2 2 Algoritmos de gerenciamento de memória Servidor Central (Central server) Migração (Migration) Cópia total (Full-replication) Cópia na leitura (Read-replication) Localização de dados 4 4 Implementação de sistemas DSM Estrutura Sistemas DSM a objetos 6 6 Nível de Implementação do Mecanismo de DSM Software Implementação de DSM por Software - Sistema Munin Hardware Implementações de DSM por Hardware Granulosidade 11 8 Configurações de Arquiteturas 11 9 Computadores Paralelos/Vetoriais 12 1

3 1 Introdução Memória Compartilhada Distribuída (DSM) é uma abstração usada para compartilhar dados entre computadores que não compartilham memória fisicamente. Processos fazem uso da DSM (através de leituras e atualizações) como se tratasse de uma memória comum, dentro do seu próprio espaço de endereçamento. Entretanto, há um sistema run-time que dá suporte a essa transparência em que os processos executam em diferentes computadores e observam as alterações feitas uns pelos outros. Os processos imaginam estar acessando uma única memória compartilhada, quando na verdade esta memória física está distribuída. 2 Algoritmos de gerenciamento de memória Os algoritmos para implementar DSM tratam de dois problemas básicos: 1. Distribuição estática ou dinâmica dos dados compartilhados através do sistema, para minimizar a latência de acesso; 2. Preservar a coerência dos dados compartilhados, enquanto minimiza o overhead gerado com o gerenciamento de coerência. Partindo de duas estratégias para distribuição dos dados compartilhados: 1. Replicação: permite que várias cópias do mesmo item de dado residam em diferentes memórias locais (ou caches); 2. Migração: implica que somente uma cópia de um item de dado existe no sistema, portanto os itens de dados são movidos sob demanda para uso exclusivo. Obtemos quatro algoritmos principais de gerenciamento para sistemas DSM, identificados com as combinações de: replicação, não-replicação, migração e não-migração. São eles: 2.1 Servidor Central (Central server) <não-replicado e não-migrante> Todos os acessos, tanto de leitura quanto de escrita são feitos remotamente. Em ambos os casos envia-se uma solicitação de leitura/escrita do cliente ao servidor; o servidor recebe o pedido, executa a operação solicitada e envia a resposta ao cliente; no caso de operação de leitura o cliente recebe como 2

4 resposta o dado solicitado, no caso de operação de escrita o cliente recebe de resposta um sinal de reconhecimento do sucesso da operação. Esta é a estratégia mais simples, mas sofre de um problema grave, pois o servidor passa a ser um ponto fraco do sistema, um possível gargalo que limita o número de máquinas no sistema que pode fazer o desempenho cair. 2.2 Migração (Migration) <não-replicado e migrante> Sempre que um bloco é acessado ele é transferido para a máquina que o solicitou. Neste caso, todos os acessos de leitura/escrita são feitos localmente. A vantagem deste algoritmo, além de não ter um sevidor único para servir de gargalo do sistema, é que o custo de comunicação é tão menor quanto maior for o número de acessos ao conteúdo de um bloco, entre uma transferência e outra deste bloco. A deficiência deste algoritmo é o efeito pingue-pongue, caso o número de acessos entre transferências seja pequeno. Problema este que é agravado se houver falso compartilhamento. 2.3 Cópia total (Full-replication) <replicado e não-migrante> Copia o bloco solicitado tanto em operações de leitura quanto de escrita. Neste caso há um grande problema de consistência nos dados, pois o algoritmo permite vários escritores simultâneos. Uma possibilidade de manter a consistência dos dados nas várias cópias é fazer o seqüenciamento apenas local das operações de leitura em relação às escritas locais. Devido a este problema, o algoritmo de cópia na leitura é mais utilizado que o de cópia total para sistemas DSM. 2.4 Cópia na leitura (Read-replication) <replicado e migrante> Quando é solicitada uma operação de leitura, o bloco é copiado para o processo que solicitou. No caso de uma operação de escrita a página migra para o processo solicitante. Desta forma obtém-se boa concorrência na leitura e garante-se a coerência dos dados na escrita. Sempre que for necessário escrever em um bloco que não está armazenado localmente, o processo o localiza e envia uma solicitação ao hospedeiro remoto. Recebendo o pedido ele envia o bloco solicitado. Quando o cliente recebe o bloco, ele transmite uma mensagem para invalidar todas as outras cópias daquele bloco, após o que 3

5 ele atualiza a informação desejada. O algoritmo de cópia na leitura, juntamente com o protocolo write-invalidate, é uma opção popular para muitas implementações de sistemas DSM. 3 Localização de dados Para evitar um tratamento serializado das solicitações, que causaria a limitação do paralelismo e também o consequente gargalo resultante da redução na velocidade do sistema, devido à sobrecarga nos servidores, sistemas DSMs não utilizam servidores centralizados. Dispersar as solicitações de dados seria uma solução, pois atingiria vários servidores distribuídos. Contudo, neste caso todos os nós de processamento devem processar o pedido irradiado. Assim, a latência de rede pode resultar em uma longa espera até que o acesso ao dado desejado seja feito. Sendo assim, as informações precisam ser localizadas. Para que isto possa ser feito, com uma melhor distribuição de carga pelo sistema e evitando a necessidade de irradiação das solicitações de acesso, muitos sistemas DSM usam um esquema distribuído baseado na propriedade de estruturas de dados para executar duas tarefas essenciais: 1. Localizar o proprietário atual de um bloco, após algumas migrações; 2. Identificar todas as cópias de um bloco para invalidação ou atualização. Diversos esquemas são utilizados para localizar os blocos no sistema. Um deles mantém uma estrutura de diretório distribuída onde cada entrada do diretório representa um bloco naquele nó. Caso o bloco seja compartilhado o diretório também mantém informação sobre a localização das cópias do bloco. Somente o nó proprietário do bloco tem informação sobre ele. Acessos para leitura a blocos remotos devem ser solicitados ao seu proprietário. Outro esquema utiliza uma tabela, na qual cada entrada contém um indicador da posição provável do bloco. O bloco é localizado seguindo estes ponteiros. Um esquema semelhante pode ser implementado usando-se uma lista ligada, chamada de lista de cópias, ou uma árvore spanning, chamada de conjunto de cópias. Nestes casos cada processador mantém um conjunto de apontadores para cada bloco compartilhado que ele conhece. Um endereço aponta para o processador do qual o bloco foi copiado (suposto dono do bloco) e os demais endereços apontam para os processadores para os quais foi enviada uma cópia do bloco. Por ocasião de uma operação de escrita uma mensagem é repassada pela lista/conjunto para a invalidação de todas as cópias. 4

6 4 Implementação de sistemas DSM Memória Compartilhada Distribuída é implementada usando um destes ou a combinação de: hardware especializado, paginação de memória virtual e middleware: Hardware: multiprocessadores de memória compartilhada, baseados em arquiteturas NUMA, necessitam de hardware dedicado para garantir consistência aos processadores da memória compartilhada. Este hardware utiliza instruções como LOAD e STORE para a comunicação com memórias remotas, sendo uma interconexão de alta velocidade, análoga a uma rede; Paginação de memória virtual: vários sistemas implementam o DSM como uma região de memória virtual ocupando o mesmo espaço de memória de todos os processos participantes, num grupo de computadores homogêneos, ou seja, com dados e formato de paginação comuns; Middleware: algumas linguagens como Orca, suportam o DSM sem qualquer suporte a hardware ou paginação, numa plataforma neutra. Neste tipo de implementação, compartilhamento é implementado pela comunicação entre instâncias do nível de usuários. Processos fazem chamadas a essa camada quando acessam dados na DSM. As instâncias dessa camada em diferentes computadores acessam dados locais e comunicam-se o quanto for necessário para que seja mantida a consistência. 4.1 Estrutura Para cada processo é apresentada uma abstração de coleção de objetos, existindo várias aproximações para o que este objeto pode ser, e como são endereçados. Consideramos três tipos: 1. Orientado a byte: Este tipo de DSM é acessado como memória comum (um vetor contínuo de bytes) que permite que as aplicações imponham qualquer tipo de estrutura de dados na memória compartilhada. Portanto, os objetos compartilhados são endereços de memória acessíveis diretamente, sendo permitido dois tipos de acesso: read (R(x)a) e write (W(x)a); 2. Orientado a objeto: A memória compartilhada é estruturada como uma coleção de objetos com um nível semântico mais alto do que simplesmente variáveis read/write, como pilhas. O conteúdo da memória 5

7 compartilhada é alterado somente por invocações a estes objetos e nunca por acesso direto às suas variáveis. Uma vantagem de visualizar memória desta forma é que esta semântica pode ser utilizada para reforçar a consistência; 3. Dados imutáveis: DSM é visto como uma coleção de dados imutáveis que os processos podem ler, adicionar e remover. Os processos compartilham dados acessando o mesmo espaço de memória, no caso da leitura. Já a escrita (adição) ocorre em um espaço de memória diferente, sem sobrescrever dados já existentes. E a remoção é responsável pela liberação de dados do espaço caso já não seja mais utilizado. 5 Sistemas DSM a objetos Neste modelo, objetos são criados e manipulados dinamicamente. O processamento é realizado pelo envio e recebimento de mensagens entre os objetos. Os modelos de programação concorrente são construídos partindo de objetos de baixo nível como processos, filas, e semáforos para objetos de alto nível como monitores ou módulos. A popularidade da programação orientada a objeto (OOP) é atribuída a três demandas das aplicações: 1. Uso crescente de processos que interagem entre si, de usuários individuais, como o uso de múltiplas X windows; 2. Redes de estações de trabalho têm se tornado uma solução barata para compartilhamento de recursos e resolução distribuída de problemas; 3. Tecnologia de multiprocessadores tem avançado ao ponto de prover o poder de supercomputação a um custo muito menor. Objetos são entidades que encapsulam dados e operações em simples unidades computacionais. A concorrência se torna então uma conseqüência natural do conceito de objetos. De fato, o uso de rotinas na programação concorrente convencional é muito similar à manipulação de concorrência de objetos na OOP. O desenvolvimento da OOP concorrente (COOP) provê um modelo alternativo para computação concorrente em multiprocessadores ou multicomputadores. Vários modelos de objetos se diferenciam pelo comportamento interno e pela maneira que interagem uns com os outros. 6

8 6 Nível de Implementação do Mecanismo de DSM O nível onde o mecanismo de DSM é implementado é uma das decisões mais importantes na construção de sistemas DSM, afetando o custo de programação e o desempenho global do sistema. Para alcançar facilidade de programação, custo/efetividade e escalabilidade, sistemas DSM logicamente implementam o modelo de memória compartilhada em memória fisicamente distribuída. Devido a DSM distribuir o espaço de endereçamento compartilhado através das memórias locais, pesquisas devem ser executadas em cada acesso a estes dados, para determinar se o dado requisitado está na memória local. Se não, o sistema deve trazer o dado para a memória local. O sistema também deve realizar uma ação em acessos de escrita para preservar a coerência dos dados compartilhados. Tanto pesquisas quanto ações podem executar em software, hardware ou de forma combinada. De acordo com esta propriedade, os sistemas podem ser classificados em três grupos: software, hardware e implementações híbridas. A escolha da implementação depende da relação preço/desempenho. Embora, tipicamente superior em desempenho, implementações em hardware requerem complexidade adicional, a qual somente máquinas de alto desempenho ou de larga escala podem oferecer. Sistemas como as redes de computadores pessoais, ainda não toleram o custo do hardware adicional de DSM, o qual limita-os para implementações de software. Em alguns sistemas, como em clusters de estações de trabalho, hardware adicionais de baixo custo podem ser utilizados. 6.1 Software A idéia de construir um mecanismo de software que forneça um paradigma de memória compartilhada para o programador, pode ser alcançado a nível do usuário, rotinas de bibliotecas em tempo de execução, sistema operacional ou linguagem de programação. Grãos de grande tamanho (na ordem de kilobytes) são típicos de soluções de software, devido ao gerenciamento de DSM ser usualmente suportado através da memória virtual. Assim, se o dado requisitado está ausente na memória local, a página será buscada ou da memória local de outro cluster ou do disco. Páginas com grãos grandes são vantajosas para aplicações com alta localidade de referências e também reduz o espaço necessário para o armazenamento de diretório. Mas, programas paralelos caracterizados com pequenos grãos de compartilhamento são afetados, devido a falsos compartilhamentos ou desperdícios. Suporte de DSM por software é geralmente mais flexível do que suporte por hardware 7

9 e habilita um melhor condicionamento dos mecanismos de consistência ao comportamento da aplicação. Entretanto, normalmente não podem competir com as implementações em hardware em termos de desempenho. Uma vez que não utilizam aceleradores de hardware para resolver o problema, projetistas elaboraram modelos de consistência relaxado, embora isso acarrete em mais trabalho para o programador. Devido as pesquisas serem realizadas em uma larga quantidade de linguagens de programação e sistemas operacionais disponíveis, numerosas implementações de DSM por software foram desenvolvidas Implementação de DSM por Software - Sistema Munin Este sistema, sendo baseado em variáveis e gerido por um sistema de suporte à execução, integra a MMU (Memory Manage Unit) através da distribuição das variáveis partilhadas pelas páginas numa relação de 1:1. O modelo de consistência implementado é o de consistência release, que resumidamente diz que enquanto um processo estiver ativo dentro de uma região crítica, não existem garantias quanto à consistência; quando o processo sai da região crítica, as alterações são propagadas para todos os processadores. Assim, o Munin distingue entre três tipos distintos de variáveis: 1. Ordinárias: apenas podem ser manipuladas pelo processo que as criou; 2. Partilhadas: podem ser utilizadas por vários processos, dando a impressão de estarem seqüencialmente consistentes desde que utilizadas dentro de regiões críticas; 3. Sincronização: do tipo lock e barriers, apenas podem ser acedidas através de primitivas próprias. Além disso, as variáveis partilhadas podem, por forma a aumentar o desempenho, ser classificadas explicitamente pelo programador aquando da sua declaração, de acordo com as seguintes categorias: Read-only: não é possível alterar o seu valor, não levantando portanto problemas de consistência; Migratory: variáveis não replicadas que migram entre os vários processadores, obrigam à aquisição de um lock que, por questões de desempenho, deve ser colocado na mesma página que a variável; 8

10 Write-shared: tipo de variáveis onde é admissível a alteração simultânea por parte de vários processadores, desde que a partes distintas da variável (por exemplo dois processadores a alterar duas sub-matrizes, distintas, de uma matriz); Convencional: variáveis tratadas segundo um protocolo de replicação de leitura em tudo semelhante ao utilizado nos sistemas baseados em páginas. Sempre que se trata de uma variável do tipo write-shared, quando os vários processos atingem um ponto de sincronização, é calculada a diferença entre as duas cópias alteradas e uma cópia original previamente guardada. É apenas esta diferença que é propagada para os restantes processadores. Por forma a melhorar o desempenho do sistema, é possível, explicitamente por parte do programador, agrupar várias variáveis numa única página, desde que pertencentes ao mesmo tipo. No que respeita à localização das várias cópias e respectivos donos (que no caso de variáveis com partilha de escrita não é necessariamente apenas um), o Munin utiliza um protocolo baseado em diretórios, recorrendo à noção de dono provável, anteriormente introduzida. No que respeita às variáveis de sincronização, os locks são implementados de uma forma distribuída sendo tratados como variáveis convencionais, ao passo que as barriers são implementadas por um servidor central. A localização das variáveis de sincronização é mantida num diretório separado. 6.2 Hardware Mecanismos de DSM implementados em hardware garantem replicação automática dos dados compartilhados nas memórias locais e caches de processador, transparente entre as camadas de software. Esta proposta suporta eficientemente o compartilhamento de grãos pequenos. A unidade física de replicação e coerência é pequena, tipicamente uma linha de cache. Conseqüentemente, mecanismo de DSM por hardware normalmente representam uma extensão dos princípios encontrados em esquemas de coerência de caches das arquiteturas de memória compartilhada. Esta proposta reduz consideravelmente as exigências de comunicação, pois com o compartilhamento de granulosidades finas são minimizados os efeitos de falso compartilhamento e desperdício. Pesquisas e funções de diretório implementadas em hardware são bem mais rápidas do que as implementadas a nível de software. As implementações por hardware também apresentam menor latência de memória. Entretanto, técnicas avançadas de manutenção de coerência e redução da latência podem complicar o projeto. Por isso, DSM por hardware são utilizados principalmente em máquinas onde desempenho é mais importante do 9

11 que custo. Até mesmo em implementações de DSM por hardware, existem características controladas por software, as quais são explicitamente realizadas pelo programador com o objetivo de otimizar as referências a memória. Também várias propostas de DSM por software exigem algum suporte de hardware. Portanto, torna-se mais natural empregar métodos híbridos, com elementos de software e hardware combinados para balancear a relação de custo e complexidade Implementações de DSM por Hardware A gerência da hierarquia de memória é um aspecto que requer cuidados, no sentido de encontrar algoritmos eficientes para mover os dados dinamicamente entre os diferentes níveis da memória ou níveis de cache. Um problema é como mapear as estruturas de dados do espaço de endereçamento lógico compartilhado em módulos de memória fisicamente distribuídos. Porções do espaço de memória lógica são mapeados na memória física unicamente (uma porção lógica mapeada para uma localização física de mesmo tamanho) como nas máquinas CC-NUMA. Outra possibilidade é utilizar replicação (uma porção lógica mapeada para várias localizações físicas, cada uma do mesmo tamanho que a porção lógica) como nas máquinas COMA e máquinas de memória refletida. RMS - Reflective memory systems (Sistemas DSM de Memória Refletida) Sistemas de memória refletida tem um mecanismo implementado em hardware para atualização de dados de granulosidade fina. O espaço de endereçamento global compartilhado é formado fora dos segmentos de memória local. Estes segmentos são designados como compartilhados e mapeados para este espaço através de tabelas de mapeamento programáveis presente em cada cluster. Portanto, as partes deste espaço compartilhado são seletivamente replicados (refletidos) ao longo de diferentes clusters. Manutenção da coerência das regiões compartilhadas é baseada no algoritmo de replicação total (MRMW). Para manter os dados atualizados, cada escrita para um endereço contido neste espaço de endereçamento compartilhado no cluster propaga-se através de um broadcast ou de um multicast para todos os outros clusters onde o mesmo endereço estiver mapeado. O processador não protela escritas nem computações sobrepostas com comunicação. Isto é uma fonte de melhoria de desempenho típica de modelos de consistência de memória relaxada. Também não existe contenção e longas latências como em típicos sistemas de memória compartilhada, devido ao acesso irrestrito aos dados compartilhados e acessos 10

12 simultâneos á cópias locais são garantidas. Mas, todas as leituras de memória compartilhada são locais, com tempo de acesso determinístico. O princípio deste mecanismo de DSM assemelha-se aos protocolos de coerência de cache escrita-atualização. Estes sistemas normalmente consistem de um pequeno número de clusters de minicomputadores interconectados por um barramento RM, um barramento apenas-escrita. O tráfego consiste somente da transferência de palavras de dados (endereço + valor da palavra de dados). Foram desenvolvidas melhorias, e o canal de memória também permite alterações baseada em blocos. A unidade de replicação é um segmento de 8 Kbytes. Segmentos são tratadas como janelas que podem ser abertas (mapeadas no espaço de compartilhamento refletido) ou fechada (desabilitada para reflexão e exclusivamente acessada por cada cluster em particular). Um segmento replicado pode apontar para diferentes endereços em cada cluster. Portanto, tabelas de translação são fornecidas separadamente para o lado da transmissão (para cada bloco de memória local) e da recepção (para cada bloco do espaço de endereçamento refletido). 7 Granulosidade Uma decisão de projeto importante na Construção de Sistemas DSM se diz a respeito da Granulosidade da unidade de coerência - a qual determina o tamanho do bloco de dados gerenciado pelos protocolos de coerência. Em geral, sistemas de hardware utilizam unidades pequenas (tipicamente blocos de cache), enquanto que soluções de software, baseados em mecanismos de memória virtual, organizam os dados em grandes blocos físicos (páginas), o que acarreta em compartilhamento de grandes grãos. O uso de grandes blocos aumenta a probabilidade de que vários processadores irão requisitar acesso ao mesmo bloco simultaneamente, mesmo que eles realmente acessem partes independentes do bloco de dados. Este fenômeno é conhecido como falso compartilhamento, o que pode causar desperdício. 8 Configurações de Arquiteturas Classificação de Flynn Michael Flynn (a972) introduziu uma classificação de várias arquiteturas de computadores baseados nos princípios de instrução de fluxo de dados. De acordo com esta classificação, máquinas seqüenciais convencionais são chamadas de computadores SISD (single instruction 11

13 stream over a single data stream). Computadores vetoriais são chamados de máquinas SIMD (single instruction stream over multiple data streams). Computadores paralelos são conhecidos como máquinas MIMD (multiple instruction streams over multiple data streams). Em máquinas MISD (multiple instruction streams and a single data stream) o mesmo fluxo de dados flui através de um vetor de processadores executando diferentes fluxos de instruções. Dos quatro modelos de máquina, a maioria dos computadores paralelos construídos no passado assumiram o modelo MIMD para a computação de propósitos gerais. Os modelos SIMD e MISD são mais adequados para computação de propósitos específicos. Por esta razão, MIMD é o modelos mais popular, seguido do SIMD, e o MISD o modelo menos popular sendo empregado em máquinas comerciais. 9 Computadores Paralelos/Vetoriais Computadores intrinsecamente paralelos são aqueles que executam programas no modo MIMD. Existem duas principais classes de computadores paralelos, nomeadas, multiprocessadores de memória compartilhada e multicomputadores de passagem de mensagem. A distinção distinção maior entre multiprocessadores e multicomputadores consiste em compartilhamento de memória em mecanismos usados pela comunicação interprocessadores. Os processadores em um sistema multiprocessador comunica-se com os cada um dos outros processadores através de variáveis compartilhadas na memória comum ou compartilhada. Cada nó computador em um sistema multicomputador tem uma memória local, não compartilhada com os outros nós. A comunicação interprocessadores é feita através de passagem de mensagem entre os nós. Instruções explicitamente vetoriais são introduzidas com a aparência de processadores vetoriais. Um processador vetorial é equipado com múltiplos pipelines vetoriais que podem ser concorrentemente usados sobre o controle do hardware ou do firmware. Existem duas famílias de processadores vetoriais pipelined: Arquitetura memória-à-memória suporta o fluxo pipelined das operações vetoriais diretamente da memória para os pipelines e de volta para a memória. Arquitetura registrador-para-registrador usa registradores vetoriais para fazer a interface entre a memória e pipelines funcionais. Outra importante ramificação da árvore de arquiteturas consiste dos computadores SIMD para processamento vetorial sincronizado. Um computador SIMD explora o paralelismo espacial ao invés do paralelismo temporal. Memória associativa pode ser usada na construção de processadores associativos. 12

14 Referências [1] [CHA99] CHAGAS, S. C. Dissertação: Visualização de Consistência de Memória Distribuída Compartilhada. Universidade de Brasília (UnB), junho de [2] [COU00] COULOURIS, G. & DOLLIMORE, J. & KINDBERG T. Distributed Systems: Concepts and Design. Addison-Wesley Publishing CO., [3] [MAR01] MARRANGHELLO, N. Apostila de Projeto de Sistemas Operacionais. Departamento de Ciência da Computação e Estatística, outubro de [4] [CAS94] CASAVANT, T. L. & SINGHAL, M. Distributed Computing Systems. IEEE COmputer Society Press, [5] [HWA93] HWANG, K. Advanced Computer Architecture. McGRAW-Hill International Editions, [6] [LEI95] LEITE, J. A. C. P. Memória Parilhada Distribuída. Mestrado em Engenharia Elétrica, julho de jleite/papers/mpd.pdf 13