STD29006 Sistemas Distribuídos

Transcrição

1 STD29006 Sistemas Distribuídos Tipos e arquiteturas de Sistemas Distribuídos Prof. Emerson Ribeiro de Mello Instituto Federal de Santa Catarina IFSC campus São José mello@ifsc.edu.br 08 de agosto de /31

2 Tipos de Sistemas Distribuídos 2/31

3 Sistemas de computação distribuídos 2/31

4 Sistemas de computação distribuídos Cluster: agrupamento de máquinas Aglomerado de computadores semelhantes Mesmo sistema operacional e conectados através de uma rede local O administrador é dono de todo do cluster Usado para processamento paralelo mestre distribui tarefas pelos nós Ex: cluster Beowulf criado pela NASA em /31

5 Sistemas de computação distribuídos Cluster: agrupamento de máquinas Tianhe-2 - China - O mais rápido em 2015, hoje o segundo PFlop/s núcleos 3/31

6 Sistemas de computação distribuídos Cluster: agrupamento de máquinas Sunway TaihuLight - China - O mais rápido atualmente 93 PFlop/s núcleos, memória: GB 3/31

7 Sistemas de computação distribuídos Cluster: agrupamento de máquinas Titan - EUA - O terceiro mais rápido atualmente PFlop/s núcleos 3/31

8 Sistemas de computação distribuídos Cluster: agrupamento de máquinas Tupã - Brasil - Em 2010 ficou na posição 29/ TFlop/s R$ 23 milhões e é mais rápido que um core i7 31/01/17 Crise ameaça o Inpe e pode parar supermáquina da previsão do tempo 3/31

9 Sistemas de computação distribuídos Cluster: agrupamento de máquinas Santos Dumont - Brasil - Atualmente o mais rápido da América Latina 1,1 PFlop/s núcleos, 756 nós computacionais 3/31

10 Sistemas de computação distribuídos Cluster: agrupamento de máquinas Cluster Beowulf - simples, porém acessível 3/31

11 Sistemas de computação distribuídos Cluster: agrupamento de máquinas Cluster com Playstation3 Em 2010 a força aérea americana fez um com PS3, obtendo 500TFlop/s posição 33/500 3/31

12 Sistemas de computação distribuídos Cluster: agrupamento de máquinas Cluster com 32 raspberry PI Linux 3/31

13 Sistemas de computação distribuídos Cluster: agrupamento de máquinas 3/31

16 Sistemas de computação distribuídos Grades computacionais ou Grid Cluster Ambiente homogêneo: hardware, sistema operacional, rede local, administração central Grid Ambientes heterogêneos: cada nó pode ter um hardware, S.O., rede, domínio administrativo e poĺıticas de segurança diferentes Middleware é responsável por prover abstração para esta heterogeneidade Grids geralmente são usadas para constituir Organizações Virtuais Diversas instituições colaboram com seus recursos (cluster, armazenamento, etc.) Poĺıticas de uso determinam quanto tempo cada organização poderá usar a grid 4/31

17 Sistemas de computação distribuídos Cloud Computing ou Computação em Nuvem Computação em Nuvem permite que recursos computacionais possam ser providos de maneira rápida e com mínimo esforço de gerenciamento por parte do provedor de serviço Permite adicionar ou remover recursos de acordo com a demanda Similar as redes de energia e de telefonia 5/31

18 Sistemas de computação distribuídos Cloud Computing ou Computação em Nuvem Computação em Nuvem consiste em oferecer como serviço aplicações, bem como softwares e hardwares que hospedam estas aplicações A nuvem é conjunto de hardware e software no datacenter Modelo de implantação Nuvem privada Toda a nuvem a construída dentro dos limites de uma instituição e é voltada exclusivamente para seus usuários Ex: Nuvem USP Nuvem pública Oferece os serviços e a tarifação é feita de acordo com o uso A nuvem armazena dados de diferentes clientes Ex: Amazon EC2 6/31

19 Sistemas de computação distribuídos Cloud Computing ou Computação em Nuvem 7/31

24 Sistemas de computação distribuídos Cluster, Grid e Cloud 8/31

25 Sistemas de informação distribuídos 9/31

26 Sistemas de informação distribuídos Processamento de Transações 9/31

28 Sistemas de informação distribuídos Processamento de Transações Sistema do hotel indisponível, ou o hotel não tem mais vaga (acesso concorrente de diversos clientes) 9/31

30 Sistemas de informação distribuídos Processamento de Transações Transações tem por objetivo garantir a integridade de recursos Recurso acessado por diversos processos de forma concorrente Processo realizando operações sobre um ou mais recursos Modo de operação das transações 1 Indicar início da transação 2 Realizar operações sobre os recursos 3 Indicar o término da transação commit tenta salvar as alterações abort ignora as alterações e volta para os valores originais Ou todas as operações na transação são executadas ou nenhuma delas será executada 10/31

31 Sistemas de informação distribuídos Características das Transações Atômica Para um observador externo, a transação é indivisível É executada em sua totalidade ou não executa Consistente Toda transição leva o sistema de um estado válido para um outro estado válido Isolada Transações concorrentes não geram interferência entre si Duráveis Uma vez que a transação foi concluída com sucesso (commit), então as modificações feitas por ela são permanentes 11/31

32 Sistemas distribuídos ubíquos 12/31

33 Sistemas distribuídos ubíquos Formado por dispositivos móveis pequenos, alimentados por bateria e com conexão sem fio Ex: Laptop, tablet, celular, dispositivos de automação residencial ou para saúde, rede de sensores sem fio Requisitos para sistemas ubíquos Reagir a mudanças do contexto O dispositivo deve estar continuamente ciente das mudanças no ambiente Encorajar composições ad hoc Deve ser fácil cooperar com outros dispositivos Compartilhamento de recursos é algo impĺıcito Prover facilidades para compartilhar informações 12/31

34 Sistemas distribuídos ubíquos Internet das Coisas IoT 13/31

35 Arquiteturas para Sistemas Distribuídos 14/31

36 Arquiteturas para Sistemas Distribuídos Organização dos Sistemas Distribuídos Estilos de arquitetura formas de projetar o software do SD Camadas Objetos Eventos Espaço de dados compartilhados Arquitetura de sistema organização do SD em máquinas reais Centralizados Descentralizados Híbridos 14/31

37 Arquitetura de software Estilos de arquitetura Estilos são definidos por componentes de software (processos) e como estes se conectam uns aos outros Baseada em camadas Baseada em objetos Baseada em eventos Espaço de dados compartilhados 15/31

38 Arquitetura de software Estilos de arquitetura Estilos são definidos por componentes de software (processos) e como estes se conectam uns aos outros Baseada em camadas Baseada em objetos Baseada em eventos Espaço de dados compartilhados Keyword expression Query generator Database queries Database with Web pages User interface HTML page containing list HTML generator Ranking component Ranked list of page titles Web page titles with meta-information User-interface level Processing level Data level Processos das camadas superiores invocam processos das camadas inferiores Semelhante à pilha TCP/IP 15/31

39 Arquitetura de software Estilos de arquitetura Estilos são definidos por componentes de software (processos) e como estes se conectam uns aos outros Baseada em camadas Baseada em objetos Baseada em eventos Espaço de dados compartilhados Cada objeto contém um estado e é capaz de realizar operações que podem ser invocadas por outros objetos O objeto seria um componente de software Os conectores entre os objetos podem ser representadas por chamadas de procedimento remoto (RPC) 15/31

40 Arquitetura de software Estilos de arquitetura Estilos são definidos por componentes de software (processos) e como estes se conectam uns aos outros Baseada em camadas Baseada em objetos Baseada em eventos Espaço de dados compartilhados Comunicação entre os processos é feita através de eventos, que podem ou não conter dados O barramento de eventos (middleware) é o responsável pelo transporte Ex: Sistema publish/subscribe Processos registram o interesse em determinados eventos (subscribe) Processos publicam eventos Middleware notifica somente os processos que assinaram aquele evento 15/31

41 Arquitetura de software Estilos de arquitetura Estilos são definidos por componentes de software (processos) e como estes se conectam uns aos outros Baseada em camadas Baseada em objetos Baseada em eventos Espaço de dados compartilhados desacoplamento espacial um processo não precisa referenciar diretamente um outro 15/31

42 Arquitetura de software Estilos de arquitetura Estilos são definidos por componentes de software (processos) e como estes se conectam uns aos outros Baseada em camadas Baseada em objetos Baseada em eventos Espaço de dados compartilhados Semelhante ao baseado em eventos, porém os dados persistem no middleware Acontece também o desacoplamento temporal Dados persistem, mesmo se os processos não estiverem mais ativos 15/31

43 Centralizada modelo cliente-servidor Aplicação é modelada como um conjunto de serviço que são providos pelos servidores e um conjunto de clientes que acessam esses serviços Cliente envia um pedido ao servidor e aguarda por sua resposta Clientes precisam conhecer os servidores, porém o inverso não é verdade Em um sistema distribuído, é possível que um servidor também seja cliente de um outro servidor 16/31

44 Arquitetura Centralizada modelo cliente-servidor Problemas com múltiplos clientes e um único servidor Servidor pode se tornar um gargalo e ponto único de falhas Client Wait for result Request Reply Server Provide service Time 17/31

45 Arquitetura Centralizada modelo cliente-servidor Problemas com múltiplos clientes e um único servidor Solução: Múltiplos servidores Communication in Multitier Systems! 17/31

46 Arquitetura Centralizada modelo cliente-servidor Problemas com múltiplos clientes e um único servidor Múltiplas camadas Servidor torna-se cliente de outro servidor 17/31

47 Centralizada modelo cliente-servidor Cliente e servidor executando em máquinas distintas é a organização mais comum Client machine User interface User interface User interface Application User interface Application User interface Application Database User interface Application Application Application Database Database Database Database Database Server machine (a) (b) (c) (d) (e) (a) Cliente como terminal burro Ex: Xorg Ao cliente cabe apenas apresentar a interface gráfica 18/31

48 Centralizada modelo cliente-servidor Cliente e servidor executando em máquinas distintas é a organização mais comum Client machine User interface User interface User interface Application User interface Application User interface Application Database User interface Application Application Application Database Database Database Database Database Server machine (a) (b) (c) (d) (e) (b) Cliente fica somente com o frontend Toda lógica da aplicação fica no servidor 18/31

49 Centralizada modelo cliente-servidor Cliente e servidor executando em máquinas distintas é a organização mais comum Client machine User interface User interface User interface Application User interface Application User interface Application Database User interface Application Application Application Database Database Database Database Database Server machine (a) (b) (c) (d) (e) (c) Parte da lógica da aplicação fica no cliente Ex: Validações sobre preenchimento de formulários seria feita antes de enviar pela rede 18/31

50 Centralizada modelo cliente-servidor Cliente e servidor executando em máquinas distintas é a organização mais comum Client machine User interface User interface User interface Application User interface Application User interface Application Database User interface Application Application Application Database Database Database Database Database Server machine (a) (b) (c) (d) (e) (d) Toda a aplicação fica no cliente e esta invoca o servidor de Banco de Dados Organização bem comum em sistemas de gestão comercial, etc. 18/31

51 Centralizada modelo cliente-servidor Cliente e servidor executando em máquinas distintas é a organização mais comum Client machine User interface User interface User interface Application User interface Application User interface Application Database User interface Application Application Application Database Database Database Database Database Server machine (a) (b) (c) (d) (e) (e) Cliente armazena parte do banco de dados Ex: Cache do navegador web 18/31

52 Centralizada modelo cliente-servidor Client machine User interface User interface User interface Application User interface Application User interface Application Database User interface Application Application Application Database Database Database Database Database Server machine 1 Qual destas seria mais fácil manter? 2 Qual destas está em evidência atualmente? (a) (b) (c) (d) (e) 19/31

53 Centralizada modelo cliente-servidor Client machine User interface User interface User interface Application User interface Application User interface Application Database User interface Application Application Application Database Database Database Database Database Server machine 1 Qual destas seria mais fácil manter? 2 Qual destas está em evidência atualmente? (a) (b) (c) (d) (e) Clientes leves thin client Maior facilidade para manter Aplicar atualização Pior desempenho depende da latência da rede Clientes pesados fat client Dificuldade para manter Diferentes versões de S.O Conflitos com outros softwares Instalação e atualização demandam mais tempo Melhor desempenho Não depende muito da rede 19/31

54 Descentralizada Redes Par a Par (Peer-to-Peer P2P) Motivação Evitar ponto único de falhas Escalabilidade Aproveitar recursos de todos os nós participantes da rede Características Todo nó na rede possui a mesma funcionalidade Pode acessar serviços de outros nós, bem como prover Nós são autônomos e não confiáveis Rede dinâmica Nós ingressam e saem da rede a todo instante 20/31

55 Descentralizada Redes Par a Par (Peer-to-Peer P2P) Potenciais benefícios Escala para um grande número de nós Organização dinâmica diante de ingressos e egressos na rede Balanceamento de carga Processamento em paralelo Alta disponibilidade por meio de replicação dos recursos nos nós Qual topologia seria mais escalável? 21/31

56 Descentralizada Redes Par a Par (Peer-to-Peer P2P) Potenciais benefícios Escala para um grande número de nós Organização dinâmica diante de ingressos e egressos na rede Balanceamento de carga Processamento em paralelo Alta disponibilidade por meio de replicação dos recursos nos nós Qual topologia seria mais escalável? Redes P2P são comumente utilizadas para distribuição de conteúdo Compartilhamento de arquivos, mensageiros instantâneos, voz sobre IP 21/31

57 da rede subjacente), e não necessitam seguir nenhuma topologia pre Descentralizada Redes Par a Par (Peer-to-Peer uma camada de rede P2P) típica, as funções principais de uma rede ove pacotes, que determina como os nós da rede processam um pacote e Aplicações descentralizadas necessitam estabelecer previamente um canal de comunicação usando alguma forma de tunelamento (isto é, os pacotes da rede overl ao seu destino, e o roteamento, que é o processo através do qual o co rotas entre nós da rede é calculado, armazenado e disseminado. rede overlay O estabelecimento de canais de comunicação entre os nós de um sistema distribuído, resulta em uma rede sobreposta (overlay) Rede lógica construída sobre uma rede física existente rede física Figura 2.1: Rede overlay sobreposta a uma re Recentemente, um número crescente de autores passou a defend engessada em razão de seu próprio sucesso: a rede que um dia foi e isso afeita a experiências tornou-se uma infra-estrutura cuja estabilida número de pessoas e organizações, e que portanto tornou-se 22/31 refratári

58 Descentralizada Topologias de redes P2P Não estruturadas Exemplos: Napster, Gnutella, Freenet Não estruturadas com super-nós Exemplos: Kazaa Estruturadas Exemplos: Chord, Tapestry 23/31

59 Descentralizada Redes P2P não estruturadas Busca por conteúdo Ex: Napster Arquivos são mantidos em cada nó da rede Lista de arquivos são enviados para o servidor central do Napster Servidor retorna a lista de IPs que possuem o arquivo Transferência de arquivos entre 2 clientes 24/31

60 Descentralizada Redes P2P não estruturadas Busca por conteúdo Ex: Gnutella Cada nó possui um índice parcial que representa um subconjunto de todos os nós participantes da rede não existe nó central Lei de potência muitos nós possuem poucos vizinhos e poucos nós possuem muitos vizinhos (conceito de Mundo Pequeno) initial final 14 Busca por inundação (flood) 8 25/31

68 Descentralizada Redes P2P não estruturadas Busca por conteúdo Ex: Gnutella Cada nó possui um índice parcial que representa um subconjunto de todos os nós participantes da rede não existe nó central Lei de potência muitos nós possuem poucos vizinhos e poucos nós possuem muitos vizinhos (conceito de Mundo Pequeno) initial final 14 Busca por inundação (flood + tabela cache) 8 25/31

73 Descentralizada Redes P2P não estruturadas Busca por conteúdo Ex: Gnutella Cada nó possui um índice parcial que representa um subconjunto de todos os nós participantes da rede não existe nó central Lei de potência muitos nós possuem poucos vizinhos e poucos nós possuem muitos vizinhos (conceito de Mundo Pequeno) initial final 14 Protocolos epidêmicos são mais eficientes. Ex: gossip 8 25/31

74 Descentralizada Redes P2P não estruturadas com Ultrapeers Ex: Kazaa initial final Busca por inundação é muito custosa Supernós concentram índices de seus vizinhos 26/31

75 Descentralizada Redes P2P não estruturadas com Ultrapeers Ex: Kazaa initial query final Busca por inundação é muito custosa Supernós concentram índices de seus vizinhos 26/31

76 Descentralizada Redes P2P não estruturadas com Ultrapeers Ex: Kazaa initial query final Busca por inundação é muito custosa Supernós concentram índices de seus vizinhos 26/31

77 Descentralizada Redes P2P não estruturadas com Ultrapeers Ex: Kazaa initial final Busca por inundação é muito custosa Supernós concentram índices de seus vizinhos 26/31

78 Descentralizada Redes P2P não estruturadas com Ultrapeers Ex: Kazaa initial queryhit final Busca por inundação é muito custosa Supernós concentram índices de seus vizinhos 26/31

79 Descentralizada Redes P2P não estruturadas com Ultrapeers Ex: Kazaa initial queryhit final Busca por inundação é muito custosa Supernós concentram índices de seus vizinhos Temos aqui duas redes sobrepostas: uma para os supernós e outra para os nós comuns Como determinar quem será supernó? 26/31

80 Descentralizada Redes P2P estruturadas Distributed Hash Table (DHT) Tabela de dispersão / Tabela hash Hash Table O dado passa por um algoritmo de resumo (hash) para encontrar a posição (índice ou chave) onde será armazenado Colisões podem ser tratadas por meio de listas encadeadas 27/31

81 Descentralizada Redes P2P estruturadas Distributed Hash Table (DHT) Tabela de dispersão / Tabela hash Hash Table O dado passa por um algoritmo de resumo (hash) para encontrar a posição (índice ou chave) onde será armazenado Colisões podem ser tratadas por meio de listas encadeadas Distributed Hash Table Algoritmo de hash serve para determinar em qual nó ficará disponibilizada a informação sobre a localização de um recurso 27/31

82 Descentralizada Distributed Hash Table (DHT) Ex: Chord Sequência de números dispostos de forma circular Cada nó ocupa uma posição no círculo posição= hash(ip) mod n Figura ao lado mostra uma rede com 4 nós (1, 6, 11 e 13) n é um valor relativamente grande de forma que é bem improvável que dois IPs distintos resultem em uma mesma posição Cada nó só precisa conhecer seu sucessor (sentido horário) 28/31

83 Descentralizada Distributed Hash Table (DHT) Ex: Chord Adicionando dados Cada nó é responsável por armazenar um subconjunto de todos os índices (chave,valor) O dado é atribuído a um nó com base no hash de sua chave Exemplo Nó 1 é responsável pelas chaves: 14, 15, 0 e 1 Nó 6 é responsável pelas chaves: 2, 3, 4, 5 e 6 Nó 11 é responsável pelas chaves: 7, 8, 9, 10 e 11 Nó 13 é responsável pelas chaves: 12 e 13 28/31

84 Descentralizada Distributed Hash Table (DHT) Ex: Chord Ingresso de um novo nó na rede Nó 11 era responsável pelas chaves: 7, 8, 9, 10 e 11 Nó 8 é responsável pelas chaves: 7 e 8 Nó 11 é agora responsável pelas chaves: 9, 10 e 11 28/31

85 Descentralizada Distributed Hash Table (DHT) Ex: Chord Buscando por um recurso Cada nó só precisa conhecer seu sucessor Buscas são encaminhadas para nós sucessores até encontrar o detentor do valor que está sendo buscado Complexidade da busca O(n) (linear) 28/31

86 Descentralizada Distributed Hash Table (DHT) Ex: Chord Uso de finger table permite otimizar as buscas O(log n) Cada nó armazena uma lista parcial dos demais nó da rede Rede com 14 nós Finger table H: 54 key = No1 buscando pelos recursos com chave do No12 h = hash(12) /31

90 Híbrida: Combina centralizada com descentralizada Nó central mantém um índice sobre os demais nós ativos na rede e os recursos disponibilizados por esses Ex: Bittorrent Arquivos são fracionados em blocos e esses são compartilhados Requisitante obtém blocos sem ordem específica Arquivo.torrent contém informações sobre o tracker Tracker servidor que mantém a lista de nós ativos para um determinado.torrent 30/31

91 Híbrida: Combina centralizada com descentralizada Nó central mantém um índice sobre os demais nós ativos na rede e os recursos disponibilizados por esses Ex: Bittorrent Arquivos são fracionados em blocos e esses são compartilhados Requisitante obtém blocos sem ordem específica Arquivo.torrent contém informações sobre o tracker Tracker servidor que mantém a lista de nós ativos para um determinado.torrent Onde está ponto crítico de falha ou gargalo de desempenho? 30/31

92 Híbrida: Combina centralizada com descentralizada Nó central mantém um índice sobre os demais nós ativos na rede e os recursos disponibilizados por esses Ex: Bittorrent Arquivos são fracionados em blocos e esses são compartilhados Requisitante obtém blocos sem ordem específica Arquivo.torrent contém informações sobre o tracker Tracker servidor que mantém a lista de nós ativos para um determinado.torrent Onde está ponto crítico de falha ou gargalo de desempenho? R: trackers 30/31

93 Híbrida Ex: Bittorrent (figura wikipedia) Motivo de sucesso Encontrou uma forma para acabar com nós egoístas Um nó P ao notar que um nó Q está pegando muito mais do que cedendo, então P diminui sua taxa de envio para Q 31/31