Curso de Sistemas Distribuídos

Transcrição

1 Curso de Sistemas Distribuídos Sistemas de Arquivos Distribuídos: DFS Estudo de Caso: NFS Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 1

2 Autoria Autoria 1a versão C. Geyer Obs.: uso de slides sobre SDs - Introdução, SAD Implementação,... Versão atual V01.0, nov 2013 C. Geyer Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 2

3 Súmula Súmula Geral Visão Geral do NFS Comunicação Processos Nomeação Sincronização Cache e Replicação TF Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 3

4 Sistema de Arquivos Distribuído NFS Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 4

5 NFS (Network File System) NFS: conceitos Exemplo de sistema distribuído de rede Unix/Linux mais NFS mais comandos de rede (telnet, rlogin, rpc,...) Projetado pela Sun Microsystem Versão v2 em 1985 A versão v1 foi mantida fechada pela Sun Primeiro sistema de arquivos distribuído projetado como produto Originalmente projetado para uso em estações do tipo UNIX Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 5

6 NFS (Network File System) NFS: conceitos Atualmente é suportado por outros SOs Há várias implementações Através de protocolos de comunicação bem definidos, o NFS permite seu uso em ambientes heterogêneos Algumas limitações Por exemplo, o MS DOS, devido seus nomes curtos, não poderia ser usado como servidor de NFS Adota modelo de Acesso Remoto Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 6

7 NFS (Network File System) NFS: conceitos Elementos da especificação Modelo de Sistema de Arquivos Arquitetura Protocolos Implementação Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 7

8 NFS: modelo se Sistema de Arquivos Modelo baseado no SA do Unix NFS (Network File System) Arquivo: sequência de bytes, sem semântica Organização em hierarquia de pastas e arquivos Suporte a links lógicos e físicos Nomes em 2 níveis Nomes lógicos usados pelos usuários e programas nas operações iniciais (open,...) Tratadores (handles) de arquivos (Unix) Retornados a partir de mapeamentos nome -> tratador Conjunto de atributos por arquivo: acessados em leitura e escrita Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 8

9 Arquitetura do NFS NFS - arquitetura geral NFS permite que computadores clientes e servidores compartilhem um sistema de arquivos comum Cada servidor NFS exporta um ou mais de seus diretórios para o acesso por usuários remotos A lista de diretórios que um servidor exporta é mantida no arquivo /etc/exports (Unix) Os clientes montam certos (escolhidos) diretórios exportados na sua hierarquia de diretórios Há várias opções para montagem Depois os clientes acessam os diretórios montados E a partir dos diretórios, acessam os arquivos remotos Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 9

10 Arquitetura do NFS NFS - arquitetura geral Os clientes podem ser diskless ou não Transparência de localidade dos arquivos: sim Usuário do arquivo não sabe em que computador ele está Se as montagens foram feitas então o compartilhamento de arquivos já é possível Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 10

11 Protocolos do NFS NFS - protocolos O NFS executa dois protocolos cliente-servidor de modo a deixar bem definida a interface entre clientes e servidores montagem acesso a arquivos e diretórios Possibilitam a execução de diferentes SOs em diferentes plataformas de hardware A interface do NFS é pública permite desenvolvimento de módulos cliente e/ou servidor por terceiros Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 11

12 Protocolos do NFS NFS - protocolos Primeiro protocolo (Montagem) Um cliente envia um nome de path para um servidor e requisita permissão para montar aquele diretório Se o nome do path é correto e o diretório requisitado foi exportado então o servidor retorna um handle de arquivo para o cliente Este handle do arquivo é utilizado pelo cliente nas chamadas para leitura e escrita do arquivo Muitos clientes são configurados para montar diretórios remotos através do uso do arquivo /etc/rc que é um shell script Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 12

13 Protocolos do NFS NFS - protocolos Primeiro protocolo (Montagem) Algumas versões da Sun de UNIX suportam automounting permite que um conjunto de diretórios remotos, alternativos e idênticos, sejam associados com um diretório local um diretório só é montado na primeira vez que é aberto maior tolerância a falhas aumento de desempenho Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 13

14 Protocolos do NFS NFS - protocolos Segundo protocolo (acesso a arquivos e diretórios) Os clientes podem enviar mensagens aos servidores para manipular diretórios, ler e escrever arquivos e acessar atributos de arquivo A maioria das chamadas de sistema do UNIX são suportadas pelo NFS, com exceção de OPEN e de CLOSE obs.: protocolo interno de implementação cliente final (programa) continua usando OPEN e CLOSE Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 14

15 Protocolos do NFS NFS - protocolos Segundo protocolo (acesso a arquivos e diretórios) Os servidores NFS não mantêm informação de estado sobre arquivos abertos e são colocados na categoria de servidores sem estado (stateless) Propriedade revisada nas últimas versões No UNIX System V, o RFS (Remote File System) requer que um arquivo seja aberto antes de ser lido ou escrito servidor com estado sobre arquivos abertos remotamente Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 15

16 NFS: estrutura em camadas Estrutura em camadas do NFS Cliente Servidor Camada de Chamada de Sistema Camada de Sistema de arquivo virtual Camada de Sistem de arquivo virtual S. O. local Cliente NFS Servidor NFS S. O. local Disco local Mensagem para o servidor Mensagem do cliente Disco local REDE Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 16

17 Análise do NFS NFS - análise NFS fornece um sistema de arquivos compartilhado mas: é uma espécie de remendo do UNIX a semântica de acesso a arquivos é mal definida processos cooperantes podem dar resultados diferentes se executados novamente, dependendo do timing resultados diferentes do caso processos cooperantes locais o NFS não lida com outras questões como gerência de processos (em SODs) Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 17

18 Análise do NFS NFS - análise Contudo, o NFS é popular e muito usado principalmente para compartilhamento em leitura organizações acadêmicas Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 18

19 NFS detalhes técnicos NFS segurança e concorrência O método NFS torna difícil executar a semântica exata de arquivo em UNIX No UNIX um arquivo pode ser aberto e chaveado (locked) de modo que nenhum outro processo possa utilizá-lo Quando um arquivo é fechado os locks são liberados No NFS isso não pode ser feito desta forma pois um servidor não sabe quais são os arquivos abertos Para resolver isto NFS precisa de uma semântica diferente para locking Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 19

20 NFS detalhes técnicos NFS segurança e concorrência Proteção NFS usa os mecanismos de proteção do UNIX, com os bits rwx para o owner, o group e others Criptografia de chaves Correntemente, criptografia de chave pública pode ser utilizada para estabelecer uma chave segura para validar o cliente e o servidor em cada requisição e resposta A criptografia é utilizada para autenticar apenas as partes, não é usada nos dados Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 20

21 Implementação do NFS NFS - Implementação da Sun 3 camadas: Chamada de Sistema Sistema de Arquivo Virtual (VFS) S. O. local, Cliente NFS, Servidor NFS Camada de Chamada de Sistema manipula chamadas de sistema OPEN, READ, CLOSE, MOUNT, etc Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 21

22 Implementação do NFS NFS - Implementação da Sun Camada VFS mantém uma tabela com uma entrada para cada arquivo aberto a tabela é análoga à tabela de i-nodes para arquivos abertos em UNIX no UNIX: i-node (index-node) dispositivo número do i-node no NFS: v-node (virtual i-node) indica se o arquivo é local ou remoto Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 22

23 Implementação do NFS NFS - Implementação da Sun Uso de v-nodes para MOUNT cliente: admin. do sistema chama o programa mount cliente: programa mount descobre o nome da máquina onde o diretório remoto está localizado cliente: mount pede um handle de arquivo (diretório) à máquina (servidor) servidor: se o diretório existe e está disponível para montagem remota então o servidor retorna um handle para o diretório Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 23

24 Implementação do NFS NFS - Implementação da Sun Uso de v-nodes para MOUNT cliente: mount faz cham. de sist. MOUNT passando o handle para o kernel cliente: o kernel constrói um v-node para o diretório remoto cliente: o kernel pede para o cliente NFS criar um r-node (remote-node) nas suas tabelas internas de modo a guardar o handle de arquivo (diretório) cliente: arquivo remoto: v-node aponta para o r-node cliente: arquivo local: v-node aponta para o i-node no sistema operacional local Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 24

25 Implementação do NFS NFS - Implementação da Sun Uso de v-nodes para OPEN através do nome do path o kernel descobre o diretório onde o sistema de arquivos remoto está montado verifica se o diretório é local ou remoto se for remoto através do v-node ele acessa o r-node o kernel pede para o cliente NFS abrir o arquivo Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 25

26 Implementação do NFS NFS - Implementação da Sun Uso de v-nodes para OPEN (Cont.) o cliente NFS: busca o path no servidor remoto associado com o diretório montado retorna o handle faz um r-node para o arquivo remoto em suas tabelas retorna para a camada VFS Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 26

27 Implementação do NFS NFS - Implementação da Sun Uso de v-nodes para OPEN (Cont.) a camada VFS coloca em suas tabelas um v-node que aponta para o r-node do arquivo Ou seja, o v-node aponta para um i-node ou para um r-node Ao chamador é dado um descritor de arquivo para o arquivo remoto Este descritor é mapeado para o v-node através das tabelas da camada VFS Perceba que nenhuma entrada é feita nas tabelas do lado do servidor Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 27

28 Implementação do NFS NFS - Implementação da Sun Uso de v-nodes para READ o descritor de arquivo é utilizado pela camada VFS para localizar o v-node correspondente o v-node determina: se o arquivo é local ou remoto qual i-node ou r-node descreve o arquivo Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 28

29 Implementação do NFS NFS - Implementação da Sun Questões de desempenho transferências cliente-servidor são feitas em blocos de 8K, até mesmo se poucos bytes são requisitados depois que o cliente da camada VFS consegue 8K, ele automaticamente envia uma requisição para o próximo bloco (read ahead) a política de escrita é análoga Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 29

30 NFS - Implementação da Sun Implementação do NFS Questões de desempenho caching (vantagens) evitar acessos a disco (diminuir tráfego na rede) servidores tem caches de dados clientes mantem dois caches: atributos de arquivo (i-nodes) dados do arquivo caching (problemas) coerência das caches não é possível utilizar snooping caches (não há tráfego na rede) Snooping: técnica para invalidar cópias em memória compartilhada Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 30

31 Implementação do NFS NFS - Implementação da Sun Questões de desempenho caching (problemas) coerência das caches não é possível utilizar snooping caches (não há tráfego na rede) Snooping: técnica para invalidar cópias em arquiteturas de hw com memória compartilhada Considerada pouco escalável Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 31

32 Implementação do NFS NFS - Implementação da Sun Tentativas de obter coerência dos caches timer associado a cada bloco do cache quando o timer expira a entrada é descartada reduz um pouco o risco Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 32

33 Implementação do NFS NFS - Implementação da Sun Tentativas de obter coerência dos caches verificação na abertura de arquivo que está na cache uma mensagem é enviada ao servidor para verificar a última vez que o arquivo foi modificado se a última modificação ocorreu depois que uma cópia local foi colocada na cache a cópia da cache é descartada uma nova cópia é buscada do servidor depois que o timer da cache expira, todos os blocos modificados são enviados para o servidor Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 33

34 Versões do NFS NFS - Versões NFS v2 Definida por RFC 1094, 1989 Inicialmente implementado com UDP Sem estado (servidor) Locks implementados fora do core 1as implementações 1986 System V, MS DOS, VAX/MS Tamanho máximo de leitura: 2GBs (devido limitações de 32 bits) Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 34

35 Versões do NFS NFS - Versões NFS v3 Definida por RFC 1813, 1995 Implementações com TCP Sun Mais viável sobre WANs Suporte a escrita assíncrona no servidor Melhorias no desempenho Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 35

36 Versões do NFS NFS - Versões NFS v3 Adição de outros atributos de arquivos em diversas respostas do servidor Reduz necessidade de novas chamadas Nova operação READDIRPLUS Retorna handler e atributos de arquivos durante análise de diretório diversas outras melhorias Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 36

37 Versões do NFS NFS - Versões NFS v4 Definida por RFC 3010, dez 2000 Revisada por RFC 3530, abr 2003 Influenciada por recursos do AFS Melhorias no desempenho Melhorias em segurança Introdução de protocolo com estado 1ª versão implementada sob controle da IETF Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 37

38 Versões do NFS NFS - Versões NFS v4.1 Definida por RFC 5661, jan 2010 Protocolos com suporte para ganhos quando instalada em clusters Em particular: acesso paralelo escalável a arquivos distribuídos sobre múltiplos servidores pnfs Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 38

39 Versões do NFS NFS - Extensões WebNFS Extensão a NFS v2 e v3 Integração mais simples com browsers (web) Facilita operações sobre firewalls 2007 Sun liberou código do módulo cliente da sua implementação de WebNFS Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 39

40 Versões do NFS NFS - Extensões NLM Protocolo para Gerência de Lock em Rede ( Network Lock Manager ) Suporte a locks definidos no SA do Unix System V RQUOTAD Permite usuários de NFS visualizar suas quotas nos servidores NFS Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 40

41 Versões do NFS NFS Extensões NFS sobre RDMA Protocolo RDMA usado como transporte RMDA Permite acesso remoto direto à memória de outro computador sem uso de operações de SO Vantagem: elimina cópias de dados em áreas do SO Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 41

42 Resumo do NFS NFS - Resumo 1º SAD Padronizado Várias versões ou em contínua evolução Muito popular Implementações para diversos SOs Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 42

43 Curso de Sistemas Distribuídos Sistemas de Arquivos Distribuídos: DFS Estudo de Caso: NFS Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 43

44 Curso de Sistemas Distribuídos Slides obsoletos Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 44

45 NIS O NIS (Network Information System) armazena pares (chave,valor) quando uma chave é fornecida, ele retorna o valor correspondente autenticação nomes de usuários para passwords encriptadas nomes de máquinas para endereços de rede os servidores de informação são replicados usando o arranjamento mestre/escravo problema de inconsistência temporária Sistemas Distribuidos Sistema de Arquivos Distribuídos - NFS 45