the slides) Sobre a apresentação (About( Capítulo 11: Implementação de Sistemas de Arquivos Sistemas de Arquivos Objetivos

Transcrição

1 Sobre a apresentação (About( the slides) Capítulo 11: Implementação de Sistemas de Arquivos Os slides e figuras dessa apresentação foram criados por Silberschatz, Galvin e Gagne em Esse apresentação foi modificada por Cristiaino Costa (cac@unisinos.br). Basicamente, os slides originais foram traduzidos para o Português do Brasil. É possível acessar os slides originais em Essa versão pode ser obtida em The slides and figures in this presentation are copyright Silberschatz, Galvin and Gagne, This presentation has been modified by Cristiano Costa (cac@unisinos.br). Basically it was translated to Brazilian Portuguese. You can access the original slides at This version could be downloaded at Silberschatz, Galvin and Gagne 2005 Capítulo 11: Implementação de Sistemas de Arquivos Objetivos Estrutura do Sistemas de Arquivos Implementação de Sistemas de Arquivos Implementação de Diretório Métodos de Alocação Gerenciamento do Espaço Livre Eficiência e Desempenho Recuperação Sistemas de Arquivos Baseados em Registro de Operações (Log) NFS Exemplo: Sistemas de Arquivos WAFL Descrever os detalhes de implementação de sistemas de arquivos locais e estruturas de diretórios Descrever a implementação de sistemas de arquivos remotos Discutir alocação de blocos e algoritmos de blocos livres e relação custo-benefício 11.3 Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

2 Estrutura de Sistemas de Arquivos Sistemas de Arquivos em Camadas Estrutura do Arquivo Unidade de Armazenamento Lógica Coleção de informações relacionadas Sistema de arquivos reside em armazenamento secundário (discos). Sistema de arquivos organizado em camadas. Bloco de Controle de Arquivo (File control block) estrutura de armazenamento contendo informações sobre um arquivo Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005 Um Bloco de Controle de Arquivo TípicoT Estrutura de Sistemas de Arquivos na memória As figuras a seguir ilustram as estruturas de sistemas de arquivos necessárias e fornecidas pelo sistema operacional Figura 12-3(a) refere a abertura de um arquivo. Figura 12-3(b) refere a leitura de um arquivo Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

3 Estrutura de Sistemas de Arquivos na memória Sistemas de Arquivos Virtual Sistemas de Arquivos Virtual (Virtual File Systems - VFS) fornece uma forma orientada a objetos de implementar sistemas de arquivos. VFS permite que a mesma interface de chamada de sistemas (a API) seja utilizada para diferentes tipos de sistemas de arquivos. A API é da interface do VFS, ao invés de um tipo específico de sistemas de arquivos Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005 Visão Esquemática de um Sistema de Arquivos Virtual Implementação de Diretório rio Lista Linear de nomes de arquivos com ponteiros para os blocos de dados Simples de programar Execução lenta Tabela Hash lista linear com estruturas de dados hash. Diminui o tempo de procura no diretório colisões situações nas quais dois nome de arquivos obtém a mesma localização Tamanho fixo Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

4 Métodos de Alocação Alocação Contígua Um método de alocação indica como os blocos de disco são alocados aos arquivos: Cada arquivo ocupa um conjunto de blocos contíguos no disco Alocação Contígua Alocação Encadeada Alocação Indexada Simples somente é necessário armazenar a localização inicial (número do bloco) e o tamanho do arquivo (quantidade de blocos) Acesso Direto (randômico) Perda de Espaço (problema da alocação dinâmica) Arquivos não podem crescer Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005 Alocação Contígua (Cont.) Exemplo de Alocação Contígua Mapeamento de endereço lógico para físico LA/512 Q R Bloco a ser acessado (Q) =! + endereço inicial Deslocamento no Bloco = R Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

5 Sistema Baseado em Extensão Alocação Encadeada Em Inglês Extent-Based Systems Cada arquivo é uma lista encadeada de blocos em disco: blocos podem ser espalhados em qualquer lugar do disco. Muitos sistemas de arquivos novos (Por exemplo o Sistema de Arquivos Veritas) usam um esquema de alocação contígua modificado bloco = ponteiro Sistemas de Arquivos baseados em extensão alocam blocos de disco em extents (extensões) Um extent é um bloco contíguo no disco Extensões são alocadas por alocação de arquivo Um arquivo consiste de uma ou mais extensões Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005 Alocação Encadeada (Cont.) Exemplo de Alocação Encadeada Simples necessita somente do endereço inicial Sistema de Gerenciamento de Espaço Livre sem perda de espaço Sem acesso direto (randômico) Mapeamento LA/511 Q R Bloco a ser acessado está na posição Q na lista encadeada de blocos representando um arquivo. Deslocamento no Bloco = R + 1 Tabela de Alocação de Arquivos / File-allocation table (FAT) alocação de espaço em disco usada pelo MS-DOS e OS/ Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

6 File-Allocation Table - FAT Alocação Indexada (em Tabela) Juntar todos os ponteiros em uma tabela de índices (index block). Também chamados de Inodes ou Nós-Índices Visão Lógica. index table Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005 Examplo de Alocação Indexada Alocação Indexada (Cont.) Necessita de Tabela de Índices Acesso direto (randômico) Acesso dinâmico sem fragmentação externa, mas com a sobrecarga da tabela de índices. Mapeamento de endereço lógico para físico em um arquivo de tamanho máximo de 256k palavras e tamanho de bloco de 512 palavras. Somente é necessário um bloco para a tabela de índices Q LA/512 R Q = deslocamento na tabela de índices R = deslocamento no bloco Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

7 Alocação Indexada Mapeamento (Cont.) Alocação Indexada Mapeamento (Cont.) Mapeamento de lógico para físico em um arquivo de tamanho indeterminado (tamanho do bloco de 512 palavras). Esquema Encadeado Encadear blocos da tabela de índices (sem limite no tamanho). LA / (512 x 511) Q 1 R 1 Q1 = bloco da tabela de índices R1 é usado como segue: R 1 / 512 Q2 = deslocamento em bloco da tabela de índices R2 deslocamento em bloco de arquivo: Q 2 R 2 Índice em dois níveis (tamanho máximo do arquivo é ) LA / (512 x 512) Q1 = deslocamento na tabela de índice externa R1 é usado como segue: R 1 / 512 Q2 = deslocamento em bloco da tabela de índices R2 deslocamento em bloco do arquivo Q 2 R 2 Q 1 R Silberschatz, Galvin and Gagne 2005 Alocação Indexada Mapeamento (Cont.) Silberschatz, Galvin and Gagne 2005 Esquema Combinado: UNIX (4K bytes por bloco) M Tabela de índices extern Tabela de índices arquivo Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

8 Gerenciamento do Espaço o Livre Gerenciamento do Espaço o Livre (Cont.) Vetor ou mapa de Bits (n blocos) n-1 bit[i] = 678 Cálculo do número do Bloco 0 bloco[i] livre 1 bloco[i] ocupado (número de bits por palavra) * (número de palavras com valor 0) + deslocamento do primeiro bit 1 Vetor de bits requer espaço extra. Exemplo: tamanho do bloco = 2 12 bytes tamanho do disco = 2 30 bytes (1 gigabyte) n = 2 30 /2 12 = 2 18 bits (or 32K bytes) Fácil para manter arquivos contíguos Lista encadeada (Lista de blocos livres) Difícil manter alocação contígua Sem desperdício de espaço Agrupamento Contagem Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005 Gerenciamento do Espaço o Livre (Cont.) Lista Encadeada de Espaço o Livre no Disco Necessita Proteger: Ponteiro para a lista livre Vetor de Bits Deve ser mantido em disco Cópia em memória e disco podem diferir. Não pode acontecer de para um bloco[i] ter a situação de bit[i] = 1 na memória e bit[i] = 0 no disco. Solução: Faça bit[i] = 1 no disco. Aloque bloco[i] Faça bit[i] = 1 na memória Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

9 Eficiência e Desempenho Cache de PáginasP Eficiência depende de: Alocação de disco e algoritmos de diretório Tipos de dados mantidos na entrada do arquivo no diretório Desempenho cache de disco seção separada de memória principal para blocos freqüentemente usados Liberação antecipada (free-behind) e leitura antecipada (readahead) técnicas para otimizar o acesso seqüencial Aumentar o desempenho do PC dedicando partes da memória como discos virtuais (RAM disks). Um cache de páginas armazena páginas ao invés de blocos de disco usando técnicas de memória virtual E/S mapeado em memória usa cache de página Rotina de E/S através do sistema de arquivos usa o cache de buffer (do Disco) Isso leva a figura a seguir Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005 E/S sem um Cache de Buffer Unificado Cache de Buffer Unificado Um cache de buffer unificado usa o mesmo cache de páginas para armazenar páginas mapeadas na memória e E/S ao sistema de arquivos padrão Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

10 E/S com um Cache de Buffer Unificado Recuperação Teste de Consistência comparar dados nas estruturas de diretórios com blocos de dados no disco, e tentar consertar as inconsistências. Usar programas de sistemas para criar cópias de segurança (back up) do disco para outros dispositivos de armazenamento (disquete, disco magnético). Recuperar arquivos ou discos perdidos restaurando dados do backup Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005 Sistemas de Arquivos Baseados em Registro de Operações Sistemas de arquivos com Estrutura de Registro de Operações - Log (ou journaling) registram cada atualização no sistema de arquivos como uma transação Todas as transações são escritas em um registro de operações Uma transação é considerada encerrada com sucesso (commit) uma vez que é gravada no registro de operações Entretanto, o sistema de arquivos pode não ter sido atualizado ainda O Network File System (NFS) da Sun Uma implementação e especificação de um software para acessar arquivos remotos através das redes locais (ou metropolitanas) A implementação é parte dos sistemas operacionais Solaris e SunOS executando em estações de trabalho Sun usando um protocolo de datagramas não confiável (UDP/IP) e Ethernet As transações do registro de operações são gravadas de forma assíncrona no sistema de arquivos Quando o sistema de arquivos é modificado, a transação é removida do registro de operações Se o sistema de arquivos trava, todas as transações restantes no log precisam ainda ser realizadas Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

11 NFS (Cont.) NFS (Cont.) Estações de trabalho interconectadas são vistas como um conjunto de máquinas independentes com sistemas de arquivos independentes. NFS permite compartilhamento entre esses sistemas de arquivos de forma transparente Um diretório remoto é montado sobre um sistema de diretórios local O diretório montado aparece como uma sub-árvore integrada ao sistema de arquivos local, substituindo as ramificações descendentes do subdiretório local Especificação do diretório remoto para a operação de montagem não é transparente; O nome da máquina do diretório remoto deve ser fornecido Arquivos no diretório remoto podem então ser acessados de forma transparente Sujeito aos direitos de acesso, potencialmente qualquer sistema de arquivos (ou diretório nesse sistema de arquivos) pode ser montado remotamente em qualquer diretório local NFS é projetado para operar em ambientes heterogêneos de diferentes máquinas, sistemas operacionais e arquiteturas de rede; a especificação do NFS independe dessas mídias A independência é obtida através do uso de primitivas de RPC construídas sobre o protocolo External Data Representation (XDR) usado entre duas interfaces independentes de implementação A especificação do NFS separa serviços fornecidos pelo mecanismo de montagem e serviços de acesso aos arquivos remotos Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005 Três Sistemas de Arquivos Independentes Montagem no NFS Mounts Cascading mounts Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

12 Protocolo de Montagem do NFS Protocolo do NFS Estabelece conexão lógica inicial entre cliente e servidor Operação de montagem inclui nome do diretório remoto a ser montado e o nome da máquina que armazena-o Requisição de montagem é mapeada para o RPC correspondente e enviada ao servidor de montagem que executa na máquina servidora Export list (Lista de Exportação) especifica sistemas de arquivos locais que o servidor exporta para montagem junto com os nomes das máquinas que têm permissão para montá-los Seguindo uma requisição de montagem que está de acordo com a lista de exportação, o servidor retorna um manipulador de arquivo uma chave para acesso futuro Manipulador de Arquivo (handle) um identificador do sistema de arquivos e um número de inode para identificar diretório montado dentro do sistema de arquivos exportado A operação de montagem altera somente a visão do usuário e não afeta o lado do servidor Silberschatz, Galvin and Gagne 2005 Fornece um conjunto de chamadas de procedimentos remotos para operações em arquivos remotos. Os procedimentos suportam as seguintes operações: procurar por um arquivo em um diretório ler um conjunto de entradas de diretório manipular links e diretórios acessar atributos de arquivos ler e escrever arquivos Servidores NFS são stateless (não armazenam estados); cada requisição tem que fornecer o conjunto completo de argumentos NFS a partir da versão 4 é bem diferente, sendo statefull armazena estados no servidor. Aqui são tratadas as versões anteriores Dados modificados devem ser gravados no disco do servidor antes dos resultados serem retornados ao cliente (perde as vantagens do uso de cache) O protocolo NFS não provê mecanismos de controle de concorrência Silberschatz, Galvin and Gagne 2005 Três Camadas Principais da Arquitetura NFS Visão Esquemática da Arquitetura NFS Interface do sistema de arquivos UNIX (baseada nas chamadas open, read, write, e close, e no descritor de arquivo) Camada Sistema de Arquivos Virtual (VFS) distingue arquivos locais de remotos, e locais são ainda separados de acordo com seus tipos de sistemas de arquivos O VFS ativa as operações específicas de sistemas de arquivos para tratar requisições locais de acordo com os tipos de sistemas de arquivos Chama os procedimentos do protocolo NFS para requisições remotas Camada de serviço do NFS camada mais abaixo na arquitetura Implementa o protocolo NFS Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

13 Tradução de Caminhos (Paths( Paths) ) no NFS Operações Remotas no NFS Realizada quebrando o caminho em nomes de componentes e realizando uma chamada separada de lookup ao NFS para cada par de componentes (nome e vnode de diretório) Para tornar o lookup mais rápido, um cache de nome de diretório no lado do cliente armazena o vnode de nomes de diretórios remotos Existe quase uma correspondência um-para-um entre chamadas de sistemas UNIX regulares e o RPC do protocolo NFS (exceto para abertura e fechamento de arquivos nas versões stateless) NFS adere ao paradigma de serviço remoto, mas emprega bufferização e técnicas de cache por razões de desempenho Cache de Blocos de Arquivos quando um arquivo é aberto, o kernel verifica com o servidor remoto se deve buscar e trazer ou revalidar os atributos de cache Blocos de Arquivos no cache são usados somente se os atributos correspondentes no cache estão atualizados Cache de atributos de arquivos o cache de atributos é atualizado sempre que novos atributos chegam do servidor Clientes não liberam blocos de escrita até que o servidor confirme que os dados foram escritos no disco Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005 Exemplo: Sistema de Arquivos WAFL O Leiaute de Arquivo do WAFL Usado nos Filers da empresa Network Appliance sistemas de arquivos distribuídos de aparelhos (dispositivos criados para realizar funções particulares) Uma questão atual na área de redes tem sido fornecer serviços comuns usando aparelhos ao invés de computadores de propósito gerais Write-anywhere file layout Leiaute de arquivo escreva em qualquer lugar Serve NFS, CIFS, http, ftp Otimizado para E/S aleatório e escrita NVRAM para cache de escrita Similar ao Sistema de Arquivos Berkeley Fast File System (FFS), com modificações consideráveis Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005

14 Snapshots (Fotografias) no WAFL Silberschatz, Galvin and Gagne Silberschatz, Galvin and Gagne 2005 Fim do Capítulo 11