implementação Nuno Ferreira Neves Faculdade de Ciências de Universidade de Lisboa Fernando Ramos, Nuno Neves, Sistemas Operativos,

Transcrição

1 Sistemas de ficheiros: implementação Nuno Ferreira Neves Faculdade de Ciências de Universidade de Lisboa Objetivos da aula Descrever algunsdetalhes daimplementação deumsistema de ficheiros Discutir algoritmos de reserva de blocos e de gestão de espaço livre

2 Bibliografia [Silberchatz2014], Capítulo 11 NOTA Os acetatos que se seguem não substituem a bibliografia aqui referida, e deverão por isso ser vistos apenas como um complemento para o estudo da matéria. Estrutura do sistema de ficheiros Ossistemas sistemas deficheiros residem em dispositivos de armazenamento secundário normalmente, em disco exemplos: UNIX File System (UFS), FAT, FAT32 e NTFS (Windows), Extended File System (Linux; ext3, ext4) Organização do sistema de ficheiros : Logical file system: gere os metadados; mantém a estrutura do sistema de ficheiros (excluindo os dados) no File Control Block (FCB) (um inode em UNIX) File organization module: traduz os endereços dos blocos lógicos (ficheiros) i em endereços físicos Basic file system: gera os comandos para ler e escrever blocos do disco; mantem uma cache I/O control: consiste basicamente nos device drivers, que traduzem comandos de alto nível enviados pelo sistema de ficheiros em instruções de baixo nível que o hardware entende

3 File Control Block O FCB é a estrutura de dados que mantém a informação acerca do ficheiro Operações sobre ficheiros Create: reserva se um novo FCB e atualiza se diretoria Open: procura se ficheironaopen file table global se está aberto, é adicionada entrada na open file table do processo (que aponta para a open filetable global) se não, procura se o ficheiro na estrutura de diretórios; Se existir, copia se o seu FCB para a open file table global e cria se entrada na open file table do processo a apontar para a global a open file table global mantém contador do número de processos com o ficheiro aberto Read e write: operações feita sobre o descritor retornado por open Close: a entrada na open file table do processo é removida, e o contador da tabela global é decrementado se o contador chegar a zero, os metadados são atualizados no disco e a entrada é removida da tabela global

4 Sistema de ficheiros virtual Como permitir que um único SO suporte múltiplos sistemas de ficheiros? Solução: implementação de sistema de ficheiros usando técnicas de programação orientada a objetos permitindo que a mesma API seja usada para vários tipos de sistemas de ficheiros um SO pode assim integrar na sua estrutura de diretórios vários sistemas de ficheiros diferentes Open, read, write, Operações genéricas sobre o SF que traduz nas operações específicas Usa um vnode por ficheiro Implementa as operações sobre um SF específico Implementação das Diretorias: Métodos Lista linear de nomes de ficheiros que apontam para os blocos de dados Vantagem: simples de programar Desvantagem: buscas demoram tempo, mas ordenar a lista pode ajudar nas procuras Tabela hash Vantagens: reduz o tempo de procura Desvantagens: tamanho fixo e colisões situação em que dois nomes de ficheiroscalham namesmalocalizaçãoação solução: cada entrada da tabela hash pode ser um apontador para uma lista ligada Fonte da imagem: [wiki]

5 Reserva de Espaço em Disco: Métodos Problema: como reservar espaço no disco para os ficheiros de forma que o disco seja usado de forma eficiente e o acesso aos ficheiros seja rápido Três técnicas principais: Reserva contígua Reserva com listaligada Reserva indexada Reserva contígua Cada ficheiro ocupaumconjuntodeum conjunto blocos contíguos Vantagens Simplicidade entrada na diretoria só necessita de informação sobre o endereço do primeiro bloco e o tamanho o acesso sequencial é rápido (blocos são contíguos logo a cabeça de leitura e escrita movimenta se pouco) acesso direto também é simples bloco_lógico[i] = bloco_físico[start+i] Desvantagens Desperdiça espaço (mesmo problema da reserva contígua de memória) fragmentação externa compactação é um processo muito lento Tamanho dos ficheiros não pode aumentar de forma dinâmica necessário por isso estimar a sua dimensão Subestimar certas extensões podem não ser permitidas Sobrestimar fragmentação interna elevada variante para resolver este problema se deixar de haver espaço reserva se novo conjunto de blocos contíguos uma extensão acrescenta se um ponteiro para a extensão na entrada na diretoria

6 Cada ficheiro é uma lista ligada de blocos de disco os blocos podem assim estar em qualquer posição do disco. cada bloco tem apontador para bloco seguinte Reserva com lista ligada Vantagens simples a entrada na diretoria só necessita dos endereços inicial e final o ficheiropode crescer sem problema não há desperdício de espaço (não há fragmentação externa) Desvantagens só é eficiente para acesso sequencial ponteiro ocupa espaço solução: juntar blocos em clusters e ter um apontador para clusters FAT: File Allocation Table Variante do método com lista ligada No início de cada volume há uma secção do disco que contém a FAT a tabela tem uma entrada para cada bloco do disco e é indexada por número de bloco A entrada na diretoria contém o primeiro bloco do ficheiro essa entrada tem o número do bloco seguinte o ponteiro do próximo elemento da lista ligada o último bloco contem o valor EOF um bloco não usado tem o valor 0 Vantagem é a melhoria da performance para acesso direto a localização de um dado bloco só precisa de ler info da FAT que está localizada no mesmo sítio, logo a cabeça do disco não tem de andar muito Desvantagem: se não se usar cache em memória, a cabeça do disco está constantemente a saltar do sítio onde está a FAT para cada um dos blocos

7 Reserva indexada Outra forma de resolver o problema da ineficiência do acesso direto no método com lista ligada Com reserva indexada todos os ponteiros são colocados juntos, num só bloco cada ficheiro tem o seu bloco de índices a entrada i do bloco de indíces aponta para bloco i do ficheiro parecido com a tabela de páginas Vantagens suportaacesso direto não há fragmentação externa Desvantagem desperdício de espaço o bloco de indíces ocupa um bloco inteiro, mesmo que o ficheiro seja pequeno Tamanho do indíce na reserva indexada Qual o tamanho do bloco de índices? tem de ser pequeno para não ocupar espaço mas tem de ser grande para armazenar ponteiros para todos os blocos do ficheiro Soluções lista ligada cada bloco de índices pode conter ponteiroparapróximoblocode índices índices multí nivel esquema combinado usadoem UNIX (UFS) os primeiros ponteiros para blocos do ficheiro estão no inode (direct blocks) os três últimos ponteiros apontam para blocos de índice (que podem ser multinível) outer-index index table file

8 Free space list Os sistemas operativos mantêm uma lista de espaços livres no disco (free space list) (que na realidade não é sempre implementada como uma lista ) quando se cria um ficheiro, procura se na lista para ver se há espaço disponível quando se apaga um ficheiro, i adiciona se i o espaço ocupado à lista Métodos de implementação vetor de bits lista ligada e variantes Vetor de bits A free space list pode ser implementada como um vetor (ou mapa) de bits cada elemento do vetor representa um bloco (ocupado ou livre) n Vantagens simplicidade eficiência bit[i] = rápidoa encontrar n blocos livres Desvantagens 0 bloco[i] livre 1 block[i] ocupado só é eficiente se for armazenado em memória, e o vetor pode ocupar muita memória

9 Lista ligada Ligam se todos os blocos livres um ponteiro para o primeiro bloco livre é mantido numa posição específica do disco (e colocada em memória) cada bloco livre aponta para o próximo Vantagens não desperdiça espaço como o vetor de bits Desvantagens pouco eficiente atravessar a lista, no disco, pode demorar bastante tempo na prática não é comum ter de se atravessar a lista Variantes mais eficientes agrupamentos: no primeiro bloco livre armazenam se ponteiros para os n blocos livresseguintes. na realidade, só n 1 é que estão livres pois o último bloco contém os endereços dos próximos n blocos livres contador: mantem se endereço do primeiro bloco livre e um contador com o número n de blocos livres que se seguem E se o sistema falha? Os ficheiros e diretorias são mantidos em memória e no disco, por isso é necessário garantir que uma falha do sistema não resulta em perda dos dados ou em incoerências Técnicas usadas teste de coerência: comparam se os dados na estrutura de diretorias com os blocos de dados no disco e, se houver incoerências, tentam se resolver utilitário fsck em UNIX e chkdskem Windows problema: pode demorar muito tempo (minutos ou horas) registaralterações num log técnica usada em sistemas transacionais, como bases de dados as atualizações dos metadados (transações) são sempre registadas num log antes de serem efetuadas só quando se assegura que a transação foi completada com sucesso é que se apaga do log se sistema falhar, executam se todas as transações no log (são as que não foram completadas com sucesso) Backup e restore backup completo: copiar todos os ficheiros para um outro dispositivo de armazenamento (disco, DVD, etc.) backup incremental: copiar apenas os ficheiros alterados desde o último backup completo

10 Bibliografia [Siberschatz2014]: OperatingSystem Concepts. Abraham Silberschatz, Peter B. Galvin, Greg Gagne, 9th edition, Capítulo 11