Sistemas de Arquivos. Gerenciamento de Armazenamento

Transcrição

1 Sistemas de Arquivos Gerenciamento de Armazenamento

2 Arquivos Conforme discutimos anteriormente, um arquivo é um conjunto de bytes que representa dados, instruções ou ambos ao mesmo tempo. As finalidades de um arquivo são inúmeras. Arquivos são elementos íntimos do SO que mais são expostos ao usuário final. Os usuários criam, manipulam, distribuem e excluem arquivos em atividades cotidianas.

3 Arquivos Do ponto de vista do SO, cada arquivo é muito além dos dados armazenados por ele e deve possuir diferentes atributos, tais como: 1. Nome 2. Identificação 3. Tipo (texto, executável, binário, ) 4. Localização (no disco) 5. Tamanho 6. Proteção 7. Datas e horas (criação, alteração, acesso) 8. Identificação de usuário

4 Arquivos Ainda, o SO é quem deve fornecer as principais funcionalidades associadas a arquivos. Elas serão utilizadas pelos processos através de chamadas de sistema: 1. Criar novos arquivos 2. Escrever dados em arquivos 3. Ler dados de arquivos 4. Navegar internamente em arquivos 5. Excluir arquivos 6. Truncar arquivos

5 Arquivos Os processos acessam os arquivos através do SO. Para isto, o SO fornece um ponteiro para um arquivo aberto que indica a próxima posição a ser lida ou escrita. Este ponteiro pode ser movimentado ao longo do arquivo. Exemplos de funções C (cstdio.h) que utilizam as chamadas de sistema: fopen - abrir arquivo fclose - fechar arquivo fwrite - escrever dados em arquivo fread - ler dados de arquivo fseek - movimentar o ponteiro no arquivo

6 Arquivos Tipos de arquivos: SOs identificam o tipo de arquivo de formas diferentes: Windows: a extensão do arquivo indica seu tipo; Mac: cria um atributo para cada arquivo, com base no programa que realizou a criação do arquivo; UNIX: armazena um número mágico de identificação de tipo de arquivo: ver comando file em terminal Debian.

7 Arquivos Tipos de arquivos: Exemplos de extensões - principalmente em Windows: tipo de arquivo extensão comum função executável exe, com, bin programa em linguagem de máquina objeto obj, o código de máquina compilado, não montado código fonte c, cc, cpp, java, perl, asm código fonte de diferentes linguagens arquivo de lote bat, sh comandos para o interpretador de comandos texto formatado doc, docx, odt, rft formatos de processadores de texto imagem png, bmp, jpg, jpeg, tif diferentes formatos de imagens multimídia mpeg, mp3, mov, mp4 arquivo binário contendo audio/video

8 Arquivos Para que um programa consiga ler interpretar os dados de um arquivo de forma correta, os dados precisam ser gravados em um padrão igual ao de leitura. Isto, em geral, é mais importante que a extensão do arquivo. Independente do padrão, os arquivos costumam ser gravados em um modo: Texto; ou Binário.

9 Arquivos Arquivos em modo Texto: São arquivos onde todos os bytes gravados estão limitados a caracteres imprimíveis (exs.: tela, impressora,...), respeitando uma codificação: ANSI (8 bits por caractere) Unicode (16 bits por caractere) Arquivos em modo Binário: São arquivos que gravam dados com tipos de tamanhos variáveis. Pode misturar diferentes tipos de dados e, até mesmo, estruturas mais complexas: structs ou objetos.

10 Arquivos Diretórios: Conjuntos de arquivos compõem a base dos SOs, de programas e de dados do usuário. Para que o SO administre os arquivos adequadamente, uma regra de não aceitar dois arquivos com o mesmo nome é normalmente utilizada. Desta forma, e também para melhorar a organização e agrupamento dos arquivos (conforme sua utilização ou afinidade), foi criado o conceito de diretórios.

11 Arquivos Diretórios: Em alguns SOs modernos, este termo foi substituído por outro mais amigável ao usuário: pastas. Diretórios servem para agruparmos e organizarmos arquivos. Na maioria dos casos, os SOs gerenciam diretórios em uma estrutura de árvore.

12 Arquivos Diretórios, subdiretórios e arquivos: spell raiz stat prog correio copy dist prt bin find count programas hex A B C

13 Arquivos Diretórios: Do ponto de vista do SO, um diretório também é um arquivo em disco! Este arquivo contém apenas informações sobre quais são os subdiretórios e os arquivos que estão contidos nele! Este arquivo não será exibido ao usuário, mas sim uma representação de diretório no sistema de arquivos.

14 Arquivos Diretórios: Os arquivos podem ser identificados por caminhos relativo ou absolutos: Relativo: é informado apenas o nome do arquivo, ou o restante do caminho suficiente para encontrar o arquivo. Ex.: System32\mspaint.exe (quando o diretório atual é C:\Windows; Absoluto: será informado o caminho completo do arquivo, independente do diretório atual. Ex.: C:\Windows\System32\mspaint.exe

15 Arquivos Montagem do Sistema de Arquivos: O SO disponibiliza o SA (Sistema de Arquivos) para que processos possam acessar e manipular arquivos; A disponibilização do SA ocorre por um processo chamado de Arquivos; Montagem do Sistema de A montagem sempre será feita a partir de um ponto de montagem: Uma localização dentro de uma estrutura de arquivos, onde o SA será disponibilizado.

16 Arquivos Montagem do Sistema de Arquivos: Normalmente os SAs são montados em diretórios vazios. Ex. em UNIX: uma pasta vazia pode ser utilizada para montar um Pen Drive; Ex. em Windows: cada SA de arquivo é montado em uma Letra de Unidade diferente : A: C: D:

17 Arquivos Proteção: É também de responsabilidade do SO, ao gerenciar o SA, criar mecanismos para proteger os dados contra danos físicos (confiabilidade) e contra acesso indevido(controle de acesso). Confiabilidade pode ser disponibilizada a partir de cópias automatizadas até recursos mais sofisticados de redundância; Controle de acesso será verificado nos próximos slides.

18 Arquivos Proteção - controle de acesso: Tipo de acesso: A primeira perspectiva de controle de acesso; O SO pode restringir, conforme as políticas de controle de acesso, quais operações podem, ou não, serem realizadas em um determinado arquivo. Ex: Ler, gravar, executar, acrescentar, apagar e listar.

19 Arquivos Proteção - controle de acesso: Controle de acesso: É uma associação que o SO realizará entre usuários (ou grupos de usuários) e determinados arquivos; Nesta associação, serão determinadas quais tipos de acesso podem ocorrer, conforme verificado no slide anterior.

20

21 permissões / número de links / proprietário / grupo / tamanho / última modificação e o nome

22 Arquivos Proteção - controle de acesso (UNIX): d rwx rwx rwx _ (1) (2) (3) Onde: _ é d ou - = diretório ou arquivo (1) são permissões do usuário, (2) do grupo e (3) outros; e sendo: r = leitura w = gravação x = execução Ps.: - (hífen) representa falta de permissão Tutorial

23 Exercício Prático 1. Utilizando a linguagem C, construa 2 programas: a. Lê números inteiros do teclado e grava-os em um arquivo (em modo binário) até que o valor informado seja 0 (zero, não incluído no arquivo). b. Lê o os números gravados (em modo binário) do mesmo arquivo gerado pelo programa 1a e exibe-os na tela. 2. Faça o mesmo que em 1, mas utilizando o modo texto. Compare os arquivos gerados utilizando os softwares visualizadores adequados.

24 Sistema de Arquivos Journaling: É quando o SA permite a manutenção de log de alterações recentes nos arquivos. Em caso de qualquer comprometimento no SA, as informações do log podem ser utilizadas na recuperação da transação afetada. Exemplos de SA que suportam journaling: Ext3, Ext4, NTFS e outros.

25 Sistema de Arquivos Journaling - Exemplo: Remover um arquivo no SA Unix envolve 3 passos: a. Remover a entrada em seu diretório; b. Liberar o inode do arquivo; inode é uma estrutura de dados que mantém dados sobre um arquivo, ou diretório, tais como associados às politicas de acesso. c. Retornar os blocos de dados para o conjunto de blocos livres do disco. O que acontece se faltar energia entre estes diferentes passos?

26 Sistema de Arquivos O Sistema de Arquivos é o responsável por gerenciar as alocações dos setores do disco (e/ou unidades de alocação). Ele também descreve como os diretórios serão armazenados e pode fornecer recursos como journaling, além de dados referentes à proteção. Para realizar estas tarefas, os SA são geralmente representados em diferentes níveis, conforme o próximo slide apresenta.

27 Sistema de Arquivos Níveis: Programa de aplicação Sistema de arquivos lógico Módulo de organização de arquivos Sistema de arquivos básico Controle de E/S Dispositivos

28 Sistema de Arquivos Controle de E/S: É o nível mais baixo. Consiste de drivers de dispositivos e manipuladores de interrupção para transferir informações entre a memória principal e o disco. Traduz comandos de alto nível, tal como recupere o setor 123, em comandos específicos para o hardware.

29 Sistema de Arquivos O sistema de arquivos básico: Esta é a etapa mais baixa do SA. Nela, utilizamos o nível de Controle de E/S para acessar e trabalhar com blocos (ou unidades de alocação) de forma similar a um vetor: O objetivo é, neste nível, abstrair os informações básicas do hardware, tais como setores, trilhas, pratos e etc.

30 Sistema de Arquivos Módulo organizador de arquivos: Neste nível é realizada a associação entre arquivos e blocos (ou unidades de alocação). Caso o SA permita fragmentar arquivos, esta camada deve implementar estruturas de dados que viabilizem esta fragmentação. Aqui também deverão ser identificados os espaços livres do disco.

31 Sistema de Arquivos Sistema de arquivos lógico: Trabalha com os metadados sobre os arquivos: UID - identificação do usuário; GID - identificação do grupo; Modo de arquivo; Datas; E tudo mais sobre o arquivo que não é escrito nele próprio. Neste nível também é feita a resolução de caminhos e de FCBs para visualização pelo usuário. (FCB - file control blocks - são estruturas que encapsulam os metadados)

32 Sistema de Arquivos Níveis: A separação de SA em diferentes níveis permite a codificação padronizada para que SOs trabalhem com multiplos SAs. Alguns dos SA mais comuns: UFS - Unix File System; FFS - Berkeley Fast File System; Windows (FAT, FAT32 e NTFS); CD-ROM (CDFS - ISO 9660, ou UDF); Linux - Ext2 e Ext3 (entre em torno de 40 suportados).

33 Sistema de Arquivos Métodos de alocação: Existem três principais formas de organizar a alocação dos arquivos em disco: Alocação contígua; Alocação encadeada; Alocação indexada; Estes métodos serão revisados nos próximos slides.

34 Sistema de Arquivos Métodos de alocação - contíguo: É a forma mais simples. Exige que todos os setores de um arquivo sejam contíguos, ou seja: não fragmentados. Os principais problemas são a fragmentação externa e o posicionamento de novos arquivos: Conforme combinados os arquivos já alocados em disco, pode ocorrer de não encontrar espaço mínimo necessário para armazenar um arquivo grande, mas com tamanho menor do que o total de espaço livre disponível.

35

36 Sistema de Arquivos Métodos de alocação - encadeado: Funciona da mesma forma que uma lista encadeada na memória principal; Cada unidade de alocação terá, nos bytes finais, o endereço da próxima unidade de alocação onde o arquivo continua. O principal problema se dá em relação ao espaço utilizado no final da unidade de alocação. Com ele, o tamanho de cada unidade de alocação é diminuído. Ex.: 512 para 508 bytes.

37

38 Sistema de Arquivos Métodos de alocação - encadeado: Em uma implementação tradicional, para se acessar uma unidade intermediária de alocação, é necessário percorrer unidade por unidade! Para otimizar este problema, o FAT (file allocation table) utiliza uma tabela para armazenar as referências de próximas unidades a serem lidas em cada arquivo. Isto possibilita a carga em memória RAM e acesso aleatório simplificado: Curiosidade: o tamanho máximo de um arquivo em FAT32 é de 4GB - 1 byte.

39 Sistema de Arquivos Métodos de alocação - indexado (mapa de bits): Neste método, uma unidade de alocação é reservada para armazenar referências para todas as unidades de alocação que compõem o arquivo. Como a unidade de alocação possui tamanho limitado (e isto limitaria o tamanho do arquivo), métodos com múltiplos níveis também são utilizados.

40

41 Sistema de Arquivos Métodos de alocação - na prática? O método de alocação ótimo é diferente para arquivos de acesso sequencial e de acesso aleatório. Alguns sistemas suportam mais do que um método de alocação, o qual pode ser determinado com base no uso do arquivo (sequencial ou aleatório). Todos os sistemas devem ajustar o esquema de alocação para se relacionar melhor com as características de hardware e de software, para uma melhor performance.

42 Sistema de Arquivos SA Método Ano Criador SO original FAT12 Encadeado 1977 Microsoft Microsoft Disk BASIC FAT32 Encadeado 1996 Microsoft Windows 95 NTFS Indexado 1993 Microsoft Windows NT Ext2 Misto (Indexado e Encadeado) 1993 Rémy Card GNU/Linux Ext3 Misto (Indexado e Encadeado) 1999 Dr. Stephen C. Tweedie Linux Ext4 Indexado 2006 Vários Linux ReiserFS Indexado 2001 Namesys Linux Reiser4 Indexado 2004 Namesys Linux

43 Sistema de Arquivos Tamanho Máximo SA Método Ano Arquivo Volume FAT12 Encadeado MiB 1 MiB até 32 MiB FAT32 Encadeado GiB 512 MiB até 8 TiB NTFS Indexado EiB 16 EiB Ext2 Misto (Indexado e Encadeado) GiB até 2 TiB 2 TiB até 32 TiB Ext3 Misto (Indexado e Encadeado) GiB até 2 TiB 2 TiB até 32 TiB Ext4 Indexado GiB até 16 TiB 1 EiB ReiserFS Indexado TiB(v3.6) 16 TiB Reiser4 Indexado TiB 16 TiB

44 Exercícios 1. Pesquise e justifique os motivos do Google desenvolver seu próprio sistema de arquivos para os seus servidores de busca: The Google File System. 2. Sobre desfragmentação: a. Justifique o porquê da desfragmentação de disco deixar o sistema mais rápido. b. Quais são as diferenças nos benefícios da desfragmentação entre um HDD e um SSD? 3. Por que o sistema de arquivos FAT16 não é mais utilizado atualmente? Justifique sua resposta.

45 Exercícios 4. Existe um sistema de arquivos FAT64. Sobre ele: a. Qual é o nome deste SA? b. Quais são os seus limites para tamanhos máximos de volume e de arquivos? c. Quais são as principais diferenças dele para o NTFS? 5. Ao formatar um Pen Drive, justifique os critérios que devem ser levados em consideração no momento da escolha do: a. Sistema de arquivos b. Tamanho do cluster/bloco/unidade de alocação

46 Exercícios 6. Imagine um sistema de arquivos que utiliza um tipo de dados inteiro de 16 bits (sem sinal) para representar um determinado número de unidade de alocação. Calcule o tamanho máximo de volume para este SA com base nos seguintes tamanhos de unidade de alocação: a. 512 bytes b. 4 KiB c. 8 KiB d. 32 KiB

47 Exercícios 7. Sobre os métodos de alocação em disco (contíguo, encadeado e indexado), pesquise e justifique qual método se adapta melhor ao HDD e qual se adapta melhor ao SSD. 8. FAT32 é plenamente suportado tanto em Linux quanto em Windows. Pesquise informações sobre como ocorre o uso de NTFS em Linux e Ext em Windows.