Sistemas de arquivos. Sistemas Operacionais II. UnixFS, Linux VFS e Ext2/3/4. Anderson L. S. Moreira

Transcrição

1 Sistemas Operacionais II Sistemas de arquivos UnixFS, Linux VFS e Ext2/3/4 Anderson L. S. Moreira anderson.moreira@recife.ifpe.edu.br Copyright , Free Electrons. Creative Commons BY SA 3.0 license Latest update: 24 de Mai de 2010, Adaptation by: Anderson L. S. Moreira anderson.moreira@recife.ifpe.edu.br 1

2 Agenda Conceito de sistemas de arquivos Implementação de sistemas de arquivos Sistemas de arquivos UNIX Estrutura de um inode UNIX Sistema de arquivos Ext2/3/4 Sistema de arquivos virtual VFS Sistema de arquivos Proc 2

3 Alocação no Unix alocação indexada index block bloco que contém todos os links de um arquivo facilita implementação de acesso direto a blocos de um arquivo cada arquivo tem o seu próprio index block quando o arquivo é criado, todas as entradas do index contém nil 3

4 Alocação indexada Diretório arquivo index block arqx bloco de dados 4

5 UNIX fs dois objetos principais arquivos diretórios data blocks diretório é apenas um caso especial de arquivo qualquer coisa que possa ser colocada em um arquivo arquivos são compostos por blocos de dados arquivos e diretórios são representados por inodes apenas o campo de tipo do inode distingue entre arquivos e diretórios 5

6 Alocação indexada tamanho do index block? esquema linkado a última palavra no index é nil ou um link para outro index block esquema multinível o primeiro nível é um índice para index blocks no segundo nível esquema combinado exemplo: inode do Linux index node ou information node 6

7 Index block (inode) modo owners timestamps size block count direct blocks data data data data BSD UNIX 12 blocos de dados tamanho mínimo do bloco é 4K data 4.2 BSD single indirect double indirect triple indirect data data data data não necessário data 7

8 Index block (inode) modo owners timestamps size block count data data data data block também data block, mas apenas com ponteiros direct blocks single indirect double indirect triple indirect data data data data data data data número de blocos depende do tamanho do bloco 8

9 Blocos e fragmentos 4.2 BSD para arquivos sem blocos indiretos 2 tamanhos de blocos todos, menos o último, tem um tamanho grande o último (fragmento) tem um tamanho menor Linux ext2fs não usa fragmento determinação do tamanho tamanho do bloco e do fragmento determinado na hora da criação do sistema de arquivos block to fragment ratio=8:1 tamanho mínimo do bloco: 4K 9

10 Diretórios. hard link para o próprio diretório. e.... hard link para o diretório pai primeiros dois nomes em cada diretório novas entradas em um diretório são colocadas no primeiro espaço vazio pesquisa linear path name e diretório atual mount point o usuário faz referência a um arquivo pelo seu path name o sistema de arquivos usa o inode em qualquer diretório pode ser encontrado um ponto de montagem onde ocorre a mudança para outra estrutura de diretório 10

11 links diretório é um grafo acíclico um arquivo pode ter vários nomes um arquivo é representado univocamente pelo seu inode vários nomes podem representar o mesmo inode hard links entradas nos diretórios que apontam para um inode symbolic links só permitido apontar para arquivos para evitar ciclos só possível dentro do mesmo sistema de arquivos path de um arquivo ou subdiretório pode apontar para outros sistemas de arquivos simplesmente um arquivo que contém um path 11

12 Descritores de arquivos mapeamento de descritores para inodes system call usa descritor como argumento kernel usa descritor como índice na tabela de arquivos abertos do processo cada entrada aponta para uma estrutura de arquivo, que aponta para o inode cópia na memória do inode mantido em disco a tabela de arquivos abertos suporta um número fixo limitado de arquivos File structure 12

13 Mapeamento de descritores para inodes tabela de arquivos abertos do processo lista de inodes blocos de dados read(4,.. tabela de estrutura de arquivo sync lista de inodes espaço do usuário espaço do sistema espaço em disco 13

14 file structure mantém informações relativas ao processo que não podem ser mantidas no inode por exemplo um arquivo aberto por dois processos o inode é um só cada processo usa um file offset diferente para as operações de read e write sobre o arquivo file offset: posição relativa dentro do arquivo 14

15 Lista de inodes in core lista de inodes na memória cópia idêntica da estrutura de inodes no disco apenas dos inodes necessários para cada inode contém campo extra de contador de referência quantos file structures apontam para o inode file structure também possui contador determina quantos descritores apontam a estrutura quando o contador fica zero, a entrada não é mais necessária e pode ser suprimida ou reusada 15

16 FS lógico versus FS físico FS lógico FS físico o que o usuário conhece dependente do dispositivo físico um FS lógico pode ser composto por vários FS físicos dispositivos físicos dispositivos lógicos dispositivo de armazenamento geralmente disco partição de um dispositivo físico 16

17 FS lógico para dispositivo físico FS lógico Fss dispositivos lógicos discos particionados root swap 17

18 Partições e blocos especiais swap root (raiz) boot block superblock partição necessária para VM sempre disponível outros sistemas de arquivos devem ser montados no sistema de arquivos raiz primeiro setor de um dispositivo lógico parâmetros estáticos do FS mounting = integrar na hierarquia de diretório eventualmente contém programa de boot ex: tamanhos do FS, do bloco e do fragmento 18

19 Estrutura esquemática UNIX file system toda a informação necessária para gerenciar o sistema de arquivos boot block superblock inode blocks data blocks arquivos comuns, diretórios e blocos indiretos BSD4.3 introduziu conceito de cylinder group para manter inodes e data blocks em cilindros próximos conceito ficou ultrapassado com cilindros de tamanho variável 19

20 FS montado mount mount point adicionar um FS (de um tipo qualquer) em uma árvore de diretório já existente unmount é o contrário um bit indica que o inode tem um FS montado nesse ponto uma referência ao inode determina que a mount table será pesquisada para achar o número do dispositivo correspondente o número é usado para achar o inode do diretório raiz do FS montado 20

21 Implementações várias modificações de versão para versão interface para o FS é simples e bem definida implementação pode ser alterada sem reflexos significativos para o usuário foi um sucesso Berkeley Fast File System alto desempenho bloco 8K, fragmento 1K incorporou várias novas system calls (como truncate) ext2fs (Linux) inspirou se no ffs 21

22 System calls para manipulação do fs creat open read write close trunc lseek dup dup2 fcntl ioctl stat rename chmod chown link unlink symlink mkdir rmdir cd opendir readdir closedir 22

23 FS Linux Linux mantém o modelo de FS UNIX um arquivo pode ser qualquer coisa capaz de manipular a saída e a entrada de um fluxo de dados exemplos objetos armazenados em disco dados buscados pela rede driver de dispositivo canais de comunicação entre processos conexões de rede detalhes de implementação são escondidos por uma camada de software chamada VFS 23

24 Camadas do FS em Linux System call P1 P2 Pn modo usuário VFS modo kernel ext2/3/4 msdos minix buffer cache proc File system driver de dispositivo 24

25 Ext2fs extended file system extensão do Minix semelhante ao BSD Fast File System (ffs) Remy Card, Wayne Davidson, Theodore Ts o, Stephen Tweedie principal diferença: política de alocação de disco ffs usa blocos de 8Kbytes e fragmentos de 1Kbytes ext2fs usa blocos de 1Kbytes (default) mas também suporta 2K e 4K ext2fs aumenta o desempenho alocando blocos lógicos adjacentes em posições físicas adjacentes no disco 25

26 Ext2fs suporta os tipos de arquivos UNIX arquivos regulares, diretórios, arquivos especiais de dispositivos, links simbólicos gerencia FS criados em partições realmente grandes 4TB suporta nomes longos de arquivos 255 caracteres (podendo estender até 1012) entradas de diretório de tamanho variável reserva alguns blocos para super usuário (root) normalmente 5% 26

27 Estrutura FS particionado em múltiplos block groups conceito similar ao cylinder group no ffs no ffs cada grupo corresponde a um cilindro físico cada block group contém uma cópia do superblock, inode do grupo e data blocks do grupo block groups visam: manter blocos de dados perto de seus inodes manter inodes de arquivos perto dos seus inodes de diretório manter o grupo fisicamente contínuo atualmente os cilindros tem tamanho variável 27

28 Estrutura do ext2fs boot block block group 0 block group 1 block group n super block group descriptors block bitmap inode bitmap inode table data blocks lembrar que um diretório é apenas um arquivo e que portanto não aparece na estrutura do fs, ao contrário do diretório raiz no FATfs 28

29 Superblock contém informações de controle do FS possui tamanho de 1024 bytes 1024 bytes é o tamanho mínimo de bloco todos os grupos contém um superblock facilita a recuperação do sistema de arquivos em caso de necessidade todos os superblocos são iguais não encontrei nada sobre como é mantida a consistência entre os superblocos 29

30 Superblock número de inodes número de blocos número de blocos reservados número de blocos livres número de inodes livres primeiro bloco de dados tamanho de bloco tamanho de fragmento blocos por grupo fragmentos por grupo inodes por grupo horário da última montagem horário do último write no sblock estado max. contador assinatura estado comport. erro pad word horário do último teste max. intervalo de teste sistema operacional FS revisão RESUID RESGID Beck página

31 Superblock número de inodes número de blocos número de blocos reservados número de blocos livres número de inodes livres primeiro bloco de dados tamanho de bloco tamanho de fragmento blocos por grupo fragmentos por grupo inodes por grupo horário da última montagem horário do último write no sblock estado max. contador assinatura estado comport. erro pad word horário do último teste max. intervalo de teste sistema operacional FS revisão RESUID RESGID David A Rusling faz menção a número mágico, ao número do inode do root e ao número do grupo onde o superbloco está contido 31

32 Superblock campos tamanho do bloco fornecido indiretamente max. contador número máximo de mounts até o próximo teste RESUID e RESGID tamanho mínimo 1024 bytes deslocar o tamanho mínimo pelo valor desse campo o administrador pode escolher o tamanho de bloco na criação do FS em modo read/write especificam que users e groups tem permissão de usar os blocos reservados além do superusuário 32

33 Superblock estado (status) clean not clean Erroneous quando o FS é remontado em modo read only quando o FS é montado em modo read/write quando uma inconsistência é detectada pelo Kernel existe campos para fragmentos (Beck) aparentemente não usados 33

34 Descritor de grupo descritor contém informações sobre grupo informações específicas e portanto diferentes para cada grupo tabela de descritores tabela com um descritor para cada grupo aparece logo após o superbloco tabela é igual em todos os grupos tamanho do descritor 32 bytes com grande número de pad words só a tabela do grupo 0 é efetivamente usada 34

35 Descritor de grupo block bitmap inode bitmap n. blocos livres n. inodes livres n. diretórios pad words inode table 32 bits para cada grupo tabela possui um descritor por grupo permite rápida verificação do estado de ocupação do fs 35

36 Campos no descritor de grupo n. de diretórios política de espalhar diretórios em igual número pelos grupos um novo diretório será montado no grupo com menor número de diretórios número do bloco de cada bitmap número do bloco inicial da inode table número de blocos livres número de inodes livres número de diretórios no grupo todas as informações se referem ao grupo do descritor 36

37 bitmaps bitmaps facilitam a alocação de blocos e inodes block bitmap e inode bitmap cada bitmap tem o tamanho de um bloco tamanho do grupo fica restrito a 8192 blocos para blocos de 1024 bytes indica livre ou ocupado um bit por bloco 1024 x 8 bits 37

38 inode table conjunto de inodes do grupo lista de blocos consecutivos contendo inodes conjunto de inodes (cada inode 128 bytes) em cada inode localização é dada no descritor de grupo campos usuais de um inode Unix ACL acess control list para melhor diferenciar permissões de acesso Implementado no kernel

39 diretório e inode table diretório é um arquivo diretório inode table cont. links 2 arq1 arq2 arq3 arq4 i1 i4 i1 i6 1 1 depois que o nome é conventido em um número de inode, o inode é carregado na memória e usado em todo os acessos subsequentes 39

40 inode 128 bytes tipo/permissões user (UID) tamanho do arquivo horário de acesso horário de criação horário de modificação horário de deleção group (GID) cont. links número de blocos atributos do arquivo reservado 12 blocos diretos 128 blocos indireto simples blocos indiretos triplos arquivo ACL endereço fragmento blocos indiretos duplos versão do arquivo diretório ACL reservado 40

41 Campos do inode tipo (ou modo) indica o que o inode descreve file, directory, symbolic link, block device, character device ou FIFO tamanho do arquivo dado em bytes cont. links contador de links para o arquivo 41

42 Particularidades symbolic link (pequeno) o path é armazenado no próprio inode economiza data blocks acelera acesso (pois não precisa buscar um bloco de dados) nome do link (path) limitado em 60 caracteres device files se o inode referencia um device file, o número do dispositivo está no inode no primeiro ponteiro para bloco direto 42

43 Diretório diretório é uma lista linkada entrada no diretório: número do inode tamanho da entrada no diretório (current) serve para localizar a próxima entrada pode ser maior que o necessário para armazenar o nome tamanho do nome do arquivo nome do arquivo 43

44 Diretório inode num. nome a ab arq1 arquivo deletado inode com valor 0 indica arquivo deletado a ab arq1 44

45 diretórios. e.. as primeiras 2 entradas em cada diretório são sempre os padrões ``.'' e ``..'' significando ``this directory'' e ``the parent directory'' respectivamente 45

46 Alocação alocação usa informação do block bitmap otimizações kernel sempre tenta alocar inodes e data blocks de um arquivo ao mesmo grupo quando escreve dados em um arquivo, são préalocados 8 blocos adjacentes novos blocos para um arquivo são procurados primeiro na vizinhança (32 blocos), depois no mesmo grupo essas técnicas permitem um boa localidade e aceleram os acessos sequenciais 46

47 Virtual file system Chris Provenzano projetado segundo orientação a objetos VFS um conjunto de definições que determinam como o objetoarquivo se parece uma camada de software para manipular os objetos 3 tipos principais de objetos inode object file object file system object representam arquivos individuais usados para acessar os arquivos representa um sistema de arquivos completo 47

48 Virtual file system para cada um dos 3 tipos de objetos, o VFS define um conjunto de operações que deve ser implementada cada objeto (de um dos 3 tipos) contém um pointer para uma tabela de funções a tabela de funções lista os endereços das funções que implementam as operações para o objeto VFS assim o VFS pode operar sobre objetos sem conhecer exatamente que espécie de objeto ele está tratando arquivo de rede, arquivo em disco, socket, diretório 48

49 file system object uma coleção de arquivos que forma uma hierarquia de diretório auto contida Linux mantém um único file system object para cada dispositivo de disco montado como um FS e para FS de rede conectado objetofs permite acesso ao inodes VFS identifica cada inode por um par unívoco par: file system / inode number VFS acha um inode fornecendo esse par ao FS object VFS 49

50 inode object & file object VFS inode object representa um arquivo não pertence a um processo mantém informações como owner, tamanho, data da última alteração file object pertence a um único processo representa um ponto de acesso aos dados no arquivo onde um processo está atualmente lendo ou escrevendo guarda se o processo pediu permissão de escrita 50

51 Proc File System process file system FS sem dados persistentes file system cujo conteúdo não é guardado em lugar algum dados são calculados por demanda de acordo com requisições de E/S do usuário não é original Linux implementado pelo UNIX SVR4 51

52 Proc File System UNIX interface para suporte a depuração de processos cada subdiretório corresponde a um processo ativo uma listagem do FS mostra um diretório por processo o nome do diretório é a representação em ASCII do PID do processo Linux estende esse conceito acrescenta estatísticas sobre o kernel e drivers 52

53 Exercícios explicar todos os campos que compõem um inode achar as rotinas para acesso ao ext2fs achar as ferramentas para criar, modificar e corrigir inconsistencias 53

54 Bibliografia Sistemas operacionais, Romulo Oliveira, 2009; Arquitetura de Sistemas Operacionais, Francis Machado, 2008; Embedded Linux Experts electrons.com; Silberchatz & Galvin LDP Linux Documentation Project 54