Parte 3: Estruturas de dados para pesquisa em memória secundária

Transcrição

1 Parte 3: Estruturas de dados para pesquisa em memória secundária GA-024 Antônio Tadeu A. Gomes, D.Sc. Sala 2-01

2 Estruturas de dados para pesquisa em memória secundária Tratamento de arquivos em Acesso sequencial indexado Árvores B

3 Tratamento de arquivos em (I) usto para acessar diretamente um registro em disco (seek) é algumas ordens de grandeza maior do que o custo de acesso a posições da memória primária usto computacional das operações de acesso/leitura/ escrita é proporcional ao no. de transferências entre disco e memória primária - Sistemas operacionais (SOs) geralmente implementam serviços que tentam mitigar lentidão no acesso a registros em disco Bufferização

4 Tratamento de arquivos em (II) Serviços oferecidos pelos SOs/primitivas em (stdio.h): - Abertura de arquivo fopen(): SO encontra arquivo e prepara buffer na memória - eitura do arquivo fscanf(), fgetc(),...: SO recupera o trecho solicitado do arquivo SO obtém os dados, na sua totalidade ou em parte, do buffer - Escrita no arquivo fprintf(), fputc(),...: SO acrescenta ou altera o conteúdo do arquivo SO altera dados no buffer para posteriormente transferi-los para disco - Fechamento de arquivo fclose(): SO transfere todos os dados do buffer para disco SO libera área do buffer

5 Tratamento de arquivos em (III) FIE* fopen (char* file, char* mode); - Retorno: U se arquivo não puder ser aberto - mode: Podem ser combinados com demais t tipo texto (text) b tipo binário (binary) r leitura (read) - Retorna U se não existir a acréscimo ao final do arquivo (append) w escrita (write) - Arquivo é destruído se já existe, e um novo inicialmente vazio é criado r+ leitura e escrita num arquivo já existente w+ leitura e escrita num novo arquivo Arquivo é criado se não existe int fclose (FIE* fp); - Retorno: 0 se sucesso, ou EOF (End-Of-File) se erro

6 Tratamento de arquivos em (IV) Exemplo: - Solicita abertura de entrada.txt para leitura em modo texto - Testa se a abertura do arquivo foi realizada com sucesso - Fecha arquivo... FIE* fp; fp = fopen("entrada.txt","rt"); if (fp == U) { fprintf(stderr, "Erro na abertura do arquivo!\n"); exit(1); }... fclose(fp);...

7 Tratamento de arquivos em (V) Arquivos em modo texto: - ada arquivo possui um cursor indicando a posição corrente - Quando o arquivo é aberto para leitura, o cursor é posicionado no início do arquivo - A cada leitura: o dado lido é sempre aquele apontado pelo cursor do arquivo o cursor avança e passa a apontar para a posição imediatamente após o dado lido

8 Tratamento de arquivos em (VI) int fscanf (FIE* fp, char* format,...); - Retorno: número de dados lidos com sucesso (similar a scanf()) - omportamento: avança cursor p/ próx. dado int fgetc (FIE* fp); - Retorno: código do caractere lido ou EOF se fim de arquivo alcançado - omportamento: avança cursor p/ próx. caractere char* fgets (char* s, int n, FIE* fp); - Retorno: ponteiro da própria cadeia de caracteres passada como parâmetro, ou U se erro - omportamento: lê uma sequência de caracteres até que um caractere '\n' seja encontrado ou que o máximo de caracteres especificado no parâmetro n seja alcançado

9 Tratamento de arquivos em (VII) int fprintf(fie* fp, char* format,...); - Retorno: número de bytes escritos no arquivo - omportamento: similar a printf(), escrevendo a partir da posição atual do cursor int fputc(int c, FIE* fp); - Retorno: o próprio caractere escrito ou EOF se ocorrer um erro na escrita - omportamento: caractere escrito a partir da posição atual do cursor

10 Tratamento de arquivos em (VIII) Exemplos: /* Acesso caractere a caractere */ #include <stdio.h> int main (void) { int c; int nlinhas = 0; FIE *fp = fopen("entrada.txt","rt"); if (fp==u) return 1; while ((c = fgetc(fp))!= EOF) if (c == '\n') nlinhas++; fclose(fp); printf("o. de linhas = %d\n", nlinhas); return 0; } /* Acesso linha a linha */ #include <stdio.h> #include <string.h> int main (void) { int n = 0; int achou = 0; char subcadeia[] = ; char linha[121]; FIE* fp = fopen( entrada.txt,"rt"); if (fp == U) return 1; while (fgets(linha,121,fp)!= U) { n++; if (strstr(linha,subcadeia)!= U) { achou = 1; break; } } fclose(fp); if (achou) printf("achou na linha %d.\n", n); else printf("ao achou."); return 0; }

11 Tratamento de arquivos em (IX) Arquivos em modo binário: - Mapeamento entre bytes da memória e do arquivo int fread/fwrite(void* p, int size, int nelem, FIE* fp); - size: tamanho de um elemento - nelem: número de elementos - Retorno: número de elementos lidos/escritos int fseek(fie* fp, long offset, int whence); - offset: quantidade de bytes a avançar - whence: SEEK_UR (posição corrente), SEEK_SET (início do arquivo), SEEK_ED (final do arquivo) - Retorno: 0 se sucesso,!= 0 se erro - Uso em modo texto é possível, mas demanda tratamento especial (ftell(), fgetpos(), fsetpos())

12 Tratamento de arquivos em (X) Exemplo: armazenamento de pontos 3D struct point { float x, y, z; }; typedef struct point Point; int point_flush(char* file, int n, Point* vet) { FIE* fp = fopen(file,"wb"); if (fp==u) return 0; int nwrote = fwrite(vet, sizeof(point), n, fp); fclose(fp); return nwrote; } Point point_read(fie* fp, int i) { Point p; fseek(fp, i*sizeof(point), SEEK_SET); fread(&p, sizeof(point), 1, fp); return p; } int point_load (char* file, int n, Point* vet) { FIE* fp = fopen(file,"rb"); if (fp==u) return 0; int nread = fread(vet, sizeof(point), n, fp); fclose(fp); return nread; }

13 Tratamento de arquivos em (XI) o exemplo de pontos 3D, assume-se que os elementos (registros) têm tamanho fixo - Abordagem adotada apresenta problemas para campos de tamanho variável Ex.: strings Há alternativas de estrutura interna de arquivos quando não se pode assumir registros de tam. fixo: - omeçar cada registro (e eventualmente cada campo do mesmo) com um indicador de comprimento - Demarcar o fim de cada registro com um delimitador especial

14 Tratamento de arquivos em (XII) A organização de um arquivo deve envolver, além da definição de sua estrutura interna em si, considerações acerca: - do tamanho do arquivo ompressão iberação de espaço relativo a registros removidos - ompactação periódica, listas de disponibilidade (avail lists) - do desempenho da busca Para registros de tamanho fixo, abordagens como busca binária são eficientes, mas às custas de manter o arquivo sempre ordenado

15 Acesso sequencial indexado (I) Índice: arquivo auxiliar que mantém a posição (referência) do primeiro byte de cada registro no arquivo de dados - Índice mantém par <chave, referência> - Um mesmo arquivo de dados pode ter diferentes índices, correspondendo a diferentes tipos de chave Índice pode estar (e em geral está) ordenado, mas o arquivo de dados, não necessariamente - Índice pode manter informações adicionais, como tamanho de cada registro

16 Acesso sequencial indexado (II) Premissa para bom desempenho: - índice deve ser pequeno o suficiente para ser mantido totalmente em memória primária - onsiderações sobre adições, remoções e atualizações de registros em arquivos de dados e de pares <chave,referência> em índices Problema: - Inconsistência entre índice e arquivo de dados Ex.: devido a falha durante atualização do arquivo de índice Solução: - Mecanismo que indique que arquivo de índice está desatualizado - Mecanismo para reconstrução do índice a partir do arquivo de dados

17 Acesso sequencial indexado (III) Quando índices são muito grandes, surgem problemas semelhantes aos de busca em memória primária Árvores AV poderiam ser usadas na constituição do índice, mas ainda assim dependeriam de sua manutenção completa em memória primária para busca ser eficiente - Se índice for extremamente grande, somente algumas entradas do índice podem ser transferidas da memória secundária para a memória primária em um dado instante, para evitar estouro de memória no SO Estrutura da árvore AV não reduz significativamente o número de vezes que o SO faz acesso direto (seek) ao disco, pois cada nó da árvore armazena o par <chave,referência> de um único registro

18 Árvores B (I) Premissa: em um SO que faz bufferização, o tempo gasto em um acesso direto ao disco (p.ex. via fseek()) não é desperdiçado para a leitura (p.ex. via fread()) somente da informação específica desejada pela aplicação em um certo momento, mas sim de todo um bloco de informações contíguas no disco - Tamanho do bloco é dependente do SO Árvores-índice: cada nó da árvore armazena uma grande quantidade de chaves (tipicamente, o equivalente a um bloco inteiro de leitura no SO) - ada nó pode ter uma grande quantidade de subárvores Árvores-índice tem altura mas baixa que árvores binárias equivalentes, demandando menos acessos diretos a disco

19 Árvores B (II) Árvores de pesquisa multicaminho de ordem M - ada nó tem no máximo M subárvores Se nó tem X <= M subárvores, então armazena X-1 itens - Itens de um nó são armazenados em ordem - Primeira subárvore de um nó (1) armazena chaves menores que a primeira chave do nó - Última subárvore de um nó (X) armazena chaves maiores que a última chave do nó - Para todo 1 < n < X, n-ésima subárvore de um nó armazena chaves maiores que (n-1)-ésima chave do nó e chaves menores que n-ésima chave do nó

20 Árvores B (III) Ex. de árvore multicaminho (M=4):

21 Árvores B (IV) Duas abordagens de implementação: - ada item armazena chave e registro de dados - ada item armazena par <chave,referência> Ideal para grandes arquivos de dados - Ex. (item armazena chave inteira e registro, M=4): struct registry { int key;... /* outras info */ }; typedef struct registry Registry; struct node { int count; Registry reg[3]; long branch[4]; }; typedef struct node ode;

22 Árvores B (V) Uma árvore B de ordem M é uma árvore de pesquisa multicaminho: - ujas folhas estão sempre no mesmo (último) nível e (exceto, talvez, pela raiz) têm pelo menos ceil(m/2)-1 chaves - ujos nós internos (exceto, talvez, pela raiz) têm pelo menos ceil(m/2) filhos - Obs: ceil(3) = 3, ceil(3.35) = 4, ceil(1.98) = 2,... Trabalho de Bayer e Mcreight (1972) - uriosidade: origem do nome (Bayer?, Boeing?) é desconhecida...

23 Árvores B (VI) Ex. de árvore B (M=5): - Obs: na prática, árvores B apresentam ordens muito maiores (tipicamente, o equivalente ao tamanho de um bloco no disco, p.ex. M=513)

24 Árvores B (VII) Inserção de novo item: - Procure pela chave correspondente - Se chave não for encontrada, busca termina em uma folha: Se houver espaço nessa folha, insira o novo item na mesma Senão, a folha deve ser repartida (split): - Metade superior das chaves é movida para novo nó à direita dessa folha - have mediana é movida para o nó pai ote que split pode ser recursivo!!! - Se processo de split for necessário na raiz, a chave mediana é movida para um novo nó raiz, aumentando assim a altura da árvore B

25 Ex. (árvore B de ordem 5 inicialmente vazia) - Inserção de,, G, A Árvores B (VIII) - Inserção de E, K, Q - Inserção de H - Inserção de M

26 Árvores B (IX) Ex. (cont.): - Inserção de F, W,, T - Inserção de Z

27 Árvores B (X) Ex. (cont.): - Inserção de D (e P, R, X, Y) - Inserção de S

28 Árvores B (XI) Remoção de item: - Procure pela chave K correspondente - Se chave K for encontrada no nó : Se for nó interno, o item correspondente deve ser primeiro trocado de posição com o item contendo a chave antecessora (necessariamente um nó folha), similar ao que é feito com árvores binárias - OBS1: poderia ser também o item contendo a chave sucessora Se o nó folha onde está o item a ser removido tem mais que o mínimo de chaves (> ceil(m/2)-1), remova o item desse nó - OBS2: índices dos níveis superiores podem precisar ser atualizados Se o nó folha tem o mínimo de chaves (== ceil(m/2)-1): - E um dos irmãos vizinhos desse nó (à esquerda ou à direita) tem mais que o mínimo de chaves, esse nó toma itens emprestados desse vizinho (balanceando os dois nós), passando esses itens pelo nó pai Idem OBS E um dos irmãos vizinhos desse nó também tem o mínimo de chaves, una esse nós (merge) tomando emprestado da página pai o item do meio ote que o merge pode ser recursivo!!! Se processo de merge se propagar até a raiz, ela é eliminada, causando redução na altura da árvore

29 Árvores B (XII) Ex. (cont. do exemplo de inserção): - Remoção de H

30 Árvores B (XIII) Ex. (cont.): - Remoção de T (note troca com sucessor!)

31 Árvores B (XIV) Ex. (cont.): - Remoção de R

32 Árvores B (XV) Ex. (cont.): - Remoção de E

33 Árvores B (XVI) Ex. (cont.): - Remoção de E (cont.)

34 Árvores B (XVII) Estrutura interna típica de uma árvore B em um arquivo de índice separado do arquivo de dados: - Implementação em ++: [Kruse e Ryba, 1999] um odes RootRef um odes ount Branch Ref1 <Key,Ref> 1 Branch Ref2... <Key,Ref> 2... <Key,Ref> M-1 Branch RefM Kruse, R..; Ryba, A.J.,. (1999) Data Structures and Program Design in ++, Third Edition, Prentice-Hall.

35 Árvores B (XVIII) Variações: - Árvore B+: Registros (ou referências a eles) só são armazenados em nós folhas - ós internos só armazenam chaves Folhas são ligadas como em uma lista encadeada - Simplifica varredura sequencial em ordem - Árvore B*: Mínimo de chaves por nó é ceil((2m-1)/3) Split ocorre de 2 p/ 3