Tabelas de Dispersão (hash tabels)

Transcrição

1 INF1010-3WB Estruturas de Dados Avaçadas Tabelas de Dispersão (hash tabels) 23/03/ DI, PUC-Rio Estruturas de Dados Avaçadas Motivação Busca (acesso) com vetor é muito eficiete Ifo* v[n];... v[i]->... Iformação 0 Iformação 2 Iformação 1 Iformação 3 Iformação (-1) 23/03/16 (c) Dept. Iformática - PUC-Rio 2 1

2 Nem sempre temos chaves uméricas pequeas struct aluo it mat; char ome[81]; char [41]; char turma; ; typedef struct aluo Aluo; Como fazer para buscar pelo ome ou pela matrícula? 23/03/16 (c) Dept. Iformática - PUC-Rio 3 Idéia dos escaihos A primeira letra do ome defie a caixa ode a iformação é depositada Hash : Ifo [0, N] x h( x) 23/03/16 (c) Dept. Iformática - PUC-Rio 4 2

3 Tabelas de Dispersão (Hash Tables) utilizadas para buscar um elemeto em ordem costate O(1) ecessitam de mais memória, proporcioal ao úmero de elemetos armazeado ex.: 14,16,58,39,44,10,72,22, chave k Î[0,99] 8 elemetos Þ N=13 kî[0,99] h h: [0,99] [0,12] h(k) = (k % 13) /03/16 (c) Dept. Iformática - PUC-Rio 5 Tabelas de Dispersão (Hash Tables) utilizadas para buscar um elemeto em ordem costate O(1) ecessitam de mais memória, proporcioal ao úmero de elemetos armazeado ex.: 14,16,58,39,44,10,72,22, chave k Î[0,99] 8 elemetos Þ N=20 kî[0,99] h h(k) = (k % 20) h: [0,99] [0,12] , /03/16 (c) Dept. Iformática - PUC-Rio 6 3

4 Fução de dispersão (fução de hash) mapeia uma chave de busca em um ídice da tabela deve apresetar as seguites propriedades: ser eficietemete avaliada (para acesso rápido) espalhar bem as chaves de busca (para miimizarmos colisões) colisão = duas ou mais chaves de busca são mapeadas para um mesmo ídice da tabela de hash kî[0,99] h h: [0,99] [0,12] h(k) = (k % 13) 23/03/16 (c) Dept. Iformática - PUC-Rio 7 Dimesão da tabela deve ser escolhida para dimiuir o úmero de colisões costuma ser um valor primo a taxa de ocupação ão deve ser muito alta: a taxa de ocupação ão deve ser superior a 75% uma taxa de 50% em geral traz bos resultados uma taxa meor que 25% pode represetar um gasto excessivo de memória Fator de carga = (#etradas/tamaho) 23/03/16 (c) Dept. Iformática - PUC-Rio 8 4

5 Exemplo de Tabelas de Dispersão tipo Aluo: defie o tipo da estrutura de dados de iteresse tipo Hash: defie o tipo dos vetores de poteiros para Aluo struct aluo it mat; char ome[81]; char [41]; char turma; ; typedef struct aluo Aluo; it hash (it mat) retur (mat%n); #defie N 127 typedef Aluo* Hash[N]; 23/03/16 (c) Dept. Iformática - PUC-Rio 9 Hashig Perfeito Característica: Para quaisquer chaves x e y diferetes e pertecetes a A, a fução utilizada forece saídas diferetes; 5

6 Exemplo de Hashig Perfeito (1/6) Supoha que queiramos armazear os dados referetes aos aluos de uma determiada turma que igressaram em um curso específico. Cada aluoé idetificado uicamete pela sua matrícula. Na PUC-Rio, o úmero de matrícula dos aluos é dado por uma seqüêcia de 8 dígitos. struct aluo it mat; // 4 bytes = 4 bytes char ome[81]; // 1 byte * 81 = 81 bytes char [41]; // 1 byte * 41 = 41 bytes ; Total = 126 bytes typedef struct aluo Aluo; Exemplo de Hashig Perfeito (2/6) O úmero de dígitos efetivos a matrícula são 7, pois o último dígito é o de verificação (ou cotrole). Para permitir um acesso a qualquer aluo em ordem costate, podemos usar o úmero de matrícula do aluo como ídice de um vetor. Um problema é que pagamos um preço alto para ter esse acesso rápido. Porque!? Resp: Visto que a matrícula é composta de 7 dígitos, etão podemos esperar uma matrícula variado de a Portato, precisaríamos dimesioar um vetor com DEZ Milhões de elemetos. 6

7 Exemplo de Hashig Perfeito (3/6) Como a estrutura de cada aluo ocupa 126 bytes, etão seriam ecessários reservar bytes, ou seja, acima de 1 GByte de memória. Como a prática teremos em toro de 50 aluos em uma turma cadastrados o curso, precisaríamos a realidade de (=126*50) bytes. Perguta: Como ameizar o gasto excessivo de memória!? Resp: Utilizado um vetor de poteiros, em vez de um vetor de estruturas. Porque melhor vetor de poteiros? Alocação dosaluos cadastrados seria realizada diamicamete. Portato, cosiderado que cada poteiro ocupa 4 bytes, o gasto excedete de memória seria bytes. (~= 38 MBytes) Exemplo de Hashig Perfeito (4/6) Apesar da dimiuição do gasto de memória, este gasto é cosiderável e desecessário. A forma de resolver o problema de gasto excessiv o de memória, garatido um acesso rápido, é através de Hashig. Perguta: Como costruir a Tabela Hash para armazear as iformações dos aluos de uma determiada turma de um curso específico? Resp: Idetificado as partes sigificativas da chave. Aalisado a chave: Descosiderado o último dígito (cotrole), temos outros dígitos com sigificados especiais: chamada do aluo código do curso período de igresso ao de igresso 7

8 Exemplo de Hashig Perfeito (5/6) Portato, podemos cosiderar o cálculo de edereço parte do úmero da matrícula. Esta parte mostra a dimesão que a Tabela Hash deverá ter. Por exemplo, dimesioado com apeas 100 elemetos, ou seja, Aluo* tabaluos[100]. Perguta: Qual a fução que aplicada sobre matrículas de aluos da PUC-Rio retora os ídices da tabela? Resp: Depede qual é a turma e o curso específico dos aluos que devem ser armazeados? Exemplo de Hashig Perfeito (6/6) Supodo que a turma seja do 2º semestre de 2005 (código 052) e do curso de Sistemas de Iformação (código 35). Qual seria a fução de hashig perfeito!? it fucao_hash(it matricula) it valor = matricula ; if((valor >= 0) & (valor <=99)) the retur valor; else retur -1; Acesso: dada mat à tabaluos[fucao_hash(mat)] 8

9 Estratégias para tratameto de colisão uso da primeira posição cosecutiva livre(ecadeameto iterior): simples de implemetar tede a cocetrar os lugares ocupados a tabela uso de uma seguda fução de dispersão (ecadeameto aberto): evita a cocetração de posições ocupadas a tabela usa uma seguda fução de dispersão para re-posicioar o elemeto uso de listas ecadeadas(ecadeameto exterior): simples de implemetar cada elemeto da tabela hash represeta um poteiro para uma lista ecadeada 23/03/16 (c) Dept. Iformática - PUC-Rio 17 Tratameto de Colisão Uso da posição cosecutiva livre: estratégia geral: armazee os elemetos que colidem em outros ídices, aida ão ocupados, da própria tabela estratégias particulares: diferem a escolha da posição aida ão ocupada para armazear um elemeto que colide 23/03/16 (c) Dept. Iformática - PUC-Rio 18 9

10 Uso da posição cosecutiva livre Estratégia 1: se a fução de dispersão mapeia a chave de busca para um ídice já ocupado, procure o próximo ídice livre da tabela (usado icremeto circular) para armazear o ovo elemeto x h(x) busca posição livre 23/03/16 (c) Dept. Iformática - PUC-Rio 19 Operação de busca supoha que uma chave x for mapeada pela fução de hash h para um determiado ídice h(x) procure a ocorrêcia do elemeto a partir de h(x), até que o elemeto seja ecotrado ou que uma posição vazia seja ecotrada 23/03/16 (c) Dept. Iformática - PUC-Rio 20 10

11 Operação de busca etrada: a tabela e a chave de busca saída: o poteiro do elemeto, se ecotrado NULL, se o elemeto ão for ecotrado Aluo* hsh_busca (Hash tab, it mat) it h = hash(mat); while (tab[h]!= NULL) if (tab[h]->mat == mat) retur tab[h]; h = (h+1) % N; retur NULL; 23/03/16 (c) Dept. Iformática - PUC-Rio 21 Operação de iserção e modificação supoha que uma chave x for mapeada pela fução de hash h para um determiado ídice h(x) procure a ocorrêcia do elemeto a partir de h(x), até que o elemeto seja ecotrado ou que uma posição vazia seja ecotrada se o elemeto existir, modifique o seu coteúdo se ão existir, isira um ovo a primeira posição livre que ecotrar a tabela, a partir do ídice mapeado 23/03/16 (c) Dept. Iformática - PUC-Rio 22 11

12 Iserção/modificação Aluo* hsh_isere(hash tab,it mat, char*, char* e, char t) it h = hash(mat); while (tab[h]!= NULL) if (tab[h]->mat == mat) break; h = (h+1) % N; if (tab[h]==null) /* ão ecotrou o elemeto */ tab[h] = (Aluo*) malloc(sizeof(aluo)); tab[h]->mat = mat; /* atribui/modifica iformação */ strcpy(tab[h]->ome,); strcpy(tab[h]-> ,e); tab[h]->turma = t; retur tab[h]; 23/03/16 (c) Dept. Iformática - PUC-Rio 23 Tratameto de Colisão Uso de uma seguda fução de dispersão: exemplo: primeira fução de hash: seguda fução de hash: h ( x) = x% N h' ( x) = N 2 x%( N 2) ode x represeta a chave de busca e N a dimesão da tabela se houver colisão, procure uma posição livre a tabela com icremetos dados por h (x) em lugar de tetar (h(x)+1)%n, tete (h(x)+h (x))%n 23/03/16 (c) Dept. Iformática - PUC-Rio 24 12

13 Uso de uma seguda fução de dispersão (cot) cuidados a escolha da seguda fução de dispersão: uca pode retorar zero pois isso ão faria com que o ídice fosse icremetado ão deve retorar um úmero divisor da dimesão da tabela pois isso limitaria a procura de uma posição livre a um sub-cojuto restrito dos ídices da tabela se a dimesão da tabela for um úmero primo, garate-se automaticamete que o resultado da fução ão será um divisor 23/03/16 (c) Dept. Iformática - PUC-Rio 25 Busca com seguda fução de colisão static it hash2 (it mat) retur N mat%(n-2); Aluo* hsh_busca (Hash tab, it mat) it h = hash(mat); it h2 = hash2(mat); while (tab[h]!= NULL) if (tab[h]->mat == mat) retur tab[h]; h = (h+h2) % N; retur NULL; 23/03/16 (c) Dept. Iformática - PUC-Rio 26 13

14 Tratameto de Colisão Uso de listas ecadeadas cada elemeto da tabela hash represeta um poteiro para uma lista ecadeada todos os elemetos mapeados para um mesmo ídice são armazeados a lista ecadeada os ídices da tabela que ão têm elemetos associados represetam listas vazias x h(x) 23/03/16 (c) Dept. Iformática - PUC-Rio 27 Tratameto de Colisão Exemplo: cada elemeto armazeado a tabela será um elemeto de uma lista ecadeada a estrutura da iformação deve prever um poteiro adicioal para o próximo elemeto da lista struct aluo it mat; char ome[81]; char turma; char [41]; struct aluo* prox; /* ecadeameto a lista de colisão */ ; typedef struct aluo Aluo; 23/03/16 (c) Dept. Iformática - PUC-Rio 28 14

15 /* fução para iserir ou modificar um determiado elemeto */ Aluo* hsh_isere (Hash tab, it mat, char*, char* e, char t) it h = hash(mat); Aluo* a = tab[h]; while (a!= NULL) if (a->mat == mat) break; a = a->prox; if (a==null) /* ão ecotrou o elemeto */ /* isere ovo elemeto o iício da lista */ a = (Aluo*) malloc(sizeof(aluo)); a->mat = mat; a->prox = tab[h]; tab[h] = a; /* atribui ou modifica iformação */ strcpy(a->ome,); strcpy(a-> ,e); a->turma = t; retur a; 23/03/16 (c) Dept. Iformática - PUC-Rio 29 Exemplo: úmero de ocorrêcias de palavras Especificação: programa para exibir quatas vezes cada palavra ocorre em um dado texto etrada: um texto T saída: uma lista de palavras, em ordem decrescete do úmero de vezes que cada palavra ocorre em T observações: uma palavra é uma seqüêcia de uma ou mais letras (maiúsculas ou miúsculas) por simplicidade, caracteres acetuados ão são cosiderados 23/03/16 (c) Dept. Iformática - PUC-Rio 30 15

16 Exemplo: úmero de ocorrêcias de palavras Armazeameto das palavras lidas e da sua freqüêcia: tabela de dispersão usa a própria palavra como chave de busca Fução para obter a freqüêcia das palavras: dada uma palavra, tete ecotrá-la a tabela se ão existir, armazee a palavra a tabela se existir, icremete o úmero de ocorrêcias da palavra Fução para exibir as ocorrêcias em ordem decrescete: crie um vetor armazeado as palavras da tabela de dispersão ordee o vetor exiba o coteúdo do vetor 23/03/16 (c) Dept. Iformática - PUC-Rio 31 Exemplo: úmero de ocorrêcias de palavras Tabela de dispersão: usa a lista ecadeada para o tratameto de colisões #defie NPAL 64 /* dimesão máxima de cada palavra */ #defie NTAB 127 /* dimesão da tabela de dispersão */ /* tipo que represeta cada palavra */ struct palavra char pal[npal]; it ; /* cotador de ocorrêcias */ struct palavra* prox; /* colisão com listas */ ; typedef struct palavra Palavra; /* tipo que represeta a tabela de dispersão */ typedef Palavra* Hash[NTAB]; 23/03/16 (c) Dept. Iformática - PUC-Rio 32 16

17 Exemplo: úmero de ocorrêcias de palavras Leitura de palavras: captura a próxima seqüêcia de letras do arquivo texto etrada: poteiro para o arquivo de etrada cadeia de caracteres armazeado a palavra capturada saída: iteiro, idicado leitura bem sucedida (1) ou ão (0) processameto: capture uma palavra, pulado os caracteres que ão são letras e armazeado a seqüêcia de letras a partir da posição do cursor do arquivo para idetificar se um caractere é letra ou ão, use a fução isalpha dispoibilizada pela iterface ctype.h 23/03/16 (c) Dept. Iformática - PUC-Rio 33 static it le_palavra (FILE* fp, char* s) it i = 0; it c; /* pula caracteres que ão são letras */ while ((c = fgetc(fp))!= EOF) if (isalpha(c)) break; if (c == EOF) retur 0; else s[i++] = c /* primeira letra já foi capturada */ /* lê os próximos caracteres que são letras */ while ( i<npal-1 && (c = fgetc(fp))!= EOF && isalpha(c)) s[i++] = c; s[i] = '\0'; retur 1; 23/03/16 (c) Dept. Iformática - PUC-Rio 34 17

18 Exemplo: úmero de ocorrêcias de palavras Fução para iicializar a tabela: atribui NULL a cada elemeto static void iicializa (Hash tab) it i; for (i=0; i<ntab; i++) tab[i] = NULL; 23/03/16 (c) Dept. Iformática - PUC-Rio 35 Exemplo: úmero de ocorrêcias de palavras Fução de dispersão: mapeia a chave de busca (uma cadeia de caracteres) em um ídice da tabela soma os códigos dos caracteres que compõem a cadeia e tira o módulo dessa soma para se obter o ídice da tabela static it hash (char* s) it i; it total = 0; for (i=0; s[i]!='\0'; i++) total += s[i]; retur total % NTAB; 23/03/16 (c) Dept. Iformática - PUC-Rio 36 18

19 Exemplo: úmero de ocorrêcias de palavras Fução para acessar os elemetos a tabela: etrada: uma palavra (chave de busca) saída: o poteiro da estrutura Palavra associada processameto: se a palavra aida ão existir a tabela, crie uma ova palavra e foreça como retoro essa ova palavra criada 23/03/16 (c) Dept. Iformática - PUC-Rio 37 static Palavra *acessa (Hash tab, char* s) Palavra* p; it h = hash(s); for (p=tab[h]; p!=null; p=p->prox) if (strcmp(p->pal,s) == 0) retur p; /* isere ova palavra o iicio da lista */ p = (Palavra*) malloc(sizeof(palavra)); strcpy(p->pal,s); p-> = 0; p->prox = tab[h]; tab[h] = p; retur p; 23/03/16 (c) Dept. Iformática - PUC-Rio 38 19

20 Exemplo: úmero de ocorrêcias de palavras Trecho da fução pricipal: acessa cada palavra icremeta o seu úmero de ocorrêcias... iicializa(tab); while (le_palavra(fp,s)) Palavra* p = acessa(tab,s); p->++;... 23/03/16 (c) Dept. Iformática - PUC-Rio 39 Exemplo: úmero de ocorrêcias de palavras Exibição do resultado ordeado: crie diamicamete um vetor para armazear as palavras vetor de poteiros para a estrutura Palavra tamaho do vetor = úmero de palavras armazeadas a tabela coloque o vetor em ordem decrescete do úmero de ocorrêcias de cada palavra se duas palavras tiverem o mesmo úmero de ocorrêcias, use a ordem alfabética como critério de desempate 23/03/16 (c) Dept. Iformática - PUC-Rio 40 20

21 /* fução para percorrer a tabela e cotar o úmero de palavras etrada: tabela de dispersão */ static it cota_elems (Hash tab) it i; Palavra* p; it total = 0; for (i=0; i<ntab; i++) for (p=tab[i]; p!=null; p=p->prox) total++; retur total; 23/03/16 (c) Dept. Iformática - PUC-Rio 41 /* fução para criar diamicamete o vetor de poteiros etrada: úmero de elemetos tabela de dispersão */ static Palavra** cria_vetor (it, Hash tab) it i, j=0; Palavra* p; Palavra** vet = (Palavra**) malloc(*sizeof(palavra*)); /* percorre tabela preechedo vetor */ for (i=0; i<ntab; i++) for (p=tab[i]; p!=null; p=p->prox) vet[j++] = p; retur vet; 23/03/16 (c) Dept. Iformática - PUC-Rio 42 21

22 Exemplo: úmero de ocorrêcias de palavras Ordeação do vetor (de poteiros para Palavra): utilize a fução qsort da biblioteca padrão defia a fução de comparação apropriadamete static it compara (cost void* v1, cost void* v2) Palavra** p1 = (Palavra**)v1; Palavra** p2 = (Palavra**)v2; if ((*p1)-> > (*p2)->) retur -1; else if ((*p1)-> < (*p2)->) retur 1; else retur strcmp((*p1)->pal,(*p2)->pal); 23/03/16 (c) Dept. Iformática - PUC-Rio 43 Exemplo: úmero de ocorrêcias de palavras Impressão da tabela: static void imprime (Hash tab) it i; it ; Palavra** vet; /* cria e ordea vetor */ = cota_elems(tab); vet = cria_vetor(,tab); qsort(vet,,sizeof(palavra*),compara); /* imprime ocorrêcias */ for (i=0; i<; i++) pritf("%s = %d\",vet[i]->pal,vet[i]->); /* libera vetor */ free(vet); 23/03/16 (c) Dept. Iformática - PUC-Rio 44 22

23 Exemplo: úmero de ocorrêcias de palavras Fução Pricipal: #iclude <stdio.h> #iclude <strig.h> #iclude <ctype.h> #iclude <stdlib.h>... /* fuções auxiliares mostradas acima */ 23/03/16 (c) Dept. Iformática - PUC-Rio 45 it mai (it argc, char** argv) FILE* fp; Hash tab; char s[npal]; if (argc!= 2) pritf("arquivo de etrada ao forecido.\"); retur 0; /* abre arquivo para leitura */ fp = fope(argv[1],"rt"); if (fp == NULL) pritf("erro a abertura do arquivo.\"); retur 0; /* cota ocorrêcia das palavras */ iicializa(tab); while (le_palavra(fp,s)) Palavra* p = acessa(tab,s); p->++; /* imprime ordeado */ imprime (tab); retur 0; 23/03/16 (c) Dept. Iformática - PUC-Rio 46 23

24 Resumo Tabelas de dispersão (hash tables): utilizadas para buscar um elemeto em ordem costate O(1) Fução de dispersão (fução de hash): mapeia uma chave de busca em um ídice da tabela Estratégias para tratameto de colisão: uso da primeira posição cosecutiva livre k uso de uma seguda fução de dispersão h uso de listas ecadeadas h(k) 0 1 N /03/16 (c) Dept. Iformática - PUC-Rio 47 Referêcias Waldemar Celes, Reato Cerqueira, José Lucas Ragel, Itrodução a Estruturas de Dados, Editora Campus (2004) Capítulo 18 Tabelas de dispersão 23/03/16 (c) Dept. Iformática - PUC-Rio 48 24