Tabelas de dispersão

Transcrição

1 Tabelas de dispersão FEUP - MIEEC Programação /2009 Tabelas de dispersão Uma tabela de dispersão é um vector de tamanho fixo em que os elementos são colocados na posição determinada por uma função denominada função de dispersão. A função de dispersão deve: ser fácil de calcular distribuir os objectos uniformemente pela tabela Vários objectos podem ser mapeados numa mesma posição : colisão O comportamento das tabelas de dispersão é caracterizado por: função de dispersão técnica de resolução de colisões As tabelas de dispersão asseguram tempo médio constante para inserção, remoção e pesquisa 2

2 Tabelas de dispersão ilustração do conceito Função de dispersão: F(x) = comprimento(x)%10 Nome F(Nome) Carlos 6 Rodrigo 7 Artur 5 Ana 3 Miguel 6 Clementina 0 Aristófanes 1 0 Clementina 1 Aristófanes 2 3 Ana 5 Artur 6 Carlos / Miguel 7 Rodrigo 8 9 É uma má função de dispersão, porque tem elevada probabilidade de levar a muitas colisões 3 Tabelas de dispersão função de dispersão A função de dispersão envolve o comprimento da tabela para assegurar que os resultados estão dentro da gama pretendida int hash (const string & key, int tablesize) { int hashval = 0; for ( int i = 0; i < key ; i++ ) hashval = 37*hashVal + key[i]; hashval %= tablesize; if (hashval < 0 ) hashval += tablesize; return hashval; int hash (int key, int tablesize) { if ( key < 0 ) key = -key; return key%tablesize; A qualidade da função de dispersão depende do tamanho da tabela: tamanhos primos são os melhores.

3 Resolução de colisões Técnicas de resolução de colisões Encadeamento ou endereçamento fechado (chaining or closed addressing) Os elementos que possuem resultados iguais para a função de dispersão são colocados numa lista encadeada. Endereçamento aberto (open addressing) Todos os elementos são armazenados na própria tabela de dispersão. Dois tipos: Sondagem linear Sondagem quadrática 5 Resolução de colisões: encadeamento Elementos mapeados na mesma posição são guardados numa lista ligada hash(x) = x % Desempenho pode ser medido pelo número de sondagens efectuadas, que depende do factor de carga λ λ = número de elementos presentes na tabela / tamanho da tabela 6 Comprimento médio de cada lista é λ Tempo médio de pesquisa (número de sondagens) Pesquisa sem sucesso: λ Pesquisa com sucesso : 1 + λ/2 6

4 Resolução de colisões: endereçamento aberto Quando ocorre uma colisão procura-se uma célula alternativa, sondando sequencialmente as posições H 1 (x), H 2 (x),, até se encontrar uma posição livre. H i (x) = ( hash(x) + f(i) ) mod TableSize Sondagem linear : f(i) = i Garante a utilização completa da tabela Sondagem quadrática : f(i) = i 2 Pode ser impossível inserir um elemento numa tabela com espaço Evita o fenómeno da agregação primária 7 Resolução de colisões: sondagem linear hash(x) = x % 10 ; H(x) = ( hash(x) + i ) % 10 8

5 Resolução de colisões: sondagem linear Sobre a sondagem linear: Utiliza toda a tabela : 0 λ 1 Susceptivel ao fenómeno de agregação primária Sondagem quadrática elimina o fenómeno de agregação primária 9 Resolução de colisões: sondagem quadrática hash(x) = x % 10 ; H(x) = ( hash(x) + i 2 ) % 10 10

6 Resolução de colisões: sondagem quadrática Sobre a sondagem quadrática Não garante que se encontre sempre uma posição livre para um dado elemento Quando o tamanho da tabela é primo, e se usa sondagem quadrática, é sempre possível inserir um elemento se a tabela não estiver preenchida a mais de 50% Desempenho aproxima-se do caso ideal sem agregação A geração de posições alternativas na sondagem quadrática pode ser realizada com apenas uma multiplicação : H i = ( H i-1 + 2i 1 ) mod TableSize 11 Tabelas de Dispersão (Standard Template Library - STL) class hash_set hash_set<t, HashFunc, EqualFunc> Alguns métodos: void insert(const T & x) iterator erase(iterator it) iterator find(const T & x) const iterator begin() iterator end() bool empty() const void clear() ( 12

7 Tabelas de dispersão: aplicação 1 Contagem de palavras diferentes Pretende-se escrever um programa que leia um ficheiro de texto e indique o número de palavras diferentes nele existentes. Usar uma tabela de dispersão, onde são guardadas as palavras diferentes que vão sendo encontradas. Para cada palavra, verificar se já existe na tabela; se não existir, inseri-la e incrementar um contador (conta o número de palavras diferentes). 13 Tabelas de dispersão: aplicação 1 struct eqstr { bool operator() (const string s1, const string s2) const { return s1==s2; ; struct hstr { int operator() (const string s1) const { int v = 0; for ( unsigned int i=0; i< s1.size(); i++ ) v = 37*v + s1[i]; return v; ; 1

8 Tabelas de dispersão: aplicação 1 int main() { typedef hash_set<string, hstr, eqstr> hashstr; ifstream fich("texto.txt"); if (!fich) { cout <<"erro a abrir ficheiro" << endl; return -1; string palavra; int diff = 0; hashstr tab; while (!fich.eof()) { fich >> palavra; hashstr::iterator it = tab.find(palavra); if ( it == tab.end() ) { diff ++; tab.insert(palavra); fich.close(); // continua 15 Tabelas de dispersão: aplicação 1 // continuação cout << "numero de palavras diferentes : " << diff << endl; hashstr::iterator it = tab.begin(); hashstr::iterator ite = tab.end(); cout << "palavras existentes no texto:"<< endl; while (it!=ite) { cout << *it << endl; it++; 16

9 Tabelas de dispersão: aplicação 2 Determinar palavras diferentes e número de ocorrências Pretende-se escrever um programa que leia um ficheiro de texto e indique o número de palavras diferentes nele existentes. No final deve listar as palavras existentes e o número de ocorrências de cada uma. Usar uma tabela de dispersão, onde são guardadas as palavras diferentes que vão sendo encontradas (e respectivo nº de ocorrências) Para cada palavra, verificar se esta já existe na tabela: se não existir, inseri-la com nº ocorrências igual a 1 e incrementar um contador (conta o número de palavras diferentes). se existir, incrementar o nº de ocorrências 17 Tabelas de dispersão: aplicação 2 class PalavraFreq { string palavra; int frequencia; public: PalavraFreq(string pal) { palavra=pal; frequencia=1; string getpalavra() const { return palavra; int getfrequencia() const { return frequencia; void incfrequencia() { frequencia++; ; ostream & operator << (ostream & out, const PalavraFreq & pf1) { out << pf1.getpalavra(); out << " -> n. ocorrencias: " << pf1.getfrequencia(); return out;

10 Tabelas de dispersão: aplicação 2 struct eqpalfreq { bool operator()(const PalavraFreq &pf1,const PalavraFreq &pf2) const { return pf1.getpalavra()==pf2.getpalavra(); ; struct hpalfreq { int operator() (const PalavraFreq &pf1) const { string s1=pf1.getpalavra(); int v = 0; for ( unsigned int i=0; i< s1.size(); i++ ) v = 37*v + s1[i]; return v; ; 19 Tabelas de dispersão: aplicação 2 int main() { typedef hash_set<palavrafreq, hpalfreq, eqpalfreq> hashpalfreq; ifstream fich("texto.txt"); if (!fich) { cout <<"erro a abrir ficheiro" << endl; return -1; string palavra; int diff = 0; hashpalfreq tab; while (!fich.eof()){ fich >> palavra; PalavraFreq pf1(palavra); hashpalfreq::iterator it = tab.find(pf1); if ( it == tab.end() ) { diff ++; tab.insert(pf1); else { // necessário remover da tabela de dispersão para alterar! PalavraFreq pfx=*it; tab.erase(it); pfx.incfrequencia(); tab.insert(pfx); 20

11 Tabelas de dispersão: aplicação 2 //continuação fich.close(); cout << "numero de palavras diferentes : " << diff << endl; hashpalfreq::iterator it = tab.begin(); hashpalfreq::iterator ite = tab.end(); cout << "palavras existentes no texto:"<< endl; while (it!=ite) { cout << *it << endl; it++; 21 Tabelas de dispersão: aplicação 1 // continuação cout << "numero de palavras diferentes : " << diff << endl; hashstr::iterator it = tab.begin(); hashstr::iterator ite = tab.end(); cout << "palavras existentes no texto:"<< endl; while (it!=ite) { cout << *it << endl; it++; 22