MATHEUS SEREZANI NICOLOSI BALANCEAMENTO EM TABELAS HASH DISTRIBUÍDAS PARA CONSULTAS POR SIMILARIDADE USANDO FUNÇÕES DE HASH SENSÍVEIS À LOCALIDADE

Transcrição

1 MATHEUS SEREZANI NICOLOSI BALANCEAMENTO EM TABELAS HASH DISTRIBUÍDAS PARA CONSULTAS POR SIMILARIDADE USANDO FUNÇÕES DE HASH SENSÍVEIS À LOCALIDADE LONDRINA PR 2015

2

3 MATHEUS SEREZANI NICOLOSI BALANCEAMENTO EM TABELAS HASH DISTRIBUÍDAS PARA CONSULTAS POR SIMILARIDADE USANDO FUNÇÕES DE HASH SENSÍVEIS À LOCALIDADE Versão Preliminar de Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. Orientador: Prof. Dr. Daniel dos Santos Kaster LONDRINA PR 2015

4 Matheus Serezani Nicolosi Balanceamento em tabelas hash distribuídas para consultas por similaridade usando funções de hash sensíveis à localidade/ Matheus Serezani Nicolosi. Londrina PR, p. : il. (algumas color.) ; 30 cm. Orientador: Prof. Dr. Daniel dos Santos Kaster Universidade Estadual de Londrina, Consultas por similaridade. 2. Tabelas hash distribuídas. 3. Funções de hash sensíveis à localidade. I. Daniel dos Santos Kaster. II. Universidade Estadual de Londrina. III. Ciência da Computação. IV. Balanceamento em tabelas hash distribuídas para consultas por similaridade usando funções de hash sensíveis à localidade CDU 02:141:005.7

5 MATHEUS SEREZANI NICOLOSI BALANCEAMENTO EM TABELAS HASH DISTRIBUÍDAS PARA CONSULTAS POR SIMILARIDADE USANDO FUNÇÕES DE HASH SENSÍVEIS À LOCALIDADE Versão Preliminar de Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. BANCA EXAMINADORA Prof. Dr. Daniel dos Santos Kaster Universidade Estadual de Londrina Orientador Prof. Dr. Segundo Membro da Banca Universidade/Instituição do Segundo Membro da Banca Prof. Dr. Terceiro Membro da Banca Universidade/Instituição do Terceiro Membro da Banca Londrina PR, de 2015

6

7 AGRADECIMENTOS Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Ut purus elit, vestibulum ut, placerat ac, adipiscing vitae, felis. Curabitur dictum gravida mauris. Nam arcu libero, nonummy eget, consectetuer id, vulputate a, magna. Donec vehicula augue eu neque. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Mauris ut leo. Cras viverra metus rhoncus sem. Nulla et lectus vestibulum urna fringilla ultrices. Phasellus eu tellus sit amet tortor gravida placerat. Integer sapien est, iaculis in, pretium quis, viverra ac, nunc. Praesent eget sem vel leo ultrices bibendum. Aenean faucibus. Morbi dolor nulla, malesuada eu, pulvinar at, mollis ac, nulla. Curabitur auctor semper nulla. Donec varius orci eget risus. Duis nibh mi, congue eu, accumsan eleifend, sagittis quis, diam. Duis eget orci sit amet orci dignissim rutrum.

8

9 NICOLOSI, S. M.. Balanceamento em tabelas hash distribuídas para consultas por similaridade usando funções de hash sensíveis à localidade. 25 p. Trabalho de Conclusão de Curso Versão Preliminar (Bacharelado em Ciência da Computação) Universidade Estadual de Londrina, Londrina PR, RESUMO Palavras-chave: Consultas por similaridade. Tabelas hash distribuídas. Funções de hash sensíveis à localidade.

10

11 NICOLOSI, S. M.. Balancing in distributed hash tables for similarity search using locality-sesitive hash functions. 25 p. Final Project Draft Version (Bachelor of Science in Computer Science) State University of Londrina, Londrina PR, ABSTRACT Keywords: Similarity search. Distributed hash tables. Locality-sensitive hash functions.

12

13 LISTA DE ILUSTRAÇÕES Figura 1 (a) simboliza a consulta por abrangência e (b) retrata a consulta aos k-vizinhos mais próximos Figura 2 Curva de Hilbert de primeira, segunda e terceira ordem, respectivamente. 21

14

15 SUMÁRIO 1 INTRODUÇÃO FUNDAMENTAÇÃO TEÓRICA Conceitos Consultas por similaridade Funções de distância Consultas por abrangência e consultas aos k-vizinhos mais próximos Métodos de acessos métricos Funções de hash sensíveis à localidade Permutações independentes min-wise Ângulos absolutos Tabelas hash distribuídas Espaço de endereçamento Funções de mapeamento Funções de mapeamento sensíveis à localidade Roteamento em uma DHT Curvas de preenchimento espacial Curva de preenchimento espacial de Hilbert Trabalhos relacionados CONCLUSÕES Referências

16

17 15 1 INTRODUÇÃO Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Ut purus elit, vestibulum ut, placerat ac, adipiscing vitae, felis. Curabitur dictum gravida mauris. Nam arcu libero, nonummy eget, consectetuer id, vulputate a, magna. Donec vehicula augue eu neque. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Mauris ut leo. Cras viverra metus rhoncus sem. Nulla et lectus vestibulum urna fringilla ultrices. Phasellus eu tellus sit amet tortor gravida placerat. Integer sapien est, iaculis in, pretium quis, viverra ac, nunc. Praesent eget sem vel leo ultrices bibendum. Aenean faucibus. Morbi dolor nulla, malesuada eu, pulvinar at, mollis ac, nulla. Curabitur auctor semper nulla. Donec varius orci eget risus. Duis nibh mi, congue eu, accumsan eleifend, sagittis quis, diam. Duis eget orci sit amet orci dignissim rutrum.

18

19 17 2 FUNDAMENTAÇÃO TEÓRICA 2.1 Conceitos Consultas por similaridade Uma consulta por similaridade é definida por um objeto de consulta e critérios de similaridade, tipicamente representados como uma função de distância. A resposta para essa consulta retorna todos os objetos que satisfazem tais critérios[1]. Na seção , apresentaremos os dois tipos de consultas por similaridade mais comuns Funções de distância As funções de distância medem a dissimilaridade entre dois objetos e, em seguida, retornam um valor real não negativo. Um valor da função de distância igual zero equivale à total similaridade[2]. As funções de distância mais famosas são as da família Minkowski (L p ), entre elas, a de distância euclidiana (L 2 ) e a distância Manhattan (L 1 ). As funções da família Minkowski são representadas por[1]: ni=1 d (x 1... x 2 ) (y 2... y 2 ) = p x 1 y 1 p Um espaço métrico é formalmente definido como um par M = js, δj, onde S é um domínio de dados e δ é uma métrica, isto é, uma função δ : S S R que expressa a distância entre elementos de S e que satisfaz as seguintes propriedades, para quaisquer s 1, s 2, s 3 S[2]. Identidade: δ (s 1, s 2 )) = 0 Simetria: δ (s 1, s 2 )) = δ (s 2, s 1 )) Não-negativa: 0 < δ (s 1, s 2 )) < As distâncias da família Minkowski, com p 1, são simétricas[2] Consultas por abrangência e consultas aos k-vizinhos mais próximos Uma consulta por abrangência retorna todos os elementos dissimilares de um elemento de consulta até uma certa distância máxima de um objeto de consulta. Formalmente, seja S um domínio de dados, S S um conjunto de elementos, s q S um elemento de consulta, δ uma função de distância sobre o elemento de S e ε um limiar de dissimilaridade, uma consulta por abrangência é dada por[2]: {s i S δ (s q, s i ) = ε}

20 18 Já as consultas aos k-vizinhos mais próximos retornam os k elementos mais similares da consulta. Formalmente, dado um domínio S, um conjunto de elementos S S, um elemento de consulta s q S, uma função de distância δ definida sobre S e um inteiro k 1, o resultado de uma consulta será[2]: K = {s i S s j S K, K = l, δ (s q, s i ) δ (s q, s j )} A Figura 1 representa visualmente esses dois tipos de consultas. Figura 1 (a) simboliza a consulta por abrangência e (b) retrata a consulta aos k-vizinhos mais próximos Métodos de acessos métricos Para realizar uma consulta por similaridade em um conjunto de dados sem indexação, é necessário a pesquisa por todo esse conjunto, o que muitas vezes se torna inviável. Para isso, foram propostos novos métodos de acesso que dão suporte aos dados complexos[2]. Os Métodos de Acesso Espaciais (MAEs), como a R-tree e a kd-b-tree, indexam dados espaciais através da aplicação de propriedades geométricas. Porém os MAEs têm a tendência de degradar com o aumento da dimensionalidade. Para dados de alta dimensionalidade, existem os Métodos de Acessos Métricos (MAMs), como a M-Tree[3] e a Slim-Tree[4], que relacionam os objetos apenas por suas relações de similaridade[2] Funções de hash sensíveis à localidade As funções de hash sensíveis à localidade, ou LSH, são métodos de redução de espaços n-dimensionais sem perder a localidade, mantendo elementos próximos no espaço original próximos no espaço com menos dimensões, geralmente unidimensional[5]. Essas funções são usadas na indexação de dados nas consultas por similaridade de forma que a similaridade entre os elementos seja representada pela distância entre seus hashes. Uma família de funções hash F é sensível a localidade e corresponde a uma função de similaridade sim se, para toda função h F, temos: P r [h (a) = h (b)] = sim (a, b)

21 19 onde a e b são objetos que tem algum tipo de representação computacional e alguma função de similaridade associada a essa representação[5]. Existem vários tipos de funções LSH. A seguir, apresentaremos os dois tipos de funções LSH mais comuns: permutações independentes min-wise (similaridade de Jaccard) e ângulos absolutos (similaridade de cossenos) Permutações independentes min-wise As funções LSH de permutações independentes min-wise são sensíveis à localidade pela similaridade de Jaccard. Para dois conjuntos S a e S b, a similaridade de Jaccard é sim J (S a, S b ) = S a S b S a S b. Permutações independentes min-wise usam k minhashing. Para um conjunto S, o min-hashing é dado por[6]: h π (S) = min {π (δ)} Ao usar k funções h π1,..., h πk uniformemente e aleatoriamente, obtemos o hash de S, key (S) = (h π1 (S),..., h πk (S)) e a propriedade de sensibilidadde à localidade é satisfeita por[6]: P r [h (a) = h (b)] = S a S b S a S b Ângulos absolutos As funções LSH de ângulos absolutos são sensíveis à localidade pela similaridade de cossenos. Para dois vetores v a e v b, a similaridade de cossenos é dada por sim cos (v a, v b ) = va v b. No modelo de espaço vetorial, itens com representações vetoriais similares tem ângulos absolutos quase idênticos[6]. As funções LSH de ângulos absolutos são dadas por: θ = mi=1 θ 2 i onde θ i é o ângulo entre o vetor d e o vetor unidade I i = (0 1,..., 0 i 1, 1 i, 0 i+1,..., 0 m ), 1 i m[6] Tabelas hash distribuídas As tabelas hash distribuídas, ou DHTs, fornecem um serviço de armazenamento e recuperação eficiente de conteúdos distribuídos baseado no modelo chave-valor (keyvalue) usando uma função hash para gerar chaves (keys) de indexação de conteúdo, que são usados para recuperar os conteúdos, representados por valores (values). Em geral, as DHTs fornecem duas funcionalidades: put (k, v), para o armazenamento de um valor v associado a uma chave k e; get (k) para a recuperação do conteúdo indexado por k[5].

22 20 Uma DHT pode ser formalmente descrita como um conjunto de nós P que fornecem acesso a um conjunto de conteúdos C através de uma função que mapeie P e C em um espaço de endereçamento I usando duas funções: F p : P I F c : C I Essas funções possibilitam o estabelecimento de relações de distância e pertinência entre conteúdos através de métricas no espaço endereçamento I[5] Espaço de endereçamento Ao definir o espaço de endereçamento, deve ser verificada a existência de uma métrica de distância d : I I R, onde R denota o conjunto dos números reais, que satisfaça as seguintes propriedades[5]: x, y I : d (x, y) 0 x I : d (x, y) = 0 x, y I : d (x, y) = 0 x = y x, y I : d (x, y) = d (y, x) x, y, z I : d (x, z) d (x, y) + d (y, z) Funções de mapeamento A função de mapeamento F p associa um nó a um ponto no espaço de endereçamento I. Normalmente, essa associação é única, tal que[5]: p, q R : p q F p (p) F p (q) Geralmente, é dado preferência a uma distribuição homogênea de conteúdo no espaço de endereçamento. Funções de hash como a MD5 (Message- Digest Algorithm 5) ou a SHA-1 (Secure Hash Algorithm 1) têm distribuição homogênea e geralmente são usadas nesse caso, tendendo a espalhar o conteúdo uniformemente no espaço de endereçamento Funções de mapeamento sensíveis à localidade Funções LSH têm distribuições heterogêneas, onde os identificadores são mapeados em regiões do espaço de endereçamento em função da relação de similaridade. Nesse caso, a função de mapeamento F c deve satisfazer às seguintes relações[5]: c 1, c 2 C : d (F c (c 1 ), F c (c 2 )) α1/sim (c 1, c 2 ) c 1, c 2 C : P r [F c (c 1 ) = F c (c 2 )] = sim (c 1, c 2 )

23 Roteamento em uma DHT Uma função de roteamento F r pode ser definida como uma função não determinística[5]: F r : P I P que seleciona um nó p N p, onde N p é o conjunto de nós vizinhos de p. O nó p deverá satisfazer a seguinte relação: d (k, F p (p )) < d (k, F p (p)) Curvas de preenchimento espacial As curvas de preenchimento espacial são definidas como curvas contínuas que preenchem um espaço n-dimensional sem cruzarem-se. A primeira curva de preenchimento espacial foi proposta em 1890 e é chamada de curva de Peano em homenagem ao seu autor, Giuseppe Peano[7]. Uma curva de preenchimento frequentemente usada na computação é a curva de Hilbert, que apresentaremos na seção Curva de preenchimento espacial de Hilbert David Hilbert deu continuidade ao estudo de Giuseppe Peano e propôs a curva de preenchimento espacial de Hilbert, ou apenas curva de Hilbert, em 1891[7]. A geração da curva de Hilbert é ilustrada na figura 2. Figura 2 Curva de Hilbert de primeira, segunda e terceira ordem, respectivamente. David Hilbert posteriormente apresentou o seguinte princípio heurístico para as curvas de preenchimento espacial: se um intervalo I pode ser mapeado continuamente no quadrado Q, então após o particionamento de I em quatro subintervalos congruentes e de Q em quatro subquadrados congruentes, cada subintervalo pode ser mapeado continuamente nos subquadrados; cada subintervalo, por sua vez, é particionado em quatro subintervalos congruentes e cada subquadrado é particionado em quatro subquadrados congruentes; e assim sucessivamente. Assim, o intervalo I e o quadrado Q podem ser particionados em 2 n2 réplicas congruentes[7]. 2.2 Trabalhos relacionados

24

25 23 3 CONCLUSÕES Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Ut purus elit, vestibulum ut, placerat ac, adipiscing vitae, felis. Curabitur dictum gravida mauris. Nam arcu libero, nonummy eget, consectetuer id, vulputate a, magna. Donec vehicula augue eu neque. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Mauris ut leo. Cras viverra metus rhoncus sem. Nulla et lectus vestibulum urna fringilla ultrices. Phasellus eu tellus sit amet tortor gravida placerat. Integer sapien est, iaculis in, pretium quis, viverra ac, nunc. Praesent eget sem vel leo ultrices bibendum. Aenean faucibus. Morbi dolor nulla, malesuada eu, pulvinar at, mollis ac, nulla. Curabitur auctor semper nulla. Donec varius orci eget risus. Duis nibh mi, congue eu, accumsan eleifend, sagittis quis, diam. Duis eget orci sit amet orci dignissim rutrum.

26

27 25 REFERÊNCIAS [1] ZEZULA, P. et al. Similarity search: the metric space approach. [S.l.]: Springer Science & Business Media, [2] KASTER, D. d. S. Tratamento de condições especiais para busca por similaridade em bancos de dados complexos. Tese (Doutorado) Universidade de São Paulo, [3] PATELLA, M.; CIACCIA, P.; ZEZULA, P. M-tree: An efficient access method for similarity search in metric spaces. In: Proc. of the International Conference on Very Large Databases (VLDB). Athens, Greece. [S.l.: s.n.], p [4] JR, C. T. et al. Slim-trees: High performance metric trees minimizing overlap between nodes. [S.l.]: Springer, [5] VILLAçA, R. d. S. Hamming DHT e HCube Arquiteturas distribuídas para busca por similaridade. Tese (Doutorado) Universidade Estadual de Campinas, [6] HAN, D. et al. Cuckoo ring: Balancingworkload for locality sensitive hash. In: IEEE. Peer-to-Peer Computing, P2P Sixth IEEE International Conference on. [S.l.], p [7] SAGAN, H. Space-filling curves. [S.l.]: Springer-Verlag New York, 1994.