Contexto. Algoritmos para conjuntos massivos de dados. Aplicação. Modelo de Data Stream 20/10/2016

Tamanho: px

Começar a partir da página:

Download "Contexto. Algoritmos para conjuntos massivos de dados. Aplicação. Modelo de Data Stream 20/10/2016"

Wilson Valente
4 Há anos
Visualizações:

Contexto Algoritmos para conjuntos massivos de dados Eduardo Laber Algumas sequências são grandes demais para ser armazenadas na memória e/ou o tempo de processamento disponível é limitado.

1 Contexto Algoritmos para conjuntos massivos de dados Eduardo Laber Algumas sequências são grandes demais para ser armazenadas na memória e/ou o tempo de processamento disponível é limitado. Dados oriundos de tráfico de rede Dados de rede de sensores Dados de satélites Transações de bancos de dados Modelo de Data Stream Data stream: A=(a(1),,a(n)) ( n grande) a(i) pertence a um alfabeto de m símbolos possíveis Por conveniência o alfabeto é {1,...,m} Somente uma passada nos dados Memória limitada (sublinear) Tempo de processamento por character limitado Aplicação Manter estatísticas de pacotes que chegam a um roteador. De onde vem e para onde vão? Se cada pacote tem 32 bits deveriamos manter uma matriz de 2 32 x2 32 1

2 Estimando frequências em stream de dados Data stream: A=(a(1),,a(n)) ( n grande) a(i) pertence a um alfabeto de m símbolos possíveis Por conveniência o alfabeto é {1,...,m} f(s): frequência do símbolo s no data stream Estimando frequências em stream de dados Aplicações: Para um inteiro não negativo p, o p-ésimo momento da frequência da stream A m i=1 f(i)p p=0 número total de símbolos distintos p=1 total de símbolos p=2 noção da variância da stream Estimando frequências em stream de dados Aplicações número de símbolos distintos número de IP s distintos que acessam um site Itens mais frequentes IP s mais frequentes Notação m: tamanho do conjunto universo n: tamanho da stream Abordagem força bruta Mantem um registro para cada um dos m valores possíveis: Espaço O(m) e tempo O(1) 2

3 Limite inferior Assuma n=m+1 O número de subconjuntos possíveis para os m primeiros símbolos é 2 m Cada um destes subconjunto tem que ser representado de forma diferente, caso contrário existiriam duas instâcias distintas I_1 e I_2 correspondendo a conjuntos diferentes S_1 e S_2 que teriam a mesma representação na memória após a leitura dos n primeiros símblos da stream Limite inferior Se S_1 = S_2 seja a(m+1) um elemento que está em S_1 mas não está em S_2. O algoritmo erra para alguma das instâncias Se S_1 > S_2 seja a(m+1) um elemento que está em S_1 mas não está em S_2. O algoritmo erra para alguma das instâncias Se S_2 > S_1 seja a(m+1) um elemento que está em S_2 mas não está em S_2. O algoritmo erra para alguma das instâncias S: conjunto de itens distintos da data stream e seja S =d Assuma que S foi sorteado aleatoriamente de {1,...,m} min: menor elemento sorteado Com alta probabilidade min está entre 0.2m/d e 2m/d Portanto, m/ min é uma boa estimativa para d= S min pode ser mantido em O(1) Pr[min 0.2m /d ] é aproximadamente 1- [ (m- 0.2m/d) / m ] d que tende para 1- (1/e) Pr[min >= 2m / d ] é aproximadamente [ (m-2m/d) / m ] d que tende para (1-2/d) d <= Pr[0.2m /d <= min <= 2m / d ] é aproximadamente é

4 Problema... A abordagem assume que S é sorteado aleatoriamente do conjunto {1,...,m} Se S consistir dos S primeiros elementos de {1,...,m} a técnica não funciona A estimativa é m em vez de S Abordagem por hashing M: número inteiro T.B.D h: {1,...,m} {0,1,...,M-1} é uma função de hashing Para contar o número de elementos distintos do data stream, podemos contar o número de elementos distintos de h(a(1)),...,h(a(n)) A função de hashing deve espalhar bem os símbolos de modo que h(a(1)),...,h(a(n)) funcione como uma amostra aleatória de {0,...,M-1} Definição: Um conjunto de funções de hashing H={h h:{1,...,m} {0,1...,M-1} } é 2-universal se e somente se para todo x<> y {1,...m} e para todo z,w {0,1,2,...,M} temos que Pr[h(x)=z e h(y)=w] = 1/M 2 Proposição: Se H é uma família 2- universal então para todo x {1,...m} e w {0,1,2,...,M} temos que Prova. Pr[h(x)=w]= Pr[h(x)=w] = 1/M z Pr[h(x)=w e h(y)=z] =M(1/M 2 ) A probabilidade é sobre o sorteio de h no conjunto H 4

5 Exemplo: Seja M um primo. Seja h ab (x)=ax+b mod M Então é possível provar que é 2-universal H= {h ab a,b {0,1...,M-1} } Algoritmo. 1. Sorteie uma função de hash h do conjunto H (sorteio uniforme) 2. Mantenha o mínimo min de h(a(1)),...,h(a(n)) 3. Devolva M/min como estimativa do número de elementos distintos da stream de dados Lema (Hop 7.1) Seja M>100d. Com prob 2/3 d/6 M/min 6d Prova: Basta provar: a) Pr [M/min 6d ] <= 1/6 b) Pr [M/min d/6 ] <= 1/6 Prova (a) b 1,,b d : itens distintos do data stream A probabilidade de M/min 6d é igual a probabilidade de escolher uma função h tal que existe b k com h(b k ) M/6d 5

6 Prova: Defina Variável Aleatória z i com z i =1 se h(b i ) M/6d e z i =0, caso contrário Pr[z i =1]=1/6d, para todo i Se o procedimento retorna valor maior que 6d então z 1 + +z d 1 Prova: E[z 1 + +z d ]=Pr[z 1 =1]+ +Pr[z d =1]=1/6 Pela desigualdade de Markov: Pr [z 1 + +z d 1] E[z 1 + +z d ]=1/6 Prova: b) Com prob 1/6 temos M/min d/6 Defina V.A z i com y i =0 se h( b i )>6M/d y i =1, c..c Se M/min d/6 então todas V.A y i tem valor 0 Temos Pr[y i =1]>6/d Seja y=y 1 + +y d E[y]=Pr[y 1 =1]+ +Pr[y d =1]>6 Como a familia de hash é 2-universal temos que Var(y)=Var(y 1 )+ +Var(y d )=dvar(y 1 ) 6

7 Temos que Var(y i )= E[y i 2 ] - E 2 [y i ] = E[y i ] - E 2 [y i ] <E[y i ] Portanto, Var(y)<E[y] Para melhorar a probabilidade e o intervalo podemos trabalhar em paralelo com vários funções independentes e ficar com a mediana delas Logo, utilizando Chebyshev Prob [ M/min < d/6] = Prob[y=0] < Prob[ y- E(y) E[y] ] Var(y)/E 2 (y) 1/E[y] 1/6 Problema: como contar o item mais frequente em um data stream? Caso particular: como determinar se algum item ocorre mais que n/2 vezes? Caso particular: como determinar se algum item ocorre mais que n/2 vezes? Lower Bound Memória: Modelo Cada item só pode ser lido uma vez Considere entrada em que os n/2 primeiros elementos são diferentes e os n/2 últimos são iguais. 7

8 Lower Bound Memória: Sejam A e B conjuntos distintos de n/2 elementos. Portanto, a configuração da memória associada a leitura do conjunto A tem que ser diferente da associada a leitura do conjunto B, caso contrário o algoritmo daria a mesma resposta nos dois casos Como existem C(m,n/2) conjuntos possíveis com n/2 elementos a memória tem que ter tamanho maior ou igual a log (C(m,n/2)) bits Se m>n então precisamos de memória n Algorithm Frequent Mantenha uma lista com k posições dos itens que estamos contando A lista é inicialmente vazia Para i=1,...,n faça Se a(i) está na posição j da lista cont(j) cont(j)+1 Se a(i) não está na lista Se a lista não está cheia inclua a(i) e faça o contador dele ser 1 Se a lista está cheia faça o contador dele ser 0; decremente todos os contadores da lista de 1 e retire da lista os itens com contador 0 Teorema (Hopcroft 7.2). Ao término do algoritmo para cada s em {1,...,m}, o contador de s é f(s)- n/(k+1). Corolário. Se um item não aparece na lista no final então sua frequência no data stream é n/(k+1) Complexidade de Espaço: proporcional a k log n bits. Aplicação: encontrar os itens mais frequentes, que ocorrem pelo menos n/(k+1) vezes para um dado k. Teorema. Ao término do algoritmo para cada s em {1,...,m}, o contador de s é maior ou igual ao número de ocorrências de s menos n/(k+1) Prova Podemos assumir que sempre que um item é acessado seu contador é incrementado e sempre que ele não consegue entrar na lista seu contador é decrementado Itens fora da lista tem contador igual a 0 8

9 Teorema. Ao término do algoritmo para cada s em {1,...,m}, o contador de s é ao número de ocorrências de s menos n/(k+1) Prova Seja s um item na lista ao término do algoritmo. Sempre que o contador de s é decrementado, o contador de outros k itens são decrementados. Portanto, o contador de s só pode ser decrementado no máximo n/(k+1) vezes, caso a soma total dos decrementos seria maior que n mas esta soma é limitada pelo total de incrementos que é n. 9

Documentos relacionados

Aula 7. Aula de hoje. Aula passada

Aula 7. Aula de hoje. Aula passada Aula 7 Aula passada Método de Monte Carlo Estimando somatórios Calculando erro Estimando Erro de Integração de Monte Carlo Monte Carlo Ray Tracing Aula de hoje Gerando amostras de v.a. discretas Gerando