Sumarizando Dados. Fabrício Olivetti de França. Universidade Federal do ABC

Transcrição

1 Sumarizando Dados Fabrício Olivetti de França Universidade Federal do ABC

2 Sumarizando os dados

3 Sumarização Antes de extrair informações da base de dados, é importante entender seu conteúdo. Sumarização: resumir aspectos dos dados através de estatísticas. 1

4 Observação A partir desse momento os algoritmos serão descritos usando Mapper, Reducer e Combiner. A transformação / ação equivalente em Spark será indicada quando existir. 2

5 Tendência Central Quando precisamos saber a região em que a maioria dos valores de uma variável se encontra. Chute acertado para adivinhar um valor aleatório. 3

6 Média Também conhecida como Valor Esperado. Se a média de crimes diários em uma cidade é X, esperamos ter esse número em um dia qualquer. Valores muito abaixo ou muito acima podem afetar a média, pode ser necessário remover os 2% maiores e menores valores de x. x = 1 n n i=1 x i 4

7 Média media :: Num a => [a] -> a media xs = (sum xs) / (length xs) -- implementaç~ao direta mediapar :: Num a => ChunksOf [a] -> a media chunks = soma / n where soma = mapreduce id (+) chunks n = sum $ map length chunks 5

8 Spark dadosrdd.mean() 6

9 Moda O valor mais frequente em nossos dados. Se existem mais do que um valor frequente, dizemos que a distribuição é multimodal. 7

10 Moda moda :: Num a => [a] -> a moda xs = fst $ last $ sortbyvalue $ combine (+) $ map (\x -> (x,1)) xs 8

11 Exercício Escreva a função modapar usando mapreduce: modapar :: Num a => ChunksOf [a] -> a 9

12 Exercício Escreva a função modapar usando mapreduce: modapar :: Num a => ChunksOf [a] -> a modapar chunks = fst $ last $ sortbyvalue... 10

13 Exercício Escreva a função modapar usando mapreduce: modapar :: Num a => ChunksOf [a] -> a modapar chunks = fst $ last $ sortbyvalue $ mapreducebykey (\x -> (x,1)) (+) $ chunks 11

14 Moda E se o resultado do reducer não couber na memória? 12

15 Moda modapar :: Num a => ChunksOf [a] -> a modapar chunks = fst $ mapreduce id argmax $ mapreducebykey (\x -> (x,1)) (+) $ chunks 13

16 Desvio-padrão Variação nos valores de nossos dados: σ. Um valor pequena indica que os valores mensurados são todos próximos da média. Um valor grande indica que os valores estão espalhados em torno da média. σ = 1 n n (x i x) 2 i=1 14

17 Desvio-padrão - implementação sequencial desviopadrao :: Num a => [a] -> a desviopadrao xs = sqrt $ (sum devmedia) / n where devmedia = map (\x -> (x-mediax)**2) xs mediax = media xs n = length xs 15

18 Exercício desviopadraopar :: ChunksOf [Double] -> Double mediapar :: Num a => ChunksOf [a] -> a mediapar chunks = soma / n where soma = mapreduce id (+) chunks n = sum $ map length chunks 16

19 Exercício desviopadraopar :: ChunksOf [Double] -> Double desviopadraopar chunks = sqrt $ soma / n where soma = mapreduce (\x -> (x - media)^2) (+) media = mediapar chunks n = sum $ map length chunks 17

20 Desvio-padrão - Spark RDD.std() 18

21 Índice Invertido Um índice invertido é uma estrutura de dados indexada que mapeia o conteúdo de documentos para os identificadores dos documentos ao qual eles pertencem. Isso facilita a busca por documentos que contém termos. Dado uma base de dados no formato (id, word), queremos transformá-la em (word, [id]) de tal forma que, ao buscar por determinada palavra, descobrimos todos os documentos assocados a ela. 19

22 Índice Invertido indiceinvertido :: [(Id, Word)] -> (Word, [Id]) 20

23 Índice Invertido indiceinvertido :: [(Id, Word)] -> (Word, [Id]) indiceinvertido = mapreducebykey (\(x,y) -> (y,[x])) (++) 20

24 Filtrando os Dados

25 Top 10 Em muitos casos a distribuição dos dados segue uma distribuição de cauda longa, ou seja, existe um conjunto pequeno de entradas que possuem valores muito maiores do que o restante. Pode ser de interesse prático identificar tais registros para estudá-los em mais detalhes. A ideia de computação distribuída dessa tarefa é muito parecida com a estratégia em Haskell utilizando fold. 21

26 Top 10 import Data.List import Data.Ord top10 = take 10. sorton Down l = [5, 11, 3, 9, 2, 10, 8, 1, 5, 6, 4, 2, 7] main = do print (foldr (\x y -> top10 $ x:y) [] l) 22

27 Top 10 - Paralelo top10par :: Ord a => ChunksOf [a] -> [a] top10par chunks = mapreduce (\x -> [x]) concat10 $ chunks concat10 x y = top10 $ y ++ x 23

28 Top 10 - Spark RDD.takeOrdered(10, key = lambda x: -x) 24

29 Distinct Keys Quando queremos determinar o conjunto único de chaves. 25

30 Distinct Raciocínio simples: mapeia as tuplas sem fazer nada e reduz para o primeiro elemento da lista. 26

31 Distinct - Paralelo distinct :: ChunksOf [(K, V)] -> [(K,V)] 27

32 Distinct - Paralelo distinct :: ChunksOf [(K, V)] -> [(K,V)] distinct chunks = map fst $ mapreducebykey id fstval fstval x y = x 28

33 Distinct - Spark tuplas = RDD.map(lambda x : x).reducebykey(lambda v1,v2 : v1).collect() chavesunicas = map(lambda (k,v): k, tuplas) 29

34 Juntando Dados

35 Join Imagine a seguinte situação: temos uma base de dados em que existem dois possíveis tipos de tuplas: (id do usuário, cidade usuário) e (id do usuário, texto da postagem). Desejamos fazer uma análise de correlação do conteúdo de texto com os locais utilizados na postagem, para isso devemos obter (id do usuário, (local, texto)). Para isso devemos fazer a operação de join muito utilizada em bancos de dados SQL. 30

36 Join Exemplificando com as tabelas: Id Cidade 1 Santo André 2 Santos 4 São Bernardo 5 São Paulo height Id Texto 1 Esse curso está bem interessante 1 Está começando a ficar difícil 2 Pena que a UFABC fica tão longe.. 6 De onde sou? height 31

37 Inner Join No Inner Join todos os pares de ids em comum das duas tabelas sao unificados gerando novas tuplas: Id Cidade Texto 1 Santo André Esse curso está bem interessante 1 Santo André Está começando a ficar difícil 2 Santos Pena que a UFABC fica tão longe... 32

38 Outer Join No Outer Join todos os pares de ids iguais geram um novo registro, caso um id exista em uma tabela e na outra não, o campo é preenchido como Null: Id Cidade Texto 1 Santo André Esse curso está bem interessante 1 Santo André Está começando a ficar difícil 2 Santos Pena que a UFABC fica tão longe... 4 São Bernardo Null 5 São Paulo Null 6 Null De onde sou? height Existem as variações de Left Outer Join e Right Outer Join que permite o registro nulo na tabela da esquerda ou da direita, respectivamente. 33

39 Joins - Spark Esses processos necessitam de controle interno da distribuição dos arquivos, não podendo ser feito no nosso modelo em Haskell. RDD1.join(RDD2) RDD1.fullOuterJoin(RDD2) RDD1.leftOuterJoin(RDD2) RDD1.rightOuterJoin(RDD2) 34