Processamento de INDUSTRIA 4.0. Big Data. Aula #10 - Processamento distribuído de dados FONTE: DELIRIUM CAFE EDUARDO CUNHA DE ALMEIDA

Transcrição

1 INDUSTIA 4.0 Processamento de Big Data FONTE: DELIIU CAFE Aula #10 - Processamento distribuído de dados EDUADO CUNHA DE ALEIDA

2 Agenda - Divisão do problema - apeduce - Hadoop - SQL-on-Hadoop: Hive 2

3 Divisão do problema (conta palavras) DADO NÃO ESTUTUADO (TEXTO) SEPAA LINHAS CONTA ESULTADO peixe baleia tartaruga peixe baleia tartaruga baleia baleia baleia tartaruga peixe polvo polvo tartaruga polvo polvo polvo polvo polvo tartaruga tartaruga baleia baleia baleia tartaruga peixe polvo polvo tartaruga polvo polvo polvo polvo polvo GEP peixe, 2 baleia, 4 tartaruga, 5 polvo, 7 CAT peixe, 2 baleia, 4 tartaruga, 5 polvo, 7 tartaruga tartaruga 3

4 Landscape de Proc. Distribuído FONTE: ATTTUCK.CO 4

5 apeduce apeduce é um modelo de programação para simplificar o processamento de dados distribuídos. 5

6 apeduce Baseado em 2 primitivas ap (varredura) e educe (ou agrupamento) apeduce é um modelo de programação para simplificar o processamento de dados distribuídos. Esconde problemas de distribuição da computação Permite escalar o processamento para milhares de nodos 6

7 Histórico do apeduce ATIGO GOOGLE FILE SYSTE ATIGO APEDUCE TEASOT BENCHAK 3 IN 48 SEC 2003 YAHOO! 600 NODOS YAHOO! 42K NODOS HADOOP FINANCIAENTO 110$ I 2018 VESÃO 3.1 7

8 Cluster Hadoop na Yahoo FONTE: 8

9 Visão geral do apeduce - ecebe entrada de dados (geralmente grande) - ap: extrai algo linha por linha - Embaralha e ordena - educe: agrega, sumariza, filtra - Escreve o resultado 9

10 apeduce (Job) s de map map() s de reduce map() reduce() map() reduce() INPUT map() reduce() OUTPUT map() reduce() map() 10

11 apeduce: Conta palavras completo INPUT SPLIT AP SHUFFLE EDUCE ESULTADO peixe baleia tartaruga baleia baleia baleia tartaruga peixe polvo polvo tartaruga polvo polvo polvo polvo polvo tartaruga tartaruga peixe baleia tartaruga baleia baleia baleia tartaruga peixe polvo polvo tartaruga polvo polvo polvo polvo polvo tartaruga tartaruga peixe, 1 baleia, 1 tartaruga, 1 baleia, 3 tartaruga, 1 peixe, 1 polvo, 1 tartaruga, 1 polvo, 2 polvo, 4 tartaruga, 2 peixe, 1 peixe, 1 baleia, 1 baleia, 3 tartaruga, 1 tartaruga, 1 tartaruga, 1 tartaruga, 2 polvo,1 polvo,2 polvo,4 peixe,2 baleia, 4 tartaruga, 5 polvo,7 peixe,2 baleia,5 tartaruga,5 polvo,7 11

12 apeduce: Conta palavras completo AP peixe, 1 baleia, 1 tartaruga, 1 baleia, 3 tartaruga, 1 peixe, 1 polvo, 1 tartaruga, 1 polvo, 2 polvo, 4 tartaruga, 2 12

13 apeduce: Conta palavras completo EDUCE ESULTADO peixe,2 baleia, 4 tartaruga, 5 peixe,2 baleia,5 tartaruga,5 polvo,7 polvo,7 13

14 apeduce: mecanismo de execução USUÁIOS switch switch switch NameNode JobTracker JobTracker ACK 1 ACK 2 ACK N 14

15 funciona mesmo com falhas!! USUÁIOS switch switch switch NameNode JobTracker JobTracker ACK 1 ACK 2 ACK N 15

16 apeduce: mecanismo de execução HDFS FONTE: EXPESSAGAZINE.NET 16

17 apeduce: mecanismo de execução B3 peixe, 1 baleia, 1 tartaruga, 1 A5 B7 BLOCO HDFS FONTE: EXPESSAGAZINE.NET 17

18 apeduce: mecanismo de execução FONTE: EXPESSAGAZINE.NET 18

19 apeduce: mecanismo de execução peixe, 1 baleia, 1 tartaruga, 1 EPLICA FONTE: EXPESSAGAZINE.NET 19

20 apeduce: mecanismo de execução peixe, 1 baleia, 1 tartaruga, 1 EPLICA FONTE: EXPESSAGAZINE.NET 20

21 Qual linguagem programar em? JAVA-LIKE SQL-LIKE VS. SELECT T2.UF, AVG(T1.IDADE) FO T1 JOIN T2 ON (T1.ID = T2.ID) GOUP BY T2.UF; 21

22 SQL-on-Hadoop SELECT T2.UF, AVG(T1.IDADE) FO T1 JOIN T2 ON (T1.ID = T2.ID) GOUP BY T2.UF; INPUT SPLIT AP SHUFFLE EDUCE ESULTADO peixe baleia tartaruga b a l e i a b a l e i a peixe baleia tartaruga polvo polvo tartaruga peixe baleia tartar tartar polvo tartar peixe baleia tartar uga, polvo peixe baleia tartar polvo peixe,2 22

23 SQL-on-Hadoop SELECT T2.UF, AVG(T1.IDADE) FO T1 JOIN T2 ON (T1.ID = T2.ID) GOUP BY T2.UF; = AP = EDUCE 23

24 SQL-on-Hadoop SELECT T1.IDADE SELECT T2.ID SELECT T2.UF, AVG(T1.IDADE) FO T1 JOIN T2 ON (T1.ID = T2.ID) GOUP BY T2.UF; HDFS JOIN T1, T2 GOUP BY UF HDFS = AP = EDUCE HDFS 24

25 SQL-on-Hadoop SELECT T1.IDADE SELECT T2.ID SELECT T2.UF, AVG(T1.IDADE) FO T1 JOIN T2 ON (T1.ID = T2.ID) GOUP BY T2.UF; HDFS JOIN T1, T2 GOUP BY UF HDFS = AP INTENSO I/O NA HDFS = EDUCE HDFS 25

26 SQL-on-Hadoop SELECT T1.IDADE SELECT T2.ID SELECT T2.UF, AVG(T1.IDADE) FO T1 JOIN T2 ON (T1.ID = T2.ID) GOUP BY T2.UF; JOIN T1, T2 GOUP BY UF = AP = EDUCE 26

27 Várias linguagens são também ofertadas: - Python - Scala - Java - C - PIG Latin - 27

28 INDUSTIA 4.0 Processamento de Big Data FONTE: DELIIU CAFE Aula #10 - Processamento distribuído de dados EDUADO CUNHA DE ALEIDA