Uma visão sobre Fast-Data: Spark, VoltDB e Elasticsearch. Luiz Henrique Zambom Santana

Tamanho: px

Começar a partir da página:

Download "Uma visão sobre Fast-Data: Spark, VoltDB e Elasticsearch. Luiz Henrique Zambom Santana"

Mateus Eduardo de Figueiredo Palha
5 Há anos
Visualizações:

1 Uma visão sobre Fast-Data: Spark, VoltDB e Elasticsearch Luiz Henrique Zambom Santana

2 Agenda Introdução Processamento: Apache Spark Armazenamento: VoltDB Analytics: Elasticsearch Conclusões 2

3 Introdução Luiz Henrique Zambom Santana Parte 1

4 Big Data 4

5 Tempo real 5

6 6

7 Não custa lembrar... 7

8 No início era o Apache Hadoop 8

9 ...e o map/reduce... 9

10 O que é mais importante? 10

11 Latência ou Vazão? 11

12 Arquitetura Fast Data Luiz Henrique Zambom Santana Parte 2

13 Arquitetura Lambda 13

14 Armazenamento Not only SQL Sadalage e Fowler, 2012 ( Relational databases will be a footnote in history Nathan Marz, 2014 ( 14

15 Armazenamento SQL and NoSQL will merge Not yet SQL Michael Stonebraker,

16 Processamento Matei Zaharia 16

17 Analytics Shay Banon 17

18 O problema que vamos tratar... 18

19 19

20 20

21 Processadores: Apache Spark Luiz Henrique Zambom Santana Parte 2

22 Agenda - Processadores: Apache Spark Frameworks para processamento de Big Data Arquitetura do Apache Spark Funcionamento do cluster Fluxo de processamento Directed Acyclic Graph (DAG) Resilient Distributed Dataset (RDD) Evolução do RDD Exercícios 22

23 Frameworks para processamento de Big Data Streaming Filas Apache Spark, Apache Mahout, IBM Watson, TensorFlow Estatística Apache Mesos, Apache Zookeeper Aprendizado de Máquina Apache Kafka, RabbitMQ Gestão de Clusters Apache Spark, Apache Storm Apache Spark Gestão de Memória Apache Spark, Apache Ignite 23

24 Arquitetura do Apache Spark 24

25 Funcionamento do cluster 25

26 Funcionamento do cluster 26

27 Fluxo de processamento 27

28 Directed Acyclic Graph (DAG) 28

29 Resilient Distributed Dataset (RDD) 29

30 Evolução do RDD 30

31 Spark Streaming 31

32 SparkML 32

33 Apache Bahir 33

34 Apache Kafka 34

35 Apache Ignite 35

36 Exercícios 1. Classificar os Tweets de POA Lição de casa :) Receber em modo Streaming os dados do Twitter e filtrar pela latitude e longitude de POA Criar uma fila de processamento para adicionar os Tweets coletados no exercício do Spark para contar as palavras mais comuns nesses Tweets Usando como base o código de streaming do Twitter, fazer um streaming direto do Cassandra a Configurar o Ignite para armazenar os Twitters e usar a API SQL do Ignite para consultar esses Twitters 36

37 Bancos de Dados: VoltDB Luiz Henrique Zambom Santana Parte 3

38 Agenda - Banco de Dados: VoltDB Problemas com SQL NewSQL VoltDB Como o VoltDB entrega o que promete? Exercício 38

39 Problema SQL: múltiplos gargalos 39

40 NewSQL: comparação 40

41 NewSQL: definições Definições In-memory SQL como interface principal Suporte a transações ACID Sem lock no controle de concorrência Alto desempenho Arquitetura escalável (share nothing) Alta Baixa latência Sem gerenciamento de bugger Sem locks e latches HBase, Clustrix, NuoDB e VoltDB 41

42 Share nothing 42

43 NewSQL: como? Particionamento Sharding Controle de concorrência por agendamento ou multi-versões Indexação Replicação 43

44 NoSQL vs. NewSQL: produtos 44

45 Mercado NewSQL 45

46 HStore 46

VoltDB Evolução do C-Store e H-Store http://hstore.cs.brown.

47 VoltDB Evolução do C-Store e H-Store Visão: VoltDB relies on horizontal partitioning down to the individual hardware thread to scale, k-safety (synchronous replication) to provide high availability, and a combination of continuous snapshots and command logging for durability (crash recovery) 47

48 K-safety A segurança K é uma medida de quantas cópias dos dados existem no cluster 48

49 VoltDB: console 49

50 VoltDB 50

51 VoltDB: arquitetura 51

52 VoltDB: integrações 52

53 Command logging 53

54 Recuperação de desastre 54

55 55

56 56

57 Comandos VoltDB./voltdb init./voltdb start./sqlcmd CREATE TABLE users (id INTEGER UNIQUE NOT NULL, username VARCHAR(15), city VARCHAR(15)); CREATE TABLE tweets (id INTEGER UNIQUE NOT NULL, body VARCHAR(150), userid INTEGER); insert into users values (1,'lhzsantana','floripa'); insert into tweets values (1,'sol em floripa', 1); select * from users; select * from users u inner join tweets t on u.id=t.userid; drop table users; CREATE INDEX name_idx ON users (name); PARTITION TABLE users ON COLUMN city; show tables; 57

58 Instalação do VoltDB Referência: 58

59 Exercícios 1. Salvar os dados de streaming e os dados do DataPoa no VoltDB Lição de casa :) Consultar os usuários que mais postam no Twitter 59

60 Visualização e analytics: Elasticsearch Luiz Henrique Zambom Santana Parte 4

61 Agenda - Visualização e analytics: Elasticsearch Elasticsearch? 61

62 Elasticsearch? Tempo real Flexível Livre de esquema e muito escalável Iniciado por Shay Banon em 2010 Desenvolvido pela comunidade Código aberto em: Atualmente apoiado pela Elastic 62

63 Onde é usado? Mais casos de uso em: 63

64 Visão geral Cluster Lucene Índice Mapeamento Tipo Lucene Banco de dados relacional (BDR) Índice (Index) Esquema Type Tabela Documento (JSON) Linha Campo (Field) Coluna Mapeamento (Mapping) Estrutura da tabela Query DSL SQL 64

65 Arquitetura - Indexação Usuários Usuários Client API Elasticsearch 65

66 Arquitetura - Busca Usuários Usuários Client API Elasticsearch 66

67 Arquitetura - Autocomplete ( search as you type ) Usuários Usuários Client API Elasticsearch 67

68 Usuários Usuários Cliente API Elasticsearch 68

69 Arquitetura - Indexação em lote API Elasticsearch 69

70 Desenvolvimento com o Elasticsearch - Pontos importantes Gerenciamento dos dados Backup do Elasticsearch? Geralmente o Elasticsearch é usado como um repositório volátil Backup: Segurança: Mapeamento 70

71 Desenvolvimento com o Elasticsearch - Instalação Simplesmente baixar e desempacotar Elasticsearch e Kibana Iniciar: /bin/elasticsearch /bin/kibana Em produção não é tão simples: 71

72 Verificar se está funcionando (localhost:9200) 72

73 Kibana Dev Tools 73

74 Criar índice e mapeamento no Elasticsearch Exemplo simples Tweet e Comentário Criar um índice seria tão simples como: PUT erdb O mapeamento no Elasticsearch é flat O Elasticsearch está configurado para buscar palavras em Inglês Usar um analisador para português GIST: 74

75 Indexar alguns documentos POST erbd/tweet/1 POST tweet/post { { } "author":"luiz", "author":"luiz", "text":"tá muito sol para falar de Elasticsearch", "text":"esse post não tem ID", "hashtag":"#queriatánapraia" "hashtag":"#seráqfunciona" } 75

76 Indexar alguns documentos POST erbd/tweet/1 POST erbd/tweet { { "author":"luiz", "author":"luiz", "text":"elasticsearch é mais legal que praia", "text":"o mapeamento do Elasticsearch é flexível", "hashtag":"#sqn" "local":"florianópolis", } "hashtag":"#schemaless" } 76

77 Indexar alguns documentos POST erbd/comments/1 POST erbd/comment/1?parent=1 { { "author":"anônimo", "author":"anônimo", "text": "Até agora não vi nada de Spark", "hashtag":"#taenrolando" } "text": "Jurerê ou PHP?", "hashtag":"#queriatánapraia" } 77

78 Como ficou o mapeamento? GET erbd/_mapping Mapping com o nome errado comments O campo local não tem analisador 78

79 Mapeamento com Geo Point PUT erbd { "mappings": { "crash": { "properties": { "location": { "type": "geo_point" } } } } } 79

80 Busca GET /_search GET /erbd/tweet/_search GET /erbd, sbbd/_search { { { "query": { "query": { "match_all": {} "match_all": {} } "match_all": {} } } } } GET /erbd/_search GET /erbd/tweet,comment/_search { { } GET /erbd,sbbd/tweet,comment/ _search "query": { "query": { "match_all": {} "match_all": {} { "query": { } } } "query": { } "match_all": {} }} 80

$Busca GET /_search { "query": {$

81 Busca GET /_search { "query": { "match": { "author": "luiz" } } } 81

$Busca GET /_search { "query": {$

82 Busca GET /_search { "query": { "match": { "local": "florianopolis" } } } 82

83 Busca - bool, boost e agregações GET /erbd/tweet,comment /_search "query": { "bool": { { "aggs" : { "should": [{ "sort": [ "hashtags" : { "match": { { "terms" : { "field" : "author.raw" "author": "anônimo" "author": { }}, { "order": "desc" } } "match": { } "local": "Florianópolis" } } ], } "size": 100, a ] }, 83

84 Busca - bool, boost e agregações { "hits": { "took": 88, "timed_out": false, "_shards": { "total": 5, "successful": 5, "failed": 0 }, "total": 2, "max_score": null, "hits": [{ "_index": "phpsc", "aggregations": { "hashtags": { "doc_count_error_upper_bound": 0, "sum_other_doc_count": 0, "buckets": [ { "_type": "post", "key": "anônimo", "_id": "AVLauzKDtyulCxogNOoi", "doc_count": 1 "_score": null, }, "_source": { { "key": "luiz", "author": "Luiz", "text": "O mapeamento do Elasticsearch é flexível", "doc_count": 1 } 84

85 Exercícios Enviar dados do Twitter e do DataPOA para o Elasticsearch Buscar palavras nos dados Lição de casa :) Fazer gráfico de calor Fazer gráfico de barras 85

86 Conclusões

Documentos relacionados

APLICAÇÕES DE BIG DATA COM SPARK E PYTHON

CURTA DURAÇÃO APLICAÇÕES DE BIG DATA COM SPARK E PYTHON CARGA HORÁRIA: 48 horas DURAÇÃO: 3 meses COORDENAÇÃO: Prof. Dr. Adolpho Pimazoni Canton Prof.ª Dr.ª Alessandra de Ávila Montini APRESENTAÇÃO O crescente