Processamento de Big Data com bancos de dados NoSQL para desenvolvedores Java. Fernando Babadopulos

Transcrição

1 Processamento de Big Data com bancos de dados NoSQL para desenvolvedores Java Fernando Babadopulos

2 Eu tenho um Big Data?

3 Ok, tenho um Big Data, e agora?

4 Mas como funciona o hadoop?

5 fapa dos dados fapa dos fapa dos grande quanpdade de dados dados dados fapa dos dados CLUSTER HADOOP node 1 node 2 node 3 node N resultado do processamento Talvez outro Big Data!?!?

6 Vou processar distribuído, mas onde eu armazeno os dados?

7

8 Como dividir meus dados em vários servidores?

9 Replicação i5 j9 f1 i6 j0 f2 i7 j1 f3 i8... j2... f4... database 01 database f1 f2 f3 f f1 f2 f3 f i5 i6 i7 i i5 i6 i7 i j9 j0 j1 j j9 j0 j1 j2...

10 Sharding i5 j9 f1 l9 i6 l0 j0 f2 i7 l1 j1 f3 i8... l2... j2... f4... database 01 database 02 database 03 database f1 f2 f3 f i5 i6 i7 i j9 j0 j1 j l9 l0 l1 l l9 l0 l1 l f1 f2 f3 f j9 j0 j1 j i5 i6 i7 i8...

11 Hashing Rápido Consistente Ex.: Murmur RIPEMD- 160

12 Replicação ou sharding?

13 E o HDFS, onde entra?

14 Leitura e gravação geram os mesmos problemas?

15 Todos os bancos de dados são iguais?

16 Rápido Armazenado na memória RAM Diversas estruturas de dados Strings, Hashs, Lists, Sets, Sorted Sets

17 <dependency> <groupid>redis.clients</groupid> <artifactid>jedis</artifactid> <version>2.7.2</version> <type>jar</type> </dependency> Jedis jedis = new Jedis("localhost"); jedis.set("key", "value"); String value = jedis.get("key"); * hips://github.com/xetorthio/jedis

18 Índice armazenado em RAM Persistência em SSD Cluster napvo

19 <dependency> <groupid>com.aerospike</groupid> <artifactid>aerospike-client</artifactid> <version>3.0.0</version> <type>jar</type> </dependency> AerospikeClient client = new AerospikeClient("localhost",3000); Key key = new Key("test", "demo", "key"); Bin bin1 = new Bin("bin1", "value1"); Bin bin2 = new Bin("bin2", "value2"); String value = jedis.get("foo"); client.put(null, key, bin1, bin2); Record record = client.get(null, key); * hip://

20 Orientado a documentos Registros desestruturados Persistência em disco Auto- sharding Pesquisa em documentos aninhados

21 <dependency> <groupid>org.mongodb</groupid> <artifactid>mongodb-driver</artifactid> <version>3.0.2</version> <type>jar</type> </dependency> MongoClient mongoclient = new MongoClient("localhost"); MongoDatabase database = mongoclient.getdatabase("mydb"); MongoCollection<Document> collection = database.getcollection("test"); *hip://docs.mongodb.org/ecosystem/drivers/java/

22 { } "name": "example", "code": 7, "point": { "x": 100, "y": 200 } Document doc = new Document("name", "example").append("code", 7).append("point", new Document("x", 100).append("y", 200) ); collection.insertone(doc); Document mydoc = collection.find().first(); *hip://docs.mongodb.org/ecosystem/drivers/java/

23 Morphia <dependency> <groupid>org.mongodb.morphia</groupid> <artifactid>morphia</artifactid> <version>1.0.0</version> <type>jar</type> </dependency> Facilita a manipulação de objetos *hip://mongodb.github.io/morphia/

24 Orientado a documentos Pesquisa em tempo real Distribuído e escalável O documento todo pode ser indexado

25 <dependency> <groupid>org.elasticsearch</groupid> <artifactid>elasticsearch</artifactid> <version>1.6.0</version> <type>jar</type> </dependency> IndexResponse response = client.prepareindex("myindex", "docs").setsource(json).execute().actionget(); GetResponse response = client.prepareget("myindex", "docs", "1").execute().actionGet(); * hips:// api

26 Sampling

27 ms ,5h

28 6.931 x = Erro 0.088%

29 Total de registros conhecido amostragem Total de registros amostrados

30 REDIS 01 REDIS 02 REDIS 03 REDIS 04 REDIS 05 for (Jedis jedis : cluster.getallshards()) {. long dbsize = jedis.dbsize();.. String key = jedis.randomkey(); String value = jedis.get(key);.. }

31 AD EB CF IN OUT Tamanho da amostra final F

32 Reservoir Sampling private SortedMap<Double, MyObject> reservoir;.. if (reservoir.size() < SAMPLE_SIZE) { reservoir.put(score, myobject); } else if (score > reservoir.firstkey()) { reservoir.remove(reservoir.firstkey()); reservoir.put(score, myobject); }

33 Reservoir Sampling Apache Crunch import org.apache.crunch.lib.sample; Sample.reservoirSample(Pcollection<T> input, int samplesize);

34 Perguntas? Fernando Babadopulos

35 Obrigado! Fernando Babadopulos