NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co

Transcrição

1 NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co

2 Quem aqui usa banco de dados?

3 Por que precisamos de SQL?

4 Onde usamos SQL (i.e. ACID)?

5 MAS...

6 Universo digital em expansão Fonte: IDC White Paper, "The Diverse and Exploding Digital Universe", 2008.

7 Aplicações web modernas

8 Escalabilidade vertical é complicada e/ou cara!

9 Os modelos transacionais Possibilita a ACID pessimista, forçando escalabilidade consistência ao final de cada horizontal... operação BASE otimista, aceitando que a consistência esteja em um estado de fluxo

10 não relacionais distribuídos horizontalmente escaláveis esquemas flexíveis replicáveis APIs simples NoSQL = Not Only SQL

11 Zoologia dos bancos NoSQL Wide Column Store / Column Families Document Store Key-Value Store NoSQL Database

12 MAS...

13 Teorema de Brewer: CAP Você precisa escolher 2! Consistência: visão única para os clientes Disponibilidade: toda operação tem uma resposta Partição: sistema continua operante mesmo enfrentando partições na rede Disponibilidade Availability Consistência Consistency Partição Partition Tolerance

14 I. Consistência e Disponibilidade C Limitações na escalabilidade (leitura e escrita) A

15 II. Consistência e Partição C P Completamente inacessível se qualquer um dos nós estiver fora!

16 III. Disponibilidade e Partição A P Nem sempre lê a informação mais recente: futuramente consistente

17 A high performance, scalable, distributed storage and processing system for structured and unstructured data.

18 Cassandra: um breve histórico Bigtable Dynamo

19 Um novo modelo de dados Row schema-less schema-optional

20 Exemplo: modelagem do Twitter Users john name: John Doe pass: swordfish joined: paul name: Paul Lane pass: thepass joined: Following john paul: brigitte: paul john: debora: brigitte: Followers john tom: paul: brigitte john: paul: desde 22/08/2010

21 Exemplo: modelagem do Twitter Statuses (Tweets) user: john tweet user: brigitte tweet body: Nuvem privada Timeline body: Acabei de #acordar. retweets: 123 tags acordar: 1 data/hora john : paul : : Tweets dos usuários que segue Userline john brigitte : : : Tweets

22 CQL (Query Language) CREATE COLUMNFAMILY users ( KEY varchar PRIMARY KEY, name varchar, pass varchar, joined bigint); INSERT INTO users (KEY, name, pass) VALUES ('jsmith', 'John Smith', 'changeme') USING CONSISTENCY QUORUM; SELECT * FROM users WHERE KEY = 'jsmith'; u'jsmith' u'pass',u'changeme' SELECT name..pass FROM users WHERE KEY >= 'h' LIMIT 10; CREATE INDEX users_joined_idx ON users (joined); DELETE joined FROM users where KEY = 'jsmith';

23 It took two weeks to perform ALTER TABLE on the statuses [tweets] table. Twitter

24 Particionamento e replicação 1 0 Fixed Circular Space (Ring) h(key1) E A N=3 C h(key2) F B D Consistent Hashing (MD5) 1/2 Virtual Nodes

25 Ajuste de parâmetros (N, R, W) Consistência versus Escalabilidade Ajuste por requisição (R, W) Zero cliente One Quorum: N / All N: réplicas R+W>N Read repair coordenador ack réplica réplica réplica

26 Comunicação entre os nós Gossip-Based Protocol

27 Relacional versus NoSQL Dados do benchmark Base com 50 GB de dados MySQL leitura: ~350 ms escrita: ~300 ms Cassandra leitura: ~15 ms escrita: ~0,12 ms 3x 2 ra da! u t i Le rápi is a m 0x a! a t i r id Esc is ráp ma

28 MongoDB (from "humongous") is a scalable, high-performance, open source, powerful, document-oriented database written in C++.

29 O modelo de dados Relacional (Tabular) Orientado a Documentos

30 Modelo Relacional

31 Modelo Orientado a Documentos

32 Um documento JSON { _id : ObjectId("5ebf5e0fec5fab7db2b9b40e"), title : "Introdução ao MongoDB", slug : "introducao-ao-mongodb", body : "Este é o texto do post...", published : true, created : "Jun :48:22 AMT", updated : "Jun :01:15 AMT", comments : [ { author : "john", "john@doe.com", body : "Caramba!", created : "Jun :01:30 BRST" } ], tags : [ "databases", "MongoDB", "nosql" ] } Object ID Embedded Document Array

33 Linguagem de Consulta SELECT * FROM usuarios > db.usuarios.find() SELECT nome FROM usuarios > db.usuarios.find({}, { nome : 1}) SELECT * FROM usuarios WHERE idade = 29 > db.usuarios.find({ idade : 29}) SELECT * FROM usuarios WHERE idade = 29 AND ativo = true > db.usuarios.find({ idade : 29, ativo : true}) SELECT * FROM usuarios WHERE idade >= 18 AND idade <= 30 > db.usuarios.find({ idade : { $gte : 18, $lte : 30}}) SELECT * FROM usuarios WHERE nome LIKE %admin% > db.usuarios.find({ nome : /admin/i})

34 Linguagem de Consulta SELECT * FROM usuarios ORDER BY nome > db.usuarios.find().sort({ nome : 1}) SELECT * FROM usuarios ORDER BY idade DESC, nome > db.usuarios.find().sort({ idade : -1, nome : 1}) SELECT * FROM usuarios LIMIT 3 > db.usuarios.find().limit(3) SELECT * FROM usuarios OFFSET 5 > db.usuarios.find().skip(5) SELECT * FROM usuarios LIMIT 3 OFFSET 5 > db.usuarios.find().limit(3).skip(5) SELECT * FROM usuarios ORDER BY nome LIMIT 3 > db.usuarios.find().sort({ nome : 1}).limit(3)

35 índices Map Reduce capped collections Server-Side Scripting GridFS ad hoc queries

36 Sharding

37 Auto-Sharding + Replicação

38 A grande ruptura

39 A segunda ruptura

40 NoSQL adoption is inevitable because, just as in every other walk of life, there are different tools for different jobs Stephen O'Graddy (RedMonk) Rodrigo Hjort