Cassandra no Desenvolvimento de Aplicações para serviços Móveis. por J.P. Eiti Kimura

Transcrição

1 Cassandra no Desenvolvimento de Aplicações para serviços Móveis por J.P. Eiti Kimura

2 Apache Cassandra O que é? Princípio de Funcionamento Modelo de dados Aplicação do Cassandra Requisitos do serviço Arquitetura da Plataforma Cluster de Cassandra Resultados

3 O que é? Uma definição em 50 palavras ou menos Apache Cassandra é um banco de dados não relacional orientado a colunas, distribuído, descentralizado, escalável, de alta disponibilidade, tolerante a falhas, com design baseado no Amazon's Dynamo e o modelo de dados no BigTable do Google. Criado pelo Facebook e hoje utilizado em grandes empresas como Netflix, ebay, Instagram e outras

4 Arquitetura e Funcionamento

5 Arquitetura e Funcionamento Desenvolvido em Java: apache.org/ Descentralizado (não há SPOF) Utiliza o Protocolo Peer-to-Peer (ao invés do modelo master/slave) Escalabilidade Elástica

6 Arquitetura e Funcionamento - Teorema CAP Cassandra tem maior foco em disponibilidade e particionamento. O teorema indica que é possível obter somente duas dessas propriedades

7 Eventually Consistency Consistência Eventual: a consistência ocorrerá ao longo do tempo, e eventualmente todos os clientes acessarão a mesma informação em um dado instante. Forma de consistência propagada. Ex.: DNS

8 Modelo de dados Algumas Equivalências

9 Modelo de dados Column Family (CF) Super Column Family (SCF)

10 Modelo de dados Composite Columns CREATE TABLE timeline ( user_id varchar, tweet_id uuid, author varchar, body varchar, PRIMARY KEY (user_id, tweet_id) );

11 Movile Mais de 20 milhões de pessoas usando nossos serviços todo mês. A Movile é líder em desenvolvimento de plataformas de comércio e conteúdo móvel na América Latina. Com produtos para celulares, smartphones e tablets, nosso trabalho deixa a vida das pessoas melhor e mais divertida

12 Requisitos da Plataforma Alta disponibilidade: o serviço nunca pode parar Plataforma crítica Alto desempenho: deve responder em alguns milissegundos Sistema Seguro e confiável

13 Legado... cobrança de usuários nas operadoras controle de assinaturas de produtos base de broadcast de mensagens

14 Escalar Verticalmente sobrecarga na API de serviço Investimento em hardware mais robusto

15 Alta Utilização Sobrecarga no banco de dados relacional Sobrecarga nas API s de serviço (efeito cascata)

16 Assinaturas Aumento de volume ao longo do tempo Tempo

17 Volume de Dados ~ Assinaturas: 56,4 milhões ~ Assinantes: 37,1 milhões ~ 11K leituras/segundo ~ 4,2 escritas/segundo

18

19 Cassandra Data Model Estrutura da Informação SUBSCRIPTION USER_ID : string carrier_id: int subs_id_1: byte[] subs_id_2: byte[] -> -> -> -> -> Column Family Name Row Key: value-type ColumnName: value-type Dynamic ColumnName: value-type Dynamic ColumnName: value-type Exemplo de dados carrier_id SID SID SID [ ] [ ] [ ] carrier_id SID SID SID [ ] [ ] [ ]

20 Nova arquitetura

21 Porque Cassandra? Bom desempenho de leitura Excelente desempenho em escrita Throughput de leitura e escrita altamente escalável Suporta geo-distribuição de informação Tolerante a falhas Controle fino do nível de consistência por cliente Integridade de dados com checks e repairs Queremos: FOSS (Free and Open Source Software) + Suporte

22 Estatísticas de Desempenho Node 1 : load_avg: 0.08 write_latency(us): read_latency(us): Node 4 : load_avg: 0.22 write_latency(us): read_latency(us): Node 2 : load_avg: 0.16 write_latency(us): read_latency(us): Node 5 : load_avg: 1.6 write_latency(us): read_latency(us): Node 3 : load_avg: 0.16 write_latency(us): read_latency(us): Read Latency AVG: ~ 1144 us Write Latency AVG: ~ 1066 us

23 Resultados: operações ao longo do dia reads per minute writes per minute

24 Benchmark Benchmarking Top NoSQL Databases, White Paper, DATASTAX CORPORATION, FEBRUARY 2013

25 Benchmark Benchmarking Top NoSQL Databases, White Paper, DATASTAX CORPORATION, FEBRUARY 2013

26 facebook.com/eiti.kimura flickr.com/eitikimura