Apis Rest Autoescaláveis

Transcrição

1 Padrões de design para Apis Rest Autoescaláveis SEM COMPLICAÇÃO QCONSP 2016 Fernando Ultremare

2 About me Full-stack developer desde 1998 Gerente geral de projetos na Dextra Sistemas Criador do YAWP!

3

4 Agenda Introdução Padrões de design Automação de ambientes Na prática com o Google Cloud Projetos reais & referências

5 Introdução

6 APIs everywhere Web, mobile, microservices Grande número de usuários Grande volume de dados Novos requisitos de escalabilidade

7 Exemplos de aplicações Global Apps Facebook, Twitter, Gmail Apps para consumidores Pedidos on-line, banking, e-commerce

8 Escalabilidade vertical Instâncias mais caras Dados em memória Ponto único de gargalo Menor complexidade

9 Escalabilidade horizontal Instâncias mais baratas Dados distribuídos Gargalo distribuído Maior complexidade

10 Pode ser bem difícil Sistemas distribuídos Consistência eventual Ausência de Joins Automação de ambientes

11 Padrões de design

12 Aplicação de exemplo Item Aggregation order count count by status n 1 * 1 * 1 Order City State status: created prepared delivered

13 Aplicação de exemplo Código fonte bit.ly/qconsp2016

14 Roteamento Stateless requests No client affinity Baixa latência Evite grandes sequências server-side Chamadas assíncronas (outros serviços) Use cache intensivamente Evite locks 1 doc = 1 transação

15 Roteamento 1 doc = 1 tx Create Order Security Validation Regras Item Item Client Side Server Side

16 Roteamento 1 doc = 1 tx Create Order Security Validation Regras Add Item Security Validation Regras Add Item Security Validation Regras Client Side Server Side

17 Sharding High-throughput para escrita Múltiplas instâncias de persistência Shard Key Replicação Dificuldade para Joins

18 Sharding Create POST /orders Shard Key replicação entre shards Routing grupo de shards bye bye joins

19 Consultas e consistência eventual High-throughput para leitura Shard Groups com menos carga Nós podem estar desatualizados Eventual Possível mas incerto Eventually At an unspecified future time

20 Consultas e consistência eventual

21 Consultas e consistência eventual GET /orders?city=sao-paulo nós quentes replicação futura

22 Consultas e consistência forte Consultas por chave Grupos de documentos por chave pai Alterações até o momento Locks Mantenha grupos User Sized ~ 1 write / sec

23 Consultas e consistência forte

24 Consultas e consistência forte GET /orders?city=sao-paulo espera transações nós quentes

25 Pipelines assíncronas Joins Views materializadas Sums, counts, avgs Baixo impacto na latência 1 write / sec Agregadores Consistência futura

26 Pipelines assíncronas POST /orders GET /cities GET /states status = 200 Order City State Fluxo Assíncrono

27 Pipelines assíncronas POST /orders GET /cities GET /states status = 200 Order City State Fluxo Assíncrono

28 Pipelines assíncronas POST /orders GET /cities status = 200 Order City acumuladores evitam contenção sequenciamento 1 write / sec de escrita

29 Pipelines assíncronas POST /orders City GET /cities Order Daily Report GET /daily Múltiplas pipelines em paralelo Monthly Report GET /monthly

30 Pipelines assíncronas GET /sales POST /orders Order POST /prices Price Sales Report POST /stock Stock Pipelines convergentes (Joins)

31 Automação de ambientes

32 Automação Cloud intensive Todas as camadas Front / back-end instances, BD, filas, cache Scale Up, Scale Down (elástico)

33 Scale up and down Evita capacidade ociosa Menor custo de saída infraestrutura manhã tarde noite Menor custo médio Picos inesperados tempo

34 Soluções e ferramentas

35 Na prática com o Google Cloud

36 Aplicação de exemplo Item Aggregation order count count by status n 1 * 1 * 1 Order City State status: created prepared delivered

37

38 Projetos reais & referências

39 Projetos reais Pense duas vezes High-throughput Dados >> memória Simples o suficiente (why not?)

40 Projetos reais Vendas / CRM organização de eventos Delivery de comida

41 Referências Design for Scale (Appengine) Shard or not shard Appengine data pipelines

42 Referências Código fonte bit.ly/qconsp2016 YAWP! Framework yawp.io

43 @feroult Obrigado!