Cuidando de mais de 1 milhão de usuários por rodada no CartolaFC

Tamanho: px

Começar a partir da página:

Download "Cuidando de mais de 1 milhão de usuários por rodada no CartolaFC"

Leonardo Vidal Beretta
6 Há anos
Visualizações:

1 Cuidando de mais de 1 milhão de usuários por rodada no CartolaFC

2 - bacharel em informática PUC-Rio - full stack developer - ~ 10 anos de globo.com - ~ 6 anos em equipes ágeis Alexandre Saboia

4 cultura centrada no futebol Fonte: IBGE Stochos Sports Entertainment

7 números

10 + de 3 milhões de usuários

11 histórico de recordes de times escalados em uma rodada 1,800K 1,350K 900K 450K

histórico de recordes de times escalados em uma rodada 1,800K 1.766.

12 histórico de recordes de times escalados em uma rodada 1,800K ,350K 900K 450K times escalados na rodada

13 histórico de recordes de times escalados em uma rodada 1,800K 1,766K 1,350K + 1 Mi 1,277K 1,284K 1,151K 1,371K 900K 450K times escalados em menos 750K de 24hs 573K

histórico de recordes de times escalados em uma rodada 1,800K 1,350K 900K 450K + 200 1,766K Mi

14 histórico de recordes de times escalados em uma rodada 1,800K 1,350K 900K 450K ,766K Mi 1,371K 1,277K 1,284K 1,151K requests a API em um 750K domingo 573K

Como suportamos todo este volume? http://immortaldc.

15 Como suportamos todo este volume?

16 como suportamos todo este volume? game aplicação web api multi-device atualização processamento dos dados admin controle do jogo

17 como suportamos todo este volume? aplicação infraestrutura banco de dados atualização de rodada

18 como suportamos todo este volume? aplicação infraestrutura banco de dados atualização de rodada

19 tecnologias aplicadas beanstalkd asyncmongo

20 tecnologias aplicadas

tecnologias aplicadas http://nginx.org/ https://github.

21 tecnologias aplicadas Por que não?

22 benchmark x

23 benchmark x alta performance e baixo consumo de recursos

24 outros pontos fortes alta performance baixo consumo reverse proxy cache expiração ativa load balancer

25 Por que?

27 outros pontos fortes performance i/o não bloqueante assíncrono open source simples

29 arquitetura controller repository template model cache

30 cache estratégia: cachear as instâncias e também os def get_by_status (status_id, rodada_id):!! atleta_rodada_ids = AtletaRodada()!!!!!!!.ids_by_status(status_id=status_id, rodada_id=rodada_id)!! atletas_lesionados = []!! for atleta_rodada_id in atleta_rodada_ids:! atleta = AtletaRodada().get(atleta_rodada_id)! atletas_lesionados.append(atleta)!! return atletas_lesionados

31 ganhando velocidade controller monta a estrutura chamadas ajax montam determinadas partes cache estático dos jsons destas partes

32 ganhando velocidade otimização dos seletores jquery um único arquivo.js minificado redução no tamanho e no número de imagens versionamento dos assets

33 como suportamos todo este volume? aplicação infraestrutura banco de dados atualização de rodada

34 em ação internet usuário worker worker worker worker

35 em ação internet usuário Load Balancer wo wo wo wo wo wo wo wo wo wo wo wo

36 cartola box API GAME beanstalkd API e Game compartilham recursos

37 boxes e mais boxes API GAM beanstalkd

38 boxes e mais boxes API GAM API GAM API GAM API GAM API GAM API GAM beanstalk beanstalkd beanstalk beanstalk beanstalkd beanstalkd

39 volume de acessos cenário: consulta a pontuação parcial via api pense: requests dinâmicos com tempo de resposta em 100ms é aceitável? e se depois do request cachearmos por 15 min em um arquivo estático? e se você tiver conexões simultâneas? e se você tiver 1.5Mi de times escalados?

40 volume de acessos cenário: consulta a pontuação parcial via api ações: requests > 100ms viram problema neste cenário de concorrência otimização para ter < 50ms rever a relevância de cada dado retornado pela API mudar a estratégia de entrega da api problemática

41 testes de performance apache benchmark não é necessário que sua aplicação chegue em produção wrk a HTTP benchmarking tool é possível acompanhar a performance do seu código rodando testes da sua máquina usar as ferramentas ao longo do desenvolvimento para identificar gargalos

42 como suportamos todo este volume? aplicação infraestrutura banco de dados atualização de rodada

43 ~166 GB Mi tamanho físico do banco até a rodada #20 de linhas em somente uma tabela até a rodada # Mi de novas linhas a cada rodada processada

44 banco de dados vip de escrita failover read only master slave vip de leitura

45 banco de dados vip de escrita failover read only master Atraso na replicação da escrita implica na retirada da slave máquina slave do vip vip de leitura

46 boas estratégias querys simples cachear resultados de querys básicas cruzar os dados na aplicação saber o que o ORM está fazendo querys com tempo > 50 ms? update? delete + insert

47 partitions tabela enorme rodada 1 rodada 2 rodada 3 rodada N

48 partitions tabela enorme sub-tabela partition 1 rodada 1 rodada 1 rodada 2 sub-tabela partition 2 rodada 2 rodada 3 rodada N sub-tabela partition 3 rodada 3 sub-tabela partition N rodada N

49 como suportamos todo este volume? aplicação infraestrutura banco de dados atualização de rodada

50 multiprocesso multiprocesso em Python: from multiprocessing import Process 24 Cores CPU

51 multiprocesso multiprocesso 24 Cores CPU Cores CPU

52 pré-cache estratégia: cachear as instâncias e também os relacionamentos dados básicos rodada, partidas, clubes, status, esquema tático dados dos atletas info do atleta, pontuação, mercado e filtros

53 pré-cache a estratégia: cachear as instâncias e também os relacionamentos dados dos times info do time, pontuação, escalação dados das ligas info da liga, ranking, times de uma liga, ligas de um time

54 Perguntas?

Documentos relacionados

um token de requisição garante que o usuário final autorize a aplicação; um token de acesso permite que a aplicação execute as operações da API.

um token de requisição garante que o usuário final autorize a aplicação; um token de acesso permite que a aplicação execute as operações da API. 6 Implementação Este capítulo irá apresentar as tecnologias e os protocolos utilizados no Mobile Social Gateway e explicar de forma mais detalhada o papel de cada componente na arquitetura e o porquê de