Criando uma plataforma mundial para engajamento de usuários para a Copa do Mundo 2014 na nuvem da Google

Transcrição

1 Criando uma plataforma mundial para engajamento de usuários para a Copa do Mundo 2014 na nuvem da Google Daniel Viveiros - Head of Technology Site:

2 A COPA DO MUNDO É NOSSA!

3 Será?!?

4

5 Uma plataforma para todo um planeta! Fans do evento Fotos com interações sociais Coletar uma quantidade imensa de imagens de pessoas do mundo todo Diversos canais Capturar automaticament eo consentimento dos usuários Plataforma de Ativação Social Usar essas fotos para montar um grande mosaico para a abertura do evento

6 Escalabilidade

7 10,000,000 de fotos 30 Tb de dados 40,000 fotos / hora (pico projetado)

8 Escalabilidade Global

9 Todo o planeta vai usar a plataforma Mercados locais podem customizar solução usando a plataforma

10 Escalabilidade Global a 1 versão em 3 meses

11 Porque essa é a vida na cidade grande ;-)

12

13 IaaS ou PaaS?

14 IaaS PaaS - Datacenter na nuvem - Escalabilidade e alta disponibilidade projetados - Funciona bem para novas aplicações ou para migrar aplicações existentes - Qualquer linguagem - Pode utilizar plataformas externas como Drupal, Sharepoint etc. - Resumo: flexibilidade e controle - Ambiente de execução na nuvem - Escalabilidade e alta disponibilidade "sem esforço" - Excelente para novas aplicações, ruim para migrar aplicações existentes - Java, Python, PHP or Go! (GAE) - Mais fácil e rápido de construir / manter - É preciso jogar as "regras do jogo" - Resumo: produtividade e abstração

15

16 IaaS Escalabilidade Global a 1 versão em 3 meses PaaS

17 IaaS Escalabilidade? m a d r o c n o Global C a 1 versão em 3 meses PaaS

18 Arquiteturas Híbridas FTW!

19 Arquitetura Híbrida com Google Cloud Platform

20

21 Regra geral: deveria estar na linha de frente de todas as requisições maior facilidade de escalar e suportar altos volumes. Linguagem: Java Principais Frameworks: 1) Objectify (Persistência) 2) Jersey (RESTful Webservices) 3) Guice (IoC) 4) RestFB (Integração com o Facebook) 5) JInstagram (Integração com o Instagram) 6) Twitter4J (Integração com o Twitter) Experimentem! com/dviveiros/gae-project

22 Utilização do Datastore para maior escalabilidade 3 pontos de atenção: 1) O datastore não é uma base relacional, trate-a como tal; 2) Cuidado ao fazer a modelagem dos entity groups, operações de escrita possuem restritos limites por grupos; 3) Em algum momento você vai precisar de contadores. Considere o artigo "Sharding counters" do Google;

23 Planeje na largada o uso de Memcache garantia de melhor performance, escalabilidade e diminuição de custos

24

25 Quando o PaaS mostrar suas restrições (e isso vai acontecer), use IaaS (nesse caso: Google Compute Engine) como complemento arquitetural. Foi usado para: [1] Integração com o Twitter [2] Manipulações complexas de imagens (exemplo: transformar imagem em texto) Atenção: a Google lançou em 25 de março as Managed VMs, que vai facilitar a criação dessas arquiteturas híbridas. com/cloud/managed-vms

26 Integração GAE - GCE GCE GAE: expõe um serviço REST no GAE e faz a chamada dele pelo GCE. Prefira sempre que esse serviço dispare uma Task Queue (push) internamente para processamento assíncrono. GAE GCE: utilizamos uma Task Queue (pull) no GAE para colocar a mensagem e pegamos essa mensagem no GCE utilizando a Task Queue REST API. Pattern request-reply.

27

28

29 E por falar em filas... Usamos filas para quase tudo! - Barramento de eventos (foto criada, foto moderada, rejeitada, etc) - Controle de quota de envio de s - Integração com componentes externos (GCE) usando request-reply - Implementação de API assíncrona - resposta chega ao client via callback com politica/garantia de entrega/retries todo baseado nas características da fila - Receber as notificações das redes sociais - Etc...

30 Todas as imagens estão armazenadas no Google Cloud Storage, facilidade de gerenciamento e confiança. Regra geral: sempre que possível, deixar o GCS receber e fornecer diretamente as imagens, sem camadas intermediárias (URL assinadas).

31 Mais informações em:

32 ImageServices do Google AppEngine (transformações básicas) Manipulação de imagens: ImageMagick (transformações avançadas)

33

34 Redes Sociais e APIs

35

36

37 Desafios para fazer integração de 2 vias em redes sociais: [1] Pense em quotas, se planeje! [2] É difícil negociar limites com as redes sociais! [3] Escrever nas redes sociais é um desafio à parte! Pense em ética e esteja preparado para quotas bem baixas. [4] As APIs são instáveis, tivemos muitos problemas com isso. Considere um firehose (Datasift, GNIP etc) Mais info:

38 Realtime updates / notificações Foco na Fan Page. Listening de tudo, filtro na aplicação Graph API para futuras interações Streaming API Google Compute Engine: long-run process Log para failover Real-time API (subscription / notification) Foco em hashtag específica Subscription só notifica uma vez por hashtag

39

40

41

42 Pense em APIs: [1] Segurança e gerenciamento: planeje-se com relação a isso [2] Site da API: uma boa documentação é fundamental para que outros consigam utilizar [3] Considere um produto para isso (ex. Apigee, Sensedia API Suite etc) Mais info:

43

44

45 Monitoramento

46 Se está no GCE, via de regra, precisa de monitoramento Usamos o Zabbix, solução open source de monitoramento

47 Dá para melhorar o monitoramento do GAE também!

48 Testes de Carga

49 - Utilização do JMeter disparado de máquina local - Utilização do JMeter disparado de máquina na AWS - Integração dos testes de performance na estratégia de CI utilizando o Jenkins - Testes de performance influenciando o design! - Testes terceirizados com empresa externa (igates) - Testes terceirizados com empresa externa especializada em testes globais (SOASTA)

50 Valeu! Daniel Viveiros - Head of Technology / viveiros@ciandt.com Site: