Inovação em Escala na Amazon Web Services. Julio M.

Transcrição

1 São Paulo

2 Inovação em Escala na Amazon Web Services Julio M.

3 Cada vez mais rápido! Transformações em escala Apenas com claros benefícios econômicos Mainframes vs. UNIX Super Servers UNIX Super Servers vs. x86 Servers Está acontecendo novamente Data centers, para a nuvem, para a nuvem* Transições anteriores levaram décadas A diferença está no ritmo de inovação! Maiores benefícios movem transformações mais rápidas

4 Crescimento da AWS

5 Escala em Perspectiva Todo dia, a AWS adiciona capacidade suficiente para atender o equivalente à Amazon.com quando já era uma empresa de faturamento de $7 Bilhões

6 Tire as redes do caminho O custo relativo de redes está aumentando Preço de servidores e storage caindo Custos de redes tendem a dominar Menos inovação em Networking Custos verticais integrados Margens indefensáveis Soluções da AWS: Redes personalizadas (H&S&P) Links privados gerenciados 18% 13% Custos Típicos 4% Servers 57% Networking Equipment Power Distribution & Cooling Power 8% Other Infrastructure 3yr server & 10 yr infrastructure amortization

7 AWS Worldwide Network Backbone

8 Exemplo de Região AWS AZ Transit AZ AZ AZ AZ Transit Latência entre AZs << 2ms 25Tbps peak inter-azs traffic

9 Por quê a AWS oferece AZs? Replicação Síncrona ou Assíncrona? Escritas em SSD levam ~ 1 a 2ms LA pra New York = 74ms Dilema em caso de falhas: Failover e perda de transações Não failover e perda de disponibilidade Use as AZs! <2ms permite replicação síncrona Pode ser combinado com replicação regional assíncrona 74ms

10 Exemplo de Zona de Disponilidade AZ Transit AZ AZ AZ AZ Transit

11 Exemplo de AWS Data Center

12 Rack, Server & NIC

13 Latência e Variabilidade em Redes

14 Projetos de Storage e Servidores Personalizados Servidores OEM Projeto geral para uma propósitos diversos Rede mundial de distribuição Não econômicos Servidores AWS Servidores otimizados para fins específicos Implementações em hardware de núcleos comuns Processadores Intel com desempenho exclusivo DCs, servers, networking, storage projetados sob especificações integradas

15 A diferença em bancos de dados Tradicionalmente dominado pelos Big 3 Oracle, SQL Server, & DB2 Difíceis de administrar e escalar Impossíveis de substituir NoSQL escala melhor e alivia algumas dificuldades MongoDB, Neo4J, Cassandra, Cloud NoSQL escala ilimitadamente e não exige administração e.g., Amazon DynamoDB

16 Amazon DynamoDB NoSQL otimizado para latência e escala 3x requisições no último ano Resposta em um dígito de ms Latência baixa e constante 4x storage no mesmo período Funcionalidades principais Suporte a JSON Itens de 400KB Índices Secundários Globais Fluxos Replicação entre regiões

17 Administração de Bancos Relacionais Fáceis de usar, difíceis de administrar SGBDRs são o núcleo de muitas aplicações Também a maior fonte de falhas, dores de cabeça e perdas RDS MySQL alivia a administração Instalação, Configuração, Segurança, Backups, Redundância, Réplicas Amazon RDS MySQL, Oracle, SQL Server, & PostgreSQL Não resolve as limitações dos SGBDs

18 RDS Multi-AZ Dificilmente se atinge mais de 3 noves em um único data center Replicação Síncrona Multi-AZ Não é novidade EMC SRDF/S & Oracle Fast Start Failover Custo de versões enterprise RDS MySQL Multi-AZ Mais noves e horas de sono! 40% 35% 30% AZ1 AZ2 Synchronous Replication Multi-AZ RDS % of all RDS 40% 26% 25%

19 Amazon Aurora Storage Engine Personalizado Funcionalidades Enterprise Preços Cloud Compatível com MySQL 5.6 Storage Desacoplado Três AZs sem pausas em casos de falha de um DC Mesmo a perda hipotética de dois DCs não causa perdas Replicação Síncrona AZ 1 AZ 2 SQL Txns Caching Store Store Store Store AZ 3 Store Store

20 Amazon Aurora Performance MySQL atual com novo gerenciador de storage 3x write performance (sysbench) 5x read performance Suporta até 16 read replicas (RDS mysql: 5) 400x menos lag (2,000ms vs 5ms) Tabelas de até 64TB (RDS/MySQL: 3TB) Failover instantâneo (no database crash recovery time) Recuperação automática em caso de falhas Sem impacto operacional

21 Amazon Redshift Parallel SQL Data Warehouse Até 128 servidores em paralelo DW Colunar / OLAP Custo disruptivo: $1,000/TB/Year Serviço de maior crescimento 1000s de clientes Clientes de muitos PB em produção Provisionamento, Redimensionamento e demais tarefas automatizadas Escala Massiva: DW1: HDD; scale from 2TB to 2PB DW2: SSD; scale from 160GB to 326TB Ingestion, Backup, & Restore Internal VPC Customer VPC JDBC/ODBC Full 10Gbps Links

22 Amazon EBS a 20,000 IOPS Provisioned IOPS (SSD) Max volume to 16TB (From:1TB) EBS Max I/O rate to 20,000 IOPS (From:4k IOPS) Max throughput to 320MB/s (From:180MB/s) General Purpose (SSD) Max volume size to 16TB (From:1TB) Max I/O rate to 10,000 IOPS (From:3k IOPS) Max throughput to 160MB/s (From:128 MB/s)

23 Desafios Internos Medições da AWS Dezenas de milões de registros/s TBs/hora 100,000s de fontes internas Escalável, baixo custo, auditável, com alertas em tempo real Amazon Kinesis: Produtores chamam put() Número sequencial retornado Dados distribuídos entre shards Escalável por shard: 1 MB/s & 1000 TPS

24 Infraestrutura de Energia Alguns datacenters com subestações próprias Menor custo e construção mais rápida Acordos de intercâmbio de energia Firmware switchgear personalizado 3 regiões 100% neutras em carbono: US West (Oregon) AWS GovCloud (US) EU (Frankfurt)

25 Ritmo de inovação na AWS AWS anunciou 1,407 novas funcionalidades ou seviços desde * * As of April 30, 2015

26

27

28

29

30 Random Forest 1.50 Kaggle Top 0.38 Amazon Machine Learning 0.63

31 Por onde começar? Comunidade no Brasil Laboratórios Gratuitos Nível de Uso Gratuito Treinamentos Presenciais Canal do YouTube

32 E depois? Documentações dos Serviços Guias de Soluções Centrais de Arquitetura Programa de Startups

33 MK33BR2015

34 Julio M. Obrigado! Perguntas?