Cloud Ninja: Rede para Faixa-Preta. Fabio Alves Moreira, Arquiteto da Bcash Alex Coqueiro, Arquiteto de Soluções para o Setor Público

Transcrição

1 São Paulo

2 Cloud Ninja: Rede para Faixa-Preta Fabio Alves Moreira, Arquiteto da Bcash Alex Coqueiro, Arquiteto de Soluções para o Setor Público

3 Desafios para Arquitetura de Redes Rede como habilitar o negócio Velocidade, inovação, flexibilidade, capacidade elástica Rede controlada Previsível, uniforme, padronizada Rede suportando requisitos de aplicações legadas IP estático, Multicast

4 Agenda Automação Manipulação de IP s Virtual IP Multicast Experiência da Bcash

5 Automação 2015, Amazon Web Services, Inc. or its affiliates. All rights reserved

6 Maturidade na Automação de Rede Automação Básica Automação na construção de VPC e seus respectivos componentes Automação Intermediária Sofisticação da automação indo além da construção inicial da rede Automação Avançada Configuração Dinâmica

7 Automação Básica de Rede AWS CLI aws ec2 create-vpc --cidr-block /16 aws ec2 replace-route --route-table-id $ROUTE_TABLE_ID --destination-cidr-block /0 --instance-id $INSTANCE_ID aws ec2 attach-network-interface --network-interface-id $ENI --instance-id $INSTANCE_ID --device-index 1 aws ec2 assign-private-ip-addresses --network-interface-id $ENI --private-ip-addresses

8 Demo Criação de VPC e Subnet com CLI

9 Automação Básica de Rede Scripts customizados #!/bin/sh export AWS_DEFAULT_REGION="us-east-1" VPC_ID=`aws ec2 create-vpc --cidr-block /16 --output text awk '{print $6;}'` SUBNET_ID=`aws ec2 create-subnet --vpc-id $VPC_ID --cidr-block /24 --output text awk '{print $6;}'` echo "Created $VPC_ID & $SUBNET_ID" #Clean up aws ec2 delete-subnet --subnet-id $SUBNET_ID aws ec2 delete-vpc --vpc-id $VPC_ID

10 Automação Básica de Rede Amazon SDK #!/usr/bin/python import boto.vpc Region= us-east-1 conn = boto.vpc.vpcconnection(region) vpc = conn.create_vpc( /16 ) subnet = conn.create_subnet(vpc.id /24 ) Print "Created +vpc.id+ & +subnet.id #Clean up conn.delete_subnet(subnet.id) conn.delete_vpc(vpc.id)

11 Automação Básica de Rede Amazon SDK #Powershell script Initialize-AWSDefaults -Region 'us-east-1' #Create new VPC $vpc = New-EC2Vpc -CidrBlock ' /16' $subnet = New-EC2Subnet -VpcId $vpc.vpcid -CidrBlock ' /24' -AvailabilityZone 'us-east-1d' Write-Host Created VPC: " $vpc.vpcid " subnet: " $subnet.subnetid #Clean up VPC Remove-EC2Subnet $subnet.subnetid -Force Remove-EC2Vpc $vpc.vpcid -Force

12 Automação Básica de Rede Permite que a rede seja: Automatizada Tracking Versionada Ótimo Inicio! Aspiração de diversos clientes

13 Automação Intermediária de Rede Gestão de mudanças da rede Gerenciando a extensão da rede Peering e VPN NAT e VPN Automatizar configurações específicas de rede EIPs, secondary IP, roteamento de IP s virtuais (VIPs)

14 Exemplo de Topologia com NAT NAT NAT Public Subnet 1 Public Subnet 2 Private Subnet 1 Private Subnet 2 Availability Zone 1 Availability Zone 2 SA-east-1

15 Automação Intermediária de Rede AWS CloudFormation "Resources" : { "VPC" : { "Type" : "AWS::EC2::VPC", "Properties" : { "CidrBlock" : /16, "Tags" : [ { "Key" : Name", "Value" : VPCName } ] } }, "PublicSubnet" : { "Type" : "AWS::EC2::Subnet", "Properties" : { "VpcId" : { "Ref" : "VPC" }, "CidrBlock" : /24, "Tags" : [ { "Key" : "Network", "Value" : "Public" } ] } }

16 Demo Uso de CloudFormation para Topologia de NAT

17 Automação Intermediária de Rede Controlar as mudanças na rede via CloudFormation Templates controlados e versionados UpdateStack Adiciona e remove recursos Modifica regras de security group Eventos são acompanhados no CloudFormation

18 Automação Intermediária de Rede Expansão In-region com VPC peering Peering handshake pode ser automatizado via script CloudFormation AWS::EC2::VPCPeeringConnection Expansão Cross-region VPC, routes, VPN instances podem ser automatizados Vpc2vpc é um exemplo vpc2vpc create / / /16

19 Script para expansão de rede (Peering) "Resources": { "PeeringConnection": { "Type": "AWS::EC2::VPCPeeringConnection", "Properties": { "VpcId": {"Ref": "VPC1"}, "PeerVpcId": {"Ref": "VPC2"} } }

20 Adequação de Rotas "Resources": { "PeeringConnection": { "Type": "AWS::EC2::VPCPeeringConnection", "Properties": { "VpcId": {"Ref": "VPC1"}, "PeerVpcId": {"Ref": "VPC2"} } } "PeeringRoute1" : { "Type" : "AWS::EC2::Route", "Properties" : { "DestinationCidrBlock": " /16", "RouteTableId" : { "Ref" : "RouteTable1" }, "VpcPeeringConnectionId" : { "Ref" : "PeeringConnection" } } }, }

21 Automação Intermediária de Rede Gerenciamento de componentes (Ex: HA em NAT) #!/bin/sh NAT_ID= i NAT_RT_ID= rtb REGION= us-east-1 # So we can monitor the other NAT instance NAT_IP=`aws ec2 describe-instances --instance-id $NAT_ID --region $REGION grep PrivateIpAddress -m 1 awk '{print $2;}' sed -re 's/[",]//g'` aws ec2 replace-route --route-table-id $NAT_RT_ID --instance-id $Instance_ID --destination-cidr-block /0 --region $REGION

22 Demo Teste de HA com NAT

23 Novo Cenário de NAT NAT Auto Scaling Group Public Subnet 1 Public Subnet 2 Private Subnet 1 Private Subnet 2 Availability Zone 1 Availability Zone 2 SA-east-1

24 Automação Avançada Rede Automação Dinâmica: Responde dinâmicamente quando uma condição da aplicação ou rede é modificada Exemplos Bootstraping de instâncias VIP sendo reassociados com base na resposta do Auto Scaling Novas subnets com rotas dinâmicas Criar VPN s quando novas regiões estão online

25 Automação Avançada Rede Abordagem Dinâmica Armazenamento de informações dinâmicas em um repositório (external store) Repositórios Padrões Amazon S3, Amazon DynamoDB, Configuration Management Tool Tags

26 Automação Avançada Rede Network tagging Tags para Route table NAT = true NATAZ = [any, us-east-1a]

27 Exemplo de Tag com Múltiplos NAT s NAT NAT Public Subnet 1 TAG NATAZ AZ1 TAG NATAZ AZ2 Public Subnet 2 Private Subnet 1 Private Subnet 2 Availability Zone 1 Availability Zone 2 SA-east-1

28 Exemplo de TAG com Regiões Diferentes TAG VPN EIP TAG VPN EIP Public Subnet 1 TAG VPN true Public Subnet 2 TAG VPN true Private Subnet 1 Private Subnet 2 Availability Zone 1 Availability Zone 1 SA-East-1 US-East-2

29 Script para NAT dinâmica #!/bin/bash INSTANCE_ID=`curl --silent AZ=`curl --silent REGION="${AZ%?}" MAC=`curl --silent VPC_ID=`curl --silent

30 Script para NAT dinâmica #!/bin/bash INSTANCE_ID=`/usr/bin/curl --silent AZ=`/usr/bin/curl --silent REGION="${AZ%?}" MAC=`curl --silent VPC_ID=`curl --silent ROUTE_TABLES=`aws ec2 describe-route-tables --region $REGION --output text --filters "Name=tag:NATAZ,Values=any,$AZ" grep ROUTETABLES awk '{print $2}'`

31 Script para NAT dinâmica #!/bin/bash INSTANCE_ID=`/usr/bin/curl --silent AZ=`/usr/bin/curl --silent REGION="${AZ%?}" MAC=`curl --silent VPC_ID=`curl --silent ROUTE_TABLES=`aws ec2 describe-route-tables --region $REGION --output text --filters "Name=tag:NATAZ,Values=any,$AZ" grep ROUTETABLES awk '{print $2}'` # Parse through RouteTables that need to be modified for MY_RT_ID in $ROUTE_TABLES; do aws ec2 replace-route --route-table-id $MY_RT_ID --destination-cidr-block /0 --instance-id $INSTANCE_ID` --region $REGION done

32 Automação Avançada Rede Scripts simples podem ser bem poderosos Criação dinânica e resiliênte de rede e seus componentes Responder as aplicações ou aos seus requisitos de negócio

33 Manipulação de IP 2015, Amazon Web Services, Inc. or its affiliates. All rights reserved

34 Manipulação de IP Endereçamento de Virtual IP (VIP) Suporte a casos de uso menos amigáveis ao paradigma de nuvem Multicast Suporte ao legado com dependência de Multicast

35 Abordagem tradicional com IP s virtuais Elastic IP aws ec2 associate-address network-interface-id eni-abc123d4 --allocation-id [EIP Allocation ID] --allow-reassociation Availability Zone SA-east eni-abc123d4 Availability Zone

36 Abordagem tradicional com IP s virtuais IP Secundário aws ec2 assign-private-ip-addresses --private-ip-addresses network-interface-id eni-123abcde --allow-reassignment Availability Zone SA-east

37 Outra Abordagem com IP s virtuais Roteamento de IP virtual #ifconfig eth0: /32 up aws ec2 replace-route --route-table-id [Route Table ID] --destination-cidr-block /32 --instance-id [Instance ID] Availability Zone AWS Region Availability Zone

38 Passo-a-Passo Configurar sua instância com outro IP # ifconfig eth0: /32 up Desabilitar SRC/DST checking aws ec2 modify-instance-attribute --instance-id [Instance ID] no-source-dest-check Usar API replace-route para direcionar tráfego aws ec2 replace-route --route-table-id [Route Table ID] --destination-cidr-block /32 --instance-id [Instance ID]

39 Comparativo das abordagens Abordagem Pros Contras EIP Multi-AZ Somente IP Público Secondary IP IP Público e/ou Privado Single AZ Roteamento do VIP Multi-AZ Somente IP Privado Acessível somente na VPC

40 Multicast Algumas aplicações legadas requerem multicast Descoberta de Nós (Node discovery) Gerenciamento de Sessão (Session management) Failover automático

41 Multicast na AWS Não suportado diretamente Pode ser implementado com Overlay Network Túneis GRE ou L2TP, ou com ferramentas como Ntop s N2N Subnet /24 Subnet /24

42 Automatizando GRE multicast overlay Configuração de GRE pode ser automatizada Configuração de Multicast armazenada em tags Novos membros checados periodicamente (60 segundos) TAG: multicast App1, /24 TAG: multicast App1, / /24 Overlay Community: App TAG: multicast App1, /24 Subnet /20 Subnet /20

43 Demo GRE Overlay Multicast

44 Considerações sobre Multicast Tecnicamente não é multicast Pacotes Multicast são empacotados em Unicast Não é uma solução para escalar unicast Overhead adicional GRE adicional 38 bytes (MTU de 1500 irá efetivamente ser 1462) Adequado para clusters menores (Legado) App server node discover Baixo volume de tráfego

45 Scripts Utilizados Nesta Demo Disponível para download

46 Experiência da Bcash 2015, Amazon Web Services, Inc. or its affiliates. All rights reserved

47 As soluções da AWS quebraram paradigmas em TI, onde agora nossos Especialistas pensam não apenas em TI, mas em como atingir as metas do nosso negócio. A AWS simplificou como implementar uma solução de Alta Disponibilidade e CUSTOS baixos. - Fábio Alves Moreira, Head of IT Bcash é a solução completa para quem compra ou vende em lojas virtuais, blogs e websites, desenvolvida para transações rápidas e seguras na internet. Mais de 7 milhões de compradores ativos Sistema Anti-fraude com Rede Neurais da Fcontrol integrado

48 Ter uma infraestrutura que suporte meu crescimento rapido, disponibilidade e ROI baixo. Escalabilidade para suportar a expansão dos negócios; Segurança é essencial para nosso mercado. Ter um ambiente de rede complexo, com implementação simples. Alta Disponibilidade e Custos que são condizentes com minha realidade.

49 Arquitetura Bcash

50 Dificuldades e Erro de Planejamento VPN entre Regiões E aí? VPC muito pequena Nova VPC VPC peering

51 Obrigado

52 São Paulo