Infraestrutura Imutável. André Midea Jasiskis Rodrigo Flores

Transcrição

1 Infraestrutura Imutável André Midea Jasiskis Rodrigo Flores

2 André Midea Jasiskis Engenheiro de Software 5+ anos de experiência sendo 4 com projetos na Cloud. Trabalhou 1 ano na construção e melhoria da arquitetura de serviços, pipelines de build e automação de tudo no Nubank 2

3 Rodrigo Flores Engenheiro de Software 5+ anos de experiência com desenvolvimento de software (4 anos com Ruby e quase 2 com Clojure) Lida aplicações no Cloud a 3 no twitter rodrigoflores no github rodrigo.flores@nubank.com.br 3

4

5 Nubank ~20k requests por minuto ~15k Messages intra-services por minuto 40+ Serviços GROWING! FASSSST! de 50 funcionários para 350 em 1 ano. 5

6 MOVE FAST BREAK THINGS

7 MAS COM O MINIMO DE RISCO

8 moving fast ssh apt-get install oraclejdk8 mvn nginx jetty scp myproject.war ssh mv /projeto /opt/jetty/webapps curl localhost:8080 WORKS! DONE. 8

9 moving fast Preciso subir o serviço de novo e agora? > @root: history > @root: history > @root: history > @root: fuck!!!! 9

10 Scripts, Chef, Ansible, whatever! > automation-tool install-myserver ruby_server > Installing ruby > Installing Gems > Installing lots of things > Copying project > Extracting project > Starting Project > Project Started!!! You are lucky today, aren t you? Go play some poker. Melhor :) por algumas horas :( 10

11 mas. Error executing action `install` on resource chef_gem[nokogiri]' ---- Begin output of /opt/chef/embedded/bin/gem install nokogiri -q --no-rdoc --no-ri -v "1.6.5" ---- STDOUT: Building native extensions. This could take a while... STDERR: ERROR: Error installing nokogiri: ERROR: Failed to build gem native extension. Running 'compile' for libxml ERROR, review '/opt/chef/ embedded/lib/ruby/gems/2.1.0/gems/nokogiri-1.6.5/ext/nokogiri/ tmp/x86_64-unknown-linux-gnu/ports/libxml2/2.9.2/compile.log' to see what happened. 11

12 MUTABLE STATE IS THE ROOT OF ALL EVIL!

13 sad devopper Heartbleed zero-day Atualizar SO Atualizar Java, Spark, Python, Ruby Coordenar mudanças envolvendo varios serviços

14 MAJOR OUTAGE!!!! PRECISAMOS ROTACIONAR NOSSAS CHAVES DE CRYPTO E SUBIR TODOS OS SERVIÇOS O MAIS RAPIDO POSSÍVEL!

15

16 Diminuir o Risco Controle total do estado Saber as versões que estão rodando, tanto de componentes de sistemas quanto dos nossos serviços Não ficar a mercê do estado de todos os componentes do sistema Possibilidade de subir um novo Nubank a hora que quisermos Atualizações Centralizadas em poucos lugares

17 Diminuir o Risco Uniformidade Mudanças sem medo Adição de novos componentes a infra-estrutura ser extremamente simples. Disaster Recovery Escalabilidade Horizontal, Vertical, Sharding

18 THE IMMUTABLE PATH

19 Imutabilidade: um objeto imutável é um objeto cujo estado não pode ser alterado depois de criado 19

20 20

21 $ git commit -am "a commit" [master c5c5e27] a commit 1 file changed, 1 insertion(+), 1 deletion(-) 21

22 E se o commit c5c5e27 tiver adicionado um bug? 22

23 Um commit é um passo a frente, mantendo o passo atrás fácil de voltar 23

24 Um deploy de uma nova versão é um passo a frente, mantendo a versão anterior fácil de voltar 24

25 Tudo pode ser imutável? 25

26 Artigo da TW 3 camadas de infraestrutura 26

27 Camada Visível: DNS Entries, Load Balancers, CDNs 27

28 Camada volátil: sua aplicação 28

29 Camada persistente: tudo que guarda estado: DB, Mensageria, 29

30 Camadas visíveis e persistente: tendem a ter baixo churn: não são alteradas muitas vezes 30

31 Camada Volátil: alto churn, múltiplos deploys por dia, scale up e scale down 31

32 O que faz sentido ser imutável? * * * * Visível e persistente tendem a ser pouco alteradas Persistente guarda dados Volátil Novas máquinas a cada Deploy Chance de rollback ou de scale up ou down maior 32

33 Versão antiga só morre quando a versão nova está de pé e funcionando 33

34 34

35 Alguma versão deu ruim depois de um tempo? Só voltar a versão antiga 35

36 Mínimo recovery time 36

37 Máquinas são descartáveis 37

38 Servidores voláteis não devem guardar nada que não possa ser re-calculado 38

39 Logs devem ser agregados continuamente 39

40 HOW TO DO IT?

41 2 Fases distintas

42 IMMUTABLE STACK

43 ZK DB MUTABLE SERVICES S3 SERVICE 5 SERVICE 6 SERVICE 7 SERVICE 4 STACK A SERVICE 3 SERVICE 1 SERVICE 2 stack-a.nubank.com.br nubank.com.br

44 Contexto da Stack Configurações dos Serviços Configurações de Infra Vínculos entre Imutável e Mutável 44

45 DEPLOY de uma stack

46 S3 ZK DB MUTABLE SERVICES SERVICE 5 SERVICE 5 SERVICE 6 SERVICE 6 SERVICE 4 SERVICE 4 SERVICE 7 SERVICE 7 STACK A STACK B SERVICE 3 SERVICE 3 SERVICE 1 SERVICE 2 SERVICE 1 SERVICE 2 stack-a.nubank.com.br stack-b.nubank.com.br nubank.com.br

47 S3 ZK DB MUTABLE SERVICES SERVICE 5 SERVICE 5 SERVICE 6 SERVICE 6 SERVICE 4 SERVICE 4 SERVICE 7 SERVICE 7 STACK A STACK B SERVICE 3 STACK B está OK. SERVICE 3 SERVICE 1 SERVICE 2 SERVICE 1 SERVICE 2 stack-a.nubank.com.br stack-b.nubank.com.br nubank.com.br

48 S3 ZK DB MUTABLE SERVICES SERVICE 5 SERVICE 5 SERVICE 6 SERVICE 6 SERVICE 4 SERVICE 4 SERVICE 7 SERVICE 7 STACK A STACK B SERVICE 3 SERVICE 3 SERVICE 1 X nubank.com.br SERVICE 2 SERVICE 1 SERVICE 2 stack-a.nubank.com.br stack-b.nubank.com.br

49 ZK DB MUTABLE SERVICES S3 SERVICE 5 SERVICE 6 SERVICE 7 SERVICE 4 STACK B SERVICE 3 SERVICE 1 SERVICE 2 stack-b.nubank.com.br nubank.com.br

50 IMMUTABLe DEPLOY

51 Contexto de um deploy Exclusivamente para troca de versão 51

52 CODE BUILD CONTAINER Versão: d59eku2 BLUE/GREEN TERMINATE OLD EC2 UPDATE STACK Alterar 1 Unico Parametro HEALTH-CHECKING

53 transforme partes mutáveis em imutáveis

54 Instances Construa Imagens para suas máquinas com o que você precisa.

55 Operational System Use um sistema operacional que preza pela imutabilidade 55

56 Cloud Init - User Data com Super Poderes! 1 write_files: 2 - path: /opt/local/etc/service.env 3 permissions: owner: root 5 content: coreos: 9 units: 10 - name: etcd.service 11 enable: false 12 command: stop name: fleet.service 15 enable: false 16 command: stop name: update-engine.service 19 enable: false 20 command: stop name: format-ephemeral.service 23 command: start name: var-lib-docker.mount 26 command: start name: ec2-metadata.service 1 - name: spark-jobserver.service 2 enable: true 3 command: start 4 content: 5 [Unit] 6 Description=nu-spark-jobserver 7 After=docker.service 8 Requires=docker.service name: farm-lion.service 11 enable: true 12 command: start 13 content: [Install] 17 WantedBy=multi-user.target 18 - name: riemann-health.service 19 command: stop name: riemann-ops-health.service 22 command: stop name: splunk.service 25 command: stop name: logfiles.service 28 command: start 56

57 Dockerize Tenha seus serviços como containers imutáveis e versionados 57

58 DEPLOY scripts!

59 Configurações em um Unico Lugar 1 2 "service" => {:type => :jetty, 3 :java_mem => "-Xms2500M -Xmx2500M", 4 :ec2_type => "c3.large", 5 :squad => "acq-feed", 6 :size => '2', 7 :min_size => '2', 8 :max_size => '8', 9 :scaling_policies => [:cpu_high_alarm, :cpu_very_high_alarm, :cpu_low_alarm], 10 :policies => ["read_secrets", "datomic_peer", "notification_datomic_peer", "sns_endpoints", "read_ s", "read_bills"], 11 :elb => {:visibility => "internet-facing"}, 12 :alarms => HIGH_VOLUME_CLOUDWATCH_ALARMS, 13 :port => 8012, 14 :sgs => [kafka_sg, datomic_sg] + service_group_sgs("notification"), 15 :java_properties => datomic_peer_java_props, 16 :datomic_databases => [{:config_key => "datomic_uri", 17 :transactor => "notification", 18 :database_name => "notification"}], 19 :config => {"ratelimit_redis_host" => rl_redis_host, 20 "s3_surrender_bucket" => "nu-surrender-{{env}}"}} 59

60 Sério, tudo em um único = = = = = [:a, = = = [Amazon::VPN::GVT.new, = { public: { a: { cidr: ' /20', id: 'subnet-1234'}, c: { cidr: ' /20', id: 'subnet-12345'}}, prod: { a: { cidr: ' /24', id: 'subnet-12345'}, c: { cidr: ' /24', id: = { a: { cidr: ' /20', id: 'subnet-1234', nat_eip: ' '}, c: { cidr: ' /20', id: 'subnet-1234', nat_eip: ' '}} 60

61 Receitas Centralizadas e Baseadas na Mesma Abstração \ _ \ _ \ / _ \ '_ \ / _ \ \ _ _ / _) (_) _ _ \_ \,_ / \. / _ \ / \, _ /./console staging Loading environment for deploy... Skipping config: No such file or rb_sysopen -./config/deploy_config.json Skipping config: No such file or rb_sysopen -./config/deploy_secret_config.json Skipping config: No such file or rb_sysopen - /etc/deploy_config.json Skipping config: No such file or rb_sysopen - /etc/deploy_secret_config.json LOCAL is true Current environment is staging on us-east-1 >> 61

62 Receitas Centralizadas e Baseadas na Mesma Abstração irb: MesosCluster.create!( b ) Cloud Formation Template UserData(MesosDefinition) AutoScaling + Launch Configuration Ec2 MESOS USERDATA ELB MESOS CONTAINER 62

63 Receitas Centralizadas e Baseadas na Mesma Abstração Design View 63

64 Receitas Centralizadas e Baseadas na Mesma Abstração 64

65 IMMUTABLE MONITORING

66 Immutable Monitoring Servidores individuais não importam mais Como monitorar performance ao longo do tempo? 66

67 EVENT STREAm PROCESSING

68 Event Stream Processing Receba eventos importantes de todos os servidores, processe e armazene. 68

69 SERVICE 1 HOST 1 CPU S1 LOAD S1 CPU S1 LOAD S1 SERVICE 1 HOST 2 CPU S1 HEALTH S1 STREAM PROCESSOR SERVICE 1 HOST 3 MEM S1 LOAD S1 HEALTH S1

70 CPU S1 HEALTH S1 CPU HEALTH S1 LOAD S1 S1 LOAD S1 CPU S1 MEM S1 LOAD S1 STREAM PROCESSOR HEATLH S1 LOAD S1 CPU S1 MEM S1 TIMESERIES DATABASE

71 RIEMANN Stream Processor com muitos poderes! 71

72 COMMON TASKS

73 Instance LAYER Update

74 Atualizar SO SERVICE 5 SERVICE 6 SERVICE 4 SERVICE 7 1 def coreos 2 stable_835 = ami-f4 3 end STACK B SERVICE 3 SERVICE 1 SERVICE 2 Construa nova AMI Altere UMA linha de código Nova Stack 74

75 DONE!

76 HAPPY DEVOPPER 76

77 UPDATING persistent component

78 Novo Zookeeper ZK MUTABLE SERVICES ZK2 1 Zookeeper.create!( green ) SERVICE 5 SERVICE 5 SERVICE 6 SERVICE 6 SERVICE 4 SERVICE 4 SERVICE 7 Novo Zookeeper (UMA LINHA) SERVICE 7 STACK A SERVICE 3 STACK B SERVICE 3 SERVICE 1 SERVICE 2 SERVICE 1 SERVICE 2 Nova Stack apontando para o novo ZK 78

79 Parallel stacks

80 SERVICE 5 SERVICE 6 SERVICE 4 SERVICE 7 TEST SERVICE 3 SERVICE 5 SERVICE 6 SERVICE 1 SERVICE 4 SERVICE 2 SERVICE 7 STAGING SERVICE 3 SERVICE 1 SERVICE 2 Ter uma copia exata do que roda em produção

81 SERVICE 5 SERVICE 5 SERVICE 6 SERVICE 6 SERVICE 4 SERVICE 4 SERVICE 7 MESOS A SERVICE 7 MESOS B SERVICE 3 SERVICE 3 SERVICE 1 SERVICE 2 Workstreams Paralelos SERVICE 1 SERVICE 2 Sem interferir um ao outro

82 SHARDING

83 MUTABLE SERVICES MUTABLE SERVICES SERVICE 6 SERVICE 5 SERVICE 4 MUTABLE SERVICES SERVICE 6 SERVICE 5 SERVICE 4 MUTABLE SERVICES SERVICE 7 STACK B SERVICE 7 STACK C SERVICE 3 SERVICE 3 SERVICE 1 SERVICE 2 SERVICE 6 SERVICE 5 SERVICE 1 SERVICE 2 SERVICE 6 SERVICE 5 SERVICE 4 SERVICE 4 SERVICE 7 STACK A SERVICE 7 STACK D SERVICE 3 SERVICE 3 SERVICE 1 SERVICE 2 SERVICE 1 SERVICE 2 ROUTER nubank.com.br

84 CULTURAL CHALLENGE

85 85

86 CLI Tools

87 $ nu services scale prod notification 10 87

88 Qualquer pessoa consegue fazer alterações 88

89 89

90 Empowerment para qualquer engenheiro para mexer na infraestrutura 90

91 Melhor tipo de documentação 91

92 Não precisa chamar o guru de infraestrutura 92

93 Autoscaling Policies

94 IFTTT: só que para sua infra estrutura 94

95 Se a média de uso CPU nos últimos 5 min for maior que 70%, então suba mais uma máquina 95