DevOps na Zendesk DEVOPS LEAD SENIOR DEVELOPER OPERATIONS ENGINEER

Transcrição

1 DevOps na Zendesk Eduardo Saito! DEVOPS LEAD Cassiano Aquino! SENIOR DEVELOPER OPERATIONS ENGINEER

2 Agenda! Zendesk Arquitetura Processos Ferramentas Cultura

3 Agenda! Zendesk Arquitetura Processos Ferramentas Cultura

4 FUNCIONÁRIOS 500+ FUNDADA 2007 ORIGEM Denmark MATRIZ San Francisco STOCK ZEN TIME DEVOPS ESCRITÓRIOS DUBLIN COPENHAGEN LONDON MADISON SAN FRANCISCO TOKYO SINGAPORE` SÃO PAULO MELBOURNE

5

6 Twitter Fone Compartilhamento de tickets Facebook Help center Chat Support tab API

7

8 clientes

9 Agenda! Zendesk Arquitetura Processos Ferramentas Cultura

10 Agenda! Zendesk Arquitetura Processos Ferramentas Cultura

11 ARQUITETURA CDN LB Workers App DB

12 ARQUITETURA CDN LB Workers App DB

13 ARQUITETURA LB CDN Proxy Workers LB App DB

14 ARQUITETURA LB CDN Proxy Workers LB App DB

15 ARQUITETURA LB CDN Proxy Workers LB App DB

16 ARQUITETURA LB CDN Proxy Workers LB App DB

17 ARQUITETURA CDN POD1 - US East Coast POD2 - US West Coast POD3 - Europe

18 ARQUITETURA CDN POD1 - US East Coast POD2 - US West Coast POD3 - Europe

19 ARQUITETURA CDN 1 - Edgecast CDN 2 - AWS Cloudfront CDN 3 - POD1 - US East Coast POD2 - US West Coast POD3 - Europe

20 Agenda! Zendesk Arquitetura Processos Ferramentas Cultura

21 Agenda! Zendesk Arquitetura Processos Ferramentas Cultura

22 Processos Projetos Configuração Releases Requisições Problemas Incidentes

23 Processos Projetos Configuração Releases Requisições Problemas Incidentes

24 Processos Projetos Configuração Releases Requisições Problemas Incidentes

25 Processos Projetos Configuração Releases Requisições Problemas Incidentes

26 PROCESSOS - GERENCIAMENTO DE CONFIGURAÇÃO Mudanças de configuração exigem: Config Releases um ticket, ligado no Git via comentário no commit +1 (Peer-review), feito durante o Pull-Request Problemas Incidentes comunicação no canal de Ops no momento da mudança OP-123

27 PROCESSOS - GERENCIAMENTO DE CONFIGURAÇÃO Mudanças médias/grandes exigem: Config Releases plano de execução/roll-back, aprovação do gerente comunicação prévia via a todos stakeholders Problemas Incidentes inclusão no calendário de mudanças (Google Calendar) OP-123

28 PROCESSOS - GERENCIAMENTO DE RELEASE Releases são: Config Releases sempre executados via ferramenta Problemas Incidentes podem ser executados pelos desenvolvedores são comunicados no canal de Ops

29 PROCESSOS - GERENCIAMENTO DE RELEASE Config Releases Problemas Incidentes

30 PROCESSOS - GERENCIAMENTO DE INCIDENTES Plantão follow-the-sun durante a semana. Config Problemas Releases Incidentes San Francisco Melbourne Dublin Nos fins-de-semana não fazemos follow-the-sun, para minimizar fim-de-semanas frequentes de plantão

31 PROCESSOS - GERENCIAMENTO DE INCIDENTES Config Releases Problemas Incidentes Canal dedicado Suporte, para discutir Engenharia, Ops incidentes colaboram durante o Feedback incidente imediato Ao final do incidente, um no dos mesmo canal sumário é preparado e Os clientes são mantidos clientes via twitter, circulado nos ML de informados com updates via integrado engenharia e suporte twitter a cada minutos, e via seus tickets.

32 PROCESSOS - GERENCIAMENTO DE PROBLEMAS Gerenciamento de Problemas Config Releases reunião semanal de Gerenciamento de Problemas inclui Ops, Engenharia e Customer Support Problemas Incidentes

33 PROCESSOS - GERENCIAMENTO DE PROBLEMAS 1) estatísticas dos últimos 90 dias Config Releases Capacidade 5 Configuração 5 Hardware 8 Problemas Incidentes Humano 17 Software 65

34 PROCESSOS - GERENCIAMENTO DE PROBLEMAS 2) post-mortem Config Releases Problemas Incidentes

35 PROCESSOS - GERENCIAMENTO DE PROBLEMAS 3) remediation items - ticket para cada item Config Releases classificação: se alto impacto, Problemas Incidentes ou alto risco de reincidência = crítico follow-up em todos os ítens críticos

36 Agenda! Zendesk Arquitetura Processos Ferramentas Cultura

37 Agenda! Zendesk Arquitetura Processos Ferramentas Cultura

38 Cliente satisfeito! Suporte responde ao cliente Equipe técnica provê detalhes ao Suporte, ou responde Suporte diretamente precisa atribui de ou ao ajuda CC cliente ticket técnica, à escala o equipe problema necessária para a equipe correta (Dev / Ops / etc)

39 OP-123

40 WORKFLOW BRANCH caquino/ OP-123

41 WORKFLOW COMMITS

42 WORKFLOW TRAVIS-CI / RSPEC SERVERSPEC PULL REQUEST

43 WORKFLOW PEER REVIEW

44 WORKFLOW MERGE TRAVIS-CI / RSPEC SERVERSPEC

45

46 WORKFLOW Release de item de configuração: Config Releases Envio da nova versão para o chef server Não é aplicado imediatamente no ambiente Freeze de versões Incremento da versão no ambiente Execução dentro da janela de mudança Servidores recebem a mudança na próxima execução Problemas Incidentes X v1.0.0 v1.0.1

47 WORKFLOW Config Releases Problemas Incidentes

48 MONITORAÇÃO E INSTRUMENTAÇÃO! Monitoração - Instrumentação

49 MONITORAÇÃO E INSTRUMENTAÇÃO! Disponibilidade - Acesso

50 DDoS! Mitigação - Segurança

51 Agenda! Zendesk Arquitetura Processos Ferramentas Cultura

52 Agenda! Zendesk Arquitetura Processos Ferramentas Cultura

53 CULTURA DA EQUIPE DE DEVOPS E DA ZENDESK Equipes geograficamente distribuídas (+) Ops próximos aos Devs (+) Follow-the-sun (-) Comunicação e entrosamento entre regiões

54 CULTURA DA EQUIPE DE DEVOPS E DA ZENDESK Team Building

55 CULTURA DA EQUIPE DE DEVOPS E DA ZENDESK Tech talks

56 CULTURA DA EQUIPE DE DEVOPS E DA ZENDESK Quarta-feira Zen

57 CULTURA DA EQUIPE DE DEVOPS E DA ZENDESK

58 CULTURA DA EQUIPE DE DEVOPS E DA ZENDESK Trabalho Remoto

59

60 Obrigado!

61 ?

62 Eduardo Saito! DEVOPS LEAD Cassiano Aquino! SENIOR DEVELOPER OPERATIONS ENGINEER Follow me on Estamos contratando!