Um dia na vida de um Web Developer na Spotify

Transcrição

1 Um dia na vida de um Web Developer na Spotify Henrique Truta Yuri Teixeira QCon SP 2019

2 Quem somos? De onde viemos? Para onde vamos? E a WEB com isso?

3

4 Em números: Usuários mensais: 217 mi Em 79 países 50 mi músicas + podcasts 3 bi playlists

5 Tecnologia e impacto: +10 mi requisições / s (pico) ~1500 desenvolvedores mudanças por dia

6 A Web em 2014.

7 ("Solução caseira", entre 2010 e 2012) (Até meados de 2010) (A partir de 2012 até hoje)

8 8

9 Panorama da Web Foco máximo no produto e mínimo nos processos Soluções proprietárias para APIs Autonomia com pouco alinhamento Definitivamente, não era a prioridade 9

10

11 enquanto isso, na primeira classe...

12 Backends e Desktop/Mobile amadureciam Guildas se alinhavam Microsserviços e modularização Padronização e documentação Suporte dos times de infra-estrutura

13

14

15

16

17

18 E a web?

19

20 Desafios à frente: Crescimento exponencial Big players também se interessavam pelo mercado Experimentar é preciso, logo, acelerar também (em todos os sentidos)

21 Tendências Ubiquidade da web (browsers como containers, js servidores, BDs e até wearables) Novos produtos dependentes de web apps com casos de uso mais sofisticados Engajamento e expertise em JS cresciam, internamente e externamente

22

23 T-SHAPED DEVS ou no bom português, "devs perfil T"

24 T ESPECIALISTA GENERALISTA

25 Web se consolidando como "cidadão de primeira classe" WEB INFRA: construindo infra JUNTOS Guildas web globais e regionais Compartilhamento de componentes e bibliotecas Participação ativa em mudanças no Tech Radar Node.JS ao invés de PHP para SSR

26 A web HOJE JS: ~4K repos / 400 devs PHP: ~170 repos / 25 devs Apps web: +50 (só externos) Players em browsers desktop e mobile, desktop player (CEF), TVs e video-games (em breve em mais devices populares), Google Cast (dongle, google home e smart displays) Spotify para artistas Ads self-service (propaganda)...

27 Infra-estrutura para Web, versão 2019

28 Gerrit - Antes 28

29 Github Enterprise 29

30 30

31 31

32 Backstage 32

33 Tech docs Onde encontrar informação? Confluence GitHub Enterprise Google Drive Blog interno spotify.facebook.com search.spotify.net 33

34 Tech docsdocs Tech 34

35 Provisionamento - antes Escalando os Foi desde falar com 1 ou 2 pessoas que criavam instâncias no datacenter Até a solução "moderna", que em vez de falar diretamente, criava um ticket no JIRA Levava dias para provisionar 35

36 Provisionamento - hoje 36

37 Identificando testes instáveis 37

38 CI/CD - Antes Cada time gerenciava seu próprio Jenkins Foi criado um conjunto de guidelines para criar e como manter a instância Autonomia pros times 38

39 DSL em groovy para configuração das pipelines Similar ao Jenkinsfile, que surgiu depois... 39

40 CI/CD - Antes Ninguém na verdade fazia a devida manutenção Muitos deixavam de ser descartáveis e viravam pets x200 Jenkins 1 não recebe atualização de segurança há 3 anos 40

41 CI/CD - Hoje Solução interna, centralizada, de CI/CD Cuidar tanto da infraestrutura, como da definição das build pipelines Evitar lock-in 41

42 CI/CD - Hoje 42

43 CI/CD - Feedback 43

44 Helios Milhares containers Docker precisam de alguma coordenação Solução in-house, de código aberto 44

45 Helios Kubernetes Kubernetes 45

46 Tugboat Solução in-house, abstração de camada de deployment Hoje controla deployments no Helios e/ou Kubernetes 46

47 Rollback 47

48 Ambiente de testes 48

49 CDN Artifactory pacotes NPM Google Cloud Storage GitHub Enterprise Tingle Google Container Registry Código-fonte Host imagem docker Serviço rodando Tugboat Agente helios/k8s build-info.yaml Backstage build e deploy de um web app 49

50 Demo

51 51

52 Futuro Kubernetes para provisionamento por default Registros de DNS mais fáceis e rápidos + Soluções "1-clique" + infra construída em comunidade

53 Muito Obrigado! <3 Perguntas?