Como Turbinamos nossa suíte de testes Rails em mais de 600% TDC Florianópolis Trilha Ruby

Transcrição

1 Como Turbinamos nossa suíte de testes Rails em mais de 600% TDC Florianópolis Trilha Ruby

2 $> whoami Eric Magalhães DevOps JobScore Inc Joinville - SC - Brazil Tecnólogo em Gestão de TI SysAdmin que aprendeu a programar Nascido em Brasília mas feito na Bahia, Louco por automação, músico do buteco da esquina, marceneiro de fim de semana.

3 $> su thiago $> whoami Thiago Pradi Lider JobScore Inc Jaraguá do Sul - SC Bacharel em Ciência da Computação - FURB Mestre em Informática - UFPR Desenvolvedor Rails desde 2008 Mantenedor - RubyGem Octopus

4 Agenda Problema A solução Conclusão Background Desafios Setups antigos

5 Agenda Problema A solução Conclusão Tentativa e erro Testes em paralelo Implementação Melhoria

6 Agenda Problema A solução Conclusão Considerações finais

7 Problema Um Pouco de História

8 Problema JobScore ( Software de Recrutamento (ATS) Criada em 2005 utilizando Rails 0.5

9 Problema

10 Problema

11 Problema 13 anos de história em números Profitable ($$$) Mais de 15 Bilhões em aquisições Mais de 1M de aplicações

12 Problema Stack Atual Ruby on Rails / Python PostgreSQL / MySQL / Redis Passenger / AWS

13 Problema Antes de 2012/

14 Problema Decisões Antigas de Engenharia (exemplo: Fat Controllers)

15 Problema Criação de dados para testes utilizando somente Fixtures

16 Problema Ausência de testes de Aceitação Utilização de testes de Integração

17 Problema

18 Problema Coverage abaixo da média (< 50%)

19 Problema Abuso de soluções temporárias (rescue nil, monkeypatches, gems antigas)

20 Problema

21 Problema 2013: Adotadas práticas mais modernas na suíte de testes

22 Problema Stack da suíte de testes Minitest (migrado do test/unit) Aceitação - Capybara / Poltergeist Dados - Fixtures/Factories

23 Problema 2016/2017: problemas diferentes

24 Problema Testes lentos pelo abuso de Factories

25 Problema Testes quebradiços devido ao exagero de testes de aceitação com Capybara / Poltergeist

26 Problema Builds levando mais de uma hora.

27 Problema Solução: Utilização de servidor de integração contínua.

28 Problema 1) Jenkins - Self-hosted; 2) Semaphore; 3) Circle CI; 4) Travis.

29 Problema Testes divididos em 4 workers pelo tipo do mesmo (unitário, aceitação, controller e mailers)

30 Problema Alto Custo para upgrades. Espera de quase 1 hora para cada merge.

31 A Solução

32 Histórico Contratado para ser owner de várias coisas, incluindo o CI

33 Histórico Nenhum Pouco conhecimento sobre testes para Rails

34 Histórico Primeiro objetivo: Testes em menos de 10 minutos

35 Primeiros erros

36 Primeiros erros Manter o paralelismo existente usando Jenkins + EC2

37 Primeiros erros 2 vcpu / 4GB = 35min 8 vcpu / 16GB = 4x faster

38 Primeiros erros

39 Primeiros erros

40 Primeiros erros Paralelismo é a solução!

41 Primeiros erros Estratégia: Ambientes isolados em uma máquina maior

42 Primeiros erros Testes com Docker

43 Primeiros erros Sai Jenkins e entra Buildbot

44 Primeiros erros Builds independentes

45 Primeiros erros Testes ainda demoravam demais Entre 5-16min

46 Primeiros erros

47 Testes em paralelo

48 Testes em paralelo Setup relativamente simples

49 Testes em paralelo Os tempos eram bons!

50 Primeiros erros

51 Implementação

52 Implementação Testes problemáticos falham com mais frequência

53 Implementação Auto-retry: Minitest reporter + script em Python

54 Melhoria contínua Três categorias de teste: Pass Danger Fail

55 Custo Usando instâncias spot Por volta dos USD 300

56 Tempos atuais Boot Preparando ambiente de teste Tempo de boot de uma instância EC2 Criar banco, rodar migrations, testes javascript 1-2 min 4-6 min 1-2 min 3-5 min Dependências Testes Tempo para baixar as dependências do código (Gems, NPM, etc.) Tempo para rodar todos os testes

57 Operação / Manutenção Em torno de 10h/mês

58 Melhoria contínua Como monitorar o CI?

59 Melhoria contínua Metrics to the rescue!

60 Melhoria contínua O CI precisa de carinho

61 Solução Conclusão

62 Solução Aplicações antigas requerem manutenção constante.

63 Solução Manutenções incluem refatorar código ou inclusão de novas tecnologias.

64 Solução Suas soluções irão refletir no futuro, de forma positiva ou negativa.

65 Solução Por isso, saiba medir os prós e contras de cada solução.

66 Solução rallel-testing-and-more/

67

68 $> su ericovis -c 'whereis ${USER}' Social Web:

69 $> su thiago -c 'whereis ${USER}' Social Web:

70 Wrap up