Lições Aprendidas sobre Testes

Transcrição

1 Lições Aprendidas sobre Testes Danilo Sato Rails Summit Latin America 16/Out/2008

2 Um pouco sobre vocês Será que estou na palestra certa?

3 Minha história com testes automatizados

4 Era uma vez

5 Era uma vez printf("passou 1\n"); printf("valor: %s\n",!

6 Era uma vez printf("passou 1\n"); printf("valor: %s\n",!

7 xunit! XP Kent Beck! Automatizar passos manuais! Você não quebra o que já está funcionando

8 Test::Unit! Classe que estende Test::Unit::TestCase! Métodos devem começar com "test"! Asserções:! assert(bool)!! assert_equal(expected, actual)!! assert_raise(args, blk)!! assert_nil(actual)!!!

9 require 'rubygems'" require 'test/unit'" require 'lib/card'" class CardTest < Test::Unit::TestCase" def test_equal" assert Card.new('QS') == Card.new('QC')" end" def test_greater" assert Card.new('AS') > Card.new('KH')" end" def test_lower" assert Card.new('TD') < Card.new('JH')" end" end

10 StrutsTestCase + AspectJ! Gravador de testes!! Gera as classes de teste pra você!

11 Primeiros Erros! Testes imensos! Várias asserções no mesmo cenário! Erros não ajudam muito! Debuggar o teste

12 Primeiras Lições! Testes grandes são difíceis de manter! Mas é bom cobrir a funcionalidade do ponto de vista externo Código de teste também é Código

13 ! RCov! Quais linhas estão sendo executadas pelos testes?! Objetivo: 100% Cobertura de Código

14 Cuidado!! Cobertura não garante qualidade dos testes!! Heckle: Mutação

15 ! Arrange-Act-Assert Testes Pequenos! Single Assertion per Test

16 E mais problemas! setup enormes! Carrega e limpa o banco de dados! E os métodos estáticos?

17 Test-Driven Development

18 Test-Driven Development

19 Testes Ajudam no Design! Refatoração! Maus Cheiros! YAGNI! Design Evolutivo

20 Testes Comunicam Intenção! Documentação Executável! Legibilidade é importante! Lemos mais código do que escrevemos

21 require 'rubygems'" require 'test/unit'" require 'lib/card'" class CardTest < Test::Unit::TestCase" def test_equal" assert Card.new('QS') == Card.new('QC')" end" def test_greater" assert Card.new('AS') > Card.new('KH')" end" def test_lower" assert Card.new('TD') < Card.new('JH')" end" end

22 RSpec require 'rubygems'" require 'spec'" require 'lib/card'" describe Card do" it 'should compare based on rank' do" Card.new('AS').should > Card.new('KH')" Card.new('QS').should == Card.new('QC')" Card.new('TD').should < Card.new('JH')" end" end!

23 Mais algumas lições Se está difícil de testar, provavelmente seu design precisa evoluir Use o código de teste para comunicar suas intenções atuais para o você do futuro (e seus colegas também)

24 Testes Unitários! Integridade Interna! Rápidos! Independentes! Desacoplados! Escrito por e para desenvolvedores! Não indicam integridade externa

25 Visão Mais Ampla

26 Histórias! Como <papel/usuário>! Eu gostaria de <funcionalidade>! Pois <valor de negócio>

27 Cenários (Exemplos)! Dado <contexto>! Quando <evento>! Então <consequência>

28 Story: I can rank poker hands" As a game player" I want to rank a poker hand" So that I can decide a winner for the prize" Scenario: Straight flush wins Four of a kind" Given a black hand with cards: 2H 3H 4H 5H 6H" And a white hand with cards: AC AH AD AS KC" Then black should win" Scenario: Four of a kind wins Full house" Given a white hand with cards: 2C 2H 2D 2S AC" And a black hand with cards: AC AH AD KS KC" Then white should win" Scenario: Full house wins Flush" Given a black hand with cards: 2C 2H 2S 3C 3S" And a white hand with cards: 4C 8C TC KC AC" Then black should win

29 require 'rubygems'" require 'spec/story'" require 'lib/hand'" require 'lib/card'" steps_for :poker do" Given "a $color hand with cards: $cards" do color, cards " instance_eval = Hand.new('#{cards}')"" end" Then ("black should win") }" Then ("white should win") }" Then ("tie") }" end" with_steps_for :poker do" Dir["**/*.story"].each { file run file }" end

30 ! Novo Story Runner Cucumber! Histórias em Português! Funcionalidade: Adição! Como um péssimo matemático" Eu quero saber saomr dois números! Para evitar erros bobos" Cenário: Adicionar dois números! Dado que eu digitei 50 na calculadora" E que eu digitei 70 na calculadora" Quando eu aperto o botão de soma! Então o resultado na calculadora deve ser 120

31 require 'spec " class Calculadora" def = << n" end " def { n,sum sum+n}; end" end" Before = Calculadora.new }" Given /que eu digitei (\d+) na calculadora/ do n.to_i! end " When 'eu aperto o botão de soma end " Then(/o resultado na calculadora deve ser (\d*)/) { == result.to_i }

32

33 Testes de Aceitação! Integridade Externa! Mais lentos! Acoplados! Mais difícil detectar causa de erros! Escrito para clientes! Não indicam integridade interna

34 ! Dirige o browser como se um usuário estivesse navegando as páginas! Várias ferramentas:! Selenium IDE! Selenium RC! Selenium on Rails! Selenium Grid* Selenium * Você está curioso? Vá para a palestra do lado!

35

36

37 Testes Unitários

38 Testes de Aceitação

39

40

41 ?

42 Integração

43 Mock! Permitem especificar interações! Trocam o objeto real por um dublê! Verificam se as expectativas foram atendidas! Substituem:! Objetos gordos! Serviços externos! Bibliotecas (não quero testar se o gem funciona)!

44

45 RSpec # Expectativas" band.should_receive(:rock)" band.should_not_receive(:pause)" # Quantidade de chamadas" guitar.should_receive(:tune).once" guitar.should_receive(:play).at_least(3).times" # Argumentos" guitar.should_receive(:strum_chord).with("e")" guitar.should_receive(:strum_chord).with(:anything)" # Valores de Retorno" band.should_receive(:rocking?).and_return(true)" band.should_receive(:stop).and_raise(cantstoprocking)

46 # Expectativas" band.expects(:rock)" band.expects(:pause).never" Mocha # Quantidade de chamadas" guitar.expects(:tune).once" guitar.expects(:play).at_least(3) " # Argumentos" guitar.expects(:strum_chord).with("e")" guitar.expects(:strum_chord).with(:anything)" # Valores de Retorno" band.expects(:rocking?).returns(true)" band.expects(:stop).raises(cantstoprocking)

47 Stubs! Dublês que não verificam expectativas! Não se importam com o que aconteceu # RSpec" band.stub!(:autograph).and_return('signature')" Guitar.stub!(:find).and_return(guitar)" # Mocha" band.stubs(:autograph).returns('signature')" Guitar.stubs(:find).returns(guitar)

48 Meus erros com mocks/stubs! Precisar gravar muitas expectativas! Muito acoplado com implementação! Muitos stubs poucos mocks! Mockar o próprio objeto! Testes podem passar com o sistema quebrado

49 ! Mock Roles not Objects [OOPSLA04]! Use mocks para desacoplar testes! Cuidado com mock de bibliotecas externas! Use um Adapter! Mocks não tiram o valor dos testes acoplados! CRC com testes Lições sobre mocks

50 class DataBranderTest < Test::Unit::TestCase" def test_saves_branded_to_storage" storage = Storage.new 'whatever'" storage.expects(:save).with('metal - rock')" DataBrander.new(storage).save_branded('rock')" end " end! class DataBrander" BRAND = "METAL"" def = storage" end" def "#{BRAND} - #{data}"" end" end!

51 class DataBranderTest < Test::Unit::TestCase" def test_saves_branded_to_storage" storage = Storage.new 'whatever'" storage.expects(:save).with('metal - rock')" DataBrander.new(storage).save_branded('rock')" end " end! class DataBrander" BRAND = "METAL"" def = storage" end" def "#{BRAND} - #{data}"" end" end!

52 class StorageTest < Test::Unit::TestCase" def test_saves_to_file" Storage.new('test.txt').save('rock')" assert_equal 'rock', File.read('test.txt')" ensure" FileUtils.rm_f('test.txt')" end" end class Storage" def = filename" end" def save(val)" File.open(@filename, 'w') { f f << val}" end" end!

53 class StorageTest < Test::Unit::TestCase" def test_saves_to_file" Storage.new('test.txt').save('rock')" assert_equal 'rock', File.read('test.txt')" ensure" FileUtils.rm_f('test.txt')" end" end class Storage" def = filename" end" def save(val)" File.open(@filename, 'w') { f f << val}" end" end!

54 class StorageTest < Test::Unit::TestCase" def test_saves_to_file" Storage.new('test.txt').save('rock', 'w')" assert_equal 'rock', File.read('test.txt')" ensure" FileUtils.rm_f('test.txt')" end" end class Storage" def = filename" end" def save(val, mode)" File.open(@filename, mode) { f f << val}" end" end!

55 class StorageTest < Test::Unit::TestCase" def test_saves_to_file" Storage.new('test.txt').save('rock', 'w')" assert_equal 'rock', File.read('test.txt')" ensure" FileUtils.rm_f('test.txt')" end" end class Storage" def = filename" end" def save(val, mode)" File.open(@filename, mode) { f f << val}" end" end!

56 storage = Storage.new("hello.txt")" data_brander = DataBrander.new(storage)" data_brander.save_branded('hello')!

57 storage = Storage.new("hello.txt")" data_brander = DataBrander.new(storage)" data_brander.save_branded('hello')!

58 Synthesis

59 class DataBranderTest < Test::Unit::TestCase" def test_saves_branded_to_storage" storage = Storage.new 'whatever'" storage.expects(:save).with('metal rock', 'w')" DataBrander.new(storage).save_branded('rock')" end " end! class DataBrander" BRAND = "METAL"" def = storage" end" def "#{BRAND} - #{data}", 'w'" end" end!

60 Synthesis

61 Synthesis! Cobertura de mocks! Testes acoplados somente nas bordas! Feedback rápido sobre potenciais erros! Funciona com Rspec/Mocha/Expectations! Tarefa Rake: Synthesis::Task.new('synthesis:spec') do t " t.adapter = :rspec" t.pattern = 'test_project/rspec/*_spec.rb'" end!

62 Visualizações

63

64 Builds rápidos!

65 Behaviour-Driven Development! Um processo ponta-a-ponta de desenvolvimento! Independente de ferramenta! Outside-in

66 Normalmente

67 BDD

68 BDD

69 Momento para Refletir

70 Resumo! Testes Unitários! Cobertura de Código! TDD! Histórias e STDD! Testes de Aceitação! Selenium! Mocks/Stubs! Synthesis! BDD

71 Por que testar?

72 Custo de encontrar um erro

73 Feedback! Confiança! Erros são detectados rapidamente! Ajudam a saber quando terminamos! Pensar no design antes de implementar! Evita generalização desnecessária! Regressão automatizada

74 Build Quality In Work smarter, not harder -- Tom de Marco, Slack Inspecionar para previnir defeitos é bom; Inspecionar para encontrar defeitos é desperdício -- Shigeo Shingo, The Toyota Production System

75 Auto-Inspeção

76 Bugs Bugs são testes que você esqueceu de escrever! Resolva a Causa Raiz

77 Verificação e Validação

78 Obrigado! Perguntas?