Automação de testes Web

Transcrição

1 Automação de testes Web Ruby + Watir + Test::Unit + PageObject Alex Warmling alex@chaordic.com.br Fausto Siqueira siqueira@chaordic.com.br

2 Agenda Apresentação Expectativas Introdução ao teste de software Automação de testes, o que devo automatizar? Instalando o Ruby

3 Quem somos Alex Warmling - alex@chaordic.com.br 3+ anos de QA Já atuou como DEV Instrutor de teste de software no programa GeraçãoTEC; FullStack QA na Chaordic

4 Quem somos Fausto Siqueira - siqueira@chaordic.com.br 8+ anos de QA Trabalhou na EDS e IBM Agile test lead na Chaordic ISTQB Certified Foundation Level Tester

5 Expectativas

6 Apresentação dos participantes Trabalha em ambiente ágil ou tradicional? É QA? Sua equipe escreve testes unitários? Sua equipe pratica TDD ou outra prática test-driven?

7 Teste de software

8 Por que testar?

9 Por que testar?

10 Por que testar?

11 Por que testar?

12 Definição Testes consistem na verificação dinâmica do funcionamento de um programa em um conjunto finito de casos de teste, selecionado dentro de domínio infinito de entradas, contra seu funcionamento esperado (SWEBOK, 2004) Dinâmico Execução Finito Existem muitos casos de teste Selecionado Técnicas diferem na seleção Esperado Funcionamento esperado deve ser verificado

13 Objetivos Encontrar e documentar defeitos Fornecer base para percepção da qualidade do software Avaliar se o produto de software funciona como projetado e esperado Garantir que os problemas encontrados sejam corrigidos

14 Cenário atual Muitos bugs são gerados e não são encontrados quando o software ainda esta em desenvolvimento Com os sistemas para internet o número de usuários é milhares de vezes maior Necessidade de equipes especializadas em testes O custo destes bugs se torna cada vez maior

15 Custo de correção

16 Então, testando eliminamos todos os defeitos? Segundo MYERS (1979), em seu livro The art of sotware testing: Testes unitários podem remover de 30% a 50% dos defeitos Testes de sistemas podem remover de 30% a 50% dos defeitos remanescentes Revisão de código pode ainda reduzir entre 20% e 30% do restante Software em produção ainda com ~40% de defeitos

17 Qualidade não é uma fase do ciclo de desenvolvimento de software, é parte de todas as fases

18 Quando testar?

19 Quando testar? Durante todo o ciclo de vida.

20 Quando testar?

21 Como faço para saber o que testar primeiro então? Identificar componentes e features do software a serem testados: Priorizar Positivos/negativos Os mais graves Os mais prováveis Falhas anteriores Considerar aspectos funcionais e não-funcionais Considerar tempo, recursos, riscos Nem tudo pode ser testado, e o que é testado não pode ser completamente testado.

22 Por que e o que devo automatizar?

23 Vantagens de test scripts Operações definidas Escopo definido Resultado esperado definido Testes manuais controlados

24 Vantagens de test scripts Re-uso Documentação Evidências da execução Cálculo de métricas como cobertura de testes

25 Razões para automatizar Testes manuais demoram muito Processos manuais são mais suscetíveis à erros Tester executa casos mais criativos

26 Razões para automatizar Documentação ativa Testes guiando o código Cobertura de teste

27 Razões para automatizar Escalabilidade de execução de testes Repetição controlada Ambientes controlados e definidos Execução rápida e contínua, idealmente robusta Entra na Integração Contínua

28 Integração contínua Área de Staging Confiança para deploy Visibilidade sobre a integridade da build Regressão da aceitação evita quebra de regra de negócios

29 Integração contínua Testes candidatos Testes de regressão Re-teste de bugs Testes unitários Testes de aceitação

30 Integração contínua Feedback contínuo para a equipe DEV Feedback para área de negócios, testes de aceitação Servidores de integração contínua Jenkins Ci Ci-reporter gem Circle Ci

31 Quadrantes do teste ágil fonte: lisacrispin.com

32 Candidatos à automação Teste unitários Re-teste de bugs Testes de aceitação Formando suites de regressão

33 Testes unitários Cenários básicos Common cases Happy paths / Negative paths Edge cases Bug fix -> automated re-test Cobertura > 90%

34 Frameworks para testes unitários xunit JUnit TestNG Test::Unit MiniTest

35 Notações fonte:

36 Test::Unit Implementação do framework xunit para Ruby Test::Unit::Assertions assert assert_equal assert_not_equal assert_raise

37 Re-teste de bugs Um teste automático por reteste de bug fix evita a recorrência do problema Bug fix é validado com um teste script automático Script é adicionado à suite de regressão Evitar recorrência de bugs é fundamental

38 Testes de aceitação Feedback contínuo para o cliente Visibilidade sobre o status do sistema Transparência com o cliente Documentação dinâmica e ativa Confiança Regressão

39 Bug tracking Adotar? Comunicação Agilidade em corrigir bugs Priorização para correções VS. novas funcionalidades Métricas Knowledge base Auditoria Evidências

40 Bug tracking Adotar? Times distribuídos Grandes equipes Ferramenta de comunicação Rastreabilidade entre requisitos Bugs em produção

41 Bug tracking Urgências Regressão falhando -> ALERTA VERMELHO Bugs em produção Bugs reportados pelo cliente

42 Desafios Atitude Coragem para codificar Conhecimento Curva de aprendizado Investimento inicial Não quer ser DEV

43 Instalação Ruby em Linux RVM - Ruby Version Manager RVM gives you compartmentalized independent ruby setups. This means that ruby, gems and irb are all separate and self-contained - from the system, and from each other. Linux $ \curl -ssl bash -s stable --ruby $ ruby -v

44 Instalação Ruby em Linux $ source /home/siqueira/.rvm/scripts/rvm Criar GemSet $ rvm create gemset academia_chaordic

45 Instalação Ruby em Windows

46 Instalação WatirWebdriver e Test::Unit Gem Gemfile source ' gem 'test-unit' gem 'watir-webdriver $ bundle install

47 Ruby

48 Ruby basics

49 Editor texto Sublime Text

50 Tudo em RUBY é um OBJETO

51 IRB Interpretador Ruby $ irb

52 Comentários De linha # for i in 0..5 # if i > 2 then # break # end # puts "Valor da variavel local seria #{i}" # end De bloco =begin for i in 0..5 if i > 2 then break end puts "Valor da variavel local seria #{i}" end =end

53 Classes e métodos

54 Require

55 Escopo de variáveis Locais a. Escopo de método b. Variáveis locais começam com letra minúscula ou _. Instância: a. Escopo de objeto. b. Nome precedido Classe: a. Escopo de classe. b. Característica de uma classe. c. Disponível para diferentes objetos. d. Precedidas Globais: a. Disponível entre classes. b. Nome precedido por $

56 Strings Operações Soma Multiplicação

57 Strings Concatenação e Comparação Concatenação Comparação de tamanho

58 Strings Regex match Match regex

59 Strings Métodos interessantes gsub capitalize downcase empty

60 Interpolação de Strings

61 Curiosidades

62 Imprimindo na tela puts Academia Chaordic print Academia Chaordic

63 Array a = Array.new b=[] a = [ 1, 2, 3 ] b = [ 1, 3, 4 ]

64 Array push & pop a.push 4 a.pop a.pop 2 a << 4

65 Array shift a.shift a.unshift 0

66 Array adição e subtração Subtração Adição

67 Array index Ìndices Range inválido Range inclusivo e exclusivo

68 Array deletion delete_at delete

69 Array methods

70 Desafio Encontre o tamanho das Strings "test", "ruby_r0x", "academia_chaordic" Pode-se usar um Array e o método collect

71 Desafio Encontre o tamanho das Strings ["test", "ruby_r0x", "academia_chaordic"].collect{ string string.length } => [ 4, 8, 17 ]

72 Desafio 2 Somar os números 1,3,5,7,9,11,13 Pode-se usar um Array e o método inject

73 Desafio 2 Somar os números # Sum 1,3,5,7,9,11,13 [1,3,5,7,11,13].inject { a,b a+b }

74 Condicionais if...else if conditional [then] code... [elsif conditional [then] code...]... [else code...] end

75 Condicionais if...else

76 Condicionais unless

77 Loops while

78 Loops while

79 Loops until

80 Loops for each

81 Loops break

82 File I/O handle

83 File I/O Imprima em um arquivo o maior e o menor valor de um array com 10 números inteiros Aqui você pode utilizar os conceitos de Array, if e for

84 Web Application Testing in Ruby

85 Automate your web browser beautifully, nicely and easily with some very sweet syntactic sugar.

86 What is Watir? Open-source web test automation framework Bibliotecas Ruby Independente de tecnologia da app Simula input de usuário no navegador

87 Re-teste de bugs Watir drives browsers the same way people do. It clicks links, fills in forms, presses buttons. Watir also checks results, such as whether expected text appears on the page. [watir. com]

88 Watir-classic Somente Internet Explorer Manipula o navegador via OLE - Object Linking and Embedding sobre a arquitetura COM - Component Object Model IE -> serve objetos, expondo seus métodos Ruby -> cliente, manipula os objetos

89 Watir-webdriver Versão moderna da API Watir baseada em Selenium 2.0 com WebDriver Jari Bakken implementou Construída a partir da especificação HTML W3C compatível

90 Watij Web Application Testing in Java Simplicidade do Watir com poder do Java Pode-se usar JRuby e o interpretador IRB

91 Vantagens Comunidade ativa Ruby nativa Suporte a multiplos browsers Poderosa, leve e fácil de utilizar Sem gravadores - Test records

92 Vantagens Sem find_element(s) === menos código; Specific methods (divs, buttons, links ); Selenium: driver.find_element(:class, 'producttitle') Watir: driver.div :class => product-title Explicit waits for AJAX (Selenium :timeout => 10) JavaScript alerts

93 Vantagens Fácil de lidar com iframes Utilizar com rubygem PageObject Possível medir performance da página com WatirWebDriver-Performance gem

94 Wait explícitos Watir::Wait.until { code block } object.when_present.method object.wait_until_present.method object.wait_while_present.method

95 Wait explícitos

96 Wait implícitos require 'watir-webdriver' browser = Watir::Browser.new browser.driver.manage.timeouts.implicit_wait = 3 Teste pode se tornar mais devagar Vício do uso polui código

97 Cookies add (name, value, opts = {}) cookie.clear cookies.delete (name) cookies.to_a

98 iframes browser.frame(: => content_ifr ).button(:id => button_01 ). click

99 Js alerts(); browser.alert.ok browser.alert.exists? browser.alert.text browser.alert.close

100 exists? visible? present? Element presence

101 require 'watir-webdriver' Exemplo firefox = Watir::Browser.new :firefox firefox.goto 'google.com' firefox.text_field(:name => 'q').set 'chaordic' firefox.button(:name => 'btng').click begin firefox.links.each do link link.click if link.href == ' end rescue Selenium::WebDriver::Error::StaleElementReferenceError nil end firefox.quit

102 Performance Measure page performance gem The Watir-WebDriver-Performance gem aims to provide a set of navigation timing metrics for WatirWebDriver actions using a W3C page performance standard. This is a perfect solution to capture response time metrics, and it s very straightforward to do but currently only works in Chrome and IE9l, so there s no Firefox support.

103 Performance Measure page performance gem

104 LOC Lines of Code comparison Selenium WebDriver VS. Watir WebDriver

105 Selenium WebDriver

106 Selenium WebDriver

107 Watir WebDriver

108 Chaordic Mindset to write your Automated scripts Testing your script

109 Cenários de Aceitação 1. Usuário do ecommerce fastshop.com.br quer colocar um produto no carrinho e calcula o frete Quais seriam as validações a serem feitas?

110 Test::Unit xunit family test automation framework for Ruby

111 assert_block assert assert_equal

112 assert_not_nil (exp, msg) assert_no_match (regexp, string, msg) assert_equal (expected, actual, msg)

113 assert_compare (1, <, 10) assert_inclue ([1..10, 2, msg) assert_equal (expected, actual, msg) /libdoc/test/unit/rdoc/test/unit/assertions.html

114 Setup and Teardown

115 Test suite

116 Test case

117 Helpers

118

119 Wireframe = Maps web UI elements Devs do homework = IDs QA creates a class (model) for the page

120 Model will support testing DRY Easy API

121 Page Object cheezy gem Implementa o padrão Page Object em Watir WebDriver e Selenium WebDriver para Ruby creating abstraction layers in your tests to decouple the tests from the item they are testing and to provide a simple interface to the elements on a page.

122 Page Object cheezy gem ATDD - Acceptance Testing Driven Development Linguagem simples para interagir com o conteúdo da página web Integração fácil com rspec e cucumber

123 Page Object cheezy gem A Simple way of dealing with Frames and iframes Robust way of dealing with Ajax Calls A clean way of handling Javascript Popups Support for most html Elements

124 Accessors

125 Acessors auto methods Element return Checkbox

126 Acessors auto methods Button Link

127 example class

128 script class

129 UI elements naming update

130 script class

131 Links úteis Ruby Watir Webdriver PageObject Integração Contínua org/wiki/comparison_of_continuous_integration_software

132 Alex Warmling Fausto Siqueira