Como escrever Caso de Teste Teoria e Prática. Ricardo Cristalli

Transcrição

1 Como escrever Caso de Teste Teoria e Prática Ricardo Cristalli

2 Nivelamento do Conhecimento Especificação informada: 1. Tamanho e Tipo do Campo: Login: AlfaNumérico 10 Caracteres Senha: Alfabético 8 Caracteres 2. O botão Limpar deve limpar a tela 3. O Botão OK vai para o próximo Slide Login WebCurso Workbook Exercício 01 Login: Senha: OK Limpar Exercício: Com os dados acima: 1. Listar os Cenários e os Casos de teste possíveis 2. Caso tenha dúvida na especificação lista-la 3. Listar os Tipos de Teste possíveis

3 A metodologia de testes integrada ao ambiente organizacional Solicitação de Testes (kickoff) PROJETO CLIENTE Plano de Teste Aprovação Estimativa / Medições Especificação Requisitos Modelagem Desenvolvimento Especificação Aprovada TEST CENTER Suites de Teste Testabilidade Refinar Estimativa Plano de Caso de Teste SW - Versão Estável Registros de Defeito Versão Aprovada Pelo Teste Workflow Ger. Configuração SW Versão Reteste BD Testes Resultados de Teste

4 GERENCIAMENTO DE PROJETOS Solução Com a ajuda de um processo bem definido! Planejar Planejar Testes Testes Projetar Testes Executar Testes Analisar Resultados Gerenciar Defeitos

5 Etapas de Suporte Produtos Etapas de Realização Preparação Planejamento Requisitos Estratégia de Testes Planos de Teste Roteiros de Teste Casos de Teste Scripts ou procedimentos de teste Planejamento Especificação Especificação Execução

6 Etapas de Suporte Produtos Etapas de Realização Preparação Planejamento Requisitos Estratégia de Testes Planos de Teste Roteiros de Teste Casos de Teste Scripts ou procedimentos de teste Planejamento Especificação Especificação Execução

7 Estratégia de Testes Característica da Qualidade Riscos do Negócio Importância Relativa Funcionalidade Usabilidade Confiabilidade ++ 7 Desempenho Suportabilidade % + Levar em Consideração ++ Média Importância +++ Alta Importância Tipos de Testes Teste de volume Teste de funcionalidade Teste de Usabilidade Teste de Carga...

8 Teste na fase de especificação Elaboração dos Casos de Teste para a revisão da especificação Checklist Recomenda-se o uso de templates para a revisão

9 Alguns exemplos de Perguntas: 1. O Objetivo da especificação está de fácil entendimento? 2. Os Atores estão definidos? 3. Existem regras de navegabilidade em documentação Suplementar ou na própria especificação? 4. Todas as exceções descritas estão sendo citadas no corpo da especificação? 5. Todas as telas (protótipos), possuem detalhamento de atributos? 6. Todos os campos do tipo "combo","lista" e "caixa de seleção" estão definidos quanto a sua ordenação? 7. Todos os campos das telas estão definidos quanto a sua obrigatoriedade de preenchimento? 8. Todos os campos das telas estão definidos quanto ao seu tamanho?

10 Alguns exemplos de Perguntas: Todos os campos das telas estão definidos quanto ao seu tipo? Todos os campos que recuperam dados estão definidos quanto ao seu valor padrão? A seqüência lógica da especificação está bem descrita? Todas as Regras de Negócio estão citadas? Todos os cenários possíveis estão descritos? Todas as opções (Botões) da tela principal estão descritas como fluxos? A endentação está refletindo a correta funcionalidade? Todas os campos do tipo data estão sendo validados quanto ao conteúdo, formato inválido e data inválida? Todas as mensagens estão inteligíveis e corretamente descritas nas suas respectivas ações do sistema?

11 Registrar as falhas encontradas Um relatório conclusivo deve ser enviado ao responsável pela elaboração da especificação. Informações necessárias Cliente Projeto Especificação Analisada Data da revisão Responsável pela Análise Responsável pela especificação Para cada pergunta formulada: As não-conformidades encontradas As sugestões de melhoria

12 Exercício Revisão da especificação apresentada

13 Testabilidade Relatório de Testabilidade ANÁLISE Checklist Análise de Testabilidade Testabilidade Caso de Uso

14 Especificações suplementares Descrevem requisitos não-funcionais: Confiabilidade Desempenho (performance) Segurança Distribuição Adequação a Padrões Restrições de Hardware e Software etc. Especificações Suplementares

15 Requisitos não-funcionais Devem ser testáveis, para isso devem ser mensuráveis! Precisam estar definidos em números e nomes O sistema precisa ser rápido. Quão rápido? O sistema deve ser implementado numa plataforma robusta. Que plataforma?

16 Processo de Teste Planejar Planejar Testes Testes Projetar Testes Executar Testes Analisar Resultados Gerenciar Defeitos

17 Projetar Teste - ATIVIDADES Planejar Projetar Testes Testes Identificar a versão do Caso de Uso (Label) Elaborar Casos de teste de entrega Elaborar Casos de teste completo Estruturar Scripts de teste Elaborar Plano de Teste de Aceite PS: Importante o uso de templates também para esta atividade

18 Rastreabilidade Teste / Requisito Planejar Projetar Testes Testes Mudança de um Requisito Marca o Caso de Teste como Suspeito Requisito Teste Desmarcar depois de Analisado

19 Projetar Testes - Artefatos Planejar Projetar Testes Testes Casos de teste Passos e Verificações Casos de Testes

20 Artefatos Gerados

21 O caso de Teste como centro motivador do teste. O que motivou o meu teste? Onde devo testar? Requisitos Configurações Caso de Teste Iteração Implementação Quando devo testar? Como devo testar?

22 Etapas de Suporte Produtos Etapas de Realização Preparação Planejamento Requisitos Estratégia de Testes Planos de Teste Roteiros de Teste Casos de Teste Scripts ou procedimentos de teste Planejamento Especificação Especificação Execução

23 Elaboração do Teste A tarefa de elaboração do teste é coberta por 3 documentos: Especificação de Projeto de Teste Trata-se de um detalhamento da abordagem apresentada no Plano de Teste e identifica as funcionalidades e características a serem testadas pelo projeto. Este documento também identifica os casos e os procedimentos de teste, se existirem, e apresenta os critérios de aprovação. Especificação de Caso de Teste Define os casos de teste, incluindo dados de entrada, resultados esperados, ações e condições gerais para a execução do teste. Utilizaremos a nomenclatura de Plano de Caso de Teste para este documento gerado. Especificação do Procedimento de Teste Identifica todos os passos necessários para operar o sistema e exercitar os Casos de Testes especificados, de maneira a cobrir o Projeto de Teste planejado. Os procedimentos de testes formam um documento separado com a intenção de que seja seguido passo a passo, sem ocorrências não previstas. A Norma IEEE Std (IEEE Standard for Software Test Documentation) descreve um conjunto de documentos para as atividades de teste de um projeto de software.

24 Documentação IEEE Std Elaboração do Teste

25 Elaboração de Teste Software project (management) plan (note: for many authors, QA V&V) (adapted from: Ilene Burnstein, Practical Software Testing)

26 Projetar Teste Derivação do Caso de Teste Os casos de testes são derivados de uma especificação formal que define os requisitos Requisitos de negócio, Casos de Uso, etc Casos de Teste Requisitos Cenário de Teste Casos de Uso

27 Plano de Caso de Teste * Esse documento estabelece o que será testado, sendo seu principal objetivo identificar o maior número de cenários e variações de determinado requisito de software. Cada cenário será representado por um conjunto de casos de testes que será validado por uma lista de procedimentos incorporados em uma suíte de testes que será posteriormente elaborada. Os casos de teste estabelecem quais informações serão empregadas durante os testes desses cenários e quais serão os resultados esperados, estabelecendo a massa crítica de testes necessária para validar todos os requisitos do software. * Nomenclatura utilizada pelo instrutor, normalmente este plano esta contido no plano de teste

28 Elaboração do Plano de Caso de Teste Para a elaboração dos casos de teste a partir do requisito especificado deve-se considerar o seguinte: Identificar todos os cenários contidos nas especificação existente; Para cada cenário, identificar um ou mais casos de teste; Para cada caso de teste, identificar condições de execução; Adicionar os dados para as condições nos casos de teste.

29 Elaboração do Plano de Caso de Teste Para a elaboração dos casos de teste a partir do requisito especificado deve-se considerar o seguinte: Identificar todos os cenários contidos nas especificação existente; Para cada cenário, identificar um ou mais casos de teste; Para cada caso de teste, identificar condições de execução; Adicionar os dados para as condições nos casos de teste.

30 Cenário de Teste Cenário é uma história hipotética usada para ajudar as pessoas a solucionar um problema complexo, recriando ou visualizando um caminho a ser seguido. O termo Planejamento baseado em Cenários ganhou popularidade nos planejamentos militares e passou a ser utilizado em várias outras atividades que necessitavam de um planejamento detalhado. Um bom cenário é aquele que pode ser usado por qualquer pessoa. Cenário de teste é o caminho ou situação a ser testada!

31 Exemplo de Cenário Em um Caso de Uso de Transferência Bancária, um dos cenários é a Transferência DOC para conta de terceiros.

32 Teste de Cenário Teste de Sistema Para se testar este cenário de especificação, devemos criar um cenário de teste para validar esta funcionalidade. Este cenário de teste, deve seguir os seguintes passos: 1. Consultar o saldo da conta de origem, 2. Consultar o saldo da conta destino, 3. Transferir um valor da conta origem para conta destino, 4. Consultar novamente o saldo da conta origem, verificando que o saldo inicial menos o valor transferido é igual ao saldo atual, 5. Consultar o saldo da conta destino, verificando que o saldo inicial acrescido do valor transferido é igual ao saldo atual.

33 Dentro deste cenário de teste podemos destacar diversos casos de testes: CT01 Preenchimento dos campos obrigatório na tela de transferência CT02 Validação de CPF CT03 Conta Destino inválida CT04 Transferência de valores negativos e muitos outros

34 Elaboração do Plano de Caso de Teste Para a elaboração dos casos de teste a partir do requisito especificado deve-se considerar o seguinte: Identificar todos os cenários contidos nas especificação existente; Para cada cenário, identificar um ou mais casos de teste; Para cada caso de teste, identificar condições de execução; Adicionar os dados para as condições nos casos de teste.

35 CT Preenchimento inválido do campo número de confirmação Preencher o campo número de confirmação com um número inválido O Sistema apresenta uma mensagem

36 Definição de Caso de Teste IEEE Std Documentation specifying inputs, predicted results, and a set of execution conditions for a test item. IEEE Standard 610 (1990) defines test case: A set of test inputs, execution conditions, and expected results developed for a particular objective, such as to exercise a particular program path or to verify compliance with a specific requirement. Boris Beizer (1995, p. 3) A sequence of one or more subtests executed as a sequence because the outcome and/or final state of one subtest is the input and/or initial state of the next. The word test is used to include subtests, tests proper, and test suites. Bob Binder (1999, p. 47) A test case specifies the pretest state of the IUT and its environment, the test inputs or conditions, and the expected result. The expected result specifies what the IUT should produce from the test inputs. This specification includes messages generated by the IUT, exceptions, returned values, and resultant state of the IUT and its environment. According to Ron Patton (2001, p. 65), Test cases are the specific inputs that you ll try and the procedures that you ll follow when you test the software.

37 Caso de Teste - Definição Um caso de teste é composto por um conjunto de entradas, condições de execução e os resultados esperados, tendo como objetivo verificar os requisitos especificados do sistema Os casos de teste estabelecem quais informações serão empregadas durante os testes dos cenários e quais serão os resultados esperados, estabelecendo a massa crítica de teste necessária para validar todos os requisitos do software

38 Caso de Teste

39 Elaboração do Plano Definir os Casos de Teste dos Requisitos Definir um ou mais Casos de Teste que posteriormente permitam verificar se o sistema satisfaz o requisito. Ao escrever o caso de teste, o requisito está sendo escrito de um ângulo diferente. Se utilizados em uma ferramenta, os casos de teste podem estar diretamente associados aos requisitos, além de permitir que os testes possam ser feitos automaticamente.

40 Padrões de Qualidade O caso de teste deve características para que possa ser usado e que possa atender as expectativas de validação da qualidade: Efetivo Testar o que se planejou testar Econômico Sem passos desnecessários Reutilizável - Possa ser repetido Rastreável Possa identificar o Requisito a ser testado Auto explicativo - Possa ser testado por qualquer testador

41 Elaboração do Caso de Teste Os seguintes itens devem ser abordados: Identificação das condições de testes: Identificação dos casos de testes (o que testar) Deve conter uma definição de cada caso de teste identificado Detalhamento da massa de entrada, de Saída ( resultante ) Critérios especiais para geração da massa de Teste, com o nome do responsável pela elaboração Necessidades de ambiente Especificar as necessidades adicionais de equipamentos Definir agenda de levantamento (como testar) Cronograma Interdependências Listar as interdependências entre os Casos de Testes.

42 Exemplo de Caso de teste Considere as seguintes situações: 1 Um Sistema web com os seguintes requisitos não-funcionais: Deve operar em diferentes Browsers Deve poder usar diferentes plug-ins Rodar em diferentes sistemas operacionais nas máquinas clientes Deve receber páginas por diferentes servidores Deve rodar em diferentes servidores Testar o requisito funcional Manter Usuário O sistema deve: - incluir usuário - alterar usuário - excluir usuário

43 Exemplificando um cenário: - Funcionalidade Uma das funcionalidades Incluir usuário. - um dos Testes: Passo: Preencher a tela de usuário com seus campos obrigatórios e selecionar a opção incluir. Resultado esperado: Mensagem de Incluído com sucesso. Ambiente de teste: Máquina cliente com sistema operacional windows 2000, utilizando o Internet explorer 6.0 como Browser, recebendo páginas de um servidor com IIS e ter um servidor de Websphere em Linux.

44 Detalhando a situação anterior 1 Deve operar em diferentes Browsers: Internet Explorer 5.0 Internet Explorer 5.5 Internet Explorer 6.0 Netscape 6.0 Netscape 7.0 Mozilla 1.1 firefox Opera Deve poder usar diferentes plug-ins: RealPlayer, MediaPlayer, não usar nenhum; 3 - Rodar em diferentes sistemas operacionais nas máquinas clientes: Windows 95 Windows 98 Para esta situação podemos considerar a possibilidade de criarmos 1296 diferentes combinações de ambientes para cada cenário de teste criado. Windows ME Windows NT Windows 2000 Windows XP 4 - Deve receber páginas por diferentes servidores IIS, WebLogic e Apache. 5 - Deve rodar em diferentes servidores: Windows 2000, NT Linux.

45 Exemplo de Caso de teste Problema na geração de casos de testes Testes exaustivos são impraticáveis. Escolher bons casos de testes (dados de entrada e comportamento esperado) é fundamental para que um teste seja bem sucedido, isto é, detecte os erros existentes.

46 Geração dos Caso de Teste Os casos de testes são derivados da especificação funcional (p. ex., casos de uso), modelagem e/ou da Arquitetura; Cada caso de teste deve definir; Um conjunto de dados de entrada dados de teste O comportamento esperado do sistema O critério de aceitação Existem dois tipos de abordagens para determinar os casos de testes Testes caixa-preta baseado na especificação do sistema Testes caixa-branca (transparente) baseados na estrutura do programa

47 Princípios para geração de Casos de Teste As técnicas de especificação usam vários princípios para a derivação dos casos de teste, alguns dos quais estão abaixo listados: Processamento lógico; Classes de equivalência; Análise de valores limítrofes; Uso operacional e semeadura de erros (situação real e simulação de erros); Inclui, altera, consulta e deleta (IACD); Outros métodos de derivação (Ex. Complexidade Ciclomática etc..).

48 Como reduzir o tempo de documentação do teste Pergunte para você mesmo: 1. Quanto tempo você leve para documentar seu teste? 2. Quanto tempo leva em revisão? 3. Quanto tempo leva corrigindo? 4. Quanto tempo leva corrigindo os casos de teste se o cliente alterá-los depois que você já elaborou?

49 Exercício Especificação Aprovada pelo cliente

50 Protótipo

51 Testes Caixa-Branca São chamados testes estruturais Técnica estrutural: Teste de caixa branca Analisa a estrutura interna do software, testando os caminhos lógicos possíveis de serem executados.

52 Teste de unidade Cada componente testado em separado - definição de componente variável classe (OO) módulo procedimento... Necessidade: spec por componente Frameworks: Junit, CppUnit

53 Teste Unitário JTest Parasoft

54 Teste de integração Testa-se as interfaces entre os componentes necessita muita informação estrutural: arquitetura specs das interfaces

55 Teste de Sistema Teste propriamente dito: Execução dos testes Relatório de falhas Eliminação de erros (bug fixing) Reteste (teste de regressão) Coordenado pelo engenheiro de teste Executado pelo testador Manutenção Falhas reportadas pelos usuários

56 Testes Caixa-preta São chamados testes funcionais. O programa é uma caixa preta cujo comportamento é determinado estudando-se as suas entradas e saídas. Os casos de testes são derivados da especificação funcional. A escolha dos dados de entrada podem ser feitas com várias técnicas: - Partição de domínio - Causa-efeito - Step-by-step

57 Devido ao elevado número de possibilidades, temos então que encontrar um modo de escolher algum subconjunto suficientemente representativo para a nossa elaboração dos testes. A lista abaixo representa algumas dicas, iniciando das mais erradas a serem tomadas até as possíveis. Não testar tudo, simplesmente desistir por causa do número elevado de combinações; Testar todas as combinações possíveis (elevado custo e tempo); Escolher uma ou duas combinações e torcer para ter sido uma boa escolha; Escolher o teste mais fácil, ignorando os mais usados e que agreguem mais valores; Fazer uma lista de todas as combinações possíveis e escolher as mais importantes; Fazer uma lista de todas as combinações possíveis e escolher subconjuntos randomicamente; Escolher um subconjunto que possa ser o mais provável de se encontrar mais defeitos

58 Desafios para um bom Plano de Caso de Teste Mudança de requisito Manter-se sempre bem informado Rateabilidade Descobrir onde estão os maiores riscos de mudanças nos requisitos Construa seu caso de teste com variáveis no meio do texto Re-utilização Compartilhe a responsabilidade do retrabalho com a gerência do projeto Identificar o documento que serviu de base para a elaboração Mudança de Cronograma Re-Planejamento Diminuição do prazo compartilhe a responsabilidade / mudança de escopo Tente manter a elaboração na frente da execução, pelo menos um cenário Enxugue o caso de teste de forma a ganhar tempo na elaboração Rotatividade da Equipe de Teste Possuir sempre material de consulta a padrões, templates e exemplos... Treinamento

59 Gestão do processo Ferramenta livre para para escrever Planos de Testes e Casos de Teste

60 Gestão do processo Criação dos Cenários Execução dos Cenários Analíse Execução Resultados QADirector Históricos das Execuções Biblioteca Planos de Teste Repositório IBM - RATIONAL Comparativo Requirements Analysis Plan & Design Code Debug, Tune, & Unit Test Functional, Regression, & System Test Performance Test Deploy & Manage Passos e Verificações COMPUWARE RATIONAL Segue Mercury Casos de Testes

61 X-Zone Geração Automática de Combinação de Testes para Interfaces Visuais; Reconhecimento Automático de Objetos Windows e Browsers; Importação de Evidências de Automação de Testes Convencionais; Padronização dos Testes para sistemas Front-End, Batch e Transacionais; Integração com plataforma Mainframe e Unix (via FTP); Automação de Testes parametrizadas por Analistas, eliminando o Automatizador; Analisador de Código-Fonte para linguagens mais populares (VB, C++, Delphi, Java, dotnet);

62 X-Zone

63 Grupo HDI - Parcerias Colombia Brasil Chile Brasil México Brasil e Latin América Brasil

64 Exemplo de ferramenta de apoio a gestão do processo de teste TestManager

65 Visão Geral da Ferramenta Plano de Teste Folder do Caso de Teste Caso deteste Configuração do Caso de Teste

66 Criar previlégios para os grupos e usuários Privilégios: Test planning Test implementation Test execution Test results analysis Analista de Teste Test planning Test results analysis Testad or Test implementation Test execution Test planning Test implementation Gerente de teste Test execution Test results analysis

67 Criando um novo Plano de Teste File > New Test Plan Nome do Plano Descrição sobre o plano Responsável

68 Associando o Plano de Teste a documentos externos Procurar o arquivo para associar ao Plano

69 Criando um Folder do Caso de Teste Selecionar Insert Test Case Folder Selecionar o plano de teste com o botão direito

70 Criando um Caso de Teste Selecionar Insert Test Case Selecionar o folder do Caso de Teste e depois clicar com 0 botão direito

71 Duas visões do Caso de Teste

72 Criando os procedimentos do teste Imprimir o design Selecione para mudar de passo para ponto de verificação Passo a Passo de teste

73 Criando os procedimentos do teste

74 Exercício

75 Exercício Caso Prático Elaborar casos de teste