Plano de testes. Norma ANSI/IEEE para Documentação de Teste de Software define plano de testes como:

Transcrição

1 Plano de testes Norma ANSI/IEEE para Documentação de Teste de Software define plano de testes como: Um documento que define o âmbito, abordagem, recursos e escalonamento (planeamento) das atividades de teste previstas. Identifica itens de teste, as funcionalidades a serem testadas, as tarefas de teste, quem executará cada tarefa, e quaisquer riscos que requeiram planos de contingência Planos de teste são documentos extensos, normalmente compostos por vários documentos mais pequenos Universidade Portucalense Engenharia de Software ES

2 Plano de testes: produto ou ferramenta? (1) O plano de testes como um produto Um bom plano de testes ajuda a organizar e gerir o esforço de teste Muitos planos de teste ultrapassam este âmbito, e tornam-se num produto por si sós A estrutura, formato, e nível de detalhe são determinados não só pelo que se entende como mais apropriado para eficácia das tarefas de teste, mas também pelos requisitos do cliente ou entidade reguladora Universidade Portucalense Engenharia de Software ES

3 Plano de testes: produto ou ferramenta? (2) O que os clientes normalmente querem é programas que funcionem corretamente Os clientes tipicamente não estão interessados nos testes efetuados Os clientes estão interessados na forma como o programa funciona Para estes clientes, o plano de testes não é um produto Um plano de testes é uma ferramenta valiosa na medida em que ajuda a gerir o projeto de testes e a encontrar falhas do programa. Para além disto, é um sorvedouro de recursos preciosos Universidade Portucalense Engenharia de Software ES

4 Plano de testes: produto ou ferramenta? (3) O plano de testes como uma ferramenta A norma ANSI/IEEE 829 requer especificações da conceção de testes especificação dos casos de teste registos de testes especificação dos procedimentos de teste relatórios dos testes especificações de entrada/saída especificação de requisitos de procedimentos especiais notas sobre a dependência entre casos listas de documentos a serem elaborados após testes escalonamento (planeamento) dos testes planeamento de recursos humanos lista (escrita) de responsabilidades de cada elemento da equipa critérios para a suspensão e reativação dos testes etc. Universidade Portucalense Engenharia de Software ES

5 Secções do plano de testes (IEEE Standard 829) (1) Identificador do plano de testes Nome ou número único, que identifica o plano de testes Introdução Descrição do objeto do plano de testes, isto é, do software que está a ser desenvolvido ou mantido. Inclui referências a todas as normas e documentos relevantes na definição da política seguida Itens que vão ser testados Lista de todos os componentes do programa ( função, módulo, classe, método, biblioteca, etc.) que vão ser testados, incluindo os documentos de referência (especificação, conceção/desenho, manuais). Se apropriado, listar o que NÃO vai ser testado. Características a serem testadas Referenciadas às especificações do desenho (conceção) do teste. Características que não vão ser testadas Quais, e porquê. Universidade Portucalense Engenharia de Software ES

6 Secções do plano de testes (IEEE Standard 829) (2) Abordagem Quem faz os testes, descrição das principais atividades, técnicas e ferramentas. Objetivos para considerar os testes bem sucedidos (p.ex. o grau de cobertura esperado nos testes de unidades) Restrições, nomeadamente prazos e recursos Como o processo de testes vai ser monitorizado para garantir que decorre de acordo com o planeado Critério de sucesso/insucesso Como decidir se um dado teste foi bem sucedido ou falhou. Pode ser definida uma escala de severidade da falha Critério de suspensão e retoma dos testes Quando suspender os testes para que um problema seja corrigido? Quando retomar? O que fazer ao retomar os testes? Universidade Portucalense Engenharia de Software ES

7 Secções do plano de testes (IEEE Standard 829) (3) Quais os produtos dos testes Que documentos vão ser produzidos como resultado dos testes Plano de testes Especificações da conceção dos casos de testes Procedimentos de teste Casos de teste Código escrito para suporte aos testes Relatórios Tarefas de teste Listar as tarefas necessárias para preparar e realizar os testes Dependências entre as tarefas Quem as faz, qual o esforço necessário, quando é feita cada tarefa Ambiente necessário Hardware e software necessários para a realização dos teste Comunicações, espaço, equipamentos diversos Universidade Portucalense Engenharia de Software ES

8 Secções do plano de testes (IEEE Standard 829) (4) Responsabilidades Quem é responsável por cada tarefa Necessidade de recursos humanos e formação Escalonamento (planeamento) Listar todas as datas marcantes (milestones) Listar quando os recursos humanos e materiais vão ser necessários Riscos e contingências O que pode correr mal e atrasar os testes? O que fazer nesse caso? Identificar cada risco, avaliar a probabilidade de se concretizar, atribuir uma prioridade, preparar planos de contingência Aprovações Quem tem que aprovar o plano? Universidade Portucalense Engenharia de Software ES

9 A documentação do teste facilita a tarefa de teste Para criar um bom plano de teste, é necessário investigar o programa de forma sistemática à medida que se vai desenvolvendo o plano O tratamento do programa torna-se mais claro, mais exaustivo, e mais eficiente A documentação de testes facilita a comunicação sobre as tarefas e o processo de teste A documentação de teste fornece uma estrutura para organizar, escalonar (planear) e gerir o projecto de teste Universidade Portucalense Engenharia de Software ES

10 Tipos de testes Que tipos de testes incluir nos documentos de planeamento de testes Os programadores são responsáveis por realizar os testes caixa de vidro testes de caminhos testes de integridade de dados entre módulos etc. Não basta realizar estes testes. Os testes caixa negra são indispensáveis Universidade Portucalense Engenharia de Software ES

11 Desenvolvimento inicial do material de teste Primeiros passos para desenvolver um plano de testes Testar contra a documentação (especificação, manual,...) Criar uma documentação que seja organizada para facilitar testes eficientes, por exemplo uma lista de funções Fazer uma análise simples de limites Testar valores limite em todas as situações em que se podem fornecer dados Universidade Portucalense Engenharia de Software ES

12 Resumo do plano de testes De acordo com Ilene Burnstein Practical Software Testing Universidade Portucalense Engenharia de Software ES

13 Especificação dos desenhos de testes Conforme se refere a testes de componentes, integração, sistema, etc. Anexo do plano de testes Ajuda a organizar os testes e fornece a ligação entre os resultados dos testes e os diversos passos do plano Compreende: Identificador da especificação do desenho de teste Características a serem testadas Detalhes de abordagem Para complementar e adaptar a abordagem geral do plano de testes Identificação dos casos de teste Um desenho de teste está associado a um conjunto de casos de teste Um caso de teste pode estar associado a um ou mais desenhos de teste Critério de sucesso / insucesso Universidade Portucalense Engenharia de Software ES

14 Especificação dos casos de teste Anexo do plano de testes Série de documentos que definem os casos de teste necessários para executar os itens de teste das especificações de desenhos de testes associadas Compreende: Identificador da especificação do caso de teste Itens de teste Itens e características a serem testados Especificações de entradas Valores concretos das variáveis de entrada. Definir relações entre variáveis Especificações de saídas Valores esperados das saídas. Incluir níveis de desempenho, quando apropriado (p.ex. tempo de resposta) Necessidades especiais do ambiente Dependências com outros casos de teste Universidade Portucalense Engenharia de Software ES

15 Especificação dos procedimentos de teste Anexo do plano de testes Um procedimento é uma sequência de passos necessários para realizar uma tarefa Compreende: Identificador do procedimento de teste Objetivo Incluir referência aos casos de teste que são executados Requisitos específicos Software, hardware, dados, formação Passos do procedimento Incluindo métodos e documentos para registo de resultados e incidentes Universidade Portucalense Engenharia de Software ES

16 Registo de testes Preparado pela pessoa que realiza os testes Muito valioso para um diagnóstico correto de uma falha, e para a procura da causa O registo de testes também é muito valioso quando se repetirem os testes (testes de regressão) Após correção de um erro, após alterações ao programa Compreende: Identificador de registo de testes Descrição Itens a ser testados, respetiva versão, ambiente de teste Atividade, eventos Descrição da execução e do procedimento de testes associado, características específicas do ambiente, resultados obtidos, sucesso ou insucesso, eventos anormais, identificação dos relatórios de incidentes (se for o caso) Universidade Portucalense Engenharia de Software ES

17 Registo de incidente de teste Elaborado sempre que surgir um incidente (problema) durante um teste Compreende: Identificador do incidente de teste Resumo Para identificar os itens de teste envolvidos, procedimentos de teste, casos de teste, e registo de teste Descrição do incidente Data e hora, quem testou, quem assistiu, ambiente, entradas, saídas esperadas, saídas obtidas, anomalias, passo do procedimento, tentativas de repetição. Qualquer outra informação útil deve ser incluída. Impacto Qual o impacto do incidente nas tarefas de teste, planos de teste, procedimentos e casos de teste Universidade Portucalense Engenharia de Software ES

18 Relatório de síntese dos testes Elaborado quando os testes terminam. Resume a experiência de realização dos testes Compreende: Identificador do relatório de síntese dos testes Variações Quaisquer desvios em relação ao plano inicial, e porquê Avaliação de abrangência Discussão da abrangência dos testes quando comparados com os objetivos do plano Resumo dos resultados Com descrição dos incidentes resolvidos, e listagem dos incidentes não resolvidos Avaliação dos itens de teste Passou ou não, e neste caso qual a severidade e o impacto da falha Resumo de atividades realizadas, e recurso utilizados Aprovação Universidade Portucalense Engenharia de Software ES

19 Um comentário final O objetivo dos testes não é criar documentos em papel, mas sim encontrar e corrigir problemas nos programas Nem todos os documentos têm que ser gerados em todos os casos Nada substitui o bom senso Universidade Portucalense Engenharia de Software ES