Qualidade em testes. Exercício - prático TESTES. Produto??? Processo???? Processo de testes - RUP. Angelica Toffano Seidel Calazans

Transcrição

1 Exercício - prático Qualidade em testes Angelica Toffano Seidel Calazans Você e sua equipe altamente qualificada foram contratados para desenvolver esse projeto Como todo projeto, vocês vão trabalhar com custo e prazos reduzidos Vocês vão receber o material (caríssimo) para construção de uma estrutura Vocês não podem manusear o material, somente contá-lo Na primeira etapa do projeto vocês vão desenhar a estrutura(10 minutos). São dois os requisitos básicos: Ela deve se manter em pé sobre si mesma sem apoio A maior estrutura vence O cliente deve aceitar o projeto Na segunda etapa vocês vão construir a estrutura(15 minutos) TESTES Processo de testes - RUP Produto??? Ou Processo???? 1

2 Níveis de maturidade do Modelo MPS-BR Produto A B C D E Parcialmente gerenciado Em otimização Gerenciado quantativamente Definido Inovação e implantação na organizaç Análise e resolução de causas Desempenho do processo organiz/ Gerencia quantitativa do projeto Análise de decisão e Resolução Gerência de riscos Largamente Desenv. De Requisitos /Solução técnica/ Integraçaõ do CMM I nível 3 definido Produto/ Instalação/ Liberação/Verificação/Validação Treinamento/Avaliação e Melhoria de processo/definição do processo org/ Adaptação do processo para Ger. Proj Testes Unitários Testes de Integração Testes de Sistemas Testes de performance Testes de stress Outros F G Parcialmente gerenciado Gerenciado Medição/Gerência de configuração/ Aquisição/Garantia da qualidade CMM I nível 2 Gerência de requisitos Gerência de projeto Questões A qualidade do produto é inserida com os testes A qualidade de um produto é confirmada através do teste... Testes podem mostrar a presença de erro, mas não a sua ausência É necessário testar? Há 6 anos a Mars Climate Orbiter foi perdida quando entrava na atmosfera de Marte. Mal programado, o software embutido na sonda misturou medidas em pés (padrão americano) com metros (padrão europeu) e, por um problema tão simples, provocou um prejuízo de 125 milhões de dólares. 2

3 É necessário testar? Em setembro de 2004 todos os rádios do centro de controle aéreo de Palmdale, CA, entraram em pane. Este centro controlava a comunicação com aeronaves no sul da Califórnia e no estado de Nevada. O problema foi causado por um requisito do software que exigia um re-boot do sistema todo mês. Alguém esqueceu de fazer este re-boot e o software entrou em pane. Porque um sistema de missão crítica teria um requisito desses? Houve uma falha de projeto? Fonte: The Economist, nov/04. É necessário testar? O que dizer do problema causado com os softwares do IRS (Internal Revenue Service) nos EUA fazendo com que 4 bilhões de valores declarados não pudessem ser checados, porque em 1997 ocorreu um erro de sistema no processamento dessas declarações. Em 1998 o programa de apoio as crianças do Reino Unido deixou de fazer 844 milhões de dólares em pagamentos por erro de software. Fonte: The Economist, nov/04. Pergunta Como você poderá afirmar que sua aplicação funciona se não testá-la? Você pode até querer evitar ou não gostar,mas testar é necessário; e testar bem é mais necessário ainda Como a morte e os impostos, o teste é tanto desagradável quanto inevitável. Ed Yourdon 3

4 Teste O processo de operar um sistema ou componente sob determinadas condições, observando ou registrando resultados, realizando a avaliação de algum aspecto do sistema ou componente Fonte: IEEE Std 610 Standard Glossary of Software Engineering Terminology Teste de software Conjunto de atividades que podem ser planejadas antecipadamente e conduzidas sistematicamente. V&V Técnicas de Verificação e validação Verificação: Estamos construindo o produto corretamente? Validação: Estamos construindo o produto certo? Teste de software Testes que garantem a Qualidade do Processo Objetivos Aprimorar a produtividade e fornecer evidências de confiabilidade e qualidade do software Projetar testes que descobrem sistematicamente diferentes classes de erros e fazê-lo com uma quantidade mínima de tempo ou esforço Testes aplicados em documentos gerados em cada fase do desenvolvimento. Cada etapa deve produzir um conjunto de documentos, é possível estabelecer a qualidade através da qualidade dos documentos produzidos Testes de verificação 4

5 Testes que garantem a Qualidade do Produto A qualidade do produto pode ser garantida através de sistemáticas aplicações de testes nos vários estágios de desenvolvimento da aplicação. Quando construímos uma unidade de software, validamos a sua estrutura interna e sua aderência aos requisitos estabelecidos Avaliamos sua integração com as demais unidades Testes de validação Testes de verificação São aplicados respeitando o estágio de desenvolvimento Na etapa de definição das necessidades e características de negócios a serem atendidas pela solução Na etapa de identificação dos requisitos funcionais e não funcionais Na etapa de definição do modelo de arquitetura da solução Na etapa de construção dos softwares Testes de verificação Métodos utilizados Revisões processo humano de análise de determinado documento. Revisões isoladas Revisões formais (reuniões com avaliadores) Reuniões de acompanhamento Auditorias Concentram-se nas atividades críticas de um processo Avaliam se determinado projeto está respeitando o processo de desenvolvimento. Testes de verificação Aumentando a eficiência das verificações Inspeções e revisões Profundidade das análises e discussões Uniformidade das atividades (checklist) Continuidade e freqüência Revisores experientes Revisões curtas e bem focadas Identificar problemas, não resolvê-los 5

6 Fase de verificação Modelo de negocio Especificação de requisitos Testes de verificação Principais produtos Modelo de negócios Análise de riscos Árvore de decisão Estudo de viabilidade Especificação de requisitos; Rastreabilidade Principais atividades Revisar contexto do mercado e necessidades do cliente Revisar riscos do projeto Auditar alternativas de execução do projeto Revisar estudo de viabilidade do projeto Revisar Especificação de requisitos funcionais Revisar especificação de requisitos não funcionais Revisar priorização de requisitos etc Testes de verificação Exemplo de checklist do modelo de negócios Levantamento das necessidades do cliente Todas as necessidades foram devidamente registradas s/n Cada necessidade apontada possui uma descrição s/n Definição das características do software Cada característica atende ao menos a uma necessidade identificada s/n Cada característica possui uma descrição clara s/n Testes de verificação Exemplo de um checklist de requisitos Diagrama de casos de uso Existe um modelo de casos de uso para cada subsistema identificado Todos os casos de uso estão adequadamente descritos Todos os atores estão adequadamente representados Levantamento de requisitos Cada caso de uso representa um requisito funcional Existe rastreabilidade entre requisitos identificados e necessidades Requisitos foram avaliados por importância, volatilidade e criticidade Especificações funcionais Cada requisito funcional possui uma especificação detalhada As especificações comtemplam os fluxos básicos, alternativos e exceção As especificações contemplam pré-requisitos e pós condições Testes de verificação Exemplo de um checklist de diagramas UML Diagrama de classes Todas as classes possuem nome e descrição adequados Todos os atributos de classe possuem nome e descrição adequados Todos os serviços de classe possuem nome e descrição adequados Diagrama de estado Todas as transições de estado possuem um serviço ou evento associado Todos os estados possuem nome e descrição adequados Todas as transições de estado refletem o real ciclo de vida da classe Diagramas de componentes Os packages agrupam componentes com as mesmas características Cada componente agrupa classes de única camada: user, business, data Todas as dependências de componentes foram estabelecidas 6

7 Testes de verificação Exemplo de um checklist de código fonte Comparação do modelo de arquitetura de software com o código fonte Todas as classes do modelo foram implementadas Todos os métodos de cada classe foram implementados Todos os atributos de cada classe foram implementadoas Mensagens apresentadas ao usuário final Nenhuma mensagem apresenta erro gramatical Todas as mensagens são claras e bem objetivas Todas as mensagens apresentam ícones adequados ao contexto Legibiidade do código Todas as estruturas estão adequadamente identadas Tratamento de erros e desvios estão sempre no final das rotinas Não existem vários comandos em uma única linha Testes de validação São aplicados respeitando o estágio de desenvolvimento Em componentes executáveis isolados recémcriados e alterados Testes de interface entre componentes a medida que vão sendo integrados Testes em sistemas ou módulos completos Aceite de um sistema ou módulos pelos clientes e usuários Testes de validação A estratégia escolhida determina o modo como serão conduzidos os procedimentos de teste Caixa branca Caixa preta Complementares Tipos de teste de software Teste Caixa branca ( estrutural) Verifica se a estrutura interna do produto esta correta. Esta verificação é efetuada através de casos de teste que percorrem todos os caminhos internos do produto Mais complexo Verifica a lógica interna, verifica os resultados de loops e identifica os caminhos críticos É necessário que o profissional conheça a tecnologia empregada pelo software e a arquitetura da solução Alta eficiência na detecção de erros Difíceis de implementar 7

8 Tipos de teste de software Categoria de testes Teste Caixa preta (funcional) Utiliza técnicas para garantir que os requisitos do sistema estão plenamente atendidos pelo software Procura descobrir: Funções incorretas ou ausentes Erros de interface Erros nas estruturas de dados ou no acesso a bancos de dados externos Erros de desempenho Erros de inicialização e término Mais simples de implantar Funcional Segurança Usabilidade Performance Carga e concorrência Configuração Recuperação Contingência Simula todos os cenários de negócio e garante que todos os requisitos funcionais sejam implementados Exemplo de teste funcional Categoria de testes Simular saques acima do saldo disponível Simular saque na conta poupança Simular saque acima do valor do limite da conta Simular saque com valores não multiplos das notas Funcional Segurança Usabilidade Performance Carga e concorrência Configuração Recuperação Contingência Objetivo detectar falhas de segurança que podem comprometer o sigilo e a fidelidade das informações, bem como provocar perdas de dados ou interrupções de processamento -Validar todos os requisitos de segurança identificados -Tentar acessar funcionalidades e informações que requerem perfil avançado -Tentar invadir /derrubar o servidor de dados -Tentar descobrir senhas e quebrar protocolos de segurança 8

9 Exemplo de teste de segurança Categoria de testes Simular saques com cartão vencido Avaliar se a senha do cartão esta sendo requisitada antes e depois da transação Simular saque noturno acima do valor permitido Funcional Segurança Usabilidade Performance Carga e concorrência Configuração Recuperação Contingência Simula as condições de utilização do software sobre a perspectiva do usuário final - Avaliar navegação - Realizar operações para depois desfazêlas - Realizar procedimentos críticos e avaliar a mensagem de alerta - Avaliar a existência de ajuda em todas as telas Exemplo de teste de usabilidade Categoria de testes Avaliar se todas as telas possuem ajuda Avaliar se as mensagens são claras e objetivas Avaliar se o padrão visual é mantido em todos os momentos Avaliar se todas as operações possuem caminhos de fuga Funcional Segurança Usabilidade Performance Carga e concorrência Configuração Recuperação Contingência Determina se o desempenho, nas situações previstas de pico máximo de acesso e concorrência, está consistente com os requisitos definidos -Validar se todos os requisitos de desempenho foram identificados -Simular n usuários acessando a mesma informação de forma simultânea - simular n% de tráfego na rede 9

10 Exemplo de teste performance Categoria de testes Avaliar se a duração do saque dura até 30 segundos em um universo de 5 milhões de correntistas e 100 milhões de movimentação bancária Garantir que a manipulação com dispositivos físicos no saque não ultrapasse 10 segundos da operação Funcional Segurança Usabilidade Performance Carga e concorrência Configuração Recuperação Contingência Simula todos os cenários de negócio e garante que todos os requisitos funcionais sejam implementados -Elevar e reduzir sucessivamente o número de transações simultaneas -Aumentar e reduzir o tráfego de rede -Aumentar o número de usuários simultâneos Exemplo de teste carga e concorrência Categoria de testes Simular dos saques simultâneos na mesma conta corrente Simular saques simultâneos Funcional Segurança Usabilidade Performance Carga e concorrência Configuração Recuperação Contingência Executar o software sobre diversas configurações de software e hardware. - Variar os sistemas operacionais -Variar os browsers -Variar os hardware 10

11 Exemplo de teste Configuração Categoria de testes Simular saque com impressora dos fornecedores A,B e C Simular saques em Windows 95, 98, NT e 2000 Funcional Segurança Usabilidade Performance Carga e concorrência Configuração Recuperação Contingência Avaliar o comportamento do software após a ocorrência de um erro ou determinadas condições anormais. -Interromper o acesso a rede -Por algum instante -Por um longo período -Interromper o processamento -Desligar o micro -Desligar o servidor Exemplo de teste Recuperação Categoria de testes Simular saque com defeito do cash dispenser Simular saque com defeito na impressora Simular saque com falha de conexão com a central Simular saque com queda de energia Funcional Segurança Usabilidade Performance Carga e concorrência Configuração Recuperação Contingência Validar os procedimentos de contingência a serem aplicados a determinada situação -Instalação emergencial de uma aplicação -Recuperação da perda de conexão da filial com a matriz 11

12 Exemplo de teste Contingência Disparar processo de instalação emergencial Priorizar as categorias de testes Relação de custo benefício dos trabalhos nos testes As mais importantes são aquelas que irão garantir aspectos vitais do software Estabelecer prioridades: essencial, alto impacto, médio impacto, baixo impacto Fases de teste de software Teste de validação Fases de teste de software Aceitação Sistema Aceitação Sistema Desenvolvedor 12

13 Fases de teste de software Teste de unidade Aceitação Sistema Desenvolvedor Equipe de testes Focaliza o esforço de verificação na menor unidade de projeto de software (componente ou o módulo) Categorias de testes aplicadas: estrutura interna, funcionalidade, usabilidade e segurança Orientado para caixa branca e preta Verifica: Interface com o módulo (informações que entram e saem devem ser consistentes) Estrutura de dados local (os dados armazenados devem manter sua integridade) Caminhos básicos (todas as instruções de uma unidade devem ser executadas uma vez) Caminhos de tratamento de erros( devem ser testados) Teste de integração Teste de sistema Verifica se as unidades testadas de forma individual executam corretamente quando colocadas juntas Caixa branca e caixa preta Identifica erros associados a interfaces e dependências entre componentes A medida que o teste de integração é conduzido o testador deve identificar os módulos críticos: possuem vários requisitos, tem alto nível de controle, complexidade ou propenso a erro, tem requisitos de desempenho bem definidos) Testes caixa preta que demonstram a conformidade com os requisitos definidos pelo cliente Envolve testes funcionais e não funcionais: Performance, instalação, recuperação e carga Visa garantir: Todos os requisitos funcionais foram satisfeitos Todos os requisitos de desempenho foram alcançados A documentação esta correta Requisitos como portabilidade, manutenibilidade foram cumpridos 13

14 Teste de aceitação Teste caixa preta e funcional O sistema é testado em conjunto com outros sistemas de software e elementos de hardware. Realizado pelos usuários finais Funcional, usabilidade, segurança 1.Planejamento Estudo o projeto (modificacoes solicitadas, modificacoes de arquitetura, riscos) Avalio impactos se tenho testes progressivos (conformidade novos requisitos) Se tenho testes regressivos (conformidade com velhos requisitos) Aquisicao de novas ferramentas Analiso internamente e externamente o esforço Defino cenários possiveis Aprovo planejamento de testes ou plano de teste Plano de teste É um documento que identifica: Os tipos de testes a serem aplicados Materiais e ferramentas a serem utilizados O ambiente que será utilizado Identifica os casos de testes Identifica os papéis dos envolvidos com o teste Gerente de testes, executor, projetista Exemplo Artefatos \DOCEB42-Plano Teste.doc 14

15 2.Especificação Estudo os requisitos Especifico adaptaçoes necessárias arquitetura Especifico casos de teste Apresento casos de teste para areas clientes (obtenho aceite) Atualizo planejamento de testes ou plano de testes Caso de teste Documento que contem: Identificação do caso (número) Descrição Passos para a execução do teste Resultado esperado ou critério de aceitação Dados (informações utilizadas para o teste) Pré-condições para execução do teste (caso existam) Pós-condições para execução do teste (caso existam) Resultado da execução (se o teste passou ou não) Ambiente Tipo de implementação do caso de teste (manual ou automatizada) Prazo de execução Informações sobre a execução realizada (quem realizou o teste, quando) Relacionamentos e dependências (dos requisitos com os casos de teste) Exemplo Artefatos \DOCEB047 - Caso de Teste xls 3.Modelagem de testes Crio roteiro de testes Exemplo Artefatos \DOCEB113 - Roteiro de Teste xls Detalho massa de entrada Detalho massa de saida Implemento adaptações da arquitetura Elaboro plano de execução dos testes (priorizar a execução dos testes por importância, identificar equipamentos necessários, etc) 4.Preparação do ambiente Instalação do aplicativo a ser testado Instalação da arquitetura (mesma versão de bd, mesma versão de so, etc) Geracao da massa de teste 15

16 5. Execução dos testes Execução dos testes Exemplo artefato Artefatos \DOCEB114-Cenário de Teste xls Confirmação dos resultados Listas de defeitos Evidencias de teste - Exemplo Artefatos \DOCEB115-Evidências de Teste doc 6.Análise dos resultados Revisão dos resultados Atualização da base line Negociação de novo ciclo de testes 7. Encerramento do processo Versionamento do processo Extração de indicadores Resumo Análise dos indicadores Estratégia de testes Especifique os requisitos do produto de um modo quantificável muitos antes do teste começar (para os resultados não serem ambíguos) Enuncie explicitamente os objetivos do testes (no plano de testes. Entenda os usuários do software e desenvolva um perfil para cada categoria de usuário Desenvolva um plano de teste que enfatiza teste de ciclo rápido Construir software robusto que é projetado para testar a si próprio Use revisões técnicas formais efetivas como filtro antes do teste 16

17 Estratégia de testes Conduza revisões técnicas formais para avaliar a estratégia de teste e os casos de teste propriamente ditos Desenvolva uma abordagem de aperfeiçoamento continuo para o processo de teste Atividades: Projeto Execução Processo de Teste de software Avaliação Processo de Teste de software Processo de Teste de software Atividades: Projeto Execução Avaliação Plano de teste (identificar existência de informações do projeto e componentes, listar requisitos de teste, recomendar estratégias de teste, identificar recursos requeridos) Caso de teste ( Documento que descreve uma entrada, ação ou evento e uma resposta esperada. Verifica se a aplicação está executando corretamente) Procedimento de testes (define précondições para o teste, condições de entrada, ações a serem tomadas, resultados esperados, métodos para validação destes resultados) Atividades: Projeto Execução Avaliação Verifica se as funcionalidades do sistema são atendidas Produtos erros encontrados durante o teste 17

18 Atividades: Projeto Execução Avaliação Processo de Teste de software Julgar e apresentar os resultados quantificáveis do teste e determina a qualidade Produto Relatório com os resultados finais do teste Indicadores de defeitos Defeitos são falhas de comportamento do software em relação aos requisitos estabelecidos O volume de defeitos de um software também proporciona um excelente indicador de confiança do produto Indicadores de defeitos por categoria Classificação dos defeitos Ótica do usuário Ocorrência do defeito Exemplos Falha de estética - não está correspondendo a estética desejada Falha no ambiente - queda de banco de dados ou rede Não funcional a funcionalidade não está disponível Erro fatal software é derrubado durante a execução Funcionamento incorreto o software não se comporta como desejado Ferramentas de teste, voltadas para Web (livres) Badboy marcelo Selenium luciano Eclipse TPTP ricard Harness <souceforge.net/projects/harness/> LogiTest <logitest.sourceforge.net/logitest/index.html> bruno MaxQ <maxq.tigris.org/> Mantis - sabrina TestLink - adrian JMeter 18

19 Ferramentas de teste pagas WinRunner: HP/Mercury QuickTest Porfessional: HP Mercury SilkTest: Borland/Segue QA Center Tester: Compuware Rational Robot: IBM/Rational E-Test Suit: Empirix Horas do projeto Erros encontrados Investimentos em testes Pessoal Infra-estrutura Total investimento Retorno do investimento em Teste de software Processo sem estrutura formal para testes Processo com estrutura formal para testes , , ,00 Retorno do investimento em Teste de software Processo sem estrutura formal para testes Processo com estrutura formal para testes Retorno do investimento em Teste de software Processo sem estrutura formal para testes Processo com estrutura formal para testes Desenvolvimento/ testes Defeitos encontrados Custo de correção , ,00 Testes realizados pela equipe de testes Defeitos encontrados Custo de correção (valor 100 cada defeito) ,00 19

20 Retorno do investimento em Teste de software Processo sem estrutura formal para testes Processo com estrutura formal para testes Retorno do investimento em Teste de software Processo sem estrutura formal para testes Processo com estrutura formal para testes Manutenção defeitos encontrados após a implantação Custo da qualidade Retorno , ,00 197% Defeitos encontrados Custo de correção (valor 1000 cada defeito) , ,00 Fonte: James Bullock Calculating the value of testing Teste de software Você não pode testar a qualidade... Se ela não estiver lá antes de você começar a testar, ela não estará lá quando você terminar de testar... A qualidade é incorporada ao software durante o processo de construção... A qualidade de um produto é confirmada através do teste... 20