Workshop de Teste de Software. Práticas

Transcrição

1 Workshop de Teste de Software Práticas Curso complementar ao outro workshop Emerson Rios 1

2 AGENDA DO CURSO Documentação Processo Aderência dos documentos a um processo básico Melhoria de Processo - Aderência do processo e documentação ao MPT

3 BIBLIOGRAFIA 3

4 4

5 MATERIAL PARA ESTUDO Material das clinicas de teste de software promovidas pelo SEBRAE/RJ e pela Riosoft no ano de 2013 que pode ser baixado no site Livro Documentação de Teste de Software.

6 Alguém trouxe um caso real para ser avaliado em sala? PERGUNTA?

7 CARACTERÍSTICAS DE QUALIDADE DOS SOFTWARES ISO/IEC Funcionalidade 2. Performance 3. Compatibilidade (inter-operabilidade) 4. Usabilidade 5. Confibilidade (maturidade, disponibilidade) 6. Segurança 7. Manutenibilidade 8. Portabilidade A norma ISO/IEC substitui a antiga norma ISO/IEC

8 PROCESSO (BÁSICO) DE TESTE Planejar Planejar Projetar Executar Analisar Resultados Gerenciar Defeitos 8

9 CONCEITOS BÁSICOS TAMANHO ESFORÇO CUSTO PRAZO 10

10 ESTIMATIVA E GERÊNCIA DE PROJETO Falta equipe quando planejado Recursos desviados Requisitos retirados Funcionalidades removidas estimativa P R O J E T O Requisitos acrescentados Equipe menos experiente Equipe atendendo outro projeto Novos recursos acrescentados 11

11 Distribuição entre as etapas de teste Preparação Especificação Execução Transição 10% 40% 45% 5% Cada ambiente tem os seus próprios números Para aqueles que querem um número mágico para estimativas rápidas sugerimos um valor entre 1 e 2 horas de teste por ponto de função. No entanto cabe lembrar que são valores médios de mercado e nem sempre correspondem a um projeto de teste específico. 12

12 PROCESSO (BÁSICO) DE TESTE Projeto n Projeto 2 Projeto 1 Planejar Planejar Projetar Executar Analisar Resultados Gerenciar Defeitos 13

13 DOCUMENTAÇÃO IEEE 829:1998 Documentos básicos Planejamento Plano de teste. Especificação de teste Projeto de teste Casos de teste Procedimentos de teste Relatórios de Teste Relatório de passagem de itens de teste Log de teste Relatório de incidentes de teste Relatório de sumário de teste 14

14 CONSIDERE O SEGUINTE REQUISITO Cada usuário para acessar às suas informações no site precisará ter uma sigla e senha cadastrados. Para isso é necessário as seguintes informações: Nome do usuário: deve ser o mesmo cadastrado no site. CPF: deve ser o mesmo cadastrado no site Deve ser o mesmo cadastrado no site Sigla: 8 posições alfanuméricas sendo o primeiro dígito necessariamente alfabético Senha: 6 posições alfanuméricas, sendo que as três primeiras devem ser alfabéticas.

15 PLANO DE TESTE Introdução Identificador do Plano de Teste; Escopo; Referências Nível na sequencia de teste Classe de teste e visão das condições de teste Detalhes para este nível do plano de teste Itens de teste e seus identificadores; Matriz de rastreabilidade do teste; Funcionalidades a serem testadas; Funcionalidades que não serão testadas; Abordagem do teste; Critérios de liberação/falha dos itens; Requisitos de suspensão e retomada; Entregas do teste; (continua) 16

16 DESIGN OU PROJETO DE TESTE Introdução Identificador; Escopo; Referências; Detalhes deste nível do Desenho (Projeto) de Teste Geral Features (ou funcionalidades) a serem testadas; Abordagem refinada; Casos de teste com a sua respectiva identificação; Critérios de passagem e falha por feature ou funcionalidade; Entregáveis; Glossário; Procedimentos de alterações do documento e histórico de alterações. 17

17 PLANO DE TESTE Gerência de Teste Tarefas do teste; Necessidades de ambientes; Responsabilidades; Integração entre as partes envolvidas; Recursos e sua alocação; Treinamento; Cronograma, estimativas e custos; Riscos e contingências; Geral Procedimentos de garantia de qualidade; Métricas; Cobertura do teste; Glossário; Procedimentos de alteração do documento e histórico. 18

18 Plano Máster de Teste Plano Master de Teste Plano de Teste Unitário Plano de Teste de Integração Plano de Teste de Sistemas n Design de Teste Design de Teste 19

19 O site permite que usuários já cadastrados (ver requisito definido anteriormente) acessem ao site. Para evitar acessos desnecessários aos bancos de dados, as siglas e senhas foras do padrão do site são rejeitadas de inicio. Quanto tempo você estima que precisaria para testar este requisito? 20

20 CONSIDERE O SEGUINTE REQUISITO Cada usuário para acessar às suas informações no site precisará ter uma sigla e senha cadastrados. Para isso é necessário as seguintes informações: Nome do usuário: deve ser o mesmo cadastrado no site. CPF: deve ser o mesmo cadastrado no site Deve ser o mesmo cadastrado no site Sigla: 8 posições alfanuméricas sendo o primeiro dígito necessariamente alfabético Senha: 6 posições alfanuméricas, sendo que as três primeiras devem ser alfabéticas.

21 EXERCÍCIO Fazer um Plano de Teste para o requisito mostrado Usar o modelo simplificado de Plano de Teste

22 CASO DE TESTE Introdução (uma por documento) Identificador do documento Escopo Referências (itens de teste) Contexto Notas para descrição Detalhes (um por caso de teste) Identificador do caso de teste Objetivos Especificações de entrada Especificações de saída Necessidades de ambiente Requisitos ou procedimentos especiais Dependências entre casos de teste Global Glossário Procedimentos de alterações do documento e histórico de alterações Rembrandt, Lição de Anatomia em detalhe 23

23 EXERCÍCIO Fazer Casos de Teste para o requisito mostrado Usar o modelo simplificado de CT

24 RELATÓRIO DE LOG Introdução Identificador; Escopo; Referências; Detalhes Descrição Descrição da execução (identificar o que foi executado); Resultados (mensagens, requisições operacionais, etc); Informações sobre o ambiente; Eventos anormais (conexão com o Relatório de Anomalias); Qualquer situação que causou a interrupção do teste. Entradas das atividades e eventos Geral Glossário 25

25 RELATÓRIO DE ANOMALIAS Introdução Identificador Escopo Referências Detalhes Sumário Data da anomalia Contexto Descrição da anomalia Descrição da execução (identificar o que foi executado) Resultados (mensagens, requisições operacionais, etc) Informações sobre o ambiente Eventos anormais (conexão com o Relatório de Anomalias) Qualquer situação que causou a interrupção do teste. Impacto Estimativa de urgência Descrição das ações corretivas Estado da anomalia Conclusões e recomendações Geral Procedimentos de alterações do documento e histórico de alterações Defeitos Incidentes 26

26 RELATÓRIO DE ESTADO Introdução Identificador Escopo Referências Detalhes Sumário Alterações do planejado Métricas de estado do teste Geral Relatório de progresso Procedimentos de alterações do documento e histórico de alterações 27

27 RELATÓRIO DE SUMÁRIO Introdução Identificador Escopo Referências Detalhes Geral Visão geral dos resultados do teste Resultados detalhados do teste Racional das decisões Conclusões e recomendações Glossário Procedimentos de alterações do documento e histórico de alterações 28

28 DOCUMENTAÇÃO X CICLO DE VIDA Planejar Projetar Executar Analisar Resultados Gerenciar Defeitos Plano Máster de Teste Plano de Teste Plano de Teste de Componente ou de Teste Unitário Plano de Teste de Integração de Componentes Plano de Teste de Sistema Plano de Teste de Aceitação Desenho (Projeto) de Teste de Aceitação, Sistema, Integração e Unitário Casos de Teste de Aceitação, Sistema, Integração e Unitário Procedimentos de Teste de Aceitação, Sistema, Integração e Unitário Relatórios de Execução dos Relatório de Estado de Teste Relatório de Teste (sumário) Relatório de Log de Teste Relatório de Anomalias (ex-relatório de Incidentes) Relatório Máster de Teste Relatório de teste de componente Relatório de teste de integração de componentes Relatório de teste de sistema Relatório de teste de aceitação Ligar os documentos ao ciclo de vida 29

29 IEEE Política Organizacional de Teste Estratégia Organizacional de Teste Plano de Teste Relatório de Estado do Teste Relatório de Término do Teste Lista de revisão Regras de análise estática Relatório de incidente (ver teste dinâmico) Lista de itens de ação Relatório de teste estático Especificação de teste Especificação de desenho de teste Especificação de caso de teste Especificação de procedimento de teste Requisitos de dados de teste Requisitos de ambiente de teste Relatório de situação de ambiente de teste Conseqüências (gerados por CT) do teste Resultados (se o CT passou ou não) do teste Log de execução do teste Relatório de incidente Plano Máster de Teste Plano de Teste Plano de Teste de Componente ou de Teste Unitário Plano de Teste de Integração de Componentes Plano de Teste de Sistema Plano de Teste de Aceitação Desenho (Projeto) de Teste de Aceitação, Sistema, Integração e Unitário Casos de Teste de Aceitação, Sistema, Integração e Unitário Procedimentos de Teste de Aceitação, Sistema, Integração e Unitário Relatórios de Execução dos Relatório de Estado de Teste Relatório de Teste (sumário) Relatório de Log de Teste Relatório de Anomalias (ex- Relatório de Incidentes) Relatório Máster de Teste Relatório de teste de componente Relatório de teste de integração de componentes Relatório de teste de sistema Relatório de teste de aceitação

30 PROCESSO DE TESTE DE SOFTWARE Emerson Rios

31 PROJETO DE TESTE DE SOFTWARE Deixa eu te dizer uma coisa. Teste de Software é um projeto. Certo? CERTO? Você está duvidando de mim?

32 PROJETO DE TESTE DE SOFTWARE Projetos para serem bem conduzidos precisam de processos. Concorda ou não concorda? No final do curso nós vamos conversar, Quero ver se você concorda ou não.

33 PROJETO DE TESTE DE SOFTWARE Agora fique aí quietinho que eu vou te mostrar porque o teste é um projeto e porque projetos precisam de processos. Não saia daí não. Vai encarar?

34 PROJETOS FALHAM Falharam Com Problemas Sucesso % 51% 34% % 46% 35% % 44% 32% Fonte: Standish Group Chaos Report 2010

35 GERENCIANDO MUDANÇAS Visão Habilidades Incentivos Recursos Plano Mudança Habilidades Incentivos Recursos Plano Confusão Visão Incentivos Recursos Plano Ansiedade Visão Habilidades Recursos Plano Mudança parcial Visão Habilidades Incentivos Plano Frustração Visão Habilidades Incentivos Recursos Falsa partida 36

36 O QUE É UM PROJETO? Projeto é um empreendimento temporário com objetivo de criar um produto, serviço ou resultado único. PMBOK, 2008.

37 SÓ PARA LEMBRAR Você entendeu o que o Anderson Silva falou? Fica quietinho aí. Por que para os projetos funcionarem você vai precisar também de processos. O que está olhando? Vai encarar?

38 PROJETO X PROCESSO Qual a diferença entre projeto e processo?

39 PROCESSO (BÁSICO) DE TESTE Planejar Planejar Projetar Executar Analisar Resultados Gerenciar Defeitos 40

40 PROCESSO (BÁSICO) DE TESTE Projeto n Projeto 2 Projeto 1 Planejar Planejar Projetar Executar Analisar Resultados Gerenciar Defeitos 41

41 PROCESSO DE TESTE Planejar Planejar Projetar Executar Analisar Resultados Requisitos Gerenciar Defeitos 42

42 PROCESSO DE TESTE Planejar Planejar Projetar Executar Analisar Resultados Requisitos de Teste Gerenciar Defeitos 43

43 AVALIE SE O SEU PLANO DE TESTE ATENDE AOS REQUISITOS DESTE PROCESSO. Anote as não conformidades

44 Exemplo de um caso real Macro-atividade: Planejar Atividade: Atividade: Atividade: Atividade: Atividade: Atividade: Atividade: Atividade: Atividade: Realizar estudo de viabilidade do projeto de teste Fazer a análise de riscos do produto Verificar a testabilidade dos requisitos Definir o escopo do projeto Definir o tamanho e o esforço (cronograma) Listar os riscos do projeto Preparar o ambiente de teste Definir os recursos humanos do projeto Fechar o planejamento do projeto de teste 45

45 PLANO DE TESTE O QUE DIZ A NORMA IEEE 829:2008 Introdução Identificador do Plano de Teste; Escopo; Referências Nível na sequencia de teste Classe de teste e visão das condições de teste Detalhes para este nível do plano de teste Itens de teste e seus identificadores; Matriz de rastreabilidade do teste; Funcionalidades a serem testadas; Funcionalidades que não serão testadas; Abordagem do teste (Estratégia de Teste na ISO 29119); Critérios de liberação/falha dos itens; Requisitos de suspensão e retomada; Entregas do teste; (continua) Quando o teste deve ser suspenso? Foi você que fez este processo? Eu quero saber se ele está em conformidade com o Plano de Teste da norma IEEE 829. Por que se não estiver nós vamos ter que conversar 46

46 PLANO DE TESTE Quem foi que mandou inventar um padrão? Já existe um padrão mundial. Essa gracinha vai te Gerência de Teste custar caro. Tarefas do teste; Necessidades de ambientes; Responsabilidades; Integração entre as partes envolvidas; Recursos e sua alocação; Treinamento; Cronograma, estimativas e custos; Riscos e contingências; Geral Procedimentos de garantia de qualidade; Métricas; Cobertura do teste; Glossário; Procedimentos de alteração do documento e histórico. 47

47 PROCESSO DE TESTE PROJETAR OU ESPECIFICAR (EXEMPLO REAL) Planejar Planejar Projetar Executar Analisar Resultados Gerenciar Defeitos 48

48 PROCESSO DE TESTE PROJETAR OU ESPECIFICAR (EXEMPLO REAL) Macro-atividade: Projetar (Desenhar) Teste (ou Especificar Teste) Atividade: Atividade: Atividade: Definir os Cenários de Teste Elaborar Casos de Teste Elaborar Procedimento de Teste 49

49 CASO DE TESTE PADRÃO IEEE 829 Introdução (uma por documento) Identificador do documento Escopo Referências (itens de teste) Contexto Notas para descrição Detalhes (um por caso de teste) Identificador do caso de teste Objetivos Especificações de entrada Especificações de saída Necessidades de ambiente Requisitos ou procedimentos especiais Dependências entre casos de teste Global Glossário Procedimentos de alterações do documento e histórico de alterações Referências (Itens de teste) Requisitos Projeto de teste e features Guia do usuário Guia operacional Guia de instalação Etc. Ainda bem que o Minotauro sumiu. Analistas de Teste preocupados 50

50 Não sumi não. Entenderam direitinho até agora? Processos são muito importantes para que os projetos sejam bem sucedidos. Concordam? Não vão me dizer que inventaram um modelo de Caso de Teste das suas cabecinhas? Eu já estou chegando.

51 PROCESSO DE TESTE PROJETAR OU ESPECIFICAR (EXEMPLO REAL) Planejar Planejar Projetar Executar testes Analisar Resultados Gerenciar Defeitos 52

52 PROCESSO DE TESTE EXECUTAR (EXEMPLO REAL) Macro-atividade: Executar Executar casos de teste e/ou scripts automáticos, que foram definidos para cada iteração, bem como executar testes específicos, como teste de desempenho e outros. Na ocorrência de alterações das especificações ou do código, durante ou posteriormente a esta atividade, é verificado se estas alterações afetam também os casos de teste/scripts. Caso isto tenha ocorrido e a execução já tenha sido iniciada, será planejado um novo ciclo de teste ou teste de regressão. Antes de executar os casos de teste devem ser definidos os responsáveis pela sua execução. Atividade: Executar Casos de Teste Atividade : Gerar Resultados (logs) de Teste Atividade: Acompanhar Defeitos Atividade: Executar Especiais 53

53 Nós ainda estamos aqui. Sabemos que processos são chatos, mas depois nós vamos conversar sobre isso. Tem alguém dormindo aí? Não fizeram nenhuma gracinha não, não é? Será que inventaram um relatório de defeitos das suas cabecinhas?

54 PROCESSO DE TESTE ENCERRAR (EXEMPLO REAL) Planejar Planejar Projetar Executar Analisar Resultados Gerenciar Defeitos 55

55 PROCESSO DE TESTE ENCERRAR (EXEMPLO REAL) Macro-Atividade: Analisar Resultados Ao encerramento do projeto de teste conforme as regras definidas no Plano de Teste devem ser elaborados os artefatos de conclusão. Atividade: Gerar Resultados dos

56 PROCESSO DE TESTE GERENCIAR DEFEITOS (EXEMPLO REAL) Planejar Planejar Projetar Executar Analisar Resultados Gerenciar Defeitos 57

57 PROCESSO DE TESTE GERENCIAR DEFEITOS (EXEMPLO REAL) Macro-Atividade: Gerenciar Defeitos ou Incidentes Registrar e acompanhar a correção dos defeitos, decorrentes da execução dos testes. Se for identificado que o defeito persiste, após o re-teste, a correção é rejeitada, caso contrário ela é aprovada. Defeitos podem ser identificados durante ciclo de desenvolvimento, durante a execução do teste de aceite, no ambiente de homologação ou após a entrega do sistema (ambiente de produção). Em todos os casos, é utilizado um workflow para acompanhar todo o ciclo de vida do defeito. Os defeitos devem ser classificados conforme as regras estabelecidas. Atividade: Atividade: Atividade: Atividade: Cadastrar Defeitos ou Incidentes Rejeitar Correções Aprovar Correções Executar Re-Teste 58

58 ADERÊNCIA Avaliação Objetiva da Aderência ao Processo A aderência a este processo por cada projeto é auditada pelo Grupo de Qualidade ao final de cada macro atividade a partir da entrega dos artefatos previstos. Isso é com a gente. Quem é que não vai aderir ao processo de teste? Vai aderir ou não vai? O controle de qualidade vai ser com a gente.

59 LIÇÕES APREENDIDAS Revisão do Status do Processo com a Gerência de Alto Nível Periodicamente os dados obtidos das avaliações com relação à aderência e adequação do processo Gerência de Requisitos nos diversos projetos são sintetizados pelo GQ e elaborados gráficos que evidenciem: Evolução da aderência ao processo Teste de Software na organização. Não Conformidades observadas no período Inadequações relatadas no período Análise de possíveis causas e ações implementadas para cada não-conformidade Análise de possíveis causas e ações implementadas para cada inadequação Oportunidades de melhorias. É elaborado Relatório de Status do Processo Teste de Software que é apresentado e discutido com a gerência de alto nível da empresa. Seria muito importante um documento organizacional regulamentando o uso dos processos da empresa.

60 VISÃO DO MPT A área de processo Gerência de Projetos aparece no nível 1 do MPT e contem as seguintes práticas: GPT1 Realizar análise de risco do produto GPT2 Estabelecer objetivos do teste GPT3 Definir estratégia de teste O MPT é GPT4 Definir o escopo do trabalho para o projeto de teste coberto pelo GPT5 Estabelecer estimativas de tamanho processo que GPT6 Definir as fases do ciclo de vida do projeto de teste apresentamos? GPT7 Estimar o esforço e o custo GPT8 Estabelecer e manter o orçamento e o cronograma do projeto GPT9 Identificar riscos do projeto GPT10 Planejar os recursos humanos GPT11 Planejar o ambiente de teste para o projeto GPT12 Planejar os artefatos e dados do projeto GPT13 Estabelecer indicadores de desempenho de teste GPT14 Estabelecer o Plano de Teste GPT15 Revisar e obter compromisso com o Plano de Teste GPT16 Monitorar o projeto GPT17 Gerenciar o envolvimento dos stakeholders GPT18 Executar revisões em marcos do projeto GPT19 Analisar e registrar os problemas identificados GPT20 Estabelecer e acompanhar ações corretivas até a sua conclusão Fonte: Guia de Referência

61 NÍVEIS DE MATURIDADE Automação e Otimização Controle Estatístico do Processo Otimização do Processo de Teste Automação de Teste Gestão de Ferramentas Case Parcialmente Gerenciado Gerenciado Definido Gerência de Projeto de Teste Projeto e Execução do Teste Prevenção de Defeitos Organização do Teste Medição e Análise Teste estático Treinamento Garantia da Qualidade Teste de Aceitação Fechamento de Teste Gerência de Projeto de Teste (Evolução) Projeto e Execução do Teste (Evolução) Gerência de Requisitos de Teste Gerência de Projeto de Teste (Evolução) Projeto e Execução do Teste (Evolução) Gestão de Defeitos Teste Não Funcional Avaliação da Qualidade do Software Organização do Teste (evolução) 17 áreas de processo

62 PROCESSO (BÁSICO) DE TESTE Planejar Planejar Projetar Executar Analisar Resultados O Minotauro sumiu mas eu apareci. Eu sou o Lyoto Machida. Eu quero saber o que está faltando neste processo. Vai responder ou não vai? Gerenciar Defeitos 63

63 NORMA ISO/IEC O que diz a norma ISO/IEC Parte 2 sobre os processos de teste? Preste atenção! A norma vai introduzir alguns novos conceitos. Será que eu vou ter que enfiar isso na sua cabeça?

64 PROCESSOS DE TESTE Processo Organizacional de Teste Processos de Gerência de Teste Planejamento de Teste Monitoração e controle de teste Término de teste Processos de Teste Dinâmico Desenho e especificação Projeto 1 Montagem e monitoração do ambiente Execução do teste Relatar incidente de teste Projeto 2

65 Como baixar as apresentações 66

66 Como baixar a guia de referência do MPT 67

67 COMO PODEREMOS TESTAR ESTE SITE Riscos do produto Estratégia de teste O que muda no PT?

68 AMBIENTE DE TESTE E ESTRATÉGIA

69 FIM 70