AutoTest Um Framework Reutilizável para a Automação de Teste Funcional de Software

Transcrição

1 AutoTest Um Framework Reutilizável para a Automação de Teste Funcional de Software Marcelo Fantinato CPqD Telecom & IT Solutions UNICAMP Instituto de Computação Campinas SP

2 Agenda Motivação Objetivo Automação de Teste de Software Técnicas de Automação Framework AutoTest Estudos de Caso Conclusão

3 Motivação Problema: existe um grande número de insucessos nos esforços para a automação de teste Necessidade: aplicar Automação de Teste de Software de forma sistemática Objetivos: Reduzir o tempo de teste no ciclo de vida do software Diminuir o custo Aumentar a produtividade do desenvolvimento de software Aumentar a qualidade do produto final

4 Motivação Várias soluções têm sido propostas para esta finalidade Podem ser consideradas para a automação as atividades de geração e de execução de casos de teste Foco deste trabalho: - Execução de casos de teste Teste funcional (caixa-preta)

5 Objetivo Desenvolvimento do Framework AutoTest Framework para automação da execução de teste funcional Conjunto de ferramentas de software, scripts de teste, templates de planilhas, e regras e procedimentos de utilização Reutilizável (aplicável em diferentes projetos de software) Baseado nas técnicas data-driven e keyword-driven Pouca necessidade de codificação (dependendo do projeto) Fácil atualização dos casos de teste

6 Automação de Teste Formas de Automação de Teste de Software: Requisitos Projeto de Projeto Código-Fonte Projetar Teste Teste Especif. de Executar Teste Relatório de Teste Doc de Usuário Casos de Teste Automação da geração de casos de teste Automação da execução de casos de teste

7 Técnicas de Automação Record & Playback: Utilizar uma ferramenta para gravar as ações executadas pelo usuário sobre a interface gráfica da aplicação (mouse e teclado); Converter estas ações em scripts de teste que podem ser executados quantas vezes for desejado; Simples e prática boa abordagem para testes rápidos; Scripts de Teste: - Muitos scripts e específicos um script por caso de teste; - Várias funções: procedimento de teste (lógica de execução de teste) + dados de entrada + resultados esperados + operações sobre a interface

8 Técnicas de Automação Programação: Extensão da técnica Record & Playback; Usar a linguagem de programação da ferramenta para alterar os scripts gravados Vantagens: - Melhor taxa de reutilização, - Maior tempo de vida, - Maior facilidade de manutenção, - Maior robustez.

9 Técnicas de Automação Data-Driven (Orientado a Dados): Dados de Teste X Scripts de Teste Dados de Teste: - Dados de entrada + resultados esperados; - Armazenados em arquivos separados (planilhas). Scripts de Teste: - Menos scripts e mais genéricos um script por n casos de teste; - Menos funções: procedimento de teste (lógica de execução de teste) + manipulação dos dados de teste + operações sobre a interface. - Vantagem: Facilidade para adicionar, modificar ou remover dados de teste e itens de teste, com necessidade mínima de manutenção dos scripts de teste.

10 Técnicas de Automação Keyword-Driven (Orientado a Palavras-Chave): Dados de Teste X Procedimentos de Teste X Scripts de Teste Dados de Teste: - Dados de entrada + resultados esperados; - Armazenados em arquivos separados (planilhas). Procedimentos de Teste: - Passos da lógica de execução identificados por palavras chave; - Armazenados em arquivos separados (planilhas). Scripts de Teste: - Bem menos scripts e e bem mais genéricos; - Menos funções: manipulação dos procedimentos de teste + manipulação dos dados de teste + operações comuns sobre a interface. Casos de Teste

11 Técnicas de Automação Scripts de Teste Record & Playback / Programação Dados de Teste Scripts de Teste Data-Driven Procedimento de Teste Scripts de Teste Keyword-Driven Dados de Teste Procedimento de Teste Scripts de Teste Keyword-Data-Driven

12 Framework AutoTest Componentes Básicos Planilhas de Teste Log de Execução Interpretador Scripts DataDriven Scripts KeywordDriven Aplicação Sob Teste Mapa de Interface

13 Framework AutoTest SOC KET JV M Arquitetura Completa Acesso Celular Acesso Web HTTP HTTP AutoTest Remote Agent COM ClearCase Log de Execução NFS Jcov / XYZ NFS Log Resumido de Erro NFS Scripts do AutoTest GUI/TTY Aplicação Sob Teste IBM Rational TestManager API JDBC BD Oracle NFS Planilhas de Teste NFS Mapa de Interface Ambiente Windows/UNIX

14 Framework AutoTest Exemplo de Planilha: Data-driven

15 Framework AutoTest Exemplo de Planilha: Keyword-driven

16 Estudos de Caso Metodologia para Coleta de Métricas Manutenção do Projeto de Teste: Dados de Teste Procedimento de Teste Quantidade de Alterações Execução Manual do Teste: Execução Registro de Erro Quantidade de Execuções Quantidade de Erros Execução Automatizada do Teste: Execução Análise do Log de Execução Automatizada Registro de Erro Quantidade de Execuções Quantidade de Erros

17 Estudos de Caso CPqD Billing Módulo de Promoções - Primeira versão do módulo Módulo de Atendimento ao Cliente - Módulo em evolução (teste de regressão)

18 Estudos de Caso - Promoções Tipo de Métrica Teste Manual Teste Automatizado Número de Casos de Teste Executados Cobertura Funcional dos Casos de Teste 65 % 88 % Erros Detectados Tempo de Projeto de Teste 101 h 101 h Tempo de uma Execução Completa dos Casos de Teste Análise dos Resultados e Registro de Erros 123 h 14 h 34 h 28 h

19 Estudos de Caso - Promoções

20 Estudos de Caso Atendimento ao Cliente Tipo de Métrica Teste Manual Teste Automatizado Número de Casos de Teste Executados Cobertura Funcional dos Casos de Teste - 71 % Erros Detectados - 18 Tempo de Projeto de Teste h Tempo de uma Execução Completa dos Casos de Teste Análise dos Resultados e Registro de Erros 525 h (estimado) 100 h (estimado) 4 h 62 h

21 Estudos de Caso Atendimento ao Cliente

22 Conclusão Resultados obtidos: muito satisfatórios, superando as expectativas (teste de regressão) O framework se mostrou robusto, expansível e extensível Possível aplicar todos os testes em todas as reexecuções, enquanto que a do teste manual tende a se restringir a um subconjunto a cada nova re-execução A automação de teste deve ser acompanhada de técnicas que visem a identificação de casos de teste com maior possibilidade de detecção de erros

23 OBRIGADO! CPqD - Centro de Pesquisa e Desenvolvimento em Telecomunicações Rod. Campinas Mogi-Mirim, km 118,5 - SP Campinas - SP BRASIL marcelof@cpqd.com.br (19) CPqD Technologies & Systems Inc. 111, W. St. John Street, Suite 610 San Jose, CA 95113, USA