Automação de Teste de Software: Incremento de Qualidade e Produtividade em Sistemas de Faturamento Telecom Sindo Vasquez Dias Analista de Sistemas sindo@cpqd.com.br Encontro da Qualidade e Produtividade em Software EQPS Indaiatuba Julho/2003
Agenda CPqD/DSB Motivação Automação de Teste de Software Estudos de Caso Conclusão 2
CPqD Contribuição para a Competitividade Função Empresarial Foco no mercado Valor agregado para o cliente Função Estratégica Tecnologias emergentes/pré-competitivas Efeito multiplicador para a sociedade DESENVOLVIMENTO DESENVOLVIMENTO PESQUISA PESQUISA MERCADO 3
CPqD - Diretoria de Soluções em Billing Sistema de faturamento para empresas Telecom Clientes Brasil EEUU América Latina Pesquisa Aplicada AmbVali ambiente e validação de sistemas O desenvolvimento deste trabalho foi totalmente custeado com recursos do FUNTTEL - Fundo para o Desenvolvimento Tecnológico das Telecomunicações. 4
Motivação Engenharia de SW: Preocupação constante Melhoria da Produtividade e Qualidade do Processo e Produto de Software. Teste de Software: atividade crítica para atingir tal melhoria do produto. 5
Motivação Custo da atividade de Teste de Software em relação às outras atividades de desenvolvimento de software 6
Automação de Teste Formas de Automação de Teste de Software: Requisitos Projeto de Projeto Código-Fonte Projetar Teste Teste Especif. de Executar Teste Relatório de Teste Doc de Usuário Casos de Teste Automação da geração de casos de teste Automação da execução de casos de teste 7
Automação de Teste Vantagens Reduzir o envolvimento dos testadores na fase de execução dos testes Aumentar a produtividade e diminuir o custo do teste, mantendo pelo menos a mesma qualidade. Riscos Envolvidos: Escolha adequada das funcionalidades Automação não se paga de imediato O custo inicial da automação é alto 8
Automação de Teste - Metodologia Metodologia Usada Definição de equipe dedicada à tarefa de automação Estudo das Técnicas de automação Seleção das técnicas mais adequadas Estudo de Ferramentas de automação de mercado Melhorias no processo de teste de software Criação de um Framework para automação de teste Construção de protótipos de validação 9
Framework (Reutilizável) Sistema de Automação Procedimentos de Teste Dados de Teste TestManager BD Teste Script Interpretador Scripts Data-Driven Relatório de Execução Scripts de Ação sobre a GUI Aplicação Sob Teste Mapa de Interface 10
Estudo de Caso - 1 Módulo de Descontos - Cliente/Servidor Quantidade de Casos de Teste: 146 casos de teste Tempo de execução manual: 24 horas Tempo de execução automatizada: Em série: - Rational Robot: 5,5 horas - Mercury WinRunner: 2,5 horas Paralelo: - Rational Robot: 3 horas - Mercury WinRunner: 1,5 hora 11
Estudo de Caso - 2 Módulo AC Reclamação/Retificação Casos de Teste - Reclamação: Total de testes manuais: 30 Casos de Teste Total de testes automatizados: 22 Casos de Teste Casos de Teste - Retificação: Total de testes manuais: 33 Casos de Teste Total de testes automatizados: 33 Casos de Teste Execução dos Casos de Teste Automatizados Tempo do teste manual Tempo teste automatizado Porcentagem Reclamação 12,5 horas 1h 57 minutos 16,25 % Retificação 23,5 horas 2h 21 minutos 10,00 % 12
Estudo de Caso - 3 Módulo de Descontos - Batch Quantidade de Casos de Teste: 8 casos de teste Atividade Número de Testes Criação dos casos Execução do teste Geração de relatório Análise Total Método Manual (Horas Acumuladas) Geração 1 2 3 16 16 16 16-6:40 13:20 20-6 12 18-0 0 0 16 28:40 41:20 54 Método Automático (Horas Acumul) Geração 1 2 3 30 30 30 30-0:10 0:20 0:30-0 0 0-0:16 0:32 0:48 30 30:26 30:52 31:18 13
Geração Execução 1 Execução 2 Execução 3 Estudo de Caso - 3 84 72 60 48 36 24 12 Teste Manual Teste Automatizado Horas Execução 4 14
Avaliação Global 70,00% Economia do Automatico em relação ao Manual (%) Economia do Automatico em relacao ao Manual (%) 60,00% 50,00% 40,00% 30,00% 20,00% 10,00% 0,00% -10,00% -20,00% -30,00% -40,00% -50,00% Automatico/Manual 1 2 3 4 5 6 7 8 9 10 11 Número de Execuções 15
Conclusão Qualidade Produtividade Automação Processo 16
OBRIGADO! CPqD - Centro de Pesquisa e Desenvolvimento em Telecomunicações Rod. Campinas Mogi-Mirim, km 118,5 - SP340 13086-902 - Campinas - SP BRASIL www.cpqd.com.br CPqD Technologies & Systems Inc. 111, W. St. John Street, Suite 610 San Jose, CA 95113, USA www.cpqdusa.com