SIPTEST System Intelligent Process Testing. Metodologias e boas práticas de testes de carga, stress e desempenho

Transcrição

1 SIPTEST System Intelligent Process Testing. Metodologias e boas práticas de testes de carga, stress e desempenho SIPTEST - System Intelligent Testing Link Consulting,SA Pág. 0 de 9

2 Índice 1 Introdução Objetivo do documento Contexto Estrutura do documento Testes de carga e stress Utilidade e Tipos de Teste Processo Boas práticas Testes de carga e stress Definição e Utilidade Processo Boas práticas Referências... 7 Link Consulting,SA Pág. 1 de 9

3 1 Introdução 1.1 Objetivo do documento Este documento apresenta o resultado da pesquisa efetuada sobre metodologias e boas práticas a considerar aquando da realização de testes de carga, stress e desempenho, no âmbito do projeto SIPTEST. 1.2 Contexto O teste de software é um processo utilizado para identificar a exatidão, completude e qualidade do produto de software desenvolvido. Existem diferentes tipos de testes de software que podem ser aplicados nas diversas fases do desenvolvimento para aumentar a confiança na qualidade de uma aplicação de software, por exemplo, testes de compatibilidade, testes de conformidade, testes funcionais, testes de regressão, testes unitários, testes de desempenho e testes de carga e stress [1, 2]. Este documento foca-se nas metodologias e boas práticas dos testes de desempenho, carga e de stress. TESTES DE DESEMPENHO O processo de teste para determinar o desempenho de um software [3]. TESTES DE CARGA Tipo de teste de desempenho que mede o comportamento de um componente ou sistema por meio do aumento de carga. Por exemplo, número de utilizadores paralelos e/ou número de transações para determinar qual o tamanho de carga que pode ser suportada pelo componente ou sistema [3]. TESTES DE STRESS Tipo de teste de desempenho conduzido para avaliar um sistema ou componente no (ou além do) limite da carga esperada ou especificada, ou com disponibilidade reduzida de recursos, tais como, acesso à memória ou servidores [3]. 1.3 Estrutura do documento A secção 2 deste documento endereça testes de carga e de stress, mostrando a utilidade e os tipos de teste existentes, bem como o processo de no desenvolvimento destes testes e boas práticas. A secção 3 aborda as mesmas questões relativamente a testes de desempenho. Na última secção é apresentado o conjunto de referências consultadas para elaborar este documento e alguns portais não referenciados neste documento que podem ser úteis para leitura adicional. Link Consulting,SA Pág. 2 de 9

4 2 Testes de carga e stress Testes de carga são, por definição, testes que tentam sobrecarregar um sistema, dentro dos requisitos para os quais este foi desenvolvido, avaliando as respostas do mesmo. Para tal, estes testes usam o aumento de carga em um ou vários componentes, de uma maneira linear ou mais dinâmica [3,4]. Por oposição aos testes de carga, os testes de stress tentam sobrecarregar um sistema acima dos requisitos para os quais o sistema foi desenvolvido, avaliando as respostas do mesmo. Estes tipos de teste têm como objetivo o teste da estabilidade do sistema [12]. 2.1 Utilidade e Tipos de Teste Testes de carga são capazes de detetar bugs que não são detetados em ambientes normais de execução. Testes de carga são também capazes de detetar problemas relacionados com bufferoverflow, memory leaks e má gestão de memória [5,6], além de determinar os limites dos recursos dos componentes de uma aplicação de software, por exemplo, bases de dados, hardware e redes, etc.,de forma a poder gerir e estimar a carga futura do sistema de software [6]. Por sua vez, os testes de stress são normalmente usados de maneira a detetar os pontos (carga necessária) em que um componente ou um sistema falha, chamados de breaking points. A utilidade deste tipo de testes está também no facto de que as falhas de um sistema sobrecarregado podem revelar erros na implementação do componente ou sistema [12,13] Existem diferentes abordagens aos testes de carga, por exemplo [7,8,11]: Testes de carga simples execução de testes que impõe carga máxima em todos os componentes; Testes de carga crescente execução de carga crescente em todos os componentes de maneira a detetar qual o limite de cada um; Testes de carga variável por componente testes de carga crescente e variável efetuados a cada componente de maneira a detetar dependências não previstas entre os componentes. Os tipos de teste de stress que existem são em parte similares à abordagem tomada nos testes de carga, mas com algumas modificações em termos do propósito. Desta maneira, os diferentes testes de stress existentes são [14]: Testes de sensibilidade testes realizados com o propósito de descobrir o impacto da sobrecarga de diferentes componentes de forma a perceber as dependências existentes; Testes por cenário testes baseados em casos reais que exigiriam uma sobrecarga no sistema. 2.2 Processo O processo de criação dos testes de carga e de stress é similar e envolve, genericamente, as seguintes fases [8,9,15,16]: Link Consulting,SA Pág. 3 de 9

5 Recolher os requisitos do sistema ou componente a testar; Desenvolver cenários de teste adequados de acordo com os objetivos do teste; Parametrizar e controlar os inputs do componente ou sistema a testar (construindo mock objects, por exemplo). Para correr os testes, um testador deverá [8,9,15,16]: Escolher o tipo ou tipos de teste a executar e identificar métricas; Executar os testes e monitorizar o componente ou sistema de maneira a conseguir detetar onde e como ocorreu um erro (usando um debugger); Analisar os resultados. 2.3 Boas práticas As seguintes são aceites como boas práticas em testes de carga e de stress [4,7,10]: Deve-se implementar sistemas de monitorização em todas as diferentes camadas da aplicação, para ser possível identificar a origem de um erro; Os testes devem ser feitos em ambiente controlado, para que o resultado de um teste seja reproduzível, permitindo, por exemplo, a comparação de resultados entre duas versões da aplicação; A execução de testes deve ser dividida em scopes, i.e., permitir o teste de apenas alguns componentes do sistema (sem dependerem dos restantes componentes), o que pode potenciar o aumento do número de execuções de um teste; Devem ser feitos testes de carga e de stress que cubram a maior parte dos tipos de testes referidos na secção 2.1, evitando que erros passem despercebidos; Um testador não deve ignorar resultados intermédios de um teste quando estes apresentam indícios de uma falha pois podem significar potenciais erros por detetar. Link Consulting,SA Pág. 4 de 9

6 3 Testes de carga e stress 3.1 Definição e Utilidade Este tipo de testes é normalmente associado aos testes de carga e de stress embora os seus propósitos sejam diferentes. Testes de desempenho servem normalmente para determinar o desempenho de um componente ou sistema, dada uma certa carga pré-definida, enquanto testes de carga e stress variam a carga entre os testes e se focam em eficácia em vez de eficiência [17,18]. Além da avaliação do desempenho de um componente ou sistema através da comparação do comportamento do mesmo, dado um cenário, este tipo de testes permite também compilar informação útil a, por exemplo, stakeholders, sobre a qualidade do sistema em aspetos como escalabilidade, estabilidade, confiança ou uso de recursos [19,20]. 3.2 Processo O processo de teste associado aos testes de desempenho, representado graficamente na Fig. 1, é o seguinte: 1. Gravar cenários de utilização; 2. Parametrização dos scripts de teste; 3. Agrupar cenários de utilização; 4. Criação de cenários de carga; 5. Simulação e execução; 6. Análise dos resultados dos testes; 7. Criação de relatórios. Link Consulting,SA Pág. 5 de 9

7 Figura 1 Processo de criação e execução de testes de desempenho 3.3 Boas práticas Segundo os documentos [22,23,24], as boas práticas na construção e execução de testes de desempenho, são: Um projeto que implemente testes de desempenho deve ter um documento que contenha uma linha de base para o desempenho esperado do sistema, para que durante a execução de testes possa ser feita uma comparação da expectativa vs condição atual do produto; O ambiente de execução de testes deve replicar com a maior precisão possível o ambiente de produção no qual o sistema vai ser instalado; O ambiente de desenvolvimento de testes de desempenho, tal como de outros testes, não deve ser agrupado com o ambiente de desenvolvimento do produto em si; Este tipo de testes deve ser executado e monitorizado com frequência de maneira a controlar o incremento em desempenho que cada parte ou componente desenvolvida tem. Link Consulting,SA Pág. 6 de 9

8 4 Referências 1. Myers, G., Sandler, C.: The art of software testing. (2004). 2. Weyuker, E.: Testing component-based software: A cautionary tale. Software, IEEE (1998). 3. Veenendaal, E.V.: Standard glossary of terms used in Software Testing, Version 2.1. ISTQB. 1, 1-51 (2010). 4. Web Performance: Load Testing by Example, 2007, 5. Oracle: Best Practices - Part 3. Best Practices for Application Load Testing and Profiling for Performance, 2010, 6. Turnquist, Jennifer: Best Practices in Performance tests, Veritest, 2008, 7. Weisfeldt, Steve: Challenges and Best Practices for Load Testing with the Cloud, 2012, 8. QEngine Functional & Load Testing Tool: Understanding Load Testing Process, 9. McWhinney, Mark: Load Test Planning Process, Joplin, Lane: Straight From the Horse s Mouth: Load Testing Best Practices from Our Customers, 2011, SoapUI: Simulating different types of Load, 2011, Testing/simulatingdifferent-types-of-load.html 12. Wikipedia: Stress testing, 2012, Jarmo T. Alander, Timo Mantere, Pekka Turunen: Genetic algorithm based software testing, Artificial Neural Nets and Genetic Algorithms, SaS: Stress Testing: A Board-Level Issue, White paper, SaS: Simulation-based Insights on Stress Testing, White paper, Testing.pdf 16. Trace Technologies: Stress Testing Approach, White paper, Sun microsystems: Performance Testing Best Practices, Wikipedia: Software performance testing, 2012, Barber, Scot: Performance Testing Challenges, Florida Institute of Technology, 2006, Barber, Scot: Quick, Easy, Cheap & ValuablePerformance Testing, Florida Institute of Technology, 2010, Sabritech: Performace testing, Yogindernath Gupta: All About Performance Testing - The Best Acceptance Criteria, Link Consulting,SA Pág. 7 de 9

9 23. Haines, Steven: Performance Testing: Best Practices, 2007, XBOSOFT: Best Practices for Software Performance Testing, Elfriede Dustin, Jeff Rashka, John Paul: Automated Software Testing: Introduction, Management, and Performance, June Cem Kaner, James Bach, Bret Pettichord: Lessons Learned in Software Testing: A Context-Driven Approach, Terry Shepard, Margaret Lamb, Diane Kelly: More testing should be taught, Communications of the ACM, Volume 44 Issue 6, June 2001, Pages Elfriede Dustin: Effective Software Testing: 50 Specific Ways to Improve Your Testing, Paul Goodman: Software Metrics: Best Practices for Successful It Management, Christof Ebert: Best Practices In Software Measurement: How To Use Metrics To Improve Project and Process Performance, Elfriede Dustin, Jeff Rashka, John Paul: Automated Software Testing: Introduction, Management, and Performance, Dutta, S.: Software engineering in Europe: a study of best practices, Software, IEEE, Boehm, B.W.: Software risk management: principles and practices, Software, IEEE, Geras, A.M.: A survey of software testing practices in alberta, Canadian Journal of Electrical and Computer Engineering, 2004 Link Consulting,SA Pág. 8 de 9