SIPTEST System Intelligent Process Testing. SLAs a aplicar em frentes de testes de carga e desempenho

Transcrição

1 SIPTEST System Intelligent Process Testing. SLAs a aplicar em frentes de testes de carga e desempenho SIPTEST - System Intelligent Testing Link Consulting,SA Pág. 0 de 8

2 Índice 1 Introdução Objetivo do documento Contexto Estrutura do documento SLAs a aplicar em frentes de testes de carga e desempenho O que são SLA e a sua relevância na área de testes Correta criação de SLA Manutenção de SLA Exemplos de SLA Referências... 6 Link Consulting,SA Pág. 1 de 8

3 1 Introdução 1.1 Objetivo do documento Este documento apresenta o resultado da pesquisa efetuada sobre Service-Level Agreements (SLAs) típicos aplicáveis a testes de carga e desempenho, no âmbito do projeto SIPTEST. Descreve-se o que são SLAs, qual a metodologia mais indicada para o seu desenvolvimento e apresentam-se alguns SLAs típicos aplicáveis a este tipo de testes. 1.2 Contexto O teste de software é um processo utilizado para identificar a exatidão, completude e qualidade do produto de software desenvolvido. Existem diferentes tipos de testes de software que podem ser aplicados nas diversas fases do desenvolvimento para aumentar a confiança na qualidade de uma aplicação de software, por exemplo, testes de compatibilidade, testes de conformidade, testes funcionais, testes de regressão, testes unitários, testes de desempenho, testes de carga/stress [1, 2]. TESTES DE CARGA E DESEMPENHO Testes de carga e desempenho são normalmente realizados para medir a eficiência de uma aplicação. Existem dois tipos de testes: testes de carga (load) e testes de stress. Testes de carga têm como objetivo medir o comportamento de um componente ou sistema por meio do aumento de carga. Por exemplo, número de utilizadores paralelos e/ou número de transações para determinar qual o tamanho de carga que pode ser suportada pelo componente ou sistema [3]. Por outro lado, os testes de stress são conduzidos para avaliar o comportamento de um sistema ou componente no (ou além do) limite da carga esperada ou especificada, ou com disponibilidade reduzida de recursos, tais como, acesso à memória ou servidores [3]. SERVICE-LEVEL AGREEMENTS Service-level Agreements (SLAs) podem ser definidos como requisitos em forma de valores mínimos usados, tipicamente, como base para testes de carga e desempenho. O seu uso é também associado a contratos efetuados com clientes, aparecendo como forma de requisitos mínimos que o cliente pode esperar por parte de um fornecedor de serviços [4]. Neste sentido, SLAs podem ter dois tipos de objetivos: disponibilidade e tempo de resposta de um sistema. 1.3 Estrutura do documento A secção 2 deste documento descreve SLAs mostrando a sua utilidade em testes de carga e desempenho. Adicionalmente, serão apresentadas metodologias para a correta escrita e manutenção de SLAs apresentados exemplos de SLAs. A última secção apresenta um conjunto de referências para trabalhos importantes na elaboração de SLAs, quer em testes de carga e desempenho, quer no geral. Adicionalmente, são apresentadas referências relevantes na área. Link Consulting,SA Pág. 2 de 8

4 2 SLAs a aplicar em frentes de testes de carga e desempenho 2.1 O que são SLA e a sua relevância na área de testes SLAs necessitam que trabalhadores de ITs trabalhem com os utilizadores finais de maneira a definir uma lista de serviços e valores que definam a sua qualidade. Devido a esta definição explícita, um utilizador final saberá sempre o que esperar de um produto, criando expectativas realizáveis [5, 6]. Neste contexto, SLAs incluem, tipicamente, a análise de tempos de resposta e disponibilidade de um serviço ou produto. Desta forma, é possível ditar uma relação entre testes de carga/desempenho e SLAs. A importância de SLAs na indústria de software é bem compreendida. A área de testes é uma área especializada que ajuda as organizações a reduzir os riscos e obter um maior valor comercial em todo o ciclo de vida de desenvolvimento de software. No entanto, muitas organizações ainda têm problemas em descobrir a melhor maneira de definir SLAs pois estes podem ter influencia, não só, no período de desenvolvimento do software, mas também na sua qualidade final. Desta maneira, SLAs devem ser definidos antecipadamente, a fim de garantir o alinhamento das metas entre prestador de serviços e cliente e acelerar o estabelecimento da confiança nas relações [7]. SLAs são reguladores da qualidade de um sistema e, consequentemente, uma componente importante nos testes de carga e desempenho [8, 9]. A relação entre estes tipos de teste e SLAs pode ser vista na Figura 1. Figura 1 Relação entre SLAs e testes de desempenho e de carga, onde está representado também o nível de satisfação dos utilizadores Como consequência, SLAs podem ser usados para definir business goals e, de certa forma, podem indicar o valor a aplicar a um serviço, tendo como comparação SLAs de produtos de competidores [11]. Link Consulting,SA Pág. 3 de 8

5 2.2 Correta criação de SLA Como descrito anteriormente, SLAs estão alinhados com expectativas criadas nos utilizadores finais e a sua correta criação implicará uma gestão correta das expectativas que se pretende criar em utilizadores finais [12]. De uma maneira similar, a ligação estrita entre testes de carga/desempenho e SLAs implica que estes sejam definidos tendo também em mente testes exequíveis [13]. Por estas razões, SLAs devem ser definidos em fases iniciais do desenvolvimento de um produto ou serviço. Adicionalmente, SLAs devem seguir uma metodologia centrada no utilizador e de acordo com produtos concorrentes, dependendo do objetivo do produto [14 16]. Finalmente, a definição das métricas usadas em SLAs leva em consideração os fatores mais relevantes para o sucesso desses SLAs. Desta maneira, Hayes define 5 princípios que devemser considerados na elaboração de métricas [17]: Escolher medidas que motivam o comportamento correto do produto Certificar que as métricas refletem fatores controláveis pelo fornecedor do serviço Escolher medidas que possam ser compiladas facilmente Minimizar a quantidade de métricas usadas mantendo a sua significância e interdependência Definir uma linha de base adequada. 2.3 Manutenção de SLA A criação de SLAs e da sua aplicação no desenvolvimento de um produto ou serviço não é suficiente para garantir a qualidade do mesmo (QoS Quality of Service). SLAs podem, e devem, ser também usados na manutenção dos produtos a fim de testar o QoS, quer em termos de disponibilidade, quer em tempo de resposta [18]. Esta manutenção deve ter em conta componentes internos, bem como, componentes externos do produto. Desta maneira, os testes de carga e desempenho devem ser efetuados do ponto de vista do consumidor, ou seja, testando um sistema por completo e não apenas os seus módulos. Os serviços externos ao produto descrito no SLA terá também de ser contabilizado já que a sua disponibilidade e tempo de resposta influenciam diretamente o QoS do serviço a fornecer [18, 19]. Testes dos SLAs devem, por norma, ser associados a iterações do desenvolvimento de um serviço, de forma que, se numa iteração estes forem violados, possa ser feito rollback para uma versão estável que cumpra os SLAs pretendidos ou mesmo identificar o bottleneck que causa o incumprimento dos SLAs [19 21]. 2.4 Exemplos de SLA Concretamente, os SLAs devem adotar a seguinte informação e estrutura [22, 23]: 1. Background; 2. Pessoas e organizações envolventes; 3. Serviços a ser disponibilizados pelo fornecedor e a sua duração/período de tempo; Link Consulting,SA Pág. 4 de 8

6 4. Procedimentos de encomenda e entrega; 5. Desempenho acordado e standard do serviço (QoS); 6. Responsabilidades do consumidor; 7. Avaliações de desempenho e de arbitragem; 8. Procedimento para alteração do SLA; 9. Pontos de contacto para manutenção do SLA. Depois de definir uma estrutura adequada e de descrever como criar e fazer manutenção de SLAs, apresentam-se abaixo alguns exemplos de SLAs implementados em serviços existentes. Contudo, devido à extensão dos mesmos, apenas serão apresentados como referências. Exemplo de SLA entre um serviço de IT (o serviço fornecido) e um serviço de treino e desenvolvimento de uma empresa (o cliente) [22]; Exemplo de SLA entre uma equipa de IT e os utilizadores de uma escola [24]; SLA genérico fornecido pela Microsoft [25]; Exemplar de um SLA do Woodgrove Bank para um serviço para desktops [26]; SLA usado para vtools.webinabox [27]; Template de um SLA para projetos PPP do Governo da Arábia Saudita [28]. Link Consulting,SA Pág. 5 de 8

7 3 Referências 1. Myers, G., Sandler, C.: The art of software testing. (2004). 2. Weyuker, E.: Testing component-based software: A cautionary tale. Software, IEEE (1998). 3. Veenendaal, E.V.: Standard glossary of terms used in Software Testing, Version 2.1. ISTQB. 1, 1-51 (2010). 4. Testing Performance: Service-Level Agreements, Junho 2012, 5. Office of Information and Technology from the State of Carolina: Software Quality Assurance (SQA) Testing, Junho 2012, 6. Daniel A. Menasce, Lawrence W. Dowdy, Virgilio A.F. Almeida: Performance by Design: Computer Capacity Planning By Example, Prentice Hall Professional, InfoSys: The Importance of Service Level Agreements (SLAs) in Software Testing, Junho 2012, /08/the_importance_of_service_leve.html 8. SQA: Creating a SOA Test Plan Chapter 2, Junho 2012, 9. Gerardo Canfora, Massimiliano Di Penta: Testing Services and Service-Centric Systems: Challenges and Opportunities, IEEE Computer Society, April 2006, Eran Witkon: Using Load Testing to meet Your SLA, RadView Software, Agosto 2007, ur%20sla%20%5bwhitepaper%5d.pdf 11. STQA - Software Testing: 10 Truths of SLAs for IT Organization, Janeiro 2006, Andrew Hiles: Service level Agreements: Winning a competitive edge for support & Supply services, Edição de 2000, oi=fnd&pg=pr5&dq=%22servicelevel+ agreement%22+%22performance+testing%22&ots=bsktkc_wfv&sig=md3hxoehj 5Zi9sZKuvm3EJ2ASY4&redir_esc=y#v=snippet&q=users&f=false 13. Seriti Consulting: Creating an Performance SLA with your customers - Betfair s Customer Charter, Julho 2011, 14Rocco De Nicola, Gianluigi Ferrari, Ugo Montanari, Rosario Pugliese and Emilio Tuosto: A Basic Calculus for Modeling Service Level Agreement, International Conference on Coordination Models and Languages, Paul Pocatilu, Felician Alecu and Marius Vetrici: Measuring the Efficiency of Cloud Computing for E- learning Systems, WSEAS Transactions on Computers, Ying Li, Minglu Li and Jiadi Yu: Web Services Testing, the Methodology, and the Implementation of the Automation-testing Tool, Lecture Notes in Computer Science, Ian S. Hayes: Metrics for IT Outsourcing Service Level Agreements, Metrics Services, Clarity Consulting, 2011, Link Consulting,SA Pág. 6 de 8

8 18. A. Dan, D. Davis, R. Keaney et al.: Web services on demand: WSLA-driven automated management, IBM Systems Journal, Alex Pinto: How fast is your website? Setting (and keeping) Web performance SLAs, Julho 2011, web-performance-slas 20. Antonios Litke, Kleopatra Konstanteli, Vassiliki Andronikou, Sotirios Chatzis, Theodora Varvarigou: Managing service level agreement contracts in OGSA-based Grids, Future Generation Computer Systems, 2008, Search Software Quality: Service-Level Agreement Management, Junho 2012, The Stairway: Customer Service Standards and Service Level Agreements, Junho 2012, Facilities Society: SLAs and service specifications, Junho 2012, facility-management/119-slas-and-servicespecifications 24. EduGeek: Sample SLA, Junho 2012http:// 25. Microsoft TechNet: Business/IT Alignment Service Management Function Appendix B: Sample SLA, Abril 2008, Microsoft Technet: Sample of a basic Service Level Agreement (SLA) for the Desktop Computing Service, Junho 2012, blogs.technet.com/cfsfilesystemfile. ashx/ key/communityserver-componentspostattachments/ /sample-desktop-sla.doc IEEE Tools: Service Level Agreement (SLA) for vtools.webinabox project users, Junho 2012, Yesser (Saudi Arabia): Service Level Agreement sample document, Junho 2012, Testing Performance: Service-Level Agreements, Junho 2012, Cisco Co.: Cisco IOS IP Service Level Agreements (SLAs), Junho 2012http:// 8017f8c9_ps6602_Products_White_Paper.html 31. Microsoft MSDN: Performance Testing Guidance for Web Applications Chapter 2 Types of Performance Testing, Setembro 2007, Massimiliano Di Penta, Gerardo Canfora, Gianpiero Esposito, Valentina Mazza, Marcello Bruno: Search-based Testing of Service Level Agreements, Proceedings of the 9 th annual conference on Genetic and evolutionary computation, 2007 Link Consulting,SA Pág. 7 de 8