JMeter x WebLoad. Uma análise de duas soluções para execução de testes de desempenho para você decidir qual é a melhor para sua empresa.

Transcrição

1 JMeter x WebLoad_ Ferramentas para Teste de Desempenho JMeter x WebLoad Uma análise de duas soluções para execução de testes de desempenho para você decidir qual é a melhor para sua empresa. O artigo fornece ao leitor uma visão geral sobre testes de desempenho, uma técnica muitas vezes esquecida, mas essencial para o sucesso de uma aplicação. O processo de criação e execução é ilustrado em duas importantes ferramentas: o Webload e o JMeter. Ao final é feito um breve comparativo entre as duas ferramentas discutindo as vantagens e desvantagens de cada uma. No mundo dos negócios, quando se fala em competitividade, logo se espera ter como um dos fatores diferenciais, o desempenho. E isso se torna imprescindível quando se tem um sistema que não pode conter erros; que não pode falhar em momentos cruciais; quando o desempenho é a chave para expectativas tanto do ponto de vista da imagem da sua empresa quanto da necessidade de cumprir possíveis requisitos que os clientes venham exigir nos projetos. Como exemplo, imagine um site de compras onde o cliente precisa aguardar muito tempo para carregar a página desejada ou ainda o site fica fora do ar porque não suportou uma determinada quantidade usuários. É neste momento que os testes Tarcísio Fonseca tarcisio@ymail.com Leonardo Costa coeeu@hotmail.com Rodrigo Aragão rodrigo_sdi_ufs@hotmail.com Leonaldo Andrade leonaldohot@hotmail.com São alunos do curso de Sistemas de Informação na Universidade Federal de Sergipe, campus Itabaiana. Participam do projeto de pesquisa no LabPS Laboratório de Produtividade de Software financiado pela Infox e Instituto Nacional de Engenharia de Software(INES). Marcos Barbosa Dósea marcosdosea@yahoo.com.br Membro efetivo do corpo docente do Departamento de Sistemas de Informação na Universidade Federal de Sergipe, onde ministra disciplinas na área de Engenharia de Software e Desenvolvimento Web, coordenador Regional do Projeto Laboratório de Produtividade de Software e consultor na área de Melhoria de Processos de Desenvolvimento de Software. / 48

2 de desempenho entram para garantir as necessidades citadas, e é com base nesse tema que trilharemos o artigo. Muitos acreditam que a área de testes se resume a simplesmente testar botões de um software. No entanto esta área é muito mais densa e robusta do que se possa imaginar. A área de testes está envolvida em todo o ciclo de vida de uma aplicação, o que otimizará todo o processo de desenvolvimento, e que implicará numa melhor utilização dos recursos para elevar a qualidade dos resultados, sendo este o produto final. Uma vertente desta área é o teste de desempenho, que é um tipo de teste que visa determinar a capacidade de resposta, o rendimento e/ou escalabilidade de um sistema sob uma determinada carga de trabalho. No entanto, para realizar os testes de desempenho, é de suma importância obter uma ferramenta adequada para sua equipe. Para ter noção da importância das ferramentas de testes de desempenho, imagine você e sua equipe tentando cronometrar o tempo de resposta de uma página ou ter que simular 100 usuários simultâneos, um em cada computador. Como facilitadores, já existem no mercado, diversas ferramentas gratuitas ou proprietárias para realização desses testes. Neste artigo, serão apresentadas, através da criação de um teste simples, duas dessas ferramentas: o JMeter (gratuita) e o Webload (proprietária). No final do artigo é feita uma breve comparação entre as soluções apresentadas. Por que se preocupar com os testes de software? Software são parte do nosso dia-a-dia, desde aplicações comerciais, como sistemas bancários, até produtos de consumo, como carros. A maioria das pessoas já teve alguma experiência com um software que não funcionou como esperado. Software que não funciona corretamente pode levar a muitos problemas, incluindo financeiros, além de comprometer a reputação das empresas, podendo, inclusive, influenciar a integridade das pessoas. Os defeitos ocorrem porque os seres humanos são passíveis de falha e porque existe pressão no prazo, códigos complexos, complexidade na infraestrutura, mudanças na tecnologia e/ou muitas interações de sistema. Rigorosos testes em sistemas e documentações podem reduzir os riscos de ocorrência de problemas no ambiente operacional, e contribui para a qualidade dos softwares se os defeitos encontrados forem corrigidos antes da implantação dos sistemas em produção. O teste de software pode também ser necessário para atender requisitos contratuais ou legais ou determinados padrões de mercado. Na definição da norma ISO 8402/94, a qualidade de software é a totalidade de características de um produto e software que lhe confere a capacidade de satisfazer necessidades explícitas e implícitas. Com a ajuda do teste é possível medir a qualidade do software em termos de defeitos encontrados, por características e requisitos funcionais ou não funcionais do software. O resultado da execução dos testes pode representar confiança na qualidade do software caso sejam encontrados poucos ou nenhum defeito. Um teste projetado adequadamente e cuja execução não encontra defeitos reduz o nível de riscos em um sistema. Por outro lado, quando os testes encontram defeitos, a qualidade do sistema aumenta quando estes são corrigidos. Através do entendimento da causa-raiz dos defeitos encontrados em outros projetos, os processos podem ser aprimorados de modo a prevenir reincidência de erros e, consequentemente, melhorar a qualidade dos sistemas futuros. Testes devem ser integrados como uma das atividades de garantia da qualidade. Para mais informações sobre características dos softwares, veja a norma ISO/IEC Ela é uma norma ISO para qualidade de produto de software, que se enquadra no modelo de qualidade das normas da família A norma brasileira correspondente é a NBR ISO/IEC Testes de Desempenho Por que realizar o teste de desempenho no seu sistema? O teste de desempenho é normalmente feito para ajudar a identificar gargalos no sistema, estabelecer uma base para testes futuros, apoiar o esforço de ajuste de desempenho, determinar o cumprimento das metas de desempenho e exigências; e/ ou recolher outros dados relacionados ao desempenho para ajudar os stackholders a tomar decisões relacionadas à qualidade global do aplicativo que está sendo testado. Além disso, os resultados de testes de desempenho e análise podem ajudá-lo a estimar a configuração do hardware necessário para suportar o aplicativo. No mais alto nível, os testes de desempenho são quase sempre realizados para tratar um ou mais riscos relacionados às despesas, custos de oportunidade, continuidade e/ou reputação corporativa. Algumas razões mais específicas para a realização de testes de desempenho incluem:»» Prever ou estimar as características de desempenho de uma aplicação em produção e avaliar se deve ou não abordar questões de desempenho com base nessas previsões. Estas previsões são igualmente valiosas para os stakeholders tomarem decisões sobre se um aplicativo está pronto para lançamento ou capaz de lidar com o crescimento futuro, ou se exige uma melhoria no desempenho ou uma atualização no hardware antes da liberação. 49 \

3 » Fornecimento de dados que indique a probabilidade de insatisfação do usuário com as características de desempenho do sistema. O tipo mais comum de teste de desempenho para aplicações web tem o propósito de determinar ou validar a velocidade a escalabilidade e/ou estabilidade. Em termos de qualidade, uma aplicação web deve possuir:» Confiabilidade» Recuperabilidade» Segurança» usabilidade» Performance Por que é diferente testar aplicação web? O mundo web para quem faz testes é diferente. Pois, este não é trivial. Temos que verificar se tudo está funcionando. O link está funcionando? O aplicativo suporta a carga de usuários desejada? Quanto mais se conhece do ambiente web, melhor podemos fazer o teste. O especialista em testes deve conhecer tecnologias relativas a:» Linguagens de Scripting: ASP, xml, HTML etc.» Bancos de Dados: ORACLE SQL etc.» Servidores de Aplicação: IIS, Apache etc.» Protocolos de Transferência de Dados: TCP/IP, HTTP, FTP etc.» Conhecer diversos navegadores Web.» Saber testar diversos pontos como: performance, segurança, integridade da base de dados etc.» Tecnologias de automação de testes.» Saber testar o aplicativo em diversas plataformas, como Windows e Linux, etc. Prioridades O especialista envolvido em teste de aplicação web deve dar prioridade a:» desenvolver um plano de testes o mais completo possível;» estruturar testes funcionais por componentes web;» priorizar os testes dos componentes em função do risco de falha desses componentes; e» iniciar o mais breve possível os teste dos componentes de alta prioridade e ir testando até os de baixa prioridade. Nas próximas seções são apresentadas duas das diversas ferramentas existentes na Web para execução dos testes de desempenho: JMeter e WebLoad. Ferramentas JMeter O JMeter é uma aplicação desktop projetada para a realização de testes de desempenho e estresse em aplicações cliente/servidor, tais como aplicações Web. É uma ferramenta de código aberto, feita em Java. A ferramenta permite a criação de testes para os protocolos HTTP, JDBC, FTP, SOAP, dentre outros. Ela também suporta a criação de testes funcionais, mas neste artigo só daremos ênfase ao teste de desempenho. Os testes podem ser escritos manualmente (por meio da criação manual das requisições HTTP) ou gravados automaticamente enquanto você navega na aplicação simulando um usuário real (por meio de um Proxy Server). Existem outras ferramentas que podem gerar os scripts e exportá-los para o JMeter como o BadBoy ( O download do JMeter pode ser feito no link: Elementos do JMeter Os elementos principais e mais utilizados do JMeter serão apresentados nessa seção junto com um exemplo prático. O site que iremos usar no exemplo é o da universidade Federal de Sergipe (ufs), instituição de ensino dos autores deste artigo. A execução do JMeter é feita por meio do arquivo ApacheJMeter.jar encontrado no caminho jakarta- -jmeter-2.5 > bin > ApacheJMeter. A figura 1 mostra o arquivo que deve ser executado. Área de Trabalho A Área de Trabalho serve como armazenamento temporário de elementos. Os itens associados a este Figura 1. Arquivo para executar o JMeter. Figura 2. Adição do Servidor HTTP Proxy. / 50

4 elemento não são considerados como parte do plano de testes. No nosso exemplo vamos adicionar o servidor HTTP Proxy, mostrado na figura 2. Com ele, iremos gravar automaticamente todas as requisições necessárias para o teste. Plano de Teste Na figura 3 é mostrado o Plano de Teste do JMeter, que pode ser renomeado e pode-se adicionar comentários sobre o teste que o usuário irá realizar. um Plano de Teste descreve uma série de passos que o JMeter irá executar. Grupo de Usuários um Grupo de usuários é onde é definido o número de usuários que se deseja simular, quantas vezes os usuários devem enviar requisições ao servidor e o tempo de inicialização entre cada usuário. Na figura 4 é mostrada a adição do Grupo de usuários em um Plano de Teste. Na figura 5 é mostrada a tela de Grupo de usuários, onde no campo Número de usuários Virtuais (threads) define-se o número de usuários que se deseja simular. No campo Tempo de Inicialização (em segundos) é definido o tempo de demora entre o início de cada usuário. O Contador de Iteração é um campo onde é inserida a quantidade de vezes que o grupo de usuários realizará o teste. O JMeter possui no Grupo de usuário a opção Agendador onde pode ser agendado o horário que o teste deve iniciar e terminar automaticamente, mas no nosso exemplo não será utilizado esse recurso. A opção só foi selecionada para demonstração, então, lembre-se de desmarcá-la antes de executar seus testes. Servidor HTTP Proxy Como já foi mencionado antes, o Servidor HTTP Proxy grava automaticamente as requisições HTTP feitas em um navegador (perderia-se muito tempo caso fosse necessário gravar cada requisição manualmente). Agora serão gravadas as requisições do exemplo. Primeiro, deve-se alterar a Configuração de Conexão do navegador que será utilizado para Configuração manual de proxy como mostrado na figura 6. No segundo passo, deve-se iniciar o Servidor HTTP Proxy. Em seguida, já no navegador, digite a url da aplicação a ser testada. Como já dito antes, iremos utilizar o site da ufs ( Na figura 7 é mostrada a página inicial. No exemplo deste artigo, usamos os links da página inicial e acadêmico presencial ( ufs.br), mas poderia ser utilizada qualquer outra url. Figura 3. Plano de Teste do JMeter. Figura 6. Configuração da conexão do navegador. Figura 4. Adição do Grupo de Usuários. Figura 5. Grupo de Usuários e modificações feitas para o exemplo. Figura 7. Página inicial do site da UFS. 51 \

5 Depois de completada todas as requisições, o servidor HTTP Proxy pode ser interrompido. Observe na figura 8 que as requisições HTTP foram todas registradas. O JMeter grava diversas requisições e em diferentes formatos, por isso é necessário excluir as requisições que não são necessárias para o Plano de Teste. Testador O Testador é um componente que representa cada requisição que o JMeter fará ao servidor quando o plano de teste for executado. O JMeter contém vários tipos de Testadores, como, por exemplo, requisição FTP, requisição HTTP (a mais utilizada pelos testadores), requisição JDBC, dentre outros. As requisições do exemplo poderiam ter sido adicionadas manualmente, mas isso seria algo muito improdutivo se no exemplo existissem, por exemplo, 20 urls diferentes para serem testadas. Por isso, o ideal é usar o Servidor HTTP Proxy. A figura 9 mostra como é feita a adição de uma requisição HTTP manualmente e a figura 10 os principais elementos dela. Asserções O componente Asserções serve para validar as respostas das requisições HTTP. Existe um conjunto de asserções para as mais diversas funções, mas em testes para servidores Web, duas asserções são muito utilizadas: Asserção de Resposta e Asserção de Duração. No exemplo foi usado Asserção de Duração para definir o tempo máximo que o sistema tem para responder a uma requisição. Caso a obtenção da resposta demore mais que o tempo definido, a asserção falhará. Essa Asserção é muito utilizada, pois a partir dela podemos verificar o atendimento a um dos principais requisitos de desempenho: o tempo de resposta das requisições. Na figura 11 é mostrada como é feita a Figura 10. Principais elementos de uma Requisição HTTP. Figura 11. Adição e configuração da Asserção de Duração. Figura 8. Requisições salvas pelo Servidor HTTP Proxy. Figura 12. Associação do Ouvinte. Figura 9. Adição de uma Requisição HTTP. Figura 13. Adição dos Ouvintes. / 52

6 adição da Asserção de Duração e como é configurada. Ouvinte Os Ouvintes são relatórios onde os resultados do Plano de Teste são salvos. Os resultados podem ser mostrados em uma árvore, tabelas ou gráficos. No Plano de Teste pode ser utilizada qualquer quantidade de ouvintes. Dependendo do lugar em que o ouvinte esteja associado podem ser obtido diferentes resultados. A figura 12 mostra os diferentes resultados que serão obtidos. Os Ouvintes Ver Resultados em Tabela e Relatório de Sumário foram utilizados no exemplo, e foram associados ao Grupo de usuários: usuários LabPS Exemplo. Como o exemplo faz uso de Asserção de Duração foi adicionado também os Resultados de Asserção, que permitem visualizar os resultados das asserções que falharam e o porquê da falha. A figura 13 mostra a adição dos Ouvintes. Temporizador O JMeter permite a simulação de uma parada para ler um texto ou olhar uma figura numa página web através do Temporizador. Existem vários temporizadores no JMeter, mas vamos explorar apenas alguns. O exemplo não faz uso de nenhum Temporizador. O Temporizador Constante permite que você estabeleça um intervalo em milissegundos (padrão) entre os usuários. O Temporizador Aleatório Uniforme permite simular uma parada aleatória dentro dos limites inferior e superior que forem informados. Execução do Teste Antes de executar o teste, lembre-se de Salvar o Plano de Teste. As próximas figuras mostram os resultados dos testes nos diferentes tipos de Ouvintes que foram adicionados. WebLOAD Após a análise do JMeter, seguiremos com o WebLOAD. Antes disso, é importante salientar que há Figura 14. Resultados obtidos exibidos em Ver Resultados em Tabela. duas versões do WebLOAD, a versão Professional e a versão Open Source. O WebLOAD Open Source Load Generation Engine é um projeto Open Source patrocinado pela empresa RADview Software. No site da ferramenta (www. webload.org), você poderá baixá-la nas duas versões e ainda poderá analisar uma tabela comparando as duas versões da ferramenta. Lembrando que a versão Professional é apenas de avaliação para 30 dias e possui apenas a capacidade de gerar cinco usuários virtuais. Se desejar observar a ferramenta em ação, poderá ver os vídeos disponíveis no próprio site da RadView ( Com o WebLOAD, é possível verificar a escalabilidade e integridade de sua aplicação Web. A ferramenta faz isso pela geração de carga que é composta de clientes virtuais que simulam situações reais de tráfego. Os exames dos clientes permitem refinar o processo de testes, agindo como um único usuário, que mede o desempenho de atividades específicas, e fornece estatísticas de desempenho individual do aplicativo. As Agendas desenvolvidas podem ser executadas no WebLOAD para emular clientes virtuais nos testes de carga. Então, como o WebLOAD trabalha? O WebLO- AD testa as aplicações Web através da geração de clientes virtuais que simulam as cargas do mundo real. Os clientes virtuais imitam as ações dos usuários humanos através da realização de ações típicas na sua aplicação web. Você pode criar os scripts de testes baseados em JavaScript (as chamadas agendas) que definem o comportamento dos clientes virtuais, e então, o WebLOAD executa esses scripts de teste monitorando a resposta estatisticamente por meio de gráficos que apresentam os resultados do teste em tempo real. A arquitetura de funcionamento do WebLOAD é dividida em três partes, e para uma melhor compreensão da ferramenta, iremos executar um tutorial para a criação de uma agenda e executá-la. Neste manual, ensinaremos a criar uma agenda com o WebloAd ide e executar a carga com o WebLOAD Console. O WebLOAD Analytics apenas apresenta os dados em modo gráfico e, se você desejar, poderá exportar os relatórios em vários formatos. O primeiro passo na criação de uma agenda é gravar suas ações interagindo com aplicação web. Figura 15. Resultados obtidos exibidos em Relatório de Sumário. Figura 16. Resultados obtidos exibidos em Resultados de Asserção. 53 \

7 1. Abra o WebLOAD IDE e crie um novo projeto. A janela principal do WebLOAD IDE abrirá no modo de edição para começar a criar o script [Agenda] como na figura 17. Figura 17. WebLoad IDE (Agenda). 2. Na janela principal, no modo de edição, clique em Run > Start Recording para começar a gravação. uma janela do navegador Internet Explorer será aberta, na barra de endereço digite o endereço eletrônico da aplicação a ser testada e o WebLOAD IDE irá gravar todas as ações que você executar no navegador web. Observe a notificação de gravação na barra de status do WebLOAD IDE, como mostrado na figura 18. IDE, acesse o menu Tools > Open WebLOAD Console para criar um novo modelo de carga. 1. Ao abrir o WebLOAD Console, selecione criar um novo modelo usando o assistente WebLO- AD Console e clique em ok. Avance até chegar à opção Agenda/Mix, como na figura Na tela Agenda/Mix, clique no botão [...] e navegue em seu sistema para localizar a agenda criada anteriormente usando WebLOAD IDE. Selecione a agenda e clique em abrir. 3. Na tela Seleção de Host Selection, note que seu computador é automaticamente listado como o padrão de carga da máquina na coluna Host computers. Porém, o localhost na coluna também é a máquina do usuário. Sendo assim, apenas avance como mostrado na figura 21 e depois avance novamente. 4. Selecione a opção Individual Scheduling. 5. Em Individual Scheduling, na coluna To, coloque o tempo de execução da aplicação de 5 minutos (00 days 00:05:00), e a quantidade de usuários que irá simular a aplicação, depois Figura 18. Notificação de gravação. 3. Suas ações serão gravadas e aparecerão na Agenda Tree do Webload IDE. Se na Agenda Tree houver scripts com links desconhecidos, pode ser que seja tráfego gerado por plug-ins ou extensões do próprio navegador. 4. Quando encerrar as ações, clique em Run > Stop Recording para encerrar a gravação. Em seguida, salve a agenda. Ao final da gravação, sua Agenda pode ser vista como na figura 19. Figura 20. Selecionando a Agenda. Figura 19. Exemplo do script gerado. Configurando um modelo de carga utilizando o Assistente WebLOAD Console Depois de gravar a agenda, no próprio WebLOAD Figura 21. Selecionando Hosts. / 54

8 Análise comparativa Figura 22. Resultados gráficos no WebLoad Analytics. selecione em Append e avance até finalizar o processo de criação de carga. 6. Após concluir a configuração, o teste irá iniciar automaticamente. Análise de resultados de teste com o WebLoad Analytics Você pode ver os resultados dos testes em tempo de execução, ou após a sessão de teste ter sido concluída. Dados sobre a carga (Load Size), Requisições por Segundo (hist. Per second), o tempo de rodada (Round time) e Vazão (throughput) aparecem na janela de exibição de gráfico por padrão, com uma legenda que aparecerá caso você coloque o mouse sobre a linha desejada. Cada ponto de dados representa uma fatia de 20 segundos (que pode ser modificado no canto superior do gráfico). Os gráficos são todos normalizados em escala para que eles possam ser visualizados em uma única janela. Clique com o botão direito do mouse em qualquer ponto de dados para ver mais opções. O WebLOAD Analytics cria relatórios de análise com base em seus dados de sessão. Mesmo depois de completar uma sessão, você pode usar esses dados para criar tantos relatórios predefinidos e personalizados. Você pode criar carteiras, que são conjuntos de relatórios personalizados para rodar em outras sessões. Você também pode exportar relatórios para PDF, Excel, RTF, HTML e TxT. A figura 22 mostra os resultados apresentados pelo WebLoad Analytics. Estes resultados são de fácil interpretação. Possuem barras laterais, mostrando diversas escalas para interpretação dos gráficos, como carga (Load Size) e vazão (Throughput). Na parte inferior da figura, os dados também são mostrados por tipo e momento específico na execução. Figura 23. Tabela comparativa. Considerações finais Ao final deste artigo, esperamos que você tenha compreendido a importância da área de testes de software na sua vida profissional e que ela faz parte do conjunto de práticas necessárias para a qualidade desejada do seu projeto. um componente fundamental da área de teste de software para aplicações web é a utilização de boas ferramentas, pois elas irão otimizar seu processo de teste de uma maneira extremamente eficiente, proporcionando resultados precisos e reais que irão influenciar diretamente no desempenho ou performance de sua aplicação. As duas ferramentas apresentadas cumprem bem os objetivos do teste de desempenho e esperamos que os breves comparativos realizados neste artigo ajudem-nos a realizar uma análise mais detalhada de qual solução é mais adaptada ao negócio da sua empresa. > Syllabus > Site da Radview > Site do Webload > Site do JMeter /referências > Performance Testing Guidance for Web Applications > aspx?wa=wsignin1.0 > TESTE DE SOFTWARE: UMA ABORDAGEM DO MPT.BR CYNTIA MARIA CHABARIBERY MALFA (monografia) > ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBRISO/IEC Engenharia de software Qualidade de produto Parte 1: Modelo de qualidade > MOLINARI, Leonardo. Teste de Software: Produzindo Sistemas Melhores e Mais Confiáveis. 4 ed. São Paulo: Érica, \