Teste de Web Services Baseado no Critério Análise de Mutantes

Transcrição

1 Teste de Web Services Baseado no Critério Análise de Mutantes André Luiz S. Solino 1, Silvia Regina Vergilio 1 1 Departamento de Informática Universidade Federal do Paraná (UFPR) Caixa Postal Curitiba PR Brasil {solino,silvia}@inf.ufpr.br Abstract. Testing activities are fundamental to assure software s quality. Web Services (WS) is one of the strongly applied Web technologies lately. Due to WS inherent characteristics, several testing approaches have being proposed. This study is based in the mutant analysis criteria applied to the WS test. New WS technology specific mutation operators, which considerate the WS defining WSDL document semantic, are being proposed. An auxiliary operator application tool was developed in this work. Resumo. A atividade de teste é fundamental para assegurar a qualidade de um software. Web Service é uma das tecnologias Web fortemente utilizadas atualmente. Devido às características inerentes aos Web Services (WS), diversas abordagens de teste têm sido propostas. Esse trabalho se baseia no critério análise de mutantes aplicado ao teste de WS. São propostos novos operadores de mutação, específicos para a tecnologia de WS, que consideram a semântica do documento WSDL que define o WS. Foi desenvolvida uma ferramenta para auxiliar na aplicação dos operadores. 1. Introdução O processo de desenvolvimento de software envolve uma série de atividades. Atividades agregadas sob o nome de Garantia de Qualidade de Software têm sido introduzidas ao longo de todo o processo de desenvolvimento, entre estas, atividades de V & V (Verificação e Validação), com o objetivo de minimizar a ocorrência de erros e riscos associados. Dentre as atividades de V & V, o teste é considerada uma das mais importantes [Maldonado et al. ]. Com o advento da Internet, e o crescente número de aplicações Web atualmente, existe uma grande demanda por ferramentas e técnicas adequadas ao teste dessas aplicações. Essas aplicações possuem características peculiares que as diferencia dos softwares tradicionais, o que dificulta a atividade de teste [Offutt and Xu 2004]. Geralmente elas utilizam-se de diferentes tecnologias, que estão em constante evolução e por isso existe a necessidade de que o teste acompanhe essa evolução. Uma dessas tecnologias é a de serviços Web (Web Services - WS). WS permitem a integração entre aplicações através do envio e recebimento de mensagens em formato XML, mas especificamente, mensagens SOAP. WS proporcionam um baixo nível de acoplamento entre as aplicações. Eles tiram proveito dos protocolos da Web para tornar as instâncias de componentes facilmente acessíveis dentro e fora de uma empresa e são bastante utilizados para resolver problemas de integração.

2 Segundo definição do W3C [Consortium 2004], um Web Service é um sistema de software projetado para permitir interoperabilidade máquina a máquina em uma rede. Ele possui uma interface descrita em um formato possível de ser processado por máquinas (especificamente o WSDL [Consortium 2001]). Outros sistemas interagem com o Web Service da maneira prescrita em sua descrição usando mensagens SOAP [Consortium 2003], tipicamente transportadas utilizando o protocolo HTTP [Consortium 2002] com serialização de XML [Consortium 2006] em conjunto com outros padrões Web relacionados [Consortium 2004]. Devido às características inerentes aos WS, e para garantir a qualidade e a confiabilidade, são necessários métodos e técnicas específicos para testá-los. Vários trabalhos foram desenvolvidos com o objetivo de testar esse tipo de software. Entretanto, o teste de WS é considerado nos dias de hoje um desafio [Lucca 2005]. Eles são mais amplamente distribuídos e heterogêneos que os softwares tradicionais [Offutt and Xu 2004]. Além disso, a ausência de interfaces com o usuário torna difícil aplicar procedimentos de teste, devido à perda de controle [Davidson 2002]. Esse trabalho propõe novos operadores de mutação baseados no aspecto semântico do documento WSDL. Tais operadores foram desenvolvidos tomando por base trabalhos que apresentaram resultados promissores, entre eles os trabalhos de Almeida e Vergilio [Almeida and Vergilio 2006] onde são propostos operadores para perturbar mensagens enviadas ao Web Service; Siblini e Mansour [Siblini and Mansour 2005] propõem uma abordagem baseada em análise de mutantes; Offutt e Xu [Offutt and Xu 2004] utilizam perturbação de dados, Heckel e Lohmann [Heckel and Lohmann 2006] propõem uma abordagem baseada em contratos. Os operadores propostos nesse trabalho dão uma maior importância ao aspecto semântico do documento WSDL, na tentativa de realizar um teste mais específico à tecnologia de WS e aumentar a probabilidade de revelar defeitos. Os defeitos podem ocorrer na especificação do WSDL e/ou na implementação do Web Service, e os operadores aqui propostos, apesar de possuir foco no documento WSDL, são capazes de revelar defeitos também na implementação do Web Service. Para auxiliar na aplicação dos operadores propostos foi desenvolvida uma ferramenta. Essa ferramenta gera mensagens SOAP modificados de acordo com cada operador proposto. A mensagem SOAP gerada é enviada para o Web Service em teste e a mensagem de retorno é apresentada ao testador para ser analisada. O artigo segue organizado da seguinte forma: a seção 2 apresenta trabalhos relacionados ao teste de WS, mas especificamente os trabalhos de Almeida e Vergilio [Almeida and Vergilio 2006] e de Reda Siblini e Nashat Mansour [Siblini and Mansour 2005]. Na seção 3 são propostos novos operadores de mutação para documentos WSDL. A seção 4 descreve a ferramenta desenvolvida para auxiliar na aplicação dos operadores propostos. O estudo de caso é discutido na seção 5 e na seção 6 são apresentadas as conclusões. 2. Trabalhos Relacionados Bloomberg [Bloomberg 2004] expõe alguns aspectos que envolvem o teste de WS, entre eles: teste do mecanismo de requisição e resposta do Web Service através de mensagens SOAP; utilização das informações contidas nos documentos WSDL para o planejamento dos casos de teste; teste da publicação, busca e associação de WS, que se trata de uma

3 nova característica sob a perspectiva de teste de software e por isso são necessárias novas técnicas; emulação do cliente de um Web Service, assim como emulação de um Web Service para um cliente. Offutt e Xu[Offutt and Xu 2004] propõem uma técnica de perturbação de dados que modifica os valores das mensagens de requisição e analisa os valores das mensagens de resposta. Dois métodos de perturbação de dados são apresentados: perturbação no valor dos dados, que modifica os valores nas mensagens SOAP em relação aos tipos de dados e perturbação na interação, que modifica mensagens RPC e comunicações de dados [Offutt and Xu 2004]. Xu et al. [Offutt et al. 2005] definem um modelo formal para descrever o documento XML Schema, que está dividido em três elementos: nós, tipos de dados e arestas. Os operadores de perturbação fazem modificações sistematicamente nesses elementos, porém eles não devem perturbar o nó raiz. Almeida e Vergilio [Almeida and Vergilio 2006] desenvolveram um conjunto complementar de operadores de mutação baseados em perturbação de dados. Os operadores definidos por Almeida e Vergilio perturbam as mensagens SOAP e são descritos a seguir. 1. Null: configura para null o valor determinado para o nó n na mensagem SOAP. Se o nó n não possuir nenhum valor, o operador faz nenhuma ação; 2. Incomplete: apaga o nó n e os nós filhos de n da mensagem SOAP; 3. Inversion: inverte a ordem dos nós dentro do nó n em uma mensagem SOAP; 4. ValueInversion: inverte a ordem dos valores associados aos nós filhos de n em uma dada mensagem XML; 5. Mod_Len: modifica o tamanho do valor associado ao nó n em uma dada mensagem XML; 6. Space: configura como (espaço em branco) o valor associado ao nó n; Siblini e Mansour [Siblini and Mansour 2005] propõem uma abordagem que utiliza Análise de Mutantes, e define operadores de mutação específicos para documentos WSDL. O propósito dos operadores definidos é encontrar defeitos nos documentos WSDL como também na lógica de programação do próprio Web Service. São definidos três grupos de operadores. O grupo de troca engloba os operadores: SwitchTypesComplexType- Element, SwitchTypesComplexTypeAttribute, SwitchTypesSimpleTypeElement, SwitchTypesSimpleTypeAttribute, SwitchMessagePart e SwitchPortTypeMessage. O grupo especial inclui o operador SpecialTypesElementNil, e grupo de ocorrência define os operadores OccurrenceTypesComplexTypeElement e OccurrenceTypesComplexTypeAttribute. Para realizar o teste, Siblini e Mansour [Siblini and Mansour 2005] aplicam um dos operadores definidos em um documento WSDL e a partir desse documento mutante geram os dados de entrada para o Web Service, analisando as mensagens de retorno. As mensagens de retorno são comparadas com a especificação, ou seja, com a mensagem que é esperada como retorno. 3. Proposta Nesse trabalho são propostos novos operadores de mutação que sejam capazes de revelar classes de defeito no contexto de documentos WSDL. Os operadores aqui propostos estão

4 baseados nos trabalho de Siblini e Mansour [Siblini and Mansour 2005], Almeida e Vergilio [Almeida and Vergilio 2006] e Offutt e Xu [Offutt and Xu 2004], no entanto, é dada uma maior atenção ao aspecto semântico do documento WSDL, e espera-se que com isso sejam revelados defeitos mais específicos aos documentos WSDL. Uma das formas de testar um Web Service, segundo Bloomberg [Bloomberg 2004], é através da emulação de um cliente para o WS. É através dessa emulação de clientes que a ferramenta desenvolvida aplica os operadores propostos ao Web Service em teste. Os trabalhos de Almeida e Vergilio [Almeida and Vergilio 2006] e Offutt e Xu [Offutt and Xu 2004] são baseados na perturbação de dados, utilizando, dentre outras, técnicas como análise de valor limite e SQL Injection, sem levar em consideração aspectos semânticos do WSDL. Os operadores aqui propostos refinam os operadores propostos por Siblini e Mansour [Siblini and Mansour 2005], e ambos levam em consideração o aspecto semântico. O operador STCE (SwitchTypesComplexTypeElement) [Siblini and Mansour 2005] troca os elementos que definem a ordem dos parâmetros de um serviço do Web Service. O operador proposto mudaassinaturaservico, explicado adiante, ao invés de trocar os elementos de forma aleatória, como faz o operador STCE, troca somente a ordem dos elementos responsáveis por definir a assinatura de um serviço disponibilizado pelo WS, buscando diminuir o custo da atividade de teste sem perder eficácia. Os operadores foram desenvolvidos levando em consideração as especificidades presentes nos documentos WSDL. A seguir são apresentados os quatro operadores propostos. Para cada operador é apresentado o nome, a descrição e os trabalhos que embasaram o desenvolvimento do operador. Para o primeiro operador é apresentado também um exemplo para ilustrar o funcionamento do operador. 1. (a) Nome: mudaassinaturaserviço (b) Descrição: troca a ordem dos parâmetros de um serviço disponibilizado no WSDL. Esse operador foi baseado no operador STCE (SwitchTypes- ComplexTypeElement) definido por Siblini [Siblini and Mansour 2005]. Tal operador troca os elementos que definem a ordem dos parâmetros de um serviço do Web Service. O operador aqui proposto, ao invés de trocar os elementos de forma aleatória, troca somente a ordem dos elementos responsáveis por definir a assinatura de um serviço disponibilizado pelo WS. (c) Base: Operador STCE definido por Siblini e Mansour [Siblini and Mansour 2005], operador Inversion definido por Almeida e Vergilio [Almeida and Vergilio 2006], operador Exchange definido por Offutt e Xu [Offutt and Xu 2004]. (d) Exemplo: A operação boolean verificacliente(int idcliente, int idconta), está descrita na seção porttype do documento WSDL como mostrado no Código 1.

5 1 <wsdl:porttype name="verificaclienteserviceporttype"> 2 <wsdl:operation name="verificacliente"> 3 <wsdl:input 4 xmlns:wsaw=" 5 wsaw:action="urn:verificacliente" 6 message="ns:verificaclientemessage" /> 7 <wsdl:output 8 xmlns:wsaw=" 9 message="ns:verificaclienteresponsemessage" 10 wsaw:action="urn:verificacliente" /> 11 </wsdl:operation> 12 </wsdl:porttype> Código 1: VerificaClienteServicePortType A operação define a mensagem verificaclientemessage como input para operação, essa mensagem é reproduzida no código 2. 1 <wsdl:message name="verificaclientemessage"> 2 <wsdl:part name="part1" element="xsd:verificacliente" /> 3 </wsdl:message> Código 2: verificaclientemessage Por sua vez, a mensagem verificaclientemessage possui o tipo complexo verificacliente que é apresentada no Código 3. 1 <xs:element name="verificacliente"> 2 <xs:complextype> 3 <xs:sequence> 4 <xs:element name="idcliente" nillable="true" 5 type="xs:int" /> 6 <xs:element name="idconta" 7 nillable="true" type="xs:int" /> 8 </xs:sequence> 9 </xs:complextype> 10 </xs:element> Código 3: verificacliente O mesmo documento WSDL que contém o elemento verificacliente define outros tipos complexos, no entanto, o operador proposto será aplicado apenas no tipo complexo apresentado no Código 3, por ser o tipo complexo responsável por definir a ordem dos parâmetros. Com essa alteração, a operação que tinha como assinatura boolean verificacliente(int idcliente, int idconta) e obedecia à estrutura apresentada no Código 3, passa a ter a assinatura boolean verificacliente(int idconta, int idcliente) para obedecer o elemento após a aplicação do operador de mutação, Código 4.

6 1 <xs:element name="verificacliente"> 2 <xs:complextype> 3 <xs:sequence> 4 <xs:element name="idconta" nillable="true" 5 type="xs:int" /> 6 <xs:element name="idcliente" nillable="true" 7 type="xs:int" /> 8 </xs:sequence> 9 </xs:complextype> 10 </xs:element> Código 4: verificaclientemutado 2. (a) Nome: mudatipoassinaturaserviço (b) Descrição: semelhante ao operador apresentado anteriormente. A diferença é que ao invés de modificar a ordem dos parâmetros na assinatura de um serviço, esse operador modificará apenas o tipo entre dois parâmetros. Seja um método que tenha como assinatura dois parâmetros, p1 do tipo inteiro e p2 do tipo double, nessa ordem. O operador irá modificar o tipo de p1 pelo tipo de p2 e o tipo de p2 pelo tipo de p1. No entanto, a ordem dos parâmetros na assinatura do serviço permanece inalterada. (c) Base: Operador STCE definido por Siblini e Mansour [Siblini and Mansour 2005], operador Inversion definido por Almeida e Vergilio [Almeida and Vergilio 2006], operador Exchange definido por Offutt e Xu [Offutt and Xu 2004]. 3. (a) Nome: mudatipoelementomensagem (b) Descrição: modifica o tipo de um elemento definido em uma mensagem por um elemento de outro tipo definido em outra mensagem também presente no mesmo documento WSDL. (c) Base: Operador SMP definido por Siblini e Mansour [Siblini and Mansour 2005]. 4. (a) Nome: mudainputoutput (b) Descrição: modifica o tipo da mensagem de input pelo tipo da mensagem de output de uma mesma operação definida no documento WSDL. (c) Base: Operador SMP definido por Siblini e Mansour [Siblini and Mansour 2005]. 4. Ferramenta Desenvolvida Com o propósito de auxiliar na aplicação da abordagem proposta, foi desenvolvida uma ferramenta para auxiliar o testador durante o processo de teste. A Figura 1 apresenta de maneira simplificada a arquitetura da ferramenta. O testador fornece para a ferramenta o WSDL que define o Web Service a ser testado. A ferramenta aplica os operadores de mutação propostos gerando as mensagens SOAP modificadas. A ferramenta envia cada uma dessas mensagens SOAP modificadas ao Web Service em teste, recebe o retorno do Web Service e apresenta esse retorno ao testador para que o mesmo possa analisar. A ferramenta foi desenvolvida utilizando a tecnologia Java SE [Sun Microsystems 2008b]. A interface gráfica com o usuário foi implementada

7 Figura 1. Arquitetura da ferramenta utilizando o pacote Swing [Sun Microsystems 2008a],as mensagens SOAP foram construídas com o auxílio do Velocity [Foundation 2007a]. Depois de criadas, as mensagens SOAP são enviadas, recebidas e processadas com o auxílio do Axis2 [Foundation 2007b]. 5. Estudo de Caso Foi realizado um experimento com o auxilio da ferramenta desenvolvida. Devido à dificuldade em se encontrar um conjunto de WS com o código disponível para realizar os testes, os mesmos foram desenvolvidos, com exceção do Web Service de consulta a CEP, que está disponível para acesso livre na URL " Para cada Web Service foi inserido defeitos. Tais defeitos foram inseridos pelo autor da proposta e por outros programadores que colaboraram nessa fase do experimento. Para isso, todos tiveram acesso ao documento WSDL original, e ao código que implementa o Web Service. Os programadores podiam inserir os defeitos no documento WSDL, ou na implementação do WS. No entanto, eles só deveriam inserir um defeito de cada vez. Para refletir a mudança no WSDL eles poderiam modificar a implementação do WS também. Os seguintes WS foram utilizados para a realização do experimento: WS 1 - Verificador de conta: o usuário deve fornecer o identificador do cliente e o identificador de conta, o Web Service verifica então se o cliente é o proprietário da conta. WS 2 - Conversor de temperatura: esse WS possui dois serviços disponibilizados. O primeiro realiza a conversão de temperatura em Celsius para Farenheit, e o segundo faz a operação inversa, converte de Farenheit para Celsius. WS 3 - Verificador de CPF: realiza a verificação de um determinado CPF. O usuário fornece um número de CPF em formato String, e o WS retorna um valor boleano que indica se o CPF é válido. WS 4 - CEP: serviço de consulta a CEP [ByJG 2008]. Este é um Web Service que não foi implementado durante o desenvolvimento do trabalho. É um Web Service de acesso público desenvolvido pelo site ByJG [ByJG 2008]. Dessa forma, os erros inseridos se limitaram a erros no documento WSDL, visto que não se tem acesso ao código fonte do mesmo.

8 A abordagem proposta nesse trabalho foi comparada com a abordagem proposta por Almeida e Vergilio [Almeida and Vergilio 2006]. Os mesmos WS foram submetidos a ambas as abordagens. A Tabela 1 apresenta a quantidade de mensagens perturbadas na abordagem de Almeida e Vergilio [Almeida and Vergilio 2006], utilizando a ferramenta SMAT-WS [Almeida and Vergilio 2006] e a quantidade de mensagens geradas utilizando a abordagem proposta Web Service Tabela 1. Comparativo entre abordagens Emulação de clientes (número de mensagens gera- Ferramenta das) WS Verifica Cliente WS Conversor CPF WS Verifica Temperatura WS Consulta CEP SMAT-WS (número de mensagens perturbadas) As Tabelas 2 e 3 apresentam a quantidade de defeitos revelados pelos operadores, para a abordagem proposta nesse trabalho e para a abordagem proposta por Almeida e Vergilio [Almeida and Vergilio 2006], respectivamente. Tabela 2. Número defeitos revelados por operador proposto Operador proposto Número de defeitos revelados mudaassinaturaserviço 5 mudatipoassinaturaserviço 5 mudatipoelementomensagem 21 mudainputoutput 12 Tabela 3. Número defeitos revelados por operador proposto por Almeida e Vergilio Operador proposto Número de defeitos revelados Valor Limite 17 Tamanho 16 Incompleto 19 Nulo 12 Inversão 5 Inversão Valores 3 Além dos dados expostos, é válido ressaltar que em um dos experimentos do Web Service do CPF a abordagem proposta por Almeida e Vergilio não revelaram o defeito, enquanto que em três experimentos com o Web Service de temperatura a abordagem aqui proposta não revelou defeito. A abordagem proposta não revelou defeito também no Web Service de consulta a CEP. A ferramenta SMAT-WS conseguiu revelar apenas um defeito neste Web Service, ao aplicar o operador Unauthorized proposto por Jeff Offut e Wuzhi Hu [Offutt and Xu 2004] que gera um tipo de SQL Injection e troca o valor de entrada pelo valor de entrada str por str OR 1 = 1. Além disso, o operador Unauthorized revela

9 um defeito que não é específico do WSDL, e o objetivo dos operadores aqui propostos é revelar defeitos específicos. Com os dados coletados no experimento percebe-se que a abordagem proposta por Almeida e Vergilio [Almeida and Vergilio 2006] possuem um menor custo, ao gerar uma quantidade menor de mensagens perturbadas em três dos quatro WS utilizados no experimento. Além disso, a abordagem proposta por eles conseguiu revelar quatro defeitos não revelados pela abordagem proposta, e a abordagem proposta conseguiu revelar apenas um erro não revelado pela abordagem de Almeida e Vergilio [Almeida and Vergilio 2006]. As abordagens podem ser utilizadas juntas, de forma a conseguir uma maior probabilidade de revelar defeitos, visto que o conjunto de defeitos não revelados por uma abordagem é diferente do conjunto não revelado pela outra abordagem. 6. Conclusões O presente trabalho apresentou novos operadores de mutação para o teste de WS. Tais operadores foram desenvolvidos levando em consideração a semântica do documento WSDL que define o Web Service. Essa consideração tem por objetivo produzir operadores de mutação que sejam mais específicos para esse tipo de aplicação, abrangendo erros comuns na definição de documentos WSDL, na tentativa de aumentar a eficácia e confiabilidade de WS. Foi realizado um estudo comparativo entre a abordagem proposta nesse trabalho e a abordagem proposta por Almeida e Vergilio [Almeida and Vergilio 2006]. Tal estudo possibilitou comparar a eficácia de cada uma das abordagens de teste. Foi desenvolvida uma ferramenta que permite a automatização de algumas fases do procedimento de teste, facilitando e diminuindo os custos da atividade de teste. No futuro, a abordagem poderia ser utilizada em conjunto com a abordagem proposta por Almeida e Vergilio para que sejam revelados os erros que tal abordagem detecta e não foram detectados na abordagem proposta. Além disso, a geração dos casos de teste poderia ser feita de modo automatizado. Dessa forma, com um maior numero de casos de teste, é possível que a abordagem proposta consiga revelar um maior número de defeitos, apesar de ter como consequência um maior custo. É interessante também realizar experimentos com um número maior de WS, e se possível, WS que estejam em produção em algum ambiente. Referências Almeida, L. F. and Vergilio, S. R. (2006). Exploring Pertubation Based Testing for Web Services. IEEE International Conference on WS. Bloomberg, J. (2004). Report: Testing Web Services. Disponível em " Acessado em Abril de ByJG (2008). Cepservice webservice. Disponível em: " Acessado Maio de Consortium, W. W. W. (2001). Web Services Description Language (WSDL) 1.1. Disponível em: " Acessado em Abril de 2007.

10 Consortium, W. W. W. (2002). HTTP Specifications and Drafts. Disponível em: " Acessado em Maio de Consortium, W. W. W. (2003). SOAP Version 1.2 Part 1: Messaging Framework. Disponível em: " Acessado em Março de Consortium, W. W. W. (2004). Web Services Architecture. W3C Working Group Note 11, fevereiro. Disponível em: " Acessado em 10/12/2006. Consortium, W. W. W. (2006). W3C Architecture Domain - Extensible Markup Language. Disponível em: " Acessado em Março de Davidson, N. (2002). The red-gate software technical papers: Web Services Testing. Disponível em " Acessado em Abril de Foundation, T. A. S. (2007a). The apache velocity project. Disponível em " Acessado em Maio de Foundation, T. A. S. (2007b). Axis2/Java - Apache Axis2/Java - Next Generation Web Services. Disponível em " Acessado em Maio de Heckel, R. and Lohmann, M. (2006). Towards Contract-based Testing of Web Services. Electronic Notes in Theorical Computer Science 82 No. 6. Lucca, D. (2005). Testing Web-Based Applications: the State of the Art and Future Trends. In QATWBA 95 - Workshop of the International Computer Software and Applications Conference, COMPSAC, page 65. IEEE Press. Maldonado, J., Barbosa, E., Vicenzi, A., Delamaro, M., Souza, S., and Jino, M. Introdução ao Teste de Software. Notas Didáticas do Instituto de Ciências Matemáticas e de Computação - ICMC/USP. Offutt, J. and Xu, W. (2004). Generating Test Cases for Web Services Using Data Perturbation. ACM SIGSOFT. Offutt, J., Xu, W., and Luo, J. (2005). Testing Web Services by XML Pertubation. In Proceeding of the 16th IEEE International Symposium on Software Reliability Engineering (ISSRE 05). IEEE. Siblini, R. and Mansour, N. (2005). Testing Web Services. Lebanese American University. Sun Microsystems, I. (2008a). A brief introduction to the swing package. Disponível em " Acessado em Maio de Sun Microsystems, I. (2008b). Java platform, standard edition. Disponível em " Acessado em Maio de 2008.