Teste de Web Services Baseado no Critério Análise de Mutantes

Transcrição

1 Teste de Web Services Baseado no Critério Análise de Mutantes André Luiz S. Solino 1, Silvia Regina Vergilio 1 1 Departamento de Informática Universidade Federal do Paraná (UFPR) Caixa Postal Curitiba PR Brasil {solino,silvia}@inf.ufpr.br Abstract. Web Services (WS) have been strongly used in the development of Web applications. Due to their importance and inherent characteristics, several testing approaches have been proposed. However most of them do not offer a criterion to be used to evaluate the generated test data. This work explores mutation testing in the context of WS and introduces a set of mutation operators, specific for WSDL documents. The idea is to consider semantic aspects of those documents and to reveal different kind of faults. A supporting tool is also described and evaluation results of a study case are discussed that allow comparison with other approaches. Resumo. Atualmente é crescente o uso de Web Services (WS) no desenvolvimento de aplicações Web. Para assegurar a qualidade dessas aplicações, diversas abordagens de teste têm sido propostas, considerando características específicas, inerentes aos Web Services (WS). Entretanto a maioria destas abordagens não têm como objetivo oferecer um critério que permita tanto a geração quanto a avaliação dos dados de teste. Esse trabalho explora o uso do critério análise de mutantes para o teste de WS. São propostos novos operadores de mutação, específicos para documentos WSDL, que consideram a semântica desses documentos e revela diferentes tipos de defeitos. O trabalho também descreve uma ferramenta desenvolvida para auxiliar na aplicação dos operadores e são apresentados resultados de aplicação e comparação com outras abordagens. 1. Introdução O processo de desenvolvimento de software envolve uma série de atividades. Atividades agregadas sob o nome de Garantia de Qualidade de Software têm sido introduzidas ao longo de todo o processo de desenvolvimento, entre estas, atividades de V & V (Verificação e Validação), com o objetivo de minimizar a ocorrência de erros e riscos associados. Dentre as atividades de V & V, o teste é considerada uma das mais importantes (Delamaro et al. 2007). Com o advento da Internet, e o crescente número de aplicações Web, atualmente existe uma grande demanda por ferramentas e técnicas adequadas ao teste dessas aplicações. Essas aplicações possuem características peculiares que as diferencia dos softwares tradicionais, o que dificulta a atividade de teste (Offutt and Xu 2004). Geralmente elas utilizam-se de diferentes tecnologias, que estão em constante evolução e por isso existe a necessidade de que o teste acompanhe essa evolução. Uma dessas tecnologias é a de serviços Web (Web Services - WS).

2 WS permitem a integração entre aplicações através do envio e recebimento de mensagens em formato XML, mais especificamente, mensagens SOAP. WS proporcionam um baixo nível de acoplamento entre as aplicações. Eles tiram proveito dos protocolos da Web para tornar as instâncias de componentes facilmente acessíveis dentro e fora de uma empresa e são bastante utilizados para resolver problemas de integração. Segundo definição do W3C (Consortium 2004), um Web Service é um sistema de software projetado para permitir interoperabilidade máquina a máquina em uma rede. Ele possui uma interface descrita em um formato possível de ser processado por máquinas (especificamente o WSDL (Consortium 2001)). Outros sistemas interagem com o Web Service da maneira prescrita em sua descrição usando mensagens SOAP (Consortium 2003), tipicamente transportadas utilizando o protocolo HTTP (Consortium 2002) com serialização de XML (Consortium 2006) em conjunto com outros padrões Web relacionados (Consortium 2004). Devido às características inerentes aos WS, e para garantir a qualidade e a confiabilidade, são necessários métodos e técnicas específicos para testá-los. Vários trabalhos foram desenvolvidos com o objetivo de testar esse tipo de software. Entretanto, o teste de WS é considerado nos dias de hoje ainda um desafio. Eles são mais amplamente distribuídos e heterogêneos que softwares tradicionais (Offutt and Xu 2004). Além disso, a ausência de interfaces com o usuário torna difícil aplicar procedimentos de teste, devido à perda de controle (Davidson 2002). Os trabalhos encontrados na literatura procuram testar diferentes aspectos dos WS. Bloomberg (2004) expõe alguns desses aspectos: teste do mecanismo de requisição e resposta do Web Service através de mensagens SOAP; utilização das informações contidas nos documentos WSDL para o planejamento dos casos de teste; teste da publicação, busca e associação de WS, que se trata de uma nova característica sob a perspectiva de teste de software e por isso são necessárias novas técnicas; emulação do cliente de um Web Service, assim como emulação de um Web Service para um cliente. Considerando esses aspectos, alguns autores introduziram abordagens de teste específicas para o teste de WS dentre estas: teste baseado em cenários (Tsai et al. 2002), em contratos (Heckel and Lohmann 2006), e em perturbação de dados (Almeida and Vergilio 2006; Filho and Vergilio 2008; Offutt and Xu 2004; Xu et al. 2005). O teste baseado em perturbação de dados tem se mostrado bastante prático e promissor, em termos de número e tipos de defeitos revelados. Nesta técnica, mensagens XML and SOAP são modificadas (perturbadas) e utilizadas como dados de entrada para testar a interação entre dois WS. No presente trabalho o teste baseado em mutação de WS é explorado como uma abordagem alternativa ao teste baseado em perturbação. O teste baseado em mutação permite que um critério seja utilizado não só para geração de dados de teste, mas também para oferecer uma medida de cobertura que avalie os dados utilizados e a própria atividade de teste. A idéia dos operadores é dar mais atenção ao aspecto semântico do documento WSDL, e espera-se que com isso sejam revelados defeitos mais específicos deste documento, considerando um nível mais alto de abstração. Apesar de eles possuírem foco no documento WSDL e de descreverem defeitos na especificação do WSDL, são também capazes de revelar defeitos na implementação do Web Service. O trabalho introduz um conjunto de operadores de mutação para o

3 WSDL, considerando defeitos típicos descritos por outros trabalhos da literatura (Almeida and Vergilio 2006; Offutt and Xu 2004; Siblini and Mansour 2005). Para auxiliar na aplicação dos operadores propostos é descrita uma ferramenta de suporte e são apresentados resultados de um estudo de caso que permite a comparação da abordagem baseada em mutação com a baseada em perturbação de dados. O artigo segue organizado da seguinte forma: na Seção 2 são apresentados trabalhos relacionados ao teste de WS e mencionados acima. Na Seção 3 são introduzidos os novos operadores de mutação para documentos WSDL. Na Seção 4 é descrita a ferramenta desenvolvida para auxiliar na aplicação dos operadores propostos. O estudo de caso é relatado na Seção 5. Na Seção 6 são apresentadas as conclusões. 2. Trabalhos Relacionados Como mencionado anteriormente, existem diferentes abordagens para o teste de WS, que procuram testar diversos aspectos (Bloomberg 2004). À nossa proposta estão mais relacionados os trabalhos que consideram o teste da interação entre somente dois WS e que visam descobrir defeitos nas implementações dos mesmos, considerando para isso defeitos típicos nesse contexto de teste. Dentre estes destacam-se os trabalhos sobre teste de perturbação e de mutantes. Offutt e Xu (2004) propõem uma técnica de perturbação de dados que modifica os valores das mensagens de requisição e analisa os valores das mensagens de resposta. Dois métodos de perturbação de dados são apresentados: perturbação no valor dos dados, que modifica os valores nas mensagens SOAP em relação aos tipos de dados e perturbação na interação, que modifica mensagens RPC e comunicações de dados (Offutt and Xu 2004). Xu et al. (2005) definem um modelo formal para descrever o documento XML Schema, que está dividido em três elementos: nós, tipos de dados e arestas. Os operadores de perturbação fazem modificações sistematicamente nesses elementos, porém eles não devem perturbar o nó raiz. Almeida e Vergilio (2006) desenvolveram um conjunto complementar de operadores de mutação baseados em perturbação de dados e implementaram uma ferramenta de teste, denominada SMAT-WS. Essa ferramenta foi utilizada em nosso experimento de comparação. Os operadores implementados perturbam as mensagens SOAP e são descritos a seguir, considerando o documento como uma árvore. 1. Null: configura para null o valor determinado para o nó n na mensagem SOAP. Se o nó n não possuir nenhum valor, o operador faz nenhuma ação; 2. Incomplete: apaga o nó n e os nós filhos de n da mensagem SOAP; 3. Inversion: inverte a ordem dos nós dentro do nó n em uma mensagem SOAP; 4. ValueInversion: inverte a ordem dos valores associados aos nós filhos de n em uma dada mensagem; 5. Mod_Len: modifica o tamanho do valor associado ao nó n em uma dada mensagem; 6. Space: configura como (espaço em branco) o valor associado ao nó n; 7. Boundary: testa os limites dos dados presentes no elemento. Os trabalhos acima abordam o teste de perturbação. Esse teste é aplicado em cima das mensagens SOAP. Entretanto, essas mensagens são descritas por um documento WSDL. Por isso, considerar os documentos WSDL pode ser mais interessante,

4 pois considera-se um nível mais alto de abstração e diferentes tipos de defeitos. Além disso, aplicar o teste de mutação pode oferecer um critério e medidas de cobertura, não oferecidos pelo teste baseado em perturbação de dados. Considerando esses aspectos, Siblini e Mansour (2005) propõem uma abordagem que utiliza Análise de Mutantes, e definem operadores de mutação específicos para documentos WSDL. O propósito dos operadores definidos é encontrar defeitos nos documentos WSDL como também na lógica de programação do próprio Web Service. São definidos três grupos de operadores: 1) o grupo de troca que engloba os operadores: SwitchTypesComplexTypeElement, SwitchTypesComplexTypeAttribute, SwitchTypesSimpleTypeElement, SwitchTypesSimpleTypeAttribute, SwitchMessagePart e SwitchPortTypeMessage; 2) o grupo especial que inclui o operador SpecialTypesElementNil; e 3) grupo de ocorrência que define os operadores OccurrenceTypesComplexTypeElement e OccurrenceTypesComplexTypeAttribute. Para realizar o teste, Siblini e Mansour (2005) aplicam um dos operadores definidos em um documento WSDL e a partir desse documento mutante geram os dados de entrada para o Web Service, analisando as mensagens de retorno. As mensagens de retorno são comparadas com a especificação, ou seja, com a mensagem que é esperada como retorno. Entretanto, os autores não apresentam uma ferramenta de suporte aos seus operadores e nem realizaram um experimento de avaliação da abordagem introduzida. Além disso, estudando-se os operadores propostos, percebeu-se que eles poderiam ser refinados, para diminuir o número de casos de teste sem perder a eficácia. Como resultado desse refinamento são propostos novos operadores descritos na próxima seção. 3. Proposta Uma das formas de testar um Web Service, segundo Bloomberg (2004), é através da emulação de um cliente para o WS. É através dessa emulação de clientes que a ferramenta desenvolvida aplica os operadores propostos ao Web Service em teste. Os operadores foram desenvolvidos levando em consideração as especificidades presentes nos documentos WSDL e nos defeitos típicos descritos nos trabalhos relacionados, descritos na seção anterior. Os defeitos podem ocorrer na especificação do WSDL e/ou na implementação do Web Service, e os operadores aqui propostos, apesar de possuir foco no documento WSDL, são capazes de revelar defeitos também na implementação do Web Service. A seguir são apresentados os quatro operadores propostos. Para cada operador é apresentado o nome e sua descrição. Para o primeiro operador é apresentado também um exemplo. 1. Nome: mudaassinaturaserviço: este operador troca a ordem dos parâmetros de um serviço disponibilizado no WSDL. Esse operador foi baseado no operador STCE (SwitchTypesComplexTypeElement) (Siblini and Mansour 2005). Tal operador troca os elementos que definem a ordem dos parâmetros de um serviço do Web Service. O operador aqui proposto, ao invés de trocar os elementos de forma aleatória, troca somente a ordem dos elementos responsáveis por definir a assinatura de um serviço disponibilizado pelo WS. Para exemplificar o funcionamento do operador, consider a operação boolean verificacliente(int idcliente, int idconta), descrita na seção porttype do documento

5 WSDL como mostrado no Código 1. 1 <wsdl:porttype name="verificaclienteserviceporttype"> 2 <wsdl:operation name="verificacliente"> 3 <wsdl:input 4 xmlns:wsaw=" 5 wsaw:action="urn:verificacliente" 6 message="ns:verificaclientemessage" /> 7 <wsdl:output 8 xmlns:wsaw=" 9 message="ns:verificaclienteresponsemessage" 10 wsaw:action="urn:verificacliente" /> 11 </wsdl:operation> 12 </wsdl:porttype> Código 1: VerificaClienteServicePortType A operação define a mensagem verificaclientemessage como input tal como pode ser observado no Código 2. 1 <wsdl:message name="verificaclientemessage"> 2 <wsdl:part name="part1" element="xsd:verificacliente" /> 3 </wsdl:message> Código 2: verificaclientemessage Por sua vez, a mensagem verificaclientemessage, apresentada no Código 3, possui o tipo complexo verificacliente. 1 <xs:element name="verificacliente"> 2 <xs:complextype> 3 <xs:sequence> 4 <xs:element name="idcliente" nillable="true" type="xs:int" /> 5 <xs:element name="idconta" nillable="true" type="xs:int" /> 6 </xs:sequence> 7 </xs:complextype> 8 </xs:element> Código 3: verificacliente O mesmo documento WSDL que contém o elemento verificacliente define outros tipos complexos, no entanto, o operador proposto será aplicado apenas no tipo complexo apresentado no Código 3, por ser o tipo complexo responsável por definir a ordem dos parâmetros. Com essa alteração, a operação que tinha como assinatura boolean verificacliente(int idcliente, int idconta) e obedecia à estrutura apresentada no Código 3, passa a ter a assinatura boolean verificacliente(int idconta, int idcliente) (Ver Código 4).

6 1 <xs:element name="verificacliente"> 2 <xs:complextype> 3 <xs:sequence> 4 <xs:element name="idconta" nillable="true" type="xs:int" /> 5 <xs:element name="idcliente" nillable="true" type="xs:int" /> 6 </xs:sequence> 7 </xs:complextype> 8 </xs:element> Código 4: verificacliente Modificado 2. Nome: mudatipoassinaturaserviço: semelhante ao operador apresentado anteriormente. A diferença é que ao invés de modificar a ordem dos parâmetros na assinatura de um serviço, esse operador modificará apenas o tipo entre dois parâmetros. Seja um método que tenha como assinatura dois parâmetros, p1 do tipo inteiro e p2 do tipo double, nessa ordem. O operador irá modificar o tipo de p1 pelo tipo de p2 e o tipo de p2 pelo tipo de p1. No entanto, a ordem dos parâmetros na assinatura do serviço permanece inalterada. 3. Nome: mudatipoelementomensagem: este operador modifica o tipo de um elemento definido em uma mensagem por um elemento de outro tipo definido em outra mensagem também presente no mesmo documento WSDL. 4. Nome: mudainputoutput: modifica o tipo da mensagem de input pelo tipo da mensagem de output de uma mesma operação definida no documento WSDL. Observe que o operador STCE (SwitchTypesComplexTypeElement) (Siblini and Mansour 2005) troca os elementos que definem a ordem dos parâmetros de um serviço do Web Service. O operador proposto mudaassinaturaservico, considerando o pressuposto da hipótese do programador competente, ao invés de trocar os elementos de forma aleatória, como faz o operador STCE, troca somente a ordem dos elementos responsáveis por definir a assinatura de um serviço disponibilizado pelo WS, buscando diminuir o custo da atividade de teste sem perder eficácia. 4. Ferramenta Desenvolvida Com o propósito de permitir a aplicação prática da abordagem proposta, foi desenvolvida uma ferramenta para auxiliar o testador durante o processo de teste. A Figura 1 apresenta de maneira simplificada a arquitetura da ferramenta. O testador fornece para a ferramenta o WSDL que define o Web Service a ser testado. A ferramenta aplica os operadores de mutação propostos gerando as mensagens SOAP modificadas. A ferramenta envia cada uma dessas mensagens SOAP modificadas ao Web Service em teste, recebe o retorno do Web Service e apresenta esse retorno ao testador para que o mesmo possa analisar. A ferramenta foi desenvolvida utilizando a tecnologia Java SE (Sun Microsystems 2008b). A interface gráfica com o usuário foi implementada utilizando o pacote Swing (Sun Microsystems 2008a). As mensagens SOAP foram construídas com o auxílio do Velocity (Foundation 2007a). Depois de criadas, as mensagens SOAP são enviadas, recebidas e processadas com o auxílio do Axis2 (Foundation 2007b).

7 Figura 1. Arquitetura da ferramenta 5. Estudo de Caso Foi realizado um experimento com o auxilio da ferramenta desenvolvida. Devido à dificuldade em se encontrar um conjunto de WS com o código disponível para realizar os testes, os mesmos foram desenvolvidos, com exceção do Web Service de consulta a CEP. Os WS utilizados para a realização do experimento são os seguintes: WS 1 - Verificador de conta: o usuário deve fornecer o identificador do cliente e o identificador de conta, o Web Service verifica então se o cliente é o proprietário da conta. WS 2 - Conversor de temperatura: esse WS possui dois serviços disponibilizados. O primeiro realiza a conversão de temperatura em Celsius para Farenheit, e o segundo faz a operação inversa, converte de Farenheit para Celsius. WS 3 - Verificador de CPF: realiza a verificação de um determinado CPF. O usuário fornece um número de CPF em formato String, e o WS retorna um valor boleano que indica se o CPF é válido. WS 4 - CEP: serviço de consulta a CEP (ByJG 2008). Este é um Web Service que não foi implementado durante o desenvolvimento do trabalho. É um Web Service de acesso público desenvolvido pelo site ByJG (ByJG 2008), disponível para acesso livre na URL " Para cada Web Service foram inseridos defeitos. Tais defeitos foram inseridos por programadores que colaboraram nessa fase do experimento. Os programadores não possuiam conhecimento da proposta. Para isso, todos tiveram acesso ao documento WSDL original, e ao código que implementa o Web Service. Os programadores podiam inserir os defeitos no documento WSDL, ou na implementação dos WS. No entanto, eles só deveriam inserir um defeito de cada vez. Para refletir a mudança no WSDL eles poderiam modificar a implementação do WS também. O código fonte do WS4 não estava disponível, por isso, para esse Web Service foram inseridos defeitos apenas relacionados ao documento WSDL. A abordagem proposta nesse trabalho foi comparada com a abordagem baseada em perturbação de dados, implementada pela ferramenta SMAT- WS (Almeida and Vergilio 2006). A Tabela 1 apresenta a quantidade de mensagens perturbadas pela SMAT-WS e a quantidade de mensagens geradas utilizando os operadores

8 propostos. Percebe-se que o número de mensagens varia de acordo com o WS testado e que o teste de mutantes requereu um número maior de testes. Tabela 1. Comparativo entre abordagens Web Service Emulação de clientes (número Ferramenta SMAT-WS de mensagens gera- (número de mensagens das) perturbadas) WS Verifica Cliente - WS WS Verifica Temperatura WS2 WS Conversor CPF - WS WS Consulta CEP - WS As Tabelas 2 e 3 apresentam a quantidade de defeitos revelados por cada operador. Percebe-se que dentre os operadores propostos o que mais revelou defeitos foram os operadores mudatipoelemento Mensagem e mudainputoutput. Dentre os operadores de perturbação, destacam-se os operadores Incomplete, Boundary and Mod_Len. Dos defeitos inseridos, a perturbação de dados não revelou apenas um defeito, de uma versão incorreta do Web Service do CPF. O teste de mutação não revelou quatro defeitos, três no teste do Web Service de temperatura e um relacionado ao Web Service do CEP. Tabela 2. Número defeitos revelados por operador de mutação Operador proposto Número de defeitos revelados mudaassinaturaserviço 5 mudatipoassinaturaserviço 5 mudatipoelementomensagem 21 mudainputoutput 12 Tabela 3. Número defeitos revelados por operador de perturbação Operador SMAT-WS Número de defeitos revelados Boundary 17 Mod_Len 16 Incomplete 19 Null 12 Inversion 5 Value Inversion 3 Além dos dados expostos, é interessante avaliar os tipos de defeitos não revelados por ambas abordagens. Percebe-se que eles são diferentes. Por exemplo, o defeito no WS3, não revelado pelo teste de perturbação está no código e é devido a uma alteração no valor de uma variável. O defeito no WS4 não revelado pelo teste de mutação, está relacionado ao banco de dados é revelado por uma perturbação de dados do tipo SQL Injection.

9 Conclui-se, analisando esses resultados, que as abordagens podem ser utilizadas de maneira complementar visto que o conjunto de defeitos não revelados por uma abordagem é diferente do conjunto não revelado pela outra. 6. Conclusões O presente trabalho apresentou novos operadores de mutação para o teste de WS. Tais operadores foram desenvolvidos levando em consideração a semântica do documento WSDL que define o Web Service. Essa consideração tem por objetivo produzir operadores de mutação que sejam mais específicos para esse tipo de aplicação, abrangendo erros comuns na definição de documentos WSDL, na tentativa de aumentar a eficácia e confiabilidade de WS. Foi realizado um estudo comparativo entre a abordagem proposta nesse trabalho e a abordagem baseada em perturbação de dados. Tal estudo possibilitou comparar a eficácia de cada uma das abordagens de teste. Percebe-se que ambas as abordagens são eficazes em revelar defeitos e que revelam tipos de defeitos complementares, por isso podem ser utilizados em conjunto numa estratégia para o teste de WS. Foi desenvolvida uma ferramenta que permite a automação de algumas fases do procedimento de teste, facilitando e diminuindo os custos da atividade de teste e tornando a aplicação do critério análise de mutantes possível. O trabalho mostrou a viabilidade de se aplicar o teste de mutação no contexto do teste de WS. Entretanto novos contextos de teste também poderão ser considerados, por exemplo, realizar o teste de mutantes na integração de WS. Além disso pretende-se conduzir novos experimentos de comparação. Referências [Almeida and Vergilio 2006] Almeida, L. F. and Vergilio, S. R. (2006). Exploring Pertubation Based Testing for Web Services. IEEE International Conference on WS. [Bloomberg 2004] Bloomberg, J. (2004). Report: Testing Web Services. Disponível em " Acessado em Abril de [ByJG 2008] ByJG (2008). Cepservice webservice. Disponível em: " Acessado Maio de [Consortium 2001] Consortium, W. W. W. (2001). Web Services Description Language (WSDL) 1.1. Disponível em: " Acessado em Abril de [Consortium 2002] Consortium, W. W. W. (2002). HTTP Specifications and Drafts. Disponível em: " Acessado em Maio de [Consortium 2003] Consortium, W. W. W. (2003). SOAP Version 1.2 Part 1: Messaging Framework. Disponível em: " Acessado em Março de [Consortium 2004] Consortium, W. W. W. (2004). Web Services Architecture. W3C Working Group Note 11, fevereiro. Disponível em: " Acessado em 10/12/2006.

10 [Consortium 2006] Consortium, W. W. W. (2006). W3C Architecture Domain - Extensible Markup Language. Disponível em: " Acessado em Março de [Davidson 2002] Davidson, N. (2002). The red-gate software technical papers: Web Services Testing. Disponível em " Acessado em Abril de [Delamaro et al. 2007] Delamaro, M., Maldonado, J., and Jino, M. (2007). Introdução ao Teste de Software. Ed. Campus. [Filho and Vergilio 2008] Filho, P. N. C. and Vergilio, S. R. (2008). Using XML patterns to guide perturbation based testing of Web services. In Proceedings of Software Engineering and Knowledge Engineering conference - SEKE. [Foundation 2007a] Foundation, T. A. S. (2007a). The apache velocity project. Disponível em " Acessado em Maio de [Foundation 2007b] Foundation, T. A. S. (2007b). Axis2/Java - Apache Axis2/Java - Next Generation Web Services. Disponível em " Acessado em Maio de [Heckel and Lohmann 2006] Heckel, R. and Lohmann, M. (2006). Towards Contractbased Testing of Web Services. Electronic Notes in Theorical Computer Science 82 No. 6. [Offutt and Xu 2004] Offutt, J. and Xu, W. (2004). Generating Test Cases for Web Services Using Data Perturbation. ACM SIGSOFT- Software Engineering Notes, 29. [Siblini and Mansour 2005] Siblini, R. and Mansour, N. (2005). Testing Web Services. Lebanese American University. [Sun Microsystems 2008a] Sun Microsystems, I. (2008a). A brief introduction to the swing package. Disponível em " Acessado em Maio de [Sun Microsystems 2008b] Sun Microsystems, I. (2008b). Java platform, standard edition. Disponível em " Acessado em Maio de [Tsai et al. 2002] Tsai, W. T., Paul, R., Song, W., and Cao, Z. (2002). Coyote: An XML- Based Framework for Web Services Testing. In HASE 02: Proceedings of the 7th IEEE International Symposium on High Assurance Systems Engineering (HASE 02), page 173, Washington, DC, USA. IEEE Computer Society. [Xu et al. 2005] Xu, W., Offutt, J., and Luo, J. (2005). Testing Web Services by XML Pertubation. In Proceedings of the 16th IEEE International Symposium on Software Reliability Engineering (ISSRE 05). IEEE.