Minimização de Conjuntos de Casos de Teste por meio de

Transcrição

1 Minimização de Conjuntos de Casos de Teste por meio de Condições de Suficiência Lúcio F. de Mello Neto 1, Adenilso da S. Simão 1 1 Instituto de Ciências Matemáticas e de Computação Universidade de São Paulo Caixa Postal São Carlos SP Brasil {lucio,adenilso}@icmc.usp.br Abstract. Model-based testing provides test suites from formal specifications, such as Finite State Machines. Due to resource constraints, the application of all test cases of a test suite can be infeasible. In this paper, we present an algorithm for the minimization of test suites generated from Finite State Machines, which is based on sufficient conditions in order to keep the test suite effectiveness in revealing faults. The results of an observational study are presented, in which the algorithm is used with randomly generated machines and test suites. Resumo. O teste baseado em modelos deriva conjuntos de casos de teste a partir de especificações formais, tais como Máquinas de Estados Finitos. Devido a restrições de recursos, a aplicação de todos os casos de teste de um conjunto pode se tornar inviável. Neste artigo, é apresentado um algoritmo para a minimização de conjuntos de casos de teste gerados a partir de Máquinas de Estados Finitos. A minimização baseia-se em condições de suficiência de forma a manter a efetividade do conjunto em relação à detecção de erros. São apresentados os resultados de um estudo observacional, no qual o algoritmo é utilizado com máquinas e conjuntos de casos de teste gerados aleatoriamente. 1. Introdução A geração de casos de teste baseada em modelos visa a possibilitar a derivação de casos de teste a partir de especificações formais. Dentre as técnicas utilizadas para a especificação de sistemas, as Máquinas de Estados Finitos (MEFs) destacam-se pela simplicidade e poder de modelagem. As MEFs são utilizadas para a geração de um conjunto de casos de teste que possibilita testar se a implementação está em conformidade com sua respectiva especificação. Vários métodos foram propostos para a geração de um conjunto de casos de teste que possa revelar os erros existentes em uma implementação. Os métodos para a geração de casos de teste a partir de MEFs vêm sendo propostos há décadas, como por exemplo, os métodos DS [Gönenc 1970], W [Chow 1978], UIOv [Vuong et al. 1989] e o Wp [Fujiwara et al. 1991]. Mais recentemente, podem-se destacar também os métodos H [Dorofeeva et al. 2005b] e o State Counting [Petrenko and Yevtushenko 2005]. Apesar dos vários métodos disponíveis para geração de casos de teste, pode haver situações em que um conjunto de casos de teste seja obtido de alguma outra forma. Por exemplo, um conjunto de casos de teste pode ter sido criado com base em outros modelos disponíveis, tais como a especificação textual ou diagramas de análise. Além disso, conjuntos previamente utilizados para o teste de outras versões do sistema (tais como no teste de regressão) ou de outros sistemas semelhantes podem ser empregados. No entanto, a tarefa Apoio financeiro da CAPES. 55

2 de se aplicar esse conjunto de casos de teste torna-se muito onerosa quando há uma quantidade elevada de casos de teste a serem aplicados. Assim, com o intuito de viabilizar a aplicação dos testes, uma minimização do conjunto pode ser realizada. Diversos critérios de cobertura podem ser utilizados para guiar a minimização, tais como a cobertura de elementos da MEF (por exemplo, estados e transições), buscando reduzir o conjunto de forma a manter casos de teste necessários para garantir que tais elementos foram exercitados ao menos um número pré-definido de vezes. No entanto, a satisfação de tais critérios não garante que todos os erros sejam revelados, tal como ocorre com os conjuntos de casos de teste gerados pelos métodos clássicos citados acima. Desse modo, para que não haja prejuízos quanto à eficiência dos testes, torna-se importante realizar a minimização de forma a garantir a propriedade que o conjunto resultante possua a mesma capacidade na detecção de erros. São conhecidas algumas condições, chamadas de condições de suficiência, que garantem que, uma vez satisfeitas essas condições, o conjunto possua tal propriedade, tais como [Petrenko et al. 1996, Dorofeeva et al. 2005b]. Neste artigo, é apresentado um algoritmo para a minimização de conjuntos de casos de teste baseado nas condições de suficiência propostas em [Dorofeeva et al. 2005b]. O algoritmo utiliza uma estratégia baseada no algoritmo guloso [Cormen et al. 2001] e algumas heurísticas para determinar quais casos de teste devem ser selecionados. Dados de um estudo observacional com MEFs geradas aleatoriamente são apresentados, que mostram que o algoritmo apresenta uma boa redução, mesmo comparados com a cardinalidade de conjuntos gerados pelos métodos clássicos. Este artigo está organizado da seguinte forma: na Seção 2 são apresentadas as definições sobre MEFs; na Seção 3 são introduzidas as condições de suficiência na qual baseia-se o algoritmo de minimização proposto neste artigo; na Seção 4 é apresentada uma visão geral do algoritmo de minimização bem como um exemplo de minimização; na Seção 5 são apresentados os resultados de um estudo observacional realizado com MEFs geradas aleatoriamente; e na Seção 6 são apresentadas as conclusões deste artigo e apontados os trabalhos futuros. 2. Máquinas de Estados Finitos Uma MEF M é definida formalmente por uma tupla (S, s 0, X, Y, D A, δ, λ), onde: S é um conjunto finito de estados, incluindo o estado inicial s 0 ; X é um conjunto finito de entradas; Y é o conjunto finito de saídas; D A S X é um domínio da especificação; δ é uma função de transição, δ : D A S, e λ é uma função de saída, λ : D A Y ; Uma MEF pode ser representada graficamente por um diagrama de transição de estados. Na Figura 1, tem-se a representação de uma MEF, na qual S = {S 1, S 2, S 3, S 4 }, X = {x, y} e Y = {0, 1} (extraída de [Dorofeeva et al. 2005a]). Como em [Fujiwara et al. 1991], a notação s i x/y s j será utilizada para indicar que uma MEF no estado s i produz y como saída e realiza uma transição para o estado s j quando a entrada x é aplicada. A notação s i x s j será utilizada quando a entrada x é aplicada ao estado s i sem se importar com a respectiva saída. Os estados s i e s j são chamados de estado inicial e estado final de uma transição, respectivamente. Uma seqüência de entrada α = x 1 x 2... x k X é chamada de seqüência de entrada definida (defined input sequence) para o estado s i S se existem k estados s i1, s i2,..., s ik S tal que haja uma seqüência de transições s i x 1 s i1.. s i(k 1) x k s ik na MEF M. A notação Ω M (s i ) representa o conjunto de todas as seqüências de entrada definidas no estado s i de M e a notação Ω M representa o conjunto de 56

3 todas as seqüências de entrada definidas no estado inicial s 0 de M. A seqüência vazia é denotada por ɛ. Diz-se que uma seqüência α é prefixo de uma seqüência β, denotado por α β, se β = αω, para algum ω. α é um prefixo próprio de β, denotado por α < β, se β = αω, para algum ω ɛ. Se uma seqüência de entrada αx Ω M (s i ) então δ(s i, αx) = δ(δ(s i, α), x) e λ(s i, αx) = λ(s i, α)λ(δ(s i, α), x). A notação αβ representa a concatenação da seqüência α com a seqüência β. Dados os conjuntos A e B, a notação AB representa a concatenação do conjunto A com o conjunto B, tal que AB = {αβ α A, β B}. S 1 y/0 S 2 x/1 x/1 y/0 x/0 y/1 x/1 y/0 S 3 S 4 Figura 1. Exemplo de MEF. Dados os estados s i, s j S e uma seqüência x Ω M (s i ) tal que δ(s i, x) = s j, diz-se que x é uma seqüência de transferência (transfer sequence) de s i para s j. Um conjunto state cover Q de uma MEF M com n estados é definido como um conjunto com n seqüências de transferência, incluindo a seqüência vazia ɛ, que leva M a partir de seu estado inicial s 0 para cada um dos estados. Dois estados s j, s i S são distinguíveis (por γ), representado por s j s i (s j γ s i ), se existe uma seqüência de entrada γ Ω M (s j ) Ω M (s i ), chamada de seqüência de separação (separating sequence), tal que λ(s j, γ) λ(s i, γ). Esse conceito também pode ser utilizado para dois estados de MEFs diferentes. Duas MEFs M1 e M2 são distinguíveis, M1 M2, se m 0 n 0, sendo m 0 e n 0 estados iniciais de M1 e M2, respectivamente. Dois estados s i, s j S são equivalentes em relação ao conjunto V Ω M (s i ), representado por s i =V s j, se λ M (s i, α) = λ M (s j, α) para todo α V. O conceito de equivalência pode ser utilizado para dois estados de MEFs diferentes. Uma MEF completamente especificada (ou completa) é aquela em que existem transições definidas para todos os símbolos de entrada em cada estado da MEF. Caso contrário, a MEF é parcialmente especificada (ou parcial). Formalmente, uma MEF é completa se D A = S X. Uma MEF é reduzida se seus estados, tomados par-a-par, são distinguíveis. Uma MEF é determinística se em cada estado, dada uma entrada, há somente uma única transição definida para um próximo estado, caso contrário, a MEF é não-determinística. Uma MEF é inicialmente conectada se a partir do seu estado inicial é possível atingir todos os seus demais estados. Um caso de teste da MEF M é uma seqüência de entrada definida x Ω M. Um conjunto de casos de teste T (ou conjunto de teste) para a MEF M é um conjunto finito de casos de teste de M, tais que não existem dois casos de teste α, β T com α < β. Neste trabalho, os termos seqüência e caso de teste são utilizados como sinônimos. Para um conjunto de teste T, a notação pref(t ) representa todos os prefixos dos casos de teste pertencentes ao conjunto T, ou seja, pref(t ) = {α β T, α β}. Considera-se que a operação reset, representada como r no início dos casos de teste, é uma operação que reinicia corretamente a MEF, ou seja, leva a implementação ao seu estado inicial. Seja M uma especificação e ψ m (M) o conjunto de todas as implementações I = (T, t 0, X, Y, D T,, Λ) a partir de m estados tal que Ω I Ω M e m n, sendo n o número de estados de M. Um conjunto de teste T S é m-completo em relação à especificação M se para todo I ψ m (M) tal que I M, há uma seqüência α T S que distingue I de M. 57

4 Para m = n, diz-se que o conjunto é n-completo. Neste trabalho, será considerado o caso particular onde m = n. A implementação I está em conformidade com a especificação M se e somente se t 0 =ΩM (s 0 ) s 0, sendo t 0 e s 0 estados iniciais de I e M, respectivamente. Isso significa que, para cada seqüência de entrada onde um comportamento de M seja definido, I comporta-se de maneira idêntica. 3. Condições de Suficiência Em [Petrenko et al. 1996] são formuladas condições de suficiência que se referem à m- completude de um conjunto de casos de teste, ou seja, condições que, quando satisfeitas por um conjunto de casos de teste T, garantem que T S é m-completo. No trabalho de Dorofeeva et al. [2005b] são apresentadas condições de suficiência mais abrangentes, ou seja, essas condições conseguem verificar a m-completude de conjuntos de teste que as condições definidas em [Petrenko et al. 1996] não verificariam. São apresentadas duas condições de suficiência para m = n, ou seja, quando a implementação e a especificação possuem o mesmo número de estados. Teorema 1 ([Dorofeeva et al. 2005b]). Dada a especificação M determinística e reduzida com n estados e um conjunto state cover Q, seja T S um conjunto finito de casos de teste que contém o conjunto QX Ω M (s 0 ). O conjunto T S é n-completo se satisfaz as seguintes condições: Cond1 Para cada par de estados diferentes de M que seja alcançável pelas seqüências α, β Q, T S possui as seqüências αγ e βγ onde γ é uma seqüência de separação para os estados δ(s 0, α) e δ(s 0, β). Cond2 Para cada transição definida (s, x) D A, T S possui uma seqüência αx tal que α Q, δ(s 0, α) = s, com as seguintes propriedades: Para cada estado alcançável por uma seqüência β Q tal que δ(s 0, β) s, T S possui as seqüências αγ e βγ onde γ é uma seqüência de separação para os estados s e δ(s 0, β). Para cada estado alcançável por uma seqüência β Q tal que δ(s 0, β) δ(s, x), T S possui as seqüências αxγ e βγ onde γ é uma seqüência de separação para os estados δ(s, x) e δ(s 0, β). 4. Algoritmo de Minimização Com base nas condições de suficiência, pode-se determinar a minimização de conjuntos de teste de forma a manter a completude dos testes. Desse modo, definiu-se um algoritmo para realizar a minimização a partir de um conjunto de teste.o algoritmo de minimização tem como entrada uma MEF M = (S, s 0, X, Y, D A, δ, λ) e um conjunto n-completo T de casos de teste. Após a minimização, um conjunto n-completo T, tal que T T é obtido. Pelo fato do algoritmo se apoiar nas condições de suficiência citadas na Seção 3, a minimização não ocorre quando T não for n-completo, ou quando T, mesmo sendo n-completo, não atender tais condições de suficiência. Em linhas gerais, o algoritmo possui três passos: Passo 1: A seleção de um conjunto state cover Q é realizada de forma que o conjunto Q possa ser utilizado, no Passo 2, para atender Cond1. O algoritmo identifica um conjunto Q pref(t ), tal que para cada par de seqüências α, β Q onde δ(s 0, α) δ(s 0, β), há seqüências αγ, βγ pref(t ) tal que λ(δ(s 0, α), γ) λ(δ(s 0, β), γ). Inicialmente T = Q. Passo 2: A adição de seqüências em T é realizada para que Cond1 seja atendida. Para cada par de seqüências α, β Q, onde δ(s 0, α) δ(s 0, β), uma seqüência de separação γ é encontrada, tal que αγ, βγ pref(t ) e λ(δ(s 0, α), γ) λ(δ(s 0, β), γ). As seqüências αγ, βγ são adicionadas ao conjunto T. 58

5 Passo 3: A adição de seqüências em T é realizada para que Cond2 seja atendida. Para cada transição (s, x) D A, as seqüências α, β Q, tais que δ(s 0, α) = s e δ(s 0, β) s, e uma seqüência de separação γ, tal que λ(δ(s 0, αx), γ) λ(δ(s 0, β), γ), são encontradas em pref(t ). As seqüências αxγ, βγ são adicionadas ao conjunto T. No Passo 1, deve-se selecionar um conjunto state cover Q contido em pref(t ). Dentro do conjunto pref(t ), podem existir diversos subconjuntos de seqüências que formam um conjunto state cover válido. No algoritmo de minimização, a seleção do conjunto Q é realizada da seguinte forma. As seqüências de transferência para cada estado de M são encontradas. Para o estado inicial s 0, a seqüência ɛ é escolhida. Para os demais estados, são escolhidas as seqüências de transferência de menor tamanho de forma a atender Cond1. Desse modo, o algoritmo verifica se para cada par de seqüências α, β Q, onde δ(s 0, α) δ(s 0, β), há seqüências αγ, βγ pref(t ) tais que λ(δ(s 0, α), γ) λ(δ(s 0, β), γ). As seqüências αγ, βγ devem ser adicionadas ao conjunto T. O problema para se encontrar um conjunto state cover em pref(t ) pode ser reduzido ao problema de se encontrar um clique em um grafo [Cormen et al. 2001], que por sua vez é um problema NP-completo [Garey and Johnson 1979]. Desse modo, soluções aproximadas devem ser apresentadas para se encontrar um conjunto state cover Q. No entanto, após a seleção de um conjunto Q, pode ocorrer que esse conjunto não seja um conjunto state cover conveniente, pois pode haver situações em que, a partir desse conjunto selecionado, não seria possível atender as condições de suficiência, enquanto que a partir de outro conjunto atenderia. Uma solução seria encontrar todos os possíveis conjuntos state cover e executar o algoritmo com cada um deles. Essa solução, porém, apenas seria viável se houvesse uma pequena quantidade de conjuntos candidatos a state cover. No algoritmo, a minimização do conjunto T não é realizada caso o conjunto state cover Q selecionado não seja um conjunto apropriado. No Passo 2, o conjunto T é inicializado com as seqüências de Q. Após a seleção do conjunto Q, têm-se as seqüências αγ, βγ pref(t ) a serem adicionadas ao conjunto T para que a primeira condição de suficiência seja atendida de forma a minimizar o custo. Seja w(a) o tamanho de um conjunto de teste A calculado pela soma dos tamanhos das seqüências existentes em A. Seja B ω M um conjunto de casos de teste. Então, o custo adicional de B em relação à A é definido como c A (B) = w(a B) w(a). O algoritmo deve encontrar uma seqüência γ, tal que αγ, βγ pref(t ) e o custo adicional de {αγ, βγ} em relação a T seja minimizado. Para a escolha dessas seqüências utilizou-se uma estratégia gulosa (greedy algorithms) [Cormen et al. 2001]. Essa estratégia gulosa toma a melhor decisão local, o que não garante uma solução ótima global. Após a adição das seqüências αγ e βγ à T, observa-se que Cond1 é satisfeita. Uma estratégia utilizada na implementação do algoritmo foi de representar o conjunto de casos de teste pref(t ) por meio de uma árvore A. A árvore é construída de forma que seus nós representem os estados de M. O nó raiz representa o estado inicial s 0. Os arcos que conectam os nós da árvore representam as entradas x X. Cada caminho do nó raiz a um nó folha representa uma seqüência existente em T. A árvore A é utilizada ao longo do algoritmo tanto para facilitar o cálculo do custo adicional quanto para encontrar uma seqüência de separação γ. Seja d(α) a altura do nó da árvore alcançado pela seqüência α. Seja αx a seqüência a ser adicionada em T. O custo c T ({αx}) é calculado da seguinte forma. Se αx T então c T ({αx}) = 0. Se αx / T e α / T então c T ({αx}) = c T (α) + 1. Para αx / T e α T têm-se duas possibilidades: se α atinge um nó folha de T então c T ({αx}) = 1, senão c T ({αx}) = d(α) + 1. A representação dos casos de teste em uma árvore também é útil quando se deseja encontrar uma seqüência de separação γ entre duas 59

6 seqüências α, β T. A seqüência γ é encontrada com uma busca em largura. Em uma fila F adiciona-se a tupla (α, c T (α), β, c T (β)). Enquanto F não estiver vazia verfica-se para cada entrada x X tal que αx, βx pref(t ) se γ é uma seqüência de separação para α e β. Se γ for uma seqüência de separação, γ é selecionada, caso contrário, a tupla (αx, c T (αx), βx, c T (βx)) é adicionada em F. No passo 3, atendida Cond1, um conjunto R = {(s, x, s ) s, s S, x X, δ(s, x) s } de requisitos é determinado de forma a representar os elementos que devem ser satisfeitos para atender Cond2. Para cada requisito de R, o algoritmo encontra em pref(t ) seqüências α, β Q, tais que δ(s 0, α) = s e δ(s 0, β) = s, e uma seqüência de separação γ tal que λ(δ(s 0, αx), γ) λ(δ(s 0, β), γ). O algoritmo pode encontrar diversas seqüências αxγ e βγ para cada requisito de R. Para a escolha dessas seqüências, uma estratégia gulosa também foi utilizada. Desse modo, as seqüências adicionadas ao conjunto T são as que resultam em um menor custo adicional c T (αxγ, βγ) Exemplo de Minimização Para exemplificar a utilização do algoritmo de minimização, considere a MEF da Figura 1 e o conjunto T = {rxxy, rxyyy, ryxy, ryyxx, ryyyyyy, rxxxyxyyy} de tamanho 34. No Passo 1, o algoritmo de minimização procura selecionar seqüências de menor tamanho de forma a satisfazer Cond1. O algoritmo seleciona o conjunto state cover Q = {ɛ, ry, rx, ryy}. O conjunto T é inicializado com as seqüências de Q. No Passo 2, a adição de seqüências αγ e βγ é realizada. Por exemplo, para o par (α, β) = (ɛ, rx), o algoritmo encontra γ = xx de forma que rx e rxx são adicionadas à T. Ao final do Passo 2, é obtido o conjunto T = {rxx, ryx, ryyx, ryyyy} de tamanho 15. Por fim, no Passo 3, a adição de seqüências αxγ e βγ é realizada. Por exemplo, para o requisito (S3, x, S1), o algoritmo encontra α = x, β = ɛ, γ = y de forma que rxxy e ry são adicionadas à T. Ao final do Passo 3, o algoritmo obteve como resultado o conjunto n-completo T = {rxxy, rxyyy, ryxy, ryyxx, ryyyyyy} de tamanho 25. É interessante observar que o algoritmo sendo executado com a mesma MEF, com o mesmo conjunto T, mas com um conjunto state cover Q diferente, pode obter um resultado distinto. Por exemplo, considerando o conjunto state cover Q = {ɛ, ry, rxxxyx, ryy} como o conjunto escolhido no Passo 1. Como resultado seria obtido o conjunto n-completo T = {rxy, ryyyyyy, rxxxyxyyy} de tamanho 19. Percebe-se que a escolha de um conjunto state cover Q é importante, pois pode resultar em um conjunto n-completo de menor tamanho. Para a MEF da Figura 1, o algoritmo obteve um melhor resultado mesmo com um conjunto Q de tamanho maior. Atualmente, uma melhor forma de se realizar a seleção do conjunto Q está sendo investigada. Em determinadas situações, o algoritmo não realiza a minimização. Por exemplo, considere a MEF da Figura 1 e o conjunto T = {ryxyxxyyyyxyxyyy} de tamanho 16. Para esse conjunto a minimização não é realizada, pois T não satisfaz as condições de suficiência, apesar de ser n-completo. 5. Avaliação Foi realizado um estudo observacional com o algoritmo de minimização para verificar a redução obtida em conjuntos de teste n-completos. As MEFs foram geradas de forma aleatória em duas etapas. Na primeira etapa, um conjunto de estados era gerado e um estado era selecionado como estado inicial e marcado como atingido. Para cada estado s não marcado como atingido, eram selecionados aleatoriamente um estado s, uma entrada x e uma saída y, sendo que a transição s x/y s era adicionada à MEF e s era marcado como atingido. Ao final dessa etapa, uma MEF inicialmente conectada é obtida. Na 60

7 segunda etapa, transições geradas aleatoriamente eram adicionadas para que a MEF se tornasse completa. Os conjuntos de teste também foram gerados de forma aleatória. Para cada MEF A gerada, a quantidade e o tamanho das seqüências eram escolhidas. Em seguida, o conjunto de teste era criado com seqüências aleatórias que estavam definidas em Ω A. Para realizar o estudo com o algoritmo de minimização, foram utilizadas MEFs com 3 entradas, 3 saídas, reduzidas e completamente especificadas. Na Tabela 1 é apresentado um sumário dos resultados obtidos. Para cada linha da Tabela 1, foi utilizado um conjunto de 10 MEFs. Tabela 1. Sumário dos resultados obtidos. Qtde. Média Qtde/Tam Média Média % em % em de de de Seq. de Tempo de relação relação Estados w(t ) em T w(t ) w(t SC ) à T à T SC /7 73,4 0,113s 86,2 17,48% 85,15% / ,637s ,65% 84,52% /16 396,9 10,493s 464 4,96% 85,54% / ,470s 682,9 3,69% 86,54% Para as MEFs de 5 estados, foram gerados conjuntos T com 60 seqüências de tamanho 7. O algoritmo obteve, em média, um conjunto T de tamanho 73,4. Para as MEFs de 10, 15 e 20 estados o conjunto obtido T, em média, foi de tamanho 217; 396,9 e 591, respectivamente. Em média, o conjunto T obtido pelo algoritmo de minimização possui cerca de 17,48%; 10,65%; 4,96% e 3,69% do tamanho do conjunto inicial T para as MEFs de 5, 10, 15 e 20 estados, respectivamente. Observa-se que a redução em relação ao conjunto de entrada T é considerável. Contudo, isso se deve ao fato de que foi preciso gerar um conjunto inicial T de alta cardinalidade de forma que T tivesse maior probabilidade de ser n-completo. A dificuldade de se encontrar um conjunto n-completo para uma MEF, baseia-se no fato de que não há algoritmo que verifique de forma exaustiva se um conjunto grande de tamanho é n-completo para uma MEF de 20 estados. Os algoritmos exaustivos existentes conseguem verificar a completude de um conjunto de teste para MEFs com poucos estados (no máximo, 10 estados).para efeito de comparação quanto ao tamanho do conjunto de teste obtido pelo algoritmo de minimização, foi utilizado o método de geração State Counting [Petrenko and Yevtushenko 2005]. Na Tabela 1 é fornecida a média dos tamanhos dos conjuntos de teste T SC obtidos pelo método State Counting para as mesmas MEFs. Observa-se que a minimização resultou, em média, conjuntos de teste T com 85,15%, 84,52%, 85,54% e 86,54% do tamanho dos conjuntos de teste T SC gerados pelo State Counting para as MEFs de 5, 10, 15 e 20 estados, respectivamente. A comparação com os conjuntos de teste gerados pelo método State Counting foi realizada apenas para ilustrar que o algoritmo de minimização obtém conjuntos de teste compatíveis, em relação ao tamanho, com um dos métodos de geração mais recentes. 6. Conclusão A minimização de conjuntos de casos de teste pode agilizar a etapa de teste por meio da seleção de um conjunto menor de seqüências a serem aplicadas garantindo a completude dos casos de teste. Neste artigo, um algoritmo foi proposto para realizar a minimização. Com base em condições de suficiência, a minimização ocorre de forma a manter a efetividade de um conjunto de casos de teste n-completo T. Desse modo, mesmo com uma quantidade menor de casos de teste, o conjunto resultante T T também é n-completo, garantindo a cobertura completa de erros em uma MEF. Além da minimização, pode-se utilizar o algoritmo com o intuito de verificar se um conjunto de teste T é n-completo para uma determinada 61

8 MEF. Para conjuntos de teste T de alta cardinalidade e MEFs com uma quantidade elevada de estados, o algoritmo poderia ser aplicado, já que não há algoritmo que realize tal tarefa em tempo hábil. Caso a minimização seja realizada, sabe-se que T é n-completo. Uma avaliação com MEFs reduzidas, completas e geradas aleatoriamente foi realizada. Os resultados apontam uma redução significativa de conjuntos de teste que foram obtidos de forma aleatória. Foi realizada uma comparação em relação ao tamanho dos conjuntos de teste obtidos pela minimização e os conjuntos de teste obtidos a partir de um método clássico de geração. A minimização resultou, em média, conjuntos com 85,15%, 84,52%, 85,54% e 86,54% do tamanho dos conjuntos gerados pelo método de geração para MEFs de 5, 10, 15 e 20 estados, respectivamente. O algoritmo não realiza a minimização caso um conjunto de teste não seja n- completo, ou, quando n-completo, não atenda às condições de suficiência utilizadas. Um ponto a considerar refere-se à seleção de um conjunto state cover. Em algumas situações, o algoritmo pode selecionar um conjunto state cover que não seja apropriado para atender as condições de suficiência, enquanto que um outro conjunto atenderia. Como trabalhos futuros podem-se citar a investigação de uma melhor forma de se selecionar um conjunto state cover; a utilização do algoritmo com os conjuntos de teste produzidos por métodos de geração a fim de verificar a margem de redução e a comparação do algoritmo com outros métodos de geração quanto ao tamanho dos conjuntos gerados. Referências Chow, T. S. (1978). Testing software design modeled by finite-state machines. IEEE Transactions on Software Engineering, 4(3): Cormen, T. H., Leiserson, C. E., Rivest, R. L., and Stein, C. (2001). Introduction to Algorithms. Mit Press, 2nd edition. Dorofeeva, R., El-Fakih, K., Maag, S., Cavalli, A. R., and Yevtushenko, N. (2005a). Experimental evaluation of fsm-based testing methods. In Third IEEE International Conference on Software Engineering and Formal Methods, pages Dorofeeva, R., El-Fakih, K., and Yevtushenko, N. (2005b). An improved conformance testing method. In FORTE, pages Fujiwara, S., Bochman, G. V., Khendek, F., Amalou, M., and Ghedamsi, A. (1991). Test selection based on finite state models. IEEE Transactions on Software Engineering, 17(6): Garey, M. and Johnson, D. (1979). Computers and Intractability: a Guide to the Theory of NP-Completeness. Freeman, 1 edition. Gönenc, G. (1970). A method for design of fault detection experiments. IEEE Transactions on Computers, 19(6): Petrenko, A., von Bochmann, G., and Yao, M. Y. (1996). On fault coverage of tests for finite state specifications. Computer Networks and ISDN Systems, 29(1): Petrenko, A. and Yevtushenko, N. (2005). Testing from partial deterministic fsm specifications. IEEE Transactions on Computers, 54(9): Vuong, S. T., Chan, W. W. L., and Ito, M. R. (1989). The uiov-method for protocol test sequence generation. In Proc. of the IFIP TC6 2nd IWPTS, pages , North-Holland. 62