João Arthur Brunet Monteiro. Março de 2008

Transcrição

1 Revisão Bibliográfica em Automação de Testes João Arthur Brunet Monteiro Universidade Federal de Campina Grande Março de 2008 João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

2 Roteiro 1 Introdução Contextualização Problemas com Testes Manuais Automação de Testes 2 Bibliografia Anotada Software Testing Research: Achievements, Challenges and Dreams Automated Software Testing Software Test Automation Automatic Testing Based on Design by Contract Korat: Automated Testing Based on Java Predicates DART: Direct Automated Random Testing Observations and Lessons Learned from Automated Testing 3 Metodologia 4 Considerações Finais João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

3 Introdução Contextualização Motivação para testar Qualidade do produto (software): Reputação da empresa. Satisfação do cliente. O impacto causado por falhas em sistemas de software é estimado em $60 bilhões por ano para a economia americana [7]. É preciso encontrar faltas no sistemas antes que as falhas ocorram em tempo de produção. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

4 Introdução Contextualização Testes Teste: Atividade que consiste em observar uma amostra de execuções e avaliar o resultado destas execuções [2]. Dentre os vários objetivos desta atividade podemos destacar: Avaliar a robustez do software. Expor desvios em relação as especificações. Aumentar a confiabilidade do código. A atividade de teste vem sendo aplicada em larga escala na indústria, além de ser amplamente investigada na academia, João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

5 Introdução Contextualização Testes Teste: Atividade que consiste em observar uma amostra de execuções e avaliar o resultado destas execuções [2]. Dentre os vários objetivos desta atividade podemos destacar: Avaliar a robustez do software. Expor desvios em relação as especificações. Aumentar a confiabilidade do código. A atividade de teste vem sendo aplicada em larga escala na indústria, além de ser amplamente investigada na academia, mas... João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

6 Introdução Problemas com Testes Manuais Problemas com Testes Manuais Ainda trata-se de uma atividade aplicada de maneira inadequada, aumentando os custos necessários para se obter os benefícios provenientes da mesma. Teste é responsável por 50%, ou mais, do custo do desenvolvimento [1]. Estes custos normalmente estão associados ao uso de testes manuais: Poucos repetitíveis. Consomem muitos recursos. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

7 Introdução Automação de Testes Automacão de Testes Automação de Teste: Atividade que visa resolver os problemas que surgem quando do uso de testes manuais. Criação de scripts para execução automática dos testes. Checagem automática dos resultados. Geração automática de casos de teste. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

8 Bibliografia Anotada Software Testing Research: Achievements, Challenges and Dreams Software Testing Research: Achievements, Challenges and Dreams A. Bertolino. International Conference on Software Engineering (ICSE) pages , Achievements: Estado da arte Challenges: Desafios Dreams: Objetivos Aponta vários sonhos em ST, entre eles, 100% Automatic Test. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

9 Bibliografia Anotada Software Testing Research: Achievements, Challenges and Dreams Software Testing Research: Challenges Geração de entrada para testes: Normalmente é executada manualmente. Ainda requer muita pesquisa. Quando randômica, apresenta vários desafios em relação à cobertura. Abordagens de testes de domínio específico: Pesquisa em como o conhecimento do domínio pode ajudar no processo de teste. Teste on line: Monitoração do software. Recuperação de falhas. Degradação de desempenho. Definir o que e quando monitorar. Too late. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

10 Bibliografia Anotada Automated Software Testing Automated Software Testing E. Dustin, J. Rashka, and J. Paul. Addison-Wesley Professional, Referência primordial sobre automação de testes. Segundo os autores, alguns benefícios de automação de testes são: Redução do esforço alocado para testar. Redução no tempo da execução dos testes. Redução dos recursos alocados para testar. Propõe uma metodologia para automação de testes com passos bem definidos. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

11 Bibliografia Anotada Software Test Automation Software Testing Automation M. Fewster and D. Graham. ACM Press/Addison-Wesley Publishing Co. New York, NY, USA, Livro com vasto conteúdo em automação de testes. Não apresenta automação de teste como silver bullet. Esperanças não realistas. Falsas esperanças. Por outro lado: Execução de testes de regressão. Execução de testes praticamente impossíveis de serem aplicados manualmente. Execução mais frequente de testes. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

12 Bibliografia Anotada Automatic Testing Based on Design by Contract Automatic Testing Based on Design by Contract I Ciupa, A Leitner - Proceedings of Net. ObjectDays, Geração randômica de dados a partir dos contratos: Seleciona randomicamente rotinas de criação de objetos. Executa métodos que possuem efeito colateral para modificar o estado do objeto. Pool de objetos de interesse. Geração de teste para cada feature da classe. Uso das pós-condições como oráculo. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

13 Bibliografia Anotada Automatic Testing Based on Design by Contract Automatic Testing Based on Design by Contract Ferramenta chamada AutoTest, antiga TestStudio. Problemas: Na geração de cenários, não leva em conta as pré-condições. Desperdício de cenários. Somente para a linguagem Eiffel. Baixa cobertura por ser totalmente randômica. Qualidade dos testes depende da qualidade das especificações. Testes de estruturas simples. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

14 Bibliografia Anotada Korat: Automated Testing Based on Java Predicates Korat C. Boyapati, S. Khurshid, and D. Marinov. Proceedings of the 2002 ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA). Geração de casos de testes baseada em especificações (JML): Gera casos de teste analisando as pré-condições dos métodos. Executa o método em questão em cada caso de teste gerado. Usa as pós-condições como oráculo para checar a corretude das saídas. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

15 Bibliografia Anotada Korat: Automated Testing Based on Java Predicates Korat Construção de predicados (métodos que retornam boolean) a partir do contrato escrito para o método. Geração de dados para os quais o predicado é verdadeiro. Execução dos predicados. Avaliação dos dados de saída usando as pós-condições como oráculo. Função de poda. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

16 Bibliografia Anotada DART: Direct Automated Random Testing DART: Direct Automated Random Testing P Godefroid, N Klarlund, K Sen. Proceedings of the 2005 ACM SIGPLAN conference on Programming language design and implementation. Abordagem não baseada em contratos que visa melhorar a qualidade dos dados de teste combinando diferentes estratégias de aquisição de informação. Combinação de técnicas para melhor cobertura dos testes gerados: Extração automática de interface (parsing do código). Geração randômica de dados para teste. Análise dinâmica para aumentar a cobertura do teste. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

17 Bibliografia Anotada Observations and Lessons Learned from Automated Testing Observations and Lessons Learned from Automated Testing S. Berner, R. Weber, and R. Keller. Proceedings of the 27th international conference on Software engineering, pages , Relato da experiencia dos autores com automação de testes Caráter pouco científico Observações em automação da execução de testes Cinco diferentes projetos foram observados João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

18 Bibliografia Anotada Observations and Lessons Learned from Automated Testing Observações e Lições Estratégia é comumente inapropriada Quantidade de vezes que um teste é executado é subestimada (Regra do 10) Automação de testes não substitui testes manuais Testabilidade é normalmente preterida Design for testability Integração deve ser diária João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

19 Metodologia Metodologia Palavras chaves inicias: Automated Software Testing Software Testing Automation Automatic Test Identificação dos artigos mais citados Identificação dos autores e grupos de pesquisas renomados na área identificação de conferências importantes Referências entre artigos João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

20 Metodologia Metodologia Aumento contínuo do conjunto de palavras chaves Motores de busca: Repositórios de pesquisa: João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

21 Considerações Finais Considerações Finais Automação de testes não substitui testes manuais Atividades complementares Não pode ser considerada uma bala de prata Adotar uma estratégia bem estruturada Design for Testability Avaliação das abordagens deixa a desejar João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

22 Considerações Finais Artigos ainda não revisados Automated Testing of Classes [3]. Pitfalls and Strategies in Automated Testing [5]. A Survey oon Automated Test Data Generation [4]. Automated Regression Test Generation [6] João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

23 Considerações Finais B. Beizer. Software testing techniques. Van Nostrand Reinhold Co. New York, NY, USA, A. Bertolino. Software Testing Research: Achievements, Challenges, Dreams. International Conference on Software Engineering, pages , U. Buy and M. Pezze. Automated Testing of Classes. ACM SIGSOFT Software Engineering Notes, 25(5):39 48, J. Edvardsson. A survey on automatic test data generation. Proceedings of the 2nd Conference on Computer Science and Engineering, pages 21 28, C. Kaner. Pitfalls and strategies in automated testing. João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21

24 Considerações Finais Computer, 30(4): , B. Korel and A. M. Al-Yami. Automated regression test generation. SIGSOFT Softw. Eng. Notes, 23(2): , G. Tassey. The Economic Impacts of Inadequate Infrastructure for Software Testing. National Institute of Standards and Technology RTI Project, João Arthur Brunet Monteiro (UFCG) Revisão Bibliográfica em Automação de Testes Março de / 21