Questionário Nível Avaliado Gerador de plano de teste Gerador de dados Função/característica do produto Gestão dos dados do plano de teste (51) Perguntas Pontuação Selenium BadBoy Canoo A ferramenta auilia a geração de um plano de teste? Estimador de A ferramenta consegue estimar a compleidade de caso compleidade de um caso de uso? de uso (72) Estimador de prazo A ferramenta auilia a estimativa de para eecução de tempo para a eecução de uma tarefa tarefa de teste (51) de desenvolvimento de teste? A ferramenta registra dados sobre esforço envolvido na eecução das atividades de teste? Base de dados histórica de projetos A ferramenta permite a busca de itens (102) no histórico através de parâmetros como data, hora, dia, funcionalidade testada e outras? Calculador de A ferramenta é capaz de calcular a produtividade (75) produtividade de um testador? A ferramenta possui um registro das tarefas a serem eecutadas? Registro de tarefas (63) A ferramenta possui um registro das tarefas que foram eecutadas? A ferramenta auilia na alocação de tarefas, sugerindo uma alocação ótima, Alocador inteligente de levando em consideração produtividade tarefa (33) dos testadores, compleidade, esforço e tempo disponível? A ferramenta pode ser integrada a ferramentas de ferramentas de gerenciamento de gerenciamento de projetos? projetos (42) Gerador de objetos (168) Gerador de povoador (45) A ferramenta é capaz de gerar um objeto eigido em um teste, preenchendo todos os atributos obrigatórios eistentes e levando em consideração as regras de negócio associadas? A ferramenta permite gerar código (em alguma linguagem de programação) para povoamento de dados persistente no banco de dados? A ferramenta consegue gerar dados aleatórios para tipos primitivos de dados? Gerador de valores (144) A ferramenta consegue gerar dados aleatórios seguindo critérios (particionamento em classes de equivalência, análise de valor limite)? Gerador de testes funcionais Gerador de entradas utilizando critérios (168) Com a ferramenta é possível configurar critérios para a geração de dados de entrada para os casos de teste?
Gerador manual de testes Rastreador Oráculo para gerar as saídas esperadas (126) Interpretador de condições modeladas em uma linguagem formal (168) Etrator de dados de modelos descrevendo o sistema (135) Mecanismo de captura-reprodução (47) Gerador de teste com apoio da especificação (41) Uso de linguagens de alto nível (60) Acesso as funções do SO (129) Acesso ao mecanismo de persistência (129) ferramentas de gestão de requisitos (129) Detector de alterações entre as visões, eibindo partes afetadas (27) A ferramenta sugere entradas prédefinidas (como iniciar com números, utilizar símbolos, acentos)? A ferramenta gera as saídas esperadas com base nas entradas e nos procedimentos de teste? A ferramenta consegue interpretar restrições epressas em OCL (linguagem associada à UML) ou em alguma outra linguagem formal? A ferramenta possui um mecanismo de etração de dados do modelo que descreve o sistema sob teste? A ferramenta gera testes a partir da gravação de ações realizadas pelo usuário ou integração com essas ferramentas? A ferramenta possibilidade a sugestão de entradas e saídas para os casos de testes? A ferramenta possibilidade o uso de linguagem de alto nível na criação dos testes? 1 A ferramenta eporta o código de teste para linguagens de alto nível? 2 A ferramenta possibilita o acesso a informações (configurações) do S.O.? A ferramenta permite acessar diretamente um mecanismo de persistência (como banco de dados e arquivos)? 3 A ferramenta possui facilidade de integração com ferramentas de cadastro de requisitos? A ferramenta verifica mudanças no cadastro de requisitos? A ferramenta possui acesso aos artefatos do sistema e ao cadastro de requisitos verificando alterações entre itens relacionados? 4 Integrador ferramentas de acompanhamento de bugs (90) ferramentas de gestão de configuração (90) A ferramenta acessa uma ferramenta de acompanhamento de falhas, possibilitando o cadastro automático das mesmas? A ferramenta utiliza dados do cadastro de falhas para estatísticas de teste? A ferramenta consegue acessar um repositório central para consultar e alterar os artefatos de testes eistentes?
Modelo de teste Avaliador de testes Gerador de testes nãofuncionais Representação dos testes usando um modelo independente de tecnologia (196) Regra de transformação entre modelos (171) Especificação de modelos para descrição do sistema (146) Adoção de uma linguagem para especificação de restrições no modelo A ferramenta utiliza uma modelagem para os testes independente da tecnologia a ser utilizada para a geração e eecução do teste, seguindo algo similar ao MDA? É possível realizar a transformação entre modelos representando os testes, permitindo, por eemplo, a geração dos testes em diferentes tecnologias? A ferramenta usa modelos representando o software como insumo para a automação de parte do teste? A ferramenta utiliza uma linguagem formal para epressar restrições no software? (145) A linguagem usada pela ferramenta possui suporte para sua interpretação? Avaliador de cobertura (75) Analisador de qualidade de testes baseado em mutação (18) ferramentas para manipulação de requisições e respostas em transações (36) A ferramenta se integra com ferramentas de avaliação de cobertura, permitindo a obtenção do grau de cobertura alcançado? A ferramenta implementa ou é compatível com ferramentas de analise de mutantes? A ferramenta permite manipular requisições, possibilitando a invocação de chamadas falsas, facilitando assim o teste de segurança? Gerador de Relatórios Gerador de relatório com formato definido pelo usuário (81) Gerador de gráficos com fonte de dados e formato definido pelo usuário (54) Acesso a qualquer informação de teste eistente no modelo de testes (81) Uso de hiperlinks e agrupadores nos relatórios (18) A ferramenta gera relatórios sobre os testes, com especificações definidas pelo usuário, incluindo as fontes de dados a serem utilizadas? A ferramenta permite gerar gráficos com o resultado dos testes e especificação de formato definido pelo usuário e seleção de fontes de dados? A ferramenta consegue utilizar qualquer informação contida no modelo de teste independente de plataforma? A ferramenta possui navegação entre partes do relatório? A ferramenta gera relatórios organizando os testes agrupados? 5
Suporte da ferramenta Arquitetura da ferramenta Cadastro de usuários (94) Cadastro de grupos (94) Cadastro de projeto (103) Cadastro de equipe (103) Uso de software livres (24) A ferramenta possibilita cadastramento de usuários? A ferramenta possibilita cadastramento de grupos de usuários? A ferramenta faz cadastramento dos projetos? A ferramenta possibilita o cadastro de equipes de teste? A ferramenta se integra com outras ferramentas gratuitas? A ferramenta funciona em ambiente Web? Uso de tecnologia Web (60) A ferramenta para funcionar na Web não requer instalação de algum componente? Seguir um guia de estilo (27) Utilizar terminologia adequada ao conteto (45) A ferramenta utiliza um padrão para o desenho da interface com o usuário? A ferramenta usa termos conhecidos, apoiados por padrões da indústria como IEEE, ISO e ABNT? A ferramenta possui uma linguagem de fácil entendimento? 6 Auílio da ferramenta Help on-line (36) Manual de usuário (36) Sítio de apoio com eemplos de uso (36) A ferramenta possui ajuda on-line através de documentação? A ferramenta mantêm um help-desk? A ferramenta apresenta documentação ou manual de utilização inteligível? 7 A ferramenta possui um site, blog, etc. de apoio com manuais e eemplos de uso? A ferramenta eplica funcionalidade utilizando eemplos passo a passo? 8 Eecutor de teste Curso de formação (27) Gerenciador de grids para eecução distribuída de testes (39) Eecutor de teste com possibilidade de pausa e retomada da eecução (90) A ferramenta possui treinamento formal eplicando como utilizar o software? A ferramenta possibilita a eecução dos testes utilizando grids? 9 A ferramenta permite parar a eecução do teste a qualquer instante? A ferramenta permite reiniciar a eecução dos testes após a eecução ter sido suspensa? A ferramenta apresenta a possibilidade de adicionar comentários aos casos de testes criados?
Agrupador e escalonador de testes (64) A ferramenta permite escalonar quais casos de testes serão eecutados dentre uma bateria de testes? 10 A ferramenta permite agrupar os casos de testes? A ferramenta gera log de eecução permitindo visualização gráfica? 11 Gerador de log de eecução de testes (84) A ferramenta gera log de eecução com estatísticas? 12 O log de eecução da ferramenta permite a identificação do momento e causas possíveis da falha? 13 A partir do log de eecução a ferramenta consegue sugerir possíveis soluções de falhas? A ferramenta permite a comunicação Simulador de interfaces de hardware e software (54) com interface de hardware? 14 A ferramenta permite a comunicação com interface de software? 15 uma linguagem de script para configuração do ambiente de teste (18) Comparador de arquivos ignorando padrões configuráveis (63) Povoador de dados (108) Gerenciador de transações (162) Analisador de falhas (29) Cadastramento automático de falhas (41) A ferramenta permite criação e eecução de scripts automatizando a configuração do ambiente de teste? A ferramenta consegue comparar artefatos seguindo critérios definidos pelo usuário? A ferramenta permite a realização de um povoamento no mecanismo de persistência, para preparação do ambiente de teste, a partir do gerador de objetos ou de um gerador de povoador? A ferramenta possui mecanismos para iniciar, finalizar e cancelar transações? É possível ter transações aninhadas? A ferramenta faz avaliação e classificação da falhas descobertas? A ferramenta faz comparativos de falhas descobertas com as mantidas no histórico? A ferramenta consegue cadastrar falhas através da integração com ferramenta de acompanhamentos de falhas?
Justificativas Satisfatório - a ferramenta permite usar apenas uma linguagem: Groovy 1 Sim - a ferramenta permite o uso de várias linguagens como Java, Python, Ruby, PHP Satisfatório - a ferramenta permite eportar apenas para uma linguagem: Groovy 2 Sim - a ferramenta permite eportar para várias linguagens como Java, Python, Ruby, PHP 3 Satisfatório - o aceso ao banco de dados ocorre atraves da linguagem de alto nivel 4 Satisfatório - o aceso ao banco de dados ocorre atraves da linguagem de alto nivel Satisfatório - os passos do caso de teste são agrupados de forma simples, bem como os próprios casos de teste, 5 dentro de conjuntos de testes. Satisfatório - apresenta alguns termos e funcionalidades que é preciso eplorar e eecutar para saber o que realmente 6 faz Satisfatório - a documentação apenas lista e descreve cada comando e mostra um pequeno eemplo. Dificulta mais 7 ainda, pois não tem interface gráfica Satisfatório - eiste uma organização não eplicita de passo a passo, mas percebe-se a apresentação e incrementação 8 de funcionalidades que simula o real desenvolvimento dos testes Satisfatório - por meio do uso da linguagem de programação 9 Sim - o Selenium possui o Selenium Grid para essa função Satisfatório - apenas adicionando ou retirando o caso de teste do conjunto de testes (test suite). Procedimento feito 10 editando arquivo ml Sim - o Canoo apresenta gráficos com o numero de eecução de sucesso, falha e incompletos e também com o tempo 11 utilizado Satisfatório - selenium: quantos casos de testes retornaram sucesso, falharam, incompletos e o tempo total da eecução dos testes ; Badboy: sucessos, falharam, alertas, asserções, tempo de eecução médio e o máimo do 12 conjunto de testes Sim - apresenta além dos números de casos de teste de sucesso e falha, também a porcentagem e o tempo de eecução Satisfatório - Badboy não mostra o em que tempo ocorreu o erro e apenas menciona o que estava esperando 13 Sim - ocorrem comparações de valores, causa do erro como time out, e até orienta aonde buscar ajuda Satisfatório - por meio da linguagem de programação utilizando bibliotecas da mesma é possível acessar a interface de 14 hardware Satisfatório - por meio da linguagem de programação utilizando bibliotecas da mesma é possível acessar a interface de 15 software