Análise da Maturidade de um Processo de Teste Orientado a Artefatos

Transcrição

1 Análise da Maturidade de um Processo de Teste Orientado a Artefatos Paulo M. S. Bueno 1*, Adalberto N. Crespo 1, Mario Jino 2 1 Divisão de Melhoria de Processo - CenPRA Rodovia Dom Pedro I, km 143,6 - Campinas - São Paulo CEP Faculdade de Engenharia Elétrica e de Computação - Unicamp {paulo.bueno,adalberto.crespo}@cenpra.gov.br, jino@dca.fee.unicamp.br Abstract. CenPRA test process defines a set of partially ordered activities and test artifacts aiming at software testing efficiency and effectiveness. ISO/IEC model defines base practices for software processes and presents a set of generic practices that characterize the quality with which base practices are executed. This paper describes the evaluation of the CenPRA test process under the perspective of ISO/IEC process improvement model. We evaluate essentially which aspects of ISO/IEC are taken into account by the CenPRA test process. Analysis results reaffirm the potential of the CenPRA process for improving organizations test processes and also indicate possible improvements in the CenPRA test process. Resumo. O processo de teste do CenPRA define um conjunto de atividades ordenadas e de artefatos de teste a serem usados visando a eficiência e eficácia do teste de software. O modelo ISO/IEC define as práticas base de um processo de software e apresenta um conjunto de práticas genéricas que caracterizam a qualidade com que as práticas base são executadas. Esse artigo relata a avaliação do processo de teste do CenPRA sob a ótica do modelo de melhoria de processos ISO/IEC Avaliam-se essencialmente quais aspectos da ISO/IEC são contemplados pelo processo de teste do CenPRA. Os resultados da análise reafirmam o potencial deste processo para o aprimoramento do processo de teste em organizações e também indicam aspectos passíveis de melhoria. 1. Introdução O teste é o processo de executar o software de uma maneira controlada com o objetivo de avaliar se o software se comporta conforme o especificado. Trata-se de uma atividade essencial para que se atinja bons níveis de qualidade em produtos de software [Myers 1979]. Um processo de teste define atividades e práticas usadas para se testar um software, assim como artefatos usados nas atividades. Considerando que qualidade do processo de teste tem relação direta com a qualidade final do produto desenvolvido, o aprimoramento deste processo é crucial para o sucesso de organizações desenvolvedoras de software. Modelos de avaliação e melhoria de processo de software definem um conjunto de melhores práticas a serem adotadas, métodos para avaliação da capacidade dos processos e fornecem um guia racional para a melhoria dos processos. Tais modelos têm Este trabalho contou com o suporte financeiro parcial da HP Brasil e do CNPq. * Docente na Faculdade Comunitária de Campinas (FAC), Anhanguera Educacional.

2 sido reconhecidos como um meio eficaz para o aprimoramento controlado e gradual das práticas usadas no desenvolvimento de software [Salviano 2004, Rocha 2001]. Este artigo relata a análise de um processo de teste sob a ótica de um modelo de melhoria de processos. Mais especificamente avalia-se o processo de teste definido no CenPRA (Centro de Pesquisas Renato Archer) [Crespo e Jino 2005] usando como referência o modelo de melhoria de processo ISO/IEC [ISO/IEC ] definido no contexto do projeto SPICE (Software Process Improvement and Capability determination) [SPICE 2005]. A avaliação conduzida evidencia o potencial do processo de teste CenPRA como um instrumento de melhoria do processo de teste de organizações desenvolvedoras de software. Por outro lado, alguns aspectos contemplados na norma ISO/IEC e não considerados no processo CenPRA permitiram a identificação de possíveis aprimoramentos deste processo. A Seção 2 deste artigo apresenta conceitos sobre teste de software e sobre modelos de melhoria de processo de software; a Seção 3 descreve o modelo ISO/IEC 15504; a Seção 4 apresenta a metodologia de teste do CenPRA; a Seção 5 descreve a análise de maturidade do processo de teste CenPRA sob a perspectiva do modelo ISO/IEC e discute os resultados da análise; a Seção 6 sumariza as conclusões do trabalho. 2. Teste e Modelos de Melhoria de Processo O teste é uma atividade fundamental para assegurar que o software atende aos requisitos do usuário e é a avaliação final da qualidade do produto desenvolvido [Myers 1979]. Um processo de teste de software é um conjunto de passos parcialmente ordenados constituídos por atividades, métodos e práticas, usadas para testar um produto de software. Normalmente o teste é realizado em níveis que correspondem às diferentes fases do desenvolvimento e é baseado em técnicas que definem como os casos de teste serão selecionados e avaliados [Crespo e Jino 2005]. Melhoria de processo é uma abordagem para a melhoria das organizações, em direção a objetivos de negócio, por meio da melhoria da capacidade de seus processos mais importantes. A capacidade de um processo de uma organização pode ser definida como sendo a extensão na qual o processo é executado e explicitamente gerenciado, definido, medido, controlado, efetivo e melhorado continuamente. Modelos de melhoria de processo têm demonstrado na prática ser uma abordagem viável, eficaz e eficiente para a necessária melhoria das organizações desenvolvedores de software [Salviano 2004]. As abordagens para melhoria de processo utilizam como referência um modelo de processo que sistematiza e representa as melhores práticas, define uma métrica para avaliação da capacidade dos processos e provê um roteiro racional para a melhoria dos processos. Exemplos de modelos mais utilizados são o SW-CMM [Paulk 1994], a Norma ISO/IEC 12207, o modelo exemplo da Norma ISO/IEC (conhecido por ISO/IEC ) [SPICE 2005] e os modelos do CMMI [SEI 2005]. Neste artigo o modelo ISO/IEC foi selecionado como uma referência para a avaliação do processo de teste do CenPRA. 3. O modelo ISO/IEC A ISO/IEC é uma norma internacional para avaliação de processos, que está sendo desenvolvida pela ISO/IEC, com apoio do projeto SPICE [ISO/IEC ,

3 SPICE 2005]. A arquitetura dos modelos da é denominada de arquitetura contínua, com duas dimensões: (i) dimensão de processo e (ii) dimensão de capacidade de processo. A dimensão (i) representa um conjunto de melhores práticas para a engenharia de software, definidas na norma Esta dimensão refere-se a o que fazer pela definição dos processos específicos. A dimensão (ii) define níveis de capacidade genéricos que refletem quão bem fazer qualquer coisa que seja feita Dimensão de Processo A dimensão de processos da ISO/IEC descreve 48 processos essenciais para a engenharia de software. Os processos são organizados em três categorias: fundamentais, organizacionais e de apoio. Cada processo possui: Identificação, Nome, Propósito, Resultados, um conjunto de Práticas Base e determinados Produtos de Trabalho. Os Produtos de Trabalho de um processo são aqueles utilizados e/ou produzidos pela execução do processo. As Práticas Base são atividades que, quando executadas de forma consistente, contribuem para o atendimento do propósito de um processo. Para cada Prática Base estão relacionados os resultados que a prática ajuda a alcançar. Nesse artigo as práticas base são aquelas associadas ao processo de Teste, o que inclui o teste de unidade (presente na Prática ENG 4), o teste de integração (Prática ENG 5) e o teste de sistema (Prática ENG 6). Prática ENG 4: Implementar o projeto. Esta prática tem como propósito produzir unidades de software que implementem os componentes do projeto de software. As unidades devem ser testadas de forma independente, aspecto contemplado nas práticas ENG.4.2 e ENG.4.3, que dizem respeito diretamente ao teste das unidades implementadas: ENG.4.2 Desenvolver procedimentos de verificação das unidades: Desenvolver e documentar procedimentos de teste para verificar se cada unidade satisfaz os seus requisitos de projeto. Esta prática envolve a criação de casos de teste. ENG.4.3 Verificar que cada unidade de software satisfaz os seus requisitos de projeto e documentar os resultados. Prática ENG 5: Integrar e Testar o Software. Esta prática tem o objetivo de integrar as unidades de software. São formados agregados de unidades que são testados de forma integrada por uma equipe independente dos desenvolvedores. O planejamento do teste deve iniciar junto com o desenvolvimento dos requisitos e do projeto do software. ENG 5.1: Determinar uma estratégia de teste de regressão. Determinar as condições para retestar os agregados de software em caso de mudanças em alguma unidade de software. ENG 5.2: Construir os agregados de unidades de software. Identificar os agregados de unidades de software e estabelecer uma ordem para testá-los. Deve considerar a arquitetura do software e a estratégia de entrega do software. ENG 5.3: Desenvolver testes para os agregados. Descrever os testes a serem executados em cada agregado de software indicando os dados de entrada e o critério de aceitação (neste contexto critério de aceitação refere-se ao comportamento esperado para aceitação do software para os dados de entrada definidos).

4 ENG 5.4: Testar os agregados de software. Testar cada agregado e garantir que o agregado satisfaz o critério de teste; Documentar os resultados do teste. ENG 5.5: Desenvolver os testes para o software integrado. Descrever os testes a serem executados no software integrado indicando: os requisitos a serem examinados, os dados de entrada e o critério de aceitação. O conjunto de testes deve demonstrar a conformidade com os requisitos do software e propiciar a cobertura da estrutura interna do software. ENG 5.6: Testar o software integrado. Testar o software integrado garantindo que ele satisfaz os requisitos de software e documentar os resultados. Prática ENG 6: Integrar e testar o Sistema. O propósito desta prática é integrar o software com o hardware e as operações manuais realizadas produzindo um sistema que satisfaça os requisitos de sistema. ENG 6.1. Construir agregados com os elementos do sistema. Identificar os agregados de elementos do sistema e estabelecer uma ordem para testá-los. Deve considerar a arquitetura do software e a estratégia de entrega. ENG 6.2: Desenvolver testes para os agregados. Descrever os testes a serem executados em cada agregado do sistema, indicando os dados de entrada, os componentes do sistema necessários para realizar o teste e o critério de aceitação. ENG 6.3: Testar os agregados do sistema. Testar cada agregado do sistema e garantir que ele satisfaz o critério de teste; Documentar os resultados do teste. ENG 6.4: Desenvolver os testes para o sistema. Descrever os testes a serem executados no sistema integrado indicando: os requisitos de sistema a serem checados, os dados de entrada e o critério de aceitação. O conjunto de testes deve demonstrar a conformidade com os requisitos do sistema. Esta prática pode ser conduzida durante a atividade de desenvolvimento dos requisitos do sistema. ENG 6.5: Testar o sistema integrado. Testar o software integrado garantindo que o software satisfaz os requisitos de sistema e documentar os resultados Dimensão de Capacidade dos Processos Os diversos processos podem ser realizados em uma determinada organização em diferentes níveis de capacidade. A define seis níveis de capacidade, seqüenciais e cumulativos, que podem ser utilizados como uma métrica para avaliar como uma organização está realizando um determinado processo e também podem ser utilizados como um guia para a melhoria. Os seis níveis de capacidade e suas respectivas caracterizações são os seguintes: Nível 0 - Incompleto: Existe uma falha geral na satisfação do propósito do processo. Os produtos de trabalho ou resultados dos processos são difíceis de serem identificados. Nível 1 Executado: O propósito do processo é geralmente alcançado, no entanto, não há planejamento e acompanhamento rigorosos. Existe uma concordância geral e informal de quando as ações devem ser realizadas. Existem produtos de trabalho para o processo e estes produtos evidenciam a satisfação do propósito do processo. Nível 2 Gerenciado: O processo é planejado e acompanhado e produz produtos de trabalho que são controlados e satisfazem os requisitos especificados.

5 Nível 3 Estabelecido: O processo é executado e gerenciado utilizando um processo padrão baseado em princípios de uma boa engenharia de software. A implantação de um processo usa uma versão customizada e aprovada de um processo padrão documentado para satisfazer os resultados definidos do processo. Os recursos necessários para estabelecer a definição do processo são disponibilizados. Nível 4 Previsível: O processo definido é executado dentro de limites de controle definidos, para atingir as metas definidas. Medições detalhadas de desempenho são coletadas e analisadas, levando a um entendimento quantitativo da capacidade do processo e uma melhora na habilidade para prever e gerenciar a execução. A qualidade dos produtos de trabalho é conhecida de forma quantitativa. Nível 5 Em Otimização: O desempenho do processo é continuamente melhorado para satisfazer objetivos correntes e futuros de negócio. Objetivos quantitativos de eficiência e eficácia para o desempenho do processo são estabelecidos, baseados nos objetivos de negócio da organização. Um acompanhamento contínuo do processo em relação a estes objetivos é estabelecido pela obtenção de realimentações quantitativas e a melhoria é obtida a partir da análise dos resultados. A otimização contínua do processo envolve experiências de idéias e de tecnologias inovadoras e a mudança de processos não eficazes para satisfazer as metas e objetivos definidos. Para a avaliação de um dado processo considera-se um conjunto de Práticas Genéricas que permite avaliar o quão bem o processo é executado, enquadrando-o em um dos seis níveis de maturidade supracitados. A Tabela 1 mostra, para cada nível de maturidade, as Características Comuns que os compõem e as respectivas Práticas Genéricas. Tabela1. Níveis de Maturidade, Características Comuns e Práticas Genéricas Nível Característica Comum Prática Genérica Realizar Práticas Base Realizar o processo Planejar Alocar recursos Atribuir responsabilidades Documentar o processo Prover ferramentas Garantir treinamento Planejar o processo 2.2 Disciplinar Usar planos, padrões e procedimentos Realizar gerenciamento de configuração 2.3 Verificar Verificar adesão ao processo Auditar produtos de trabalho 2.4 Acompanhar Acompanhar com medição Realizar ações corretivas 3.1 Definir um Processo Padrão Padronizar o processo Customizar o processo padrão Executar o Processo Padrão Usar um processo bem definido Realizar revisão por pares Usar dados bem definidos (para gerenciar o processo) 4.1 Estabelecer objetivos de Estabelecer objetivos de qualidade 4 qualidade mensuráveis 4.2 Gerenciar objetivamente o desempenho Determinar a capacidade do processo Usar a capacidade do processo 5.1 Aprimorar o nível de Estabelecer objetivos de eficácia do processo 5 capacidade da organização 5.2 Aprimorar a eficácia do processo Aprimorar continuamente o processo padrão Realizar análise de causas Eliminar as causas de defeitos Aprimorar continuamente o processo definido

6 4. Metodologia de teste do CenPRA Metodologia de teste é um conjunto de passos e tarefas usados para implantar ou melhorar o processo de teste de software de uma empresa ou organização produtora de software. Uma metodologia de teste viabiliza a seleção de técnicas, a definição de procedimentos e a escolha de ferramentas para capacitar as empresas a desenvolver atividades de teste que resultem em produtos de boa qualidade. A metodologia de teste do CenPRA compreende: i) um processo genérico de teste; ii) um processo de implantação do processo de teste; e, iii) cursos de treinamento em teste [Crespo e Jino 2005]. A metodologia CenPRA vem sendo utilizada para a melhoria do processos de teste em empresas de desenvolvimento de software situadas na região de Campinas, SP. Essas experiências têm contribuído para a avaliação e a melhoria contínua da Metodologia O processo genérico de teste do CenPRA Para caracterizar um processo de teste é necessário especificar: os níveis de teste correspondentes às fases do desenvolvimento; os tipos de teste; as técnicas e critérios de teste; e também detalhar as atividades de planejamento, projeto, execução e registro do teste. Plano de Teste Preparação do Teste Especificação de Projeto de Teste Especificação de Casos de Teste Especificação de Procedimento de Teste Relatório de Encaminhamento de Item de Teste Execução do Teste EXECUÇÃO DO TESTE Diário de Teste Registro do Teste Relatório de Incidentes de Teste Relatório-Resumo de Teste Figura 1: Processo de Teste do CenPRA Figura 2: Relacionamento entre os Documentos de Teste O Processo de teste do CenPRA é baseado em artefatos de teste definidos na norma IEEE Std [IEEE Std ] e têm as suas atividades definidas e ordenadas de forma a permitir que o teste seja eficiente e eficaz. O Processo de teste do CenPRA contém subprocessos de teste e artefatos associados. Os subprocessos: Planejar, Projetar, Executar, e Registrar são sumariamente descritos a seguir assim como os artefatos de teste associados. A Figura 1 ilustra as atividades e os artefatos associados.

7 Subprocesso Planejar: o produto deste subprocesso é o documento Plano de Teste que descreve o planejamento de todas as atividades envolvidas no teste de um software. Além das atividades, o Plano de Teste deve conter a extensão do teste, a abordagem utilizada no teste, os recursos necessários, o cronograma das atividades de teste e a definição do ambiente operacional para a execução dos testes. O Plano de Teste identifica os itens do software a serem testados, o nível em que os itens devem ser testados, a abordagem utilizada para testar cada um dos itens, as tarefas envolvidas em cada atividade de teste, as pessoas responsáveis por cada atividade e os riscos associados ao plano de teste. O Plano de Teste pode ser um documento relacionado a um projeto amplo de teste do software ou pode ser um documento relacionado a um dos níveis de teste, tais como: Plano de Teste de Unidade, Plano de Teste de Integração e Plano de Teste de Sistema. As atividades deste sub-processo são: definir o contexto do teste; caracterizar os itens de teste; identificar funcionalidades e características; estabelecer abordagens e critérios; definir produtos gerados; definir atividades de teste; estabelecer requisitos de ambiente; estabelecer responsabilidades; estabelecer equipe e treinamento necessários; elaborar cronograma; identificar riscos e estabelecer contingências. Subprocesso Projetar: os objetivos deste subprocesso são: refinar a abordagem de teste de software definida no planejamento; definir e especificar os casos de teste; estabelecer requisitos de ambiente de teste; definir e especificar os procedimentos de teste. O produto deste subprocesso pode ser um único documento Especificação de Projeto de Teste, contendo toda a informação necessária para a execução dos testes. Alternativamente, este subprocesso pode gerar como produtos três documentos. Um documento Especificação de Projeto de Teste, contendo basicamente o detalhamento da abordagem de teste e uma relação inicial dos casos de teste e dos procedimentos de teste associados. Um segundo documento Especificação de Casos de Teste, contendo a especificação dos casos de teste listados na Especificação de Projeto de Teste, os requisitos de ambiente de teste, os requisitos de procedimentos especiais e as dependências entre casos de teste. Um terceiro documento Especificação de Procedimento de Teste, contendo a descrição dos passos dos procedimentos de teste listados na Especificação de Projeto de Teste. As atividades deste subprocesso são: detalhar abordagens e critérios; especificar casos de teste; estabelecer requisitos de ambiente de teste; elaborar propósito dos procedimentos de teste e identificar requisitos especiais dos procedimentos de teste Subprocesso Executar: a execução do teste corresponde à realização dos passos de um Procedimento de Teste. As atividades são: preparação de procedimento de teste; início de procedimento de teste; execução do procedimento de teste; registro de teste; suspensão de teste; retomada de teste; parada de teste; encerramento de teste e providências de contingência. Subprocesso Registrar: os objetivos deste subprocesso são: registrar cronologicamente em um documento denominado Diário de Teste os detalhes relevantes relacionados com a execução dos testes definidos em um conjunto de Procedimentos de Teste; registrar em um documento denominado Relatório de Incidentes de Teste todo evento que ocorra durante a execução do teste e que requeira análise (defeito no software ou anomalia de funcionamento do ambiente, referidos como Incidentes de Teste); descrever resumidamente em um documento denominado Relatório-Resumo de

8 Teste os resultados das atividades de teste associadas ao Projeto de Teste, bem como as avaliações baseadas nesses resultados. As atividades para a geração do diário de teste são: descrição do teste; registro das atividades e eventos; descrição dos incidentes de teste; determinação do impacto do incidente de teste. As atividades para geração do Relatório de Incidentes de Teste são: descrição do incidente de teste e determinação do impacto do incidente de teste. As atividades para geração do Relatório-Resumo de Teste são: descrição resumida dos itens de teste; descrição de desvios das especificações; descrição da abrangência do teste; descrição resumida de resultados do teste; avaliação dos itens de teste e descrição resumida de atividades de teste O Modelo de Processo A metodologia CenPRA propõe o uso do Modelo V [Myers 1979], um dos mais adotados para o teste de software. Esse modelo considera as principais fases do processo de software, associando a cada fase o nível de teste de software correspondente. Fases do Processo Especificação de Requisitos Requisitos do Usuário Níveis do Teste de Software Teste de Aceitação Especificação do Sistema Especificações Funcional e Não Funcional Teste de Sistema Projeto do Sistema Arquitetura do Sistema Teste de Integração Projeto de Unidade Projeto Teste de Unidade Codificação de Unidade Figura 2: O modelo V de teste A Figura 2 traz uma ilustração do Modelo V. O ramo esquerdo do modelo corresponde à preparação do teste de software, tendo como referência as fases do processo de software. O ramo direito do modelo corresponde à execução e registro do teste, tendo como referência os níveis de teste de software. Com este modelo o Planejamento do teste inicia-se junto com a análise dos Requisitos do Usuário e segue sendo detalhado ao longo das fases de projeto e implementação do software. O Projeto de Teste envolve o detalhamento da abordagem do teste anteriormente definida no Plano de Teste. Neste detalhamento são definidos os níveis de teste que serão realizados. Desta forma, para cada um dos níveis de teste selecionados é elaborado o projeto de teste correspondente. No lado direito do modelo V tem-se a execução dos testes nos diversos níveis previstos no Plano de Teste (Unidade, Integração, Sistema e Aceitação). Na execução

9 de cada um dos níveis de teste os Projetos de Teste correspondentes são utilizados para direcionar a atividade de teste, lembrando que nestas atividades as especificações de casos de teste e de procedimentos de teste são utilizadas. Cada um dos níveis de teste pode ser iterado em ciclos de: detecção de defeitos, depuração e correção de defeitos, e reaplicação dos casos de teste. O andamento das atividades de execução do teste é registrado detalhadamente no Diário de Teste. Os eventos que mereçam registro especial e os resultados do teste são registrados no Relatório de Incidentes de Teste. 5. Análise de maturidade do processo de teste CenPRA sob a perspectiva da Norma ISO/IEC Esta análise tem como objetivo avaliar o processo de teste do CenPRA, identificando quais Práticas Base e Práticas Genéricas, dentre as sugeridas pela norma ISO/IEC 15504, são contempladas pelo processo. Com isto almeja-se avaliar o nível de maturidade nas atividades de teste atingido por uma organização que adote o processo tal qual ele está definido atualmente. O alvo é também identificar os aspectos passíveis de melhoria no processo CenPRA. O primeiro passo da análise consiste em determinar se o processo CenPRA fornece subsídios para que as Práticas Base da ISO/IEC sejam adotadas (dimensão de processo). O segundo passo consiste em avaliar, para cada Prática Base de teste definida na ISO/IEC 15504, quais as Práticas Genéricas que são contempladas ao se utilizar o processo de teste CenPRA. Para tanto foram listados os sub-processos e respectivos artefatos definidos no processo de Teste CenPRA e, para cada sub-processo/artefatos, foi avaliado quais as Práticas Genéricas que o sub-processo/artefatos pode apoiar (dimensão capacidade de processo) com respeito às Práticas Base de teste A natureza da relação das dimensões da ISO/IEC (processo e capacidade do processo) com os subprocessos/artefatos de teste do processo CenPRA foi definida por meio de uma análise cuidadosa da estrutura e das diretrizes para a utilização desses artefatos (descritas na norma IEEE Std ), do processo genérico de teste do CenPRA e das Práticas (Genéricas e Base) determinadas na ISO/IEC A Tabela 2 sumariza a análise do processo de teste CenPRA com respeito às Práticas Base da ISO/IEC Prática Base da ISO/IEC Implementar o projeto de Software Integrar e Testar o Software Integrar e Testar o Sistema Tabela 2. Processo de teste CenPRA e Práticas Base da ISO/IEC Nível de Satisfação Prática no Processo de Teste do CenPRA O teste de unidades é planejado, ocorre o projeto do teste de unidades, que inclui a definição de técnicas e critérios empregados. Resultados do teste são documentados. O reteste do software é previsto em caso de manutenção. O Planejamento envolve a definição da estratégia de integração e o Projeto envolve a definição de casos de teste. O modelo V explicita o Planejamento e o Projeto antecipados da atividade. Os testes de sistema e de aceitação são planejados com base em informações de projeto. Os casos de teste são projetados e os resultados do teste documentados. O modelo V explicita o planejamento e o projeto antecipados da atividade. A Tabela 3 sumariza os resultados considerando as Práticas Base e Genéricas. A coluna da esquerda descreve os subprocessos do processo de teste CenPRA, enquanto a coluna direita identifica as Práticas Genéricas da ISO/IEC contempladas em cada

10 subprocesso, considerando as Práticas Base de teste. A Tabela 4 descreve as Práticas Genéricas da norma ISSO/IEC e o nível de satisfação da prática no processo de teste CenPRA. Tabela 3. Processo de teste CenPRA e práticas da ISO/IEC Processo de teste do CenPRA ISO/IEC Artefatos Práticas Genéricas contempladas no Subprocesso de Teste processo de teste CenPRA considerando as Práticas Base de teste Planejar Plano de Teste 1.1.1, 2.1.1, 2.1.2, 2.1.3, 2.1.4, 2.1.5, 2.1.6, 2.2.1, 3.1.1, 3.1.2, 3.2.1, Especificação de Projeto de Teste, Projetar Especificação de Casos de Teste, 1.1.1, 2.1.3, 2.1.6, 2.2.1, 3.1.1, 3.1.2, Especificação de Procedimento de Teste Executar Registrar Diário de Teste, Relatório de Incidentes 1.1.1, 3.1.1, 3.1.2, 3.2.1, 5.2.1, de Teste, Relatório-Resumo de Teste 5.1. Discussão O processo de teste CenPRA contempla boa parte das práticas de níveis 2 e 3 da ISO/IEC A metodologia de teste, que inclui o processo de teste descrito, os templates dos artefatos, a capacitação técnica por meio de cursos e o acompanhamento da implantação do processo na organização, tem o potencial de aprimorar de forma efetiva a prática de teste adotada na maioria das organizações. A metodologia de teste permite que a organização defina o seu próprio processo de teste, tendo como base o processo genérico descrito. Esta definição, feita com o apoio da equipe do CenPRA, permite ajustar o processo genérico às necessidades da organização em termos do nível de exigência (profundidade e abrangência) requerido do teste, tendo em vista o tipo de software desenvolvido na organização. Isto caracteriza, por parte da organização, uma decisão informada e consciente das práticas de teste a serem adotadas, fornecendo subsídios para a evolução controlada e gradual do processo de teste. Devido à natureza genérica da ISO/IEC 15504, que foca todos os processos de software e não apenas o teste, o nível de detalhes técnicos sobre o processo e os artefatos de teste é escasso. Este fato reafirma a importância de considerar normas e modelos de processo específicos de teste para o aprimoramento deste processo e que abordem pontos fundamentais para a eficácia do processo de teste. Como exemplo, temse a adequada definição de Critérios de Teste, baseada no nível do teste e nos objetivos de qualidade perseguidos. Neste contexto o processo de teste CenPRA pode ser considerado um importante instrumento de melhoria do teste de software, complementando modelos de melhoria genéricos como a ISO/IEC ou o CMMI. No modelo de processo CenPRA os principais aspectos onde possíveis melhorias foram identificadas estão relacionados ao gerenciamento do processo de teste: gerência de configuração, certificação de adesão ao processo; auditoria de produtos de trabalho e acompanhamento do processo com medições. Além disso, nota-se a necessidade de incluir no processo CenPRA a realização de ações corretivas com relação ao produto e ao processo. No entanto, cabe destacar que algumas dessas atividades são definidas e executadas em um outro contexto da organização e são de responsabilidade de outros grupos como o de gerência de projetos e de qualidade.

11 Prática Genérica da ISO/IEC Realizar o Tabela 4: Processo de teste CenPRA e práticas genéricas da ISO/IEC Nível de Satisfação Prática no Processo de Teste do CenPRA Todas as práticas base são executadas processo Alocar recursos Realizada no subprocesso Planejar. Pode ser feita de forma global para todo o teste ou separadamente para cada nível do teste. São identificados requisitos do ambiente e recursos humanos necessários. Atribuir responsabilidades Documentar o processo Prover ferramentas Garantir treinamento Planejar o processo Usar planos, padrões e procedimentos Realizar gerenciamento de configuração Verificar adesão ao processo Auditar produto de trabalho Acompanhar com medição Realizar ações corretivas Padronizar o processo Customizar (Tailor) o processo padrão Usar um processo bem definido Realizar revisão por pares Usar dados bem definidos (para gerenciar o processo) Estabelecer objetivos de Parcial Parcial Nulo Nulo Parcial Parcial Parcial Nulo Parcial Parcial Realizada no subprocesso Planejar. Envolve a identificação de grupos responsáveis por: gerenciar, projetar, preparar e checar o teste. Resolver questões, fornecer itens de teste e requisitos de ambiente. O processo e os artefatos de teste são documentados por meio de diagramas, descrições textuais e templates de documentos. O processo é decomposto em subprocessos, cujas descrições incluem: propósito, critérios para inicio e fim, entradas, saídas, artefatos, e envolvidos (gerentes e executores). O documento de processo de teste sugere atividades passíveis de automação. No entanto o processo de teste não inclui explicitamente atividade de avaliação e seleção de ferramentas de apoio ao teste. O subprocesso Planejar trata explicitamente a necessidade de determinar as habilidades requeridas e identificar os treinamentos necessários. Realizada no subprocesso Planejar. O processo de teste segue o padrão definido no CenPRA, a documentação e calcada na norma IEEE Std O projeto e execução do teste seguem procedimentos tidos como melhores práticas, definidos na literatura específica. Todos os artefatos de teste possuem um identificador único definido de forma padrão. O processo não contempla explicitamente a atividade de gerência de configuração Não existe no processo a menção de um procedimento de verificação de adesão ao processo. Não existe no processo a menção de auditorias nos artefatos de teste gerados. Em cada subprocesso são definidas as medições a serem realizadas. No entanto não há atividades explícitas de monitoramento do processo. Na análise de incidentes de testes (subprocesso Registrar) o impacto dos incidentes observados durante a execução no Plano, no Projeto e na Especificação de casos de teste é avaliado. No entanto não há atividades explícitas de decisão sobre ações corretivas. O processo genérico do CenPRA é definido como padrão. A customização do processo para projetos específicos pode ser realizada pela organização, no entanto, não existe um procedimento definido para realizar a customização O processo CenPRA define um conjunto de subprocessos e atividades a serem realizados. Para cada subprocesso são definidos: propósito, critérios para inicio e fim, entradas, saídas, artefatos, e envolvidos (gerentes e executores). Para cada atividade é feita uma descrição, são identificadas as entradas requeridas e saídas produzidas. O processo não contempla atividades de revisão. Os dados coletados em cada subprocesso são definidos. O planejamento Inclui da definição de critérios para a aceitação de itens testados. No entanto não há uma atividade definida para que esses dados sejam usados no gerenciamento do processo. No planejamento do teste são estabelecidos objetivos de qualidade para os produtos e critérios de aceitação vinculados à análise de severidade de

12 qualidade problemas encontrados. No Registro de Incidentes de teste a severidade dos problemas é avaliada e registrada. Determinar a capacidade do processo Nulo Não contemplado no processo. Usar a capacidade do processo Nulo Não contemplado no processo. Estabelecer objetivos de eficácia do processo Nulo Não contemplado no processo. Aprimorar continuamente o processo padrão Nulo Não contemplado no processo. Realizar análise de causas Nulo Não contemplado no processo. Eliminar as causas de defeitos Nulo Não contemplado no processo. Aprimorar continuamente o processo definido Nulo Não contemplado no processo. 6. Conclusão Neste trabalho avaliou-se processo de teste do CenPRA sob a ótica do modelo de melhoria de processos ISO/IEC Devido ao fato do processo de teste enfatizar os aspectos técnicos da atividade de teste e o modelo ISO/IEC tratar-se de um modelo genérico de melhoria de processo de software, verificou-se um caráter complementar nos aspectos tratados. Isto permitiu identificar pontos do processo de teste que podem ser aprimorados levando em consideração as Práticas Genéricas da ISO/IEC Analogamente, o processo de teste do CenPRA pode fornecer subsídios para o aprimoramento de aspectos técnicos de teste em organizações que adotam o modelo ISO/IEC e que desejam aprimorar o processo de teste. As principais contribuições deste trabalho são: Aplicação de um modelo genérico de melhoria de processos para avaliar a maturidade de um processo de teste; Identificação de possíveis aprimoramentos no processo de teste do CenPRA. Trabalhos futuros poderão explorar outros modelos de qualidade para avaliar o processo de teste do CenPRA, incluindo modelos genéricos, tais como o CMMI, e modelos específicos de teste, tais como o SW-TMM [Burnstein 1996] e o TPI [Koomen 1999]. Os autores agradecem as contribuições dos do Grupo de Testes e de Clênio Salviano. 8. Referências Burnstein, I. Suwanassart, T., Carlson, R., (1996), Developing a Testing Maturity Model for Software Test Process Evaluation and Improvement. Proc. of International Test Conference. Crespo, Adalberto.N., Jino, Mario, (2005), Processo de Teste, Relatório Técnico CenPRA. IEEE Std 829 (1998), IEEE Standard for Software Test Documentation, IEEE, New York. ISO/IEC (2004), The International Organization for Standardization and the International Electrotechnical Commission, ISO/IEC Information Technology - Process Assessment. Koomen, T. and Pol M., (1999), Test Process Improvement: A practical step-by step guide to structured testing. ACM Press, London, England. Myers, G.J., (1979), The Art of Software Testing, Addison-Wesley, New York. M. C. Paulk, Charles V. Weber, B. Curtis and M. Chrissis, (1994), The Capability Maturity Model - Guidelines for Improving the Software Process, CMU-SEI, Addison-Wesley. Ana R. C. Rocha, José C. Maldonado e Kival C. Weber (Editores), (2001), Qualidade de Software: Teoria e Prática, Prentice Hall. Salviano, Clênio F., (2004), Introdução à melhoria de processo de software com ISO/IEC e CMMI, Relatório Técnico CenPRA - TRT1351. SEI (2005), Web Site do Software Engineering Institute SEI, (documentação do CMMI). SPICE (2005), Web Site do Projeto SPICE,

13 Análise da Maturidade de um Processo de Teste Orientado a Artefatos Paulo M. S. Bueno Adalberto N. Crespo DMPS - Centro de Pesquisas Renato Archer (CenPRA) Mario Jino DCA FEEC Unicamp Sumário Avaliação do processo de teste do CenPRA usando como referência a Norma ISO/IEC ISO/IEC Processo de Teste do CenPRA

14 Sumário Avaliação do processo de teste do CenPRA usando como referência a Norma ISO/IEC ISO/IEC Processo de Teste do CenPRA Sumário Avaliação do processo de teste do CenPRA usando como referência a Norma ISO/IEC ISO/IEC Processo de Teste do CenPRA Detalhamento de aspectos de Teste na ISO/IEC Melhorias no Processo de Teste

15 Introdução Processo de teste software: conjunto de passos parcialmente ordenados constituídos por atividades, métodos e práticas. Níveis de teste: Unidade; Integração, Sistema. Técnicas de teste: Funcional, Estrutural. Qualidade do processo de teste de software Qualidade final do software Introdução Modelos de melhoria do processo de software Melhores práticas; Avaliação da capacidade dos processos; Roteiro racional para a melhoria. ISO/IEC SPICE Dimensão de processo Processos Essenciais Práticas Base Dimensão de capacidade de processo Características Comuns Práticas Genéricas

16 Práticas Base de Teste ENG 4: Implementar o projeto ENG.4.2: Desenvolver procedimentos de verificação das unidades ENG.4.3: Verificar que cada unidade de software satisfaz os seus requisitos de projeto e documentar os resultados ENG 5: Integrar e Testar o Software ENG 5.1: Determinar uma estratégia de teste de regressão ENG 5.2: Construir os agregados de unidades de software ENG 5.3: Desenvolver testes para os agregados ENG 5.4: Testar os agregados de software ENG 5.5: Desenvolver os testes para o software integrado ENG 5.6: Testar o software integrado. Práticas Base de Teste ENG 6: Integrar e testar o Sistema ENG 6.1: Construir agregados com os elementos do sistema. ENG 6.2: Desenvolver testes para os agregados. ENG 6.3: Testar os agregados do sistema. ENG 6.4: Desenvolver os testes para o sistema ENG 6.5: Testar o sistema integrado

17 Dimensão de Capacidade dos Processos Seis níveis de capacidade: Seqüenciais Cumulativos Métrica para avaliar como uma organização está realizando um determinado processo Nível 5 Em Otimização Nível 4 Previsível Nível 3 Estabelecido Nível 2 Gerenciado Nível 1 Executado Nível 0 Incompleto Capacidade do Processo Níveis de Maturidade, Características Comuns e Práticas Genéricas Nível Característica Comum Prática Genérica Realizar Práticas Base Realizar o processo Alocar recursos 2.1 Planejar Atribuir responsabilidades Documentar o processo Prover ferramentas Garantir treinamento Planejar o processo 2.2 Disciplinar Usar planos, padrões e procedimentos Realizar gerenciamento de configuração 2.3Verificar Verificar adesão ao processo Auditar produtos de trabalho 2.4Acompanhar Acompanhar com medição Realizar ações corretivas 3.1 Definir um Processo Padrão Padronizar o processo Customizar o processo padrão 3.2 Executar o Processo Padrão Usar um processo bem definido Realizar revisão por pares Usar dados bem definidos (para gerenciar o processo) 4.1 Estabelecer objetivos de qualidade Estabelecer objetivos de qualidade mensuráveis 4.2 Gerenciar objetivamente o desempenho 5.1 Aprimorar o nível de capacidade da organização 5.2 Aprimorar a eficácia do processo Determinar a capacidade do processo Usar a capacidade do processo Estabelecer objetivos de eficácia do processo Aprimorar continuamente o processo padrão Realizar análise de causas Eliminar as causas de defeitos Aprimorar continuamente o processo definido

18 Processo Genérico de Teste do CenPRA Baseado em artefatos de teste definidos na Norma IEEE Std Define sub-processos: Planejar, Projetar, Executar e Registrar. Associa as fases do desenvolvimento às fases do teste (modelo V). Processo e Artefatos de Teste Plano de Teste Preparação do Teste Especificação de Projeto de Teste Especificação de Casos deteste Especificação de Procedimento de Teste Relatório de Encaminhamento de Item de Teste Execução do Teste EXECUÇÃO DO TESTE Diário de Teste Registro do Teste Relatório de Incidentes de Teste Relatório-Resumo de Teste

19 Sub-processo de Teste Planejar Criação do Plano de Teste. Atividades: Definir o contexto do teste; Caracterizar os itens de teste; Identificar funcionalidades e características; Estabelecer abordagens e critérios; Definir produtos gerados; Definir atividades de teste; Estabelecer requisitos de ambiente; Estabelecer responsabilidades; Estabelecer equipe e treinamento necessários; Elaborar cronograma; Identificar riscos e estabelecer contingências. Sub-processo de Teste Projetar Definir as Especificações: de Projeto de Teste; de Casos de Teste e de Procedimento de Teste. Refinam a abordagem de teste de software definida no planejamento. Atividades: Detalhar abordagens e critérios; Especificar casos de teste; Estabelecer requisitos de ambiente de teste; Elaborar propósito dos procedimentos de teste; Identificar requisitos especiais dos procedimentos de teste.

20 Sub-processo de Teste Executar Corresponde à realização dos passos do Procedimento de Teste. Atividades: Preparação de procedimento de teste; Início de procedimento de teste; Execução do procedimento de teste; Registro de teste; Suspensão de teste; Retomada de teste; Parada de teste; Encerramento de teste; Providências de contingência. Sub-processo de Teste Registrar Descrever a execução dos testes, os incidentes observados e resumir os resultados do teste. Diário de Teste Atividades: Descrição do teste; Registro das atividades e eventos. Relatório de Incidentes de Teste Atividades: Descrição do incidente de teste; Determinação do impacto do incidente de teste.

21 Sub-processo de Teste Registrar Relatório-Resumo de Teste Atividades: Descrição resumida dos itens de teste; Descrição de desvios das especificações; Descrição da abrangência do teste; Descrição resumida de resultados do teste; Avaliação dos itens de teste; Descrição resumida de atividades de teste. O Modelo V de Processo de Teste Fases do Processo Especificação de Requisitos Requisitos do Usuário Níveis do Teste de Software Teste de Aceitação Especificação do Sistema Especificações Funcional e Não Funcional Teste de Sistema Projeto do Sistema Arquitetura do Sistema Teste de Integração Projeto de Unidade Projeto Teste de Unidade Codificação de Unidade

22 Análise de maturidade do processo de teste do CenPRA Objetivos: Identificar as Práticas Base e Práticas Genéricas da ISO/IEC contempladas pelo processo de teste. Identificar os aspectos passíveis de melhoria no processo de teste. Identificar aspectos de teste não detalhados na ISO/IEC Análise de maturidade: Práticas Base Prática Base da ISO/IEC Implementar o projeto de Software Integrar e Testar o Software Integrar e Testar o Sistema Nível de Satisfação Prática no Processo de Teste do CenPRA O teste de unidades é planejado, ocorre o projeto do teste de unidades, que inclui a definição de técnicas e critérios empregados. Resultados do teste são documentados. O reteste do software é previsto em caso de manutenção. O Planejamento envolve a definição da estratégia de integração e o Projeto envolve a definição de casos de teste. O modelo V explicita o Planejamento e o Projeto antecipados da atividade. Os testes de sistema e de aceitação são planejados com base em informações de projeto. Os casos de teste são projetados e os resultados do teste documentados. O modelo V explicita o planejamento e o projeto antecipados da atividade.

23 Análise de maturidade: Práticas Genéricas (I) Processo de teste do CenPRA ISO/IEC Artefatos Práticas Genéricas contempladas no Subprocesso de Teste processo de teste CenPRA considerando as Práticas Base de teste Planejar Plano de Teste 1.1.1, 2.1.1, 2.1.2, 2.1.3, 2.1.4, 2.1.5, 2.1.6, 2.2.1, 3.1.1, 3.1.2, 3.2.1, Especificação de Projeto de Teste, Projetar Especificação de Casos de Teste, 1.1.1, 2.1.3, 2.1.6, 2.2.1, 3.1.1, 3.1.2, Especificação de Procedimento de Teste Executar Registrar Diário de Teste, Relatório de Incidentes 1.1.1, 3.1.1, 3.1.2, 3.2.1, 5.2.1, de Teste, Relatório-Resumo de Teste Análise de maturidade: Práticas Genéricas (II) Prática Genérica da ISO/IEC Nível de Satisfação Prática no Processo de Teste do CenPRA Alocar recursos Realizada no subprocesso Planejar. Pode ser feita de forma global para todo o teste ou separadamente para cada nível do teste. São identificados requisitos do ambiente e recursos humanos necessários. Atribuir responsabilidades Garantir treinamento Usar planos, padrões e procedimentos Realizar gerenciamento de configuração Auditar produto de trabalho Realizar revisão por pares Parcial Nulo Nulo Realizada no subprocesso Planejar. Envolve a identificação de grupos responsáveis por: gerenciar, projetar, preparar e checar o teste. Resolver questões, fornecer itens de teste e requisitos de ambiente. O subprocesso Planejar trata explicitamente a necessidade de determinar as habilidades requeridas e identificar os treinamentos necessários. O processo de teste segue o padrão definido no CenPRA, a documentação e calcada na norma IEEE Std O projeto e execução do teste seguem procedimentos tidos como melhores práticas, definidos na literatura específica. Todos os artefatos de teste possuem um identificador único definido de forma padrão. O processo não contempla explicitamente a atividade de gerência de configuração Não existe no processo a menção de auditorias nos artefatos de teste gerados. O processo não contempla atividades de revisão.

24 Análise de maturidade: Conclusões (I) O processo de teste do CenPRA contempla integralmente as três Práticas Base de Teste da ISO/IEC Das Práticas Genéricas o processo de teste contempla integralmente 9 Práticas; contempla parcialmente 7 Práticas e não contempla 10 Práticas. Práticas Genéricas contempladas totalmente: realizar o processo; alocar recursos; documentar processo; garantir treinamento, planejar o processo e padronizar o processo. As Praticas Genéricas não contempladas: verificar adesão ao processo; auditar produtos de trabalho; realizar revisão por pares; determinar e usar a capacidade do processo; estabelecer objetivos de eficácia do processo; aprimorar continuamente o processo; realizar análise de causas; eliminar causas de defeitos. Análise de maturidade: Conclusões (II) A Norma ISO/IEC mostrou-se útil à identificação de possíveis melhorias no processo genérico de teste do CenPRA. O processo de teste aborda aspectos específicos desta atividade não presentes na ISO/IEC Aspectos específicos de teste devem ser tratados quando se aplica um modelo genérico de melhoria de processos. É viável aplicar um modelo genérico (ISO/IEC 15504) para avaliar um processo específico (Teste ). Trabalhos futuros: Explorar outros modelos de qualidade para avaliar o processo de teste do CenPRA, tais como: CMMI, SW- TMM e TPI. Incorporar as melhorias no processo de teste.

25 Obrigado Contato: