Usando a avaliação independente de SQA como primeiro passo para transição de CMM para CMMI

Transcrição

1 Usando a avaliação independente de SQA como primeiro passo para transição de CMM para CMMI Alfredo Nozomu Tsukumo 1, Clenio F. Salviano 1 e Lúcia Gastal 2 1 CenPRA Centro de Pesquisas Renato Archer Rod. D. Pedro I (SP-65) Km 143, Brazil 2 HP P&D Brasil Av. Ipiranga, Prédio 91-A, Bairro Partenon. Porto Alegre {alfredo.tsukumo; clenio.salviano}@cenpra.gov.br; lucia.gastal@hp.com Abstract. The near deadline to make the transition to CMMI is a current concern for most of the Organizations at SW-CMM Level 2 or 3. These organisations have a powerful tool to help in this transition: the Software Quality Assurance Key Process Area (SQA KPA) and its required independent verification of the SQA. Having applied such verification in the Porto Alegre unit of HP R&D Brasil in a SCAMPI based appraisal Class B, we have made a proposal of a method for the identification of the gaps in relation to CMMI using the independent verification of CMM SQA KPA. Resumo. A aproximação do prazo final para a transição do SW-CMM para o CMMI, é uma preocupação presente para muitas empresas com nível 2 e 3 do CMM. Essas empresas possuem um instrumento poderoso para auxiliar nessa transição: a própria área chave de processo de Garantia de Qualidade de Software (KPA SQA) e a exigência de avaliação independente da função Garantia da Qualidade. A partir da realização dessa avaliação na unidade de Porto Alegre da HP P&D Brasil, baseada no SCAMPI, em classe B, foi elaborada a proposta apresentada neste artigo, para um método de identificação dos gaps em relação ao CMMI pela realização dessa avaliação independente. 1 Introdução Após dezembro de 2005, não serão mais feitas avaliações de SW-CMM. Este fato torna mais premente a necessidade de se fazer a transição do SW-CMM para o CMMI- SE/SW. As empresas que já têm pelo menos o nível 2 do CMM, possuem um instrumento poderoso para auxiliar nessa transição: a própria área chave de processo de Garantia de Qualidade (KPA SQA) e a exigência do CMM, de avaliação independente da função Garantia da Qualidade. Os laboratórios Computing Laboratory (CL) e Image and Printing Group (IPG) da HP R&D Brasil, localizado em Porto Alegre, utilizam um processo gerenciado, descrito no Manual de Processos Baseados no Sw-CMM HP R&D release 2.1, para os projetos que gerem como resultado produtos de software a serem disponibilizados para

2 clientes externos HP. Este processo e sua institucionalização foram avaliados como nível 2 de maturidade do modelo SW-CMM em fevereiro de 2004 [1]. No final de 2004, a HP R&D solicitou ao centro de pesquisas CenPRA uma avaliação independente da garantia de qualidade de software, em atendimento ao item Avaliação Independente do Manual acima referido, para identificar possíveis inadequações e oportunidades de melhoria e de acordo com a verificação 3 da KPA SQA do SW CMM. Para o CenPRA, era uma oportunidade de continuar as pesquisas tecnológicas e disseminação de melhoria de processo de software com os modelos SW-CMM e CMMI e aos requisitos (ARC) e método de avaliação (SCAMPI), descritos brevemente no item 2. Realizado o experimento, que é descrito neste artigo, percebeu-se que, com alguns incrementos no planejamento e na realização da avaliação, seria possível definir um método para obter como sub-produto da avaliação, a identificação dos gaps em relação ao CMMI. Esse método foi desenvolvido com base na abordagem Indústria-como-laboratório proposta por Potts [2]. Para pesquisas em engenharia de software, Potts defende a abordagem Indústria-como-laboratório (industry-as-laboratory) como uma melhor alternativa à tradicional Pesquisa-depois-transfere (research-then-transfer). Desta forma o método foi desenvolvido em ciclos de exploração, aplicação e consolidação, tendo a indústria como parceira. Este artigo descreve este método partindo da experiência realizada, das conclusões extraídas, e a formulação do método, com as atividades previstas. Embora todo o artigo se refira ao nível 2 do CMM e CMMI, em finção de ter sido originado de experiência nesse nível, pode ser aplicado também para o nível 3. A parte 2 descreve as referências e o método de avaliação com as adaptações feitas. A parte 3 descreve as atividades realizadas, a parte 4 apresenta as conclusões do experimento e, a parte 5 a proposta do método. A parte 6 apresenta as conclusões deste trabalho. 2 As referências para a avaliação e os requisitos e método de avaliação O Capability Maturity Model for Software (SW-CMM) [3] estabelece, para o nível de maturidade 2, seis Áreas Chave de Processo (Key Process Area - KPA), entre as quais a Garantia da Qualidade (Software Quality Assurance - SQA). O SW-CMM está sendo substituído pelos modelos do Capability Maturity Model Integration (CMMI), entre eles o modelo CMMI-SE/SW [4]. Este modelo define a Área de Processo (Process Area PA) de Garantia da Qualidade de Processo e Produto (Process and Product Quality Assurance PPQA) como substituta da KPA SQA do SW-CMM 1. Considerando a futura transição para o CMMI e à grande semelhança entre SQA e 1 Para facilidade, são utilizadas as siglas simplificadas SQA e PPQA para designar, respectivamente, KPA SQA do SW-CMM e PA PPQA do CMMI SE/SW

3 PPQA, o CenPRA propôs e a referência da avaliação foi ampliada para ser também em relação à PPQA, no nível 2 de capacidade na representação contínua do CMMI. Com relação ao método de avaliação, optou-se por utilizar o Standard CMMI Appraisal Method for Process Improvement (SCAMPI) [5] em classe B na classificação do Appraisal Requirements for CMMI SM ARC [6], conforme as características resumidas na Tabela 1. Tabela 1. Classes de avaliação conforme o ARC [6, p. 5] Características Classe A Classe B Classe C Quantidade de evidências Alta Média Baixa objetivas obtidas (relativo) Geração de classificação Sim Não Não Recursos necessários (relativo) Alto Médio Baixo Tamanho da equipe Grande Médio Baixo Requisitos do Líder da Avaliador Líder(*) Avaliador Líder(*) ou equipe de avaliação pessoa treinada com experiência (*) Avaliador líder: Lead appraiser, credenciado pelo Software Engineering Institute Pessoa treinada e com experiência 2.1 Aspectos gerais do SCAMPI O SCAMPI é desenhado para gerar classificações em relação aos modelos CMMI para uso comparativo ( benchmarking ). Visa atender às características essenciais nas avaliações: acurácia, repetibilidade, efetividade de custo e recursos, resultados significativos e conformidade com o ARC classe A. É compatível com a ISO/IEC [7]. A avaliação é baseada em evidências objetivas coletadas de instrumentos, apresentações, documentos e entrevistas. Instrumentos são informações escritas sobre a implementação do CMMI na organização. A função SQA, com o papel de verificar o cumprimento do modelo, pode ser um gerador destes instrumentos. Apresentações preparadas especialmente para a avaliação ou para a divulgação e treinamentos de partes do modelo também são úteis na avaliação. Documentos incluem os de definições e institucionalização dos processos e aqueles gerados na realização das práticas. Entrevistas são realizadas com grupos distintos de pessoas envolvidas nos processos para confirmar a aplicação das práticas e as percepções sobre as mesmas. Essas fontes consistem nos Indicadores de Implementação de Prática (PII no acrônimo em inglês) e podem ser diretos, indiretos e afirmações. Diretos são decorrentes diretamente da implementação da prática. Indiretos são conseqüência da realização de uma prática. Afirmações podem ser escritas ou orais, obtidas em apresentações, entrevistas e questionários.

4 Instrumentos Provêm de Evidência Objetiva vista ou ouvida Apresentações Documentos Entrevistas Dados/Anotações Direto Indireto Afirmação É escrita de forma clara É relevante para a avaliação É consistente com outras observações 2 ou + fontes 2 ou + sessões 1 Trabalho efetivo É corroborada É consenso Cobertura de Dados é suficiente Observações acuradas Observações válidas achados preliminares É evidência objetiva válida, refere-se a práticas do modelo, identifica instância e fonte (p/verificação) - Inventário das evidencias objetivas da implementação de cada prática do modelo - Fraquezas - notar que pontos fortes são menos relevantes na determinação da implementação da prática e representam o que está além do sugerido pelo modelo. É adequada para o entendimento da extensão da implementação É representativa para a unidade organizacional É apresentado e revisto pelos participantes É consenso A equipe de avaliação deve obter evidências objetivas de cada um desses tipos, num processo de verificação mais que de descoberta. Previamente à avaliação in loco, principalmente através de instrumentos e documentos (PII diretos) já se deve ter uma visão da conformidade com o modelo, que será confirmada através de PII indiretos e afirmações. Esta é a grande diferença com relação aos métodos de avaliação anteriores, em que a equipe de avaliação deveria descobrir como o modelo estava implementado. A Figura 1 sumariza o processo de coleta e transformação das evidências objetivas em achados e em pontuação (graus), e indica critérios para validação, corroboração e cobertura considerando a extensão da aplicação da prática. 2.2 Processos definidos pelo SCAMPI e sua realização A Tabela 2 abaixo apresenta um resumo do Checklist dos requisitos do SCAMPI [Doc6] 2 que registra as adaptações e a realização dos processos e atividades do SCAMPI com foram aplicadas nesta avaliação. Tabela 2 Realização dos processos e atividades do SCAMPI Fase/Processo requisito SCAMPI Como foi adaptado e realizado 1. Planejar e preparar a avaliação 1.1 Analisar Requisitos: definir objetivos, restrições, escopo, saídas da avaliação, alinhados aos objetivos de negócios da organização achados pontuação Agregado das fraquezas Função da extensão em que as práticas estão presentes nos processos planejados e praticados na organização Figura 1: Das evidências objetivas à definição de pontuação com base nas definições do ARC Objetivo definido com os patrocinadores: avaliação independente do SQA Escopo: CL e IPG da HP, KPA SQA e PA PPQA Saídas: Relatório de avaliação para ser usado como entrada para plano de melhoria do SQA Restrições: avaliação realizada em 2 X 1,5 dias 2 Referências na forma [Doc#] são para produtos da avaliação, relacionados na Tabela 3

5 Fase/Processo requisito SCAMPI 1.2 Desenvolver plano da avaliação: adequar método, identificar recursos necessários, de-terminar custos e agenda, planejar e gerenciar logística, documentar e gerenciar riscos 1.3 Selecionar e preparar a equipe: assegurar que a equipe de avaliação é qualificada e preparada para a avaliação 1.4 Obter e analisar evidências objetivas iniciais: obter dados sobre as práticas usadas, identificar as áreas potenciais de problemas, lacunas e riscos para refinar o plano. Obter um entendimento preliminar das operações e processos. Preparar os participantes. 1.5 Preparar a coleta de evidências objetivas: definir estratégias de coleta de dados fontes, ferramentas e alternativas para resolver riscos de dados insuficientes. Verificar condições de prontidão para a avaliação. 2. Efetuar a avaliação 2.1 Examinar as evidências objetivas: coletar informações sobre as práticas implementadas e relacioná-las ao modelo de referência. Utilizar instrumentos, apresentações, documentos e entrevistas 2.2 Verificar e validar as evidências objetivas: verificar a implementação das práticas nas instâncias (projetos) determinando a extensão em que as práticas são implementadas. Falhas na implementação são validadas com participantes. Implementações exemplares podem ser destacadas como pontos fortes. 2.3 Documentar evidências objetivas: identificar e consolidar as informações colhidas em registros da implementação das práticas ressaltando os pontos fortes e fracos 2.4 Gerar resultados: gerar os graus de aten-dimento dos objetivos com base na extensão da implementação da prática que é determi-nada/julgada a partir dos dados validados. 3. Relatar resultados Como foi adaptado e realizado Plano de avaliação desenvolvido pelo CenPRA e revisado e complementado pela HP, contém a adequação do método, recursos necessários, agenda e logística. Equipe selecionada: composta por 3 pessoas: duas do CenPRA (incluindo o líder) e uma da HP. Conhecimento da equipe: modelos SW-CMM e CMMI. Experiência: avaliação SW-CMM e ISO/IEC 15504, e garantia da qualidade em organizações CMM 2. Esta composição garante independência e facilita acesso a informações e linguagem comum com as equipes avaliadas. Preparação da equipe: Desenvolvimento do processo utilizado e treinamento processo em uma sessão de 1h. Na avaliação preliminar, foram examinados o SQA Status Report que serve como instrumento pois dá um retrato global das atividades de SQA, relacionando-os às práticas do modelo, dispensando qualquer outro instrumento. Evidências iniciais foram colhidas e registradas no Relatório de avaliação preliminar. A preparação dos participantes ocorreu no início da avaliação. No Plano de avaliação foram definidos os documentos e entrevistas necessários, e os aspectos que deveriam ser confirmados e sofrer aprofundamento. Risco identificado foi a impossibilidade da presença de alguns dos entrevistados, resolvido com uma sessão especial de entrevista e substituição de alguns entrevistados Evidências objetivas coletadas na Avaliação Preliminar a partir de Instrumento (SQA Status Report), documentos (Checklist SQA, Manual de Processos, Planos de Projeto), apresentações (Conferência ISD e Treinamentos) e entrevistas (com SQA, Gerentes de Projeto, Alta gerência) Verificação das evidências objetivas diretas (Manual de Processos, Checklist SQA, Planos de Projeto), indiretas (SQA Status report, apresentações) e declarações (apresentações e entrevistas com equipes de projeto e grupos de melhoria de processos) Instâncias: examinados todos os projetos ativos, incluídos no escopo do CMM Validação dos achados com o SQA Registros realizados durante as avaliações preliminar e complementar, consolidado no Relatório de Avaliação Estabelecidas as conclusões de que o processo estabelecido atende ao SQA e PPQA.

6 Fase/Processo requisito SCAMPI 3.1 Fornecer resultados da avaliação: resultados críveis e que orientem ações de melhoria. Explicitar as forças e fraquezas e prover os níveis de maturidade e capacidade dos processos em uso. Os resultados devem ser apresentados aos interessados e os próximos passos devem ser planejados 3.2 Organizar e arquivar os resultados: preservar os dados e registros importantes (com cuidado para materiais sensíveis), coletar lições aprendidas, gerar registro da avaliação, comunicar ao comissário do CMMI, destruir outros materiais Como foi adaptado e realizado Resultados apresentados em reunião com os patrocinadores (alta gerência) e em reunião com todos os participantes da avaliação e em relatório [Doc9]. Processo definido pela HP indica que o grupo SQA deve definir, junto com a alta gerência, plano para implementação de melhorias baseadas nos achados da avaliação Documentos consolidados entregues à HP. Este artigo é uma forma de registrar além dos resultados que eram o objetivo da HP Não sendo uma avaliação Classe A, não se faz a comunicação ao comissário do CMMI. Anotações destruídas. 3 Trabalho desenvolvido 3.1 Fase 1: Preparação e planejamento da avaliação Avaliação preliminar Foi realizada a avaliação preliminar de acordo com o Plano da Avaliação Preliminar [Doc1] e relatada no Relatório de Avaliação Preliminar [Doc4], com o objetivo de: Compreender melhor o contexto da utilização do CMM pela HP fazer uma avaliação preliminar do SQA definir uma lista de documentos para a avaliação em janeiro apresentar e discutir a forma de avaliação em janeiro Foram feitas reuniões com os patrocinadores da avaliação (Gerentes dos Laboratórios da HP) e examinados documentos e instrumentos junto com as responsáveis por SQA, para obter evidências objetivas iniciais e dados para a elaboração do Plano de avaliação. O Relatório de Avaliação Preliminar indicou que foram encontradas evidências objetivas de que o processo de SQA está implementado e levantou pontos que deveriam ser confirmados e aprofundados na complementação da Avaliação, com entrevistas com os clientes do processo de SQA: Gerentes de Projeto e membros das equipes de projeto Elaboração do Plano de Avaliação e preparação para a avaliação O Plano de Avaliação [Doc5] foi elaborado com base nas informações obtidas na Avaliação Preliminar e, conforme especificado no Manual de Processos da HP, definiu: Escopo e objetivos da avaliação; Papéis e responsabilidades dos envolvidos; Atividades de preparação, realização e divulgação de resultados; Produtos de trabalho a serem avaliados; Produtos de trabalho a serem gerados como resultado da avaliação; Entrevistas a serem feitas com profissionais da organização; Infra-estrutura e instalações necessárias; O Plano foi elaborado pelos técnicos do CenPRA e revisado e complementado pela HP.

7 3.2 Fase 2: Realização da Avaliação A avaliação foi realizada conforme o Plano e constou de atividades de: Treinamento da avaliadora da HP Abertura com apresentação sobre a avaliação para os participantes Verificação de documentos Entrevistas com equipes de projetos, gerentes de projetos e participantes dos grupos de melhorias de processos Compilação dos resultados Apresentação dos resultados aos patrocinadores e participantes da avaliação 3.3 Fase 3: Relato dos resultados Os resultados foram apresentados aos patrocinadores e aos participantes. Apresentam-se alguns pontos que tiveram a sua divulgação autorizada e são de interesse para a comunidade por destacarem aspectos que podem estar presentes em muitas organizações. O processo de SQA está implementado de acordo com a KPA SQA e a PA PPQA, nos dois laboratórios e não foi identificada nenhuma não conformidade. Naturalmente, a PA PPQA está sendo aplicada às KPAs do nível 2 de maturidade do SW-CMM. Confirmou-se que o processo de SQA está institucionalizado e apresenta bons resultados, fornecendo à alta gerência, visibilidade das inconsistências encontradas, auxiliando na execução e melhoria dos processos e apoiando a manutenção da conformidade de todo o processo com o SW-CMM nível 2. Numa transição para o CMMI, será necessário elaborar novos checklists para as PAs, sem alteração do processo de SQA em si. Foram observados pontos fortes adicionais como: o papel do SQA é percebido como referência e apoio à realização do trabalho de cada um no cumprimento dos processos de acordo com o SW-CMM; o SQA Status Report apresenta de forma sucinta e clara os resultados das avaliações mensais, permitindo a visualização das inconsistências e seus encaminhamentos tanto pelos gerentes como pelas equipes de projeto. existe o processo e a prática de revisão e melhoria do processo. Apesar de não terem sido identificadas não conformidades do processo em relação às referências da avaliação, foram sugeridas algumas oportunidades de melhoria como: a utilização de métodos mais sistemáticos de análise de causas dos problemas em complemento à maneira que é feita atualmente que sejam explicitados claramente os critérios para que seja concedido o status E (Exceção) para as inconsistências pois esta pode ser porta para o não cumprimento correto dos processos. Sugere-se ainda realizar análise de tendências e recorrências para detectar possível uso indevido deste dispositivo. Com estes resultados, conforme o Manual de Processos, O Grupo SQA deve elaborar um plano de ação para endereçar as oportunidades de melhoria indicadas no relatório, de acordo com a priorização dos itens discutida com a gerência senior.

8 3.4 Produtos da avaliação Na avaliação, os documentos relacionados na Tabela 3 foram identificados, especificados, gerados e controlados. Tabela 3 Documentos da avaliação Cod. Nome Descrição sucinta [Doc1] Plano Preliminar Plano da avaliação preliminar descrito em [Doc2] [Doc3] [Doc4] Checklist CMM-SQA & CMMI-PPQA Acordo de Confidencialidade Relatório da Avaliação Preliminar Checklist cruzando e abrangendo ambos os modelos para ser usado na avaliação Contemplando confidencialidade externa (CenPRA em relação aos documentos da HP) e interna (preservação das fontes de informação) Relatório da avaliação preliminar, com observações realizadas e indicações de confirmações e aprofundamentos a fazer. [Doc5] Plano de Avaliação Conforme descrito no item [Doc6] [Doc7] [Doc8] Checklist requisitos SCAMPI Apresentação Inicial Participantes Apresentação Preparação equipe Para registro do atendimento dos requisitos do SCAMPI e suas adaptações com resumo apresentado na Tabela 2. Apresentação para informar aos participantes os objetivos, formas de trabalho, postura desejável e o acordo de confidencialidade Apresentação sobre ARC, SCAMPI, formas de trabalho, papéis dos avaliadores [Doc9] Relatório da Avaliação Relatório contendo o resultado da avaliação 4 Conclusões sobre a experiência A aprovação do Relatório de Avaliação [Doc9] pelos patrocinadores, a boa recepção dos participantes da avaliação e a constatação de que algumas das recomendações da avaliação preliminar foram implementadas antes mesmo da avaliação complementar, evidenciam que o objetivo de avaliação independente do SQA foi alcançado. Deve-se observar que, apesar de não exigida pelo CMM, a realização de avaliação por organização externa tem a vantagem de dar maior confiança no resultado da avaliação, resultando em impulso maior na implementação das oportunidades de melhoria. A experiência demonstrou a viabilidade e conveniência da aplicação do SCAMPI, em classe B em apenas uma PA. No início, planejava-se realizar a avaliação em classe C porém, a existência dos vários tipos de PII possibilitou a validação e corroboração dos dados de acordo com os requisitos de Classe B. Utilizando o SQA Status Report como instrumento que resume todas as práticas de SQA, foi possível avaliação na forma verificação. Para uma avaliação cujo escopo fosse mais amplo (por exemplo, todas as KPAs de nível 2), o SQA Checklist, com algumas informações adicionais, serviria como instrumento base para a avaliação. A conclusão é que a existência de instrumentos (em geral preparados pela função QA) é importantíssima para facilitar a avaliação com base no SCAMPI. As oportunidades de melhoria apontadas, na verdade estão além dos modelos. Tanto no CMM-SQA como no CMMI-PPQA, a correção das não conformidades não requer a análise de causa, que é tratada, no CMMI, na PA CAR (Causal Analysis and Resolution), do Nível de Maturidade 5 na representação por estágios. No entanto, a melhoria contínua depende de ação sistemática sobre as causas, utilizando, por exemplo, algumas das 7 ferramentas da qualidade. Colocada essa questão para a

9 comunidade do CMMI (incluindo autores do CMMI), foi reforçado que PA CAR pressupõe a utilização de métodos quantitativos mas que nada impede (ou melhor, que é positivo) que organizações em níveis de maturidade menores realizem a análise de causa utilizando outras ferramentas [8]. Por outro lado, a questão das Exceções (waiver) é uma das mais críticas na Garantia da Qualidade. Ela é necessária pois muitas vezes as circunstâncias tornam inconveniente seguir algum aspecto definido nos processos. Mas a sua utilização muito freqüente e sem critérios claros pode indicar problema com o processo ou sua implementação. 5 Proposição de método de avaliação de gap em relação ao CMMI 5.1 Observações sobre a experiência e a proposição A experiência de avaliação independente do SQA com aplicação do SCAMPI em classe B e tendo como referência o PPQA levantou a possibilidade de se utilizar este tipo de avaliação como uma avaliação preliminar de Gap analysis em relação ao CMMI. Para que isso seja possível com melhores resultados, a qualidade do trabalho de SQA é decisiva. No presente caso, os pontos fortes apontados dão as condições ideais para se fazer esta extensão do objetivo da avaliação. Desses três pontos fortes, o principal para a proposta deste trabalho é a qualidade do SQA Status Report. No caso em estudo, este relatório detalha, para cada KPA, as não conformidades encontradas nos projetos, com base em um Checklist que contempla os Objetivos, Compromissos, Aptidões, Atividades, Medições e Verificações do CMM, tornando possível mapear as não-conformidades às PA s correspondentes do CMMI e seus Objetivos Específicos e Genéricos e Práticas específicas e Genéricas. Além disso, é possível extrair do SQA Status Report, a freqüência, recorrência e tendências das não conformidades, provendo dados para uma análise de prioridades dos problemas. Em outras organizações, havendo instrumentos que apresentem essas informações, é possível aplicar o método. A figura 2 mostra, nos blocos claros, as referências e resultados obtidos no experimento realizado e, nos blocos em cinza, as alterações a CMMI serem feitas nas avaliações CMMI para permitir Gap a identificação em outras PA s Elaboração dos gaps. de Na seção seguinte, são descritas as alterações PPQA relação nas atividades da avaliação. Plano de trabalho SW-CMM Referências ao CMMI de transição Avaliação independente (SCAMPI B) Verifica Relatório Avaliação Independente SQA Elaboração de Plano de trabalho de melhoria SQA Verifica Relatórios Status Report Sub-Produtos Contato das pessoas com CMMI e SCAMPI Projetos/ Processos Fig. 2 Avaliação Independente realizada com SQA Blocos em cinza: acréscimos para determinação de gaps em relação ao CMMI

10 5.2 A proposição A nossa proposição indica quais ações devem ser efetuadas nas três fases da avaliação do SCAMPI: Preparação, Realização da avaliação, Relato dos resultado e acrescenta observações sobre o Plano de Trabalho para a transição para o CMMI Preparação da avaliação Estabelecido, com o patrocinador da avaliação, a intenção de se utilizar a avaliação independente de SQA para levantar os gaps em relação ao CMMI, deve-se examinar os instrumentos de SQA disponíveis para se ter certeza de que há informações coletadas e apresentadas de forma aproximadamente equivalente ao SQA Status Report. Confirmada a existência do instrumento e das informações, que possibilitem a realização da identificação dos gaps, devem ser realizadas as seguintes atividades da fase de preparação a) incluir o objetivo de identificação dos gaps no plano de avaliação b) criar instrumento com mapeamento das KPA s para as PA s c) a partir do equivalente ao SQA Status Report, levantar evidências objetivas não só para o SQA mas para os principais artefatos das outras PA s. d) o plano da avaliação, com a agenda, recursos e documentos requeridos devem ser adequados ao objetivo adicional de identificar os gaps. e) no treinamento da equipe de avaliação, ressaltar aspectos do SCAMPI e as diferenças, semelhanças e mapeamento entre o CMM e CMMI Realização da avaliação A realização da avaliação deve incluir as seguintes atividades adicionais: a) Na sessão de abertura, apresentar informações sobre SCAMPI e CMMI-SE/SW b) Realizar a avaliação de acordo com o SCAMPI, estendendo o trabalho da avaliação independente com a verificação, a partir de instrumentos do SQA, dos requisitos das PA s correspondentes às KPA s verificadas pelo SQA. c) Organizar os resultados de forma a separar as questões relativas ao CMM e as relativas ao CMMI, mesmo que haja repetições Relato dos resultados O relato dos resultados deve ter duas partes distintas: a relativa ao CMM-SQA e a outra, relativa aos gaps em relação ao CMMI. É interessante gerar dois relatórios pois os objetivos e os interessados podem ser diferentes. Aproveitar a sessão de encerramento para informar a respeito do CMMI e as diferenças em relação ao CMM

11 5.2.4 Plano de trabalho de transição A cada um dos relatórios da avaliação deve corresponder um plano de trabalho. A existência de pontos fortes como os encontrados no experimento (aceitação do papel SQA e existência de um Grupo de Melhoria), facilitam a aplicação do plano de transição. A elaboração do Plano de Trabalho de Transição inicia com as definições dos objetivos pelos patrocinadores, que podem ter uma visão do trabalho necessário a partir dos gaps identificados. A transição pode ser iniciada pela adaptação do próprio SQA, com a modificação dos seus instrumentos SQA Status Report, e checklists para cobrir as PA s e exigências adicionais do CMMI. O Grupo de Melhoria deve priorizar e estabelecer o plano de melhoria para resolver os gaps. 5.3 Vantagens Mesmo que a organização não tenha ainda uma decisão sobre a transição para o CMMI, ela pode ser beneficiada com uma primeira avaliação, sem ou com baixo custo adicional (pois a avaliação do SQA estava prevista no processo e no orçamento). Os resultados podem, inclusive, contribuir para a própria decisão a respeito da transição. A identificação dos gaps e a elaboração do Plano de Trabalho de Transição podem representar o primeiro passo no esforço da transição. Por outro lado, existem as vantagens relativas ao envolvimento e conscientização das equipes, gerências, grupo de melhoria e do SQA quanto ao CMMI e o SCAMPI. 6 Conclusões Este trabalho representa uma aplicação da abordagem Indústria-como-laboratório proposta por Potts [2]. O experimento com a indústria visava atender uma necessidade específica (realizar a avaliação independente do SQA). O CenPRA propôs a ampliação do alcance da avaliação pela extensão para o CMMI-PPQA e a utilização do SCAMPI. Os resultados da avaliação abriram a possibilidade de se propor uma ampliação maior ainda, incluindo a identificação dos gaps na transição do CMM para o CMMI. A partir dessa proposta, o próximo passo é aplicá-la em um experimento na mesma ou em outra empresa, possibilitando o avanço do conhecimento e utilidade para as empresas. 7 Agradecimentos Aos participantes da HP no trabalho, em especial Edson Nery (Universities and Research Centers Relationship), Cirano Silveira (CL Manager) e Ricardo Pianta (IPG Manager), pela oportunidade oferecida, e de Patrícia Masina (CL SQA) e Beatriz Benezra (IPG SQA), pela imensa colaboração. A pessoas da FACTI e CenPRA pelo apoio ao trabalho. O trabalho foi realizado no âmbito do projeto HP/FACTI/CenPRA.

12 8 Referências [1] Gastal, L. e Pianta, R., Resultados e Lições Aprendidas com Aplicação do CMM em uma organização de P&D, ISD Brasil Customers Conference, [2] Potts C., "Software-Engineering Research Revised, IEEE Software, Volume 10, Number 5, pages 19-28, September [3] Paulk, M. C., Weber, C. V., Curtis, B. and Chrissis, M. B., The Capability Maturity Model: Guidelines for Improving the Software Process, Addison- Wesley,1995 [4] Chrissis, M. B., Konrad, M. and Shrum, S., CMMI: Guidelines for Process Integration and Product Improvement, Addison-Wesley, 2003 [5] SEI, Standard CMMI Appraisal Method for Process Improvement (SCAMPI), Version 1.1: Method Definition Document, CMU/SEI-2001-HB-001, [6] SEI, Appraisal Requirements for CMMI, Version 1.1 (ARC v1.1), TECHNICAL REPORT CMU/SEI-2001-TR-034 ESC-TR , [7] ISO/IEC , Information Technology Process Assessment Part 4: Guidance on use for Process Improvement and Process Capability [8] Message 2765 Why Causal Analysis & Resolution PA is only at ML 5 and not also at ML 2? and answers, in CMMI Process Improvement group, improvement/, 11/02/2004.

13 Usando a avaliação independente de SQA como primeiro passo para transição de CMM para CMMI Alfredo Tsukumo/Clenio F. Salviano/Lúcia Gastal {alfredo.tsukumo; clenio.salviano}@cenpra.gov.br; lucia.gastal@hp.com 1 2

14 Contexto - HP P&D Brasil Inicio atividades em profissionais - pesquisa de tecnologias e desenvolvimento de novos produtos. Centro de Pesquisa (POA): Laboratórios Computação (CL) e Laboratório Imagem e Impressão (IPGL) Avaliação CMM L2 em fevereiro de 2004 Projetos que gerem como resultado produtos de software a serem disponibilizados para clientes externos HP. 3 Estrutura de Papéis por Projeto Gerencia Senior do Lab SM PO SQA Gerente do Projeto PM Projeto Líder Técnico do Projeto TL Engenheiro de Teste TE Integrador TE em IPG e CL SD/SE em IPG Desenvolvedor SE/SD... Desenvolvedor SE/SD n Testador TST... Testador TST n 4

15 Atuação do SQA 1 recurso por Laboratório Projetos são auditados segundo Checklist São realizadas reuniões com os times de projeto para apresentação dos resultados Mensalmente são apresentados ao SM resultados gerais e comparativos sobre a evolução das auditorias e desempenho dos projetos Existe canal direto de comunicação com a área de qualidade dos Parceiros Externos 5 Melhoria Contínua 6

16 Contexto - CenPRA - Centro de Pesquisas Renato Archer Pesquisa Tecnológica no Setor de Informática Áreas de Atuação: Inovação Tecnológica, Qualificação e Aplicações para a Sociedade 230 pesquisadores em 13 Divisões de Tecnologia DMPS: Divisão Foco: Avaliação e Melhoria de Processos Formas de atuação: pesquisa tecnológica, articulações, disseminação e serviços Modelos CMM/CMMI, MPS.BR e ISO/IEC Participação nos comitês técnicos da ISO/IEC e MPS.BR Orientação técnica em Grupos de empresas para Melhoria de Processo (Coop-MPS) Desenvolvimento de modelos de processo específicos 7 Motivação Após dezembro de 2005, não serão mais realizadas avaliações CMM Organizações com SW-CMM níveis 2 ou 3 têm um instrumento poderoso para o início do processo de transição: a verificação independente do SQA 8

17 Como tudo começou Em dezembro de 2004, a HP Porto Alegre, nos solicitou a realização de uma avaliação independente para cumprir à Verificação 3 do SQA do SW-CMM Especialistas independentes do grupo SQA revê periodicamente as atividades e os produtos de trabalho de software do grupo SQA do projeto. O Manual de Processo da Organização define que a avaliação independente pode ser feita por entidade externa Tendo em vista o prazo final de desativação do CMM, nós propusemos à HP de aproveitar a oportunidade para fazer uma avaliação mais ampla e profunda, utilizando o método SCAMPI em classe B e tendo como referências tanto o SW-CMM SQA como o CMMI-SE/SW PPQA 9 Objetivos do trabalho na HP (a) avaliar SQA/PPQA da HP buscando identificar possíveis inadequações e oportunidades de melhoria - em atendimento à exigência do Manual de Processos da HP e à Verificação 3 de SQA (b) exercitar SCAMPI, em ARC classe B, e (c) disseminar esta experiência Referências da Avaliação: CMM - KPA SQA CMMI - PA PPQA ARC - Appraisal requirements for CMMI SCAMPI - Standard CMMI Appraisal Method for Process Improvement 10

18 Appraisal Requirements for CMMI (ARC) V1.1 Define os requisitos considerados essenciais para os métodos de avaliação para o CMMI. Define classes de avaliação Características Classe A Classe B Classe C Quantidade de Evidências objetivas obtidas (relativo) Geração de classificação Recursos Necessários (relativo) Alta Média Baixa Sim Não Não Alto Médio Baixo Tamanho da equipe Grande Médio Baixo Requisitos do Líder da equipe de avaliação Avaliador Lider Avaliador Líder ou pessoa treinada com experiência Pessoa treinada e com experiência 11 SCAMPI - Standard CMMI Appraisal Method for Process Improvement SCAMPI foi concebido para avaliar o grau de qualidade em relação ao modelo CMMI para permitir comparações. É aplicável tanto a processos de melhoria internos como determinações externas de capacidade. SCAMPI é ARC classe A e pode atender aos requisitos da ISO/IEC A avaliação é baseada em evidências objetivas num processo de verificação mais que descoberta SCAMPI prevê 3 fases no processo de avaliação: Preparação e planejamento da avaliação Realização da avaliação Apresentação dos resultados 12

19 O que é Evidência Objetiva? Evidência Objetiva é um conjunto de dados que apoiam a existência ou veracidade de alguma coisa (ISO 9000). Informações qualitativas ou quantitativas, registros ou declarações de fatos relacionados às características de um ítem ou serviço ou à existência da implementação de um elemento do processo. É baseada em observação, medida ou teste e pode ser verificada. No SCAMPI SM, fontes de evidência objetiva incluem instrumentos, apresentações, documentos, e entrevistas. (SCAMPI Glossary) Devem ser: Suficientes Necessárias Acuradas 13 Tipos de PII Indicadores de Implementação de Prática (PII) Direto saídas tangíveis, resultados direto da implementação de prática (ex. políticas, procedimentos, produto de trabalho) Indireto - artefatos conseqüência de uma prática ou que corrobora a sua implementação (ex. atas de reunião, relatórios, revisões) Afirmação declarações orais ou escritas (ex. entrevistas, apresentações, questionários) Fontes de evidências objetivas Instrumentos - Mapas de processos, questionários, pesquisas Apresentações - Sobre os processo em avaliação, demonstrações Documentos - Manuais, procedimentos, documentos de projeto Entrevistas - Entrevistas estruturadas, exploratórias ou focadas, de acompanhamento, feitas com dirigentes e equipes de projeto Devem ser utilizadas pelo menos: Classe A Classe B Classe C 3 tipos de fontes 2 tipos incluindo entrevistas 1 tipo 14

20 Transformações dos dados em achados e pontuação Instrumentos Provêm de Evidência Objetiva vista ou ouvida Apresentações Documentos Entrevistas Dados/Anotações Direto Indireto Afirmação 2 ou + fontes 2 ou + sessões 1 Trabalho efetivo É escrita de forma clara É relevante para a avaliação É consistente com outras observações É corroborada É consenso Cobertura de Dados é suficiente Observações acuradas Observações válidas achados preliminares É evidência objetiva válida, refere-se a práticas do modelo, identifica instância e fonte (p/verificação) - Inventário das evidencias objetivas da implementação de cada prática do modelo - Fraquezas - notar que pontos fortes são menos relevantes na determinação da implementação da prática e representam o que está além do sugerido pelo modelo. É adequada para o entendimento da extensão da implementação É representativa para a unidade organizacional É apresentado e revisto pelos participantes É consenso achados pontuação Agregado das fraquezas Função da extensão em que as práticas estão presentes nos processos planejados e praticados na organização Esquema baseado nos itens 4.4 a 4.6 do ARC adaptado com conceitos da p. I-10 do SCAMPI 15 Atividades realizadas - Fase 1: Preparação e planejamento da avaliação Avaliação preliminar Objetivos: Compreender aplicação do CMM pela HP avaliação preliminar do SQA definir uma lista de documentos para a avaliação apresentar e discutir a forma de avaliação reuniões com os patrocinadores da avaliação exame de documentos e instrumentos: evidências objetivas iniciais e dados para a elaboração do Plano de avaliação. Plano de Avaliação e preparação para a avaliação Plano foi elaborado pelo CenPRA com base na Avaliação Preliminar e revisado e complementado pela HP Atendendo ao Manual de Processos da HP, define: Escopo e objetivos da avaliação, Papéis e responsabilidades; Atividades de preparação, realização e divulgação de resultados; agenda de entrevistas e infraestrutura; Produtos de trabalho a serem avaliados; 16

21 Atividades realizadas - Fase 2: Realização da Avaliação A avaliação realizada conforme o Plano: Treinamento da avaliadora da HP Abertura com apresentação sobre a avaliação para os participantes Verificação de documentos Entrevistas com equipes de projetos, gerentes de projetos e participantes dos grupos de melhorias de processos Compilação dos resultados Apresentação dos resultados aos patrocinadores e participantes da avaliação 17 Confidencialidade: dois aspectos Confidencialidade de informações sensíveis da HP que o CenPRA garante preservar Preservação das fontes das informações: Informações não podem ser usadas para avaliação, premiação ou punição de pessoas Relatórios são elaborados de forma a não permitir identificação das fontes. Estas condições são boas práticas já estabelecidas e também exigências explícitas do CMM e CMMI SLIDE DA APRESENTAÇÃO INICIAL AOS PARTICIPANTES 18

22 Atividades realizadas - Fase 3 (1): Relato dos resultados Resultados apresentados aos patrocinadores e aos participantes. Processo de SQA implementado e institucionalizado de acordo com a KPA SQA e a PA PPQA; não foi identificada nenhuma não conformidade. SQA fornece à alta gerência, visibilidade das inconsistências encontradas, auxilia na execução e melhoria dos processos e apoia a manutenção da conformidade de todo o processo com o SW-CMM nível 2. Na transição para o CMMI, será necessário elaborar novos checklists para as PAs, sem alteração do processo de SQA em si pois ele já atende ao PPQA. Papel do SQA é percebido como referência e apoio à realização do trabalho de cada um no cumprimento dos processos de acordo com o SW- CMM; O SQA Status Report apresenta de forma sucinta e clara os resultados das avaliações mensais, permitindo a visualização das inconsistências e seus encaminhamentos tanto pelos gerentes como pelas equipes de projeto. existe o processo e a prática de revisão e melhoria do processo. 19 Atividades realizadas - Fase 3 (2): Relato dos resultados Oportunidades de melhoria Utilização de métodos mais sistemáticos de análise de causas dos problemas em complemento à maneira que é feita atualmente Explicitar claramente os critérios para que seja concedido o status E (Exceção) para as inconsistências pois esta pode ser porta para o não cumprimento correto dos processos. Sugere-se ainda realizar análise de tendências e recorrências para detectar possível uso indevido deste dispositivo. Com estes resultados, conforme o Manual de Processos, O Grupo SQA deve elaborar um plano de ação para endereçar as oportunidades de melhoria indicadas no relatório, de acordo com a priorização dos itens discutida com a gerência senior. 20

23 Conclusões do estudo de caso Objetivos propostos atingidos avaliar SQA/PPQA da HP buscando identificar possíveis inadequações e oportunidades de melhoria exercitar SCAMPI, em ARC classe B, e disseminar esta experiência Outras conclusões SCAMPI possibilita avaliações mais objetivas Avaliação independente do SQA dá maior segurança à Organização quanto ao cumprimento do SW-CMM A existência do SQA Status Report contribui para uma visão ao mesmo tempo abrangente e profunda A avaliação das PA s do nível 2 CMMI-SE/SW correspondentes às KPA s é uma tarefa que pode ser uma simples confirmação da verificação das PII já verificadas previamente pelo SQA Pode ser utilizado como um primeiro passo para a transição para CMMI-SE/SW 21 O que fazer 0 - Prerequisitos Quanto melhor for feita a função SQA, mais possível é usar a verificação independente de SQA para identificar os gaps para o CMMI-SE/SW Na fase de preparação, é possível ter uma primeira visão de quão bom é o SQA e se é possível aplicar a proposta No caso estudado: O "SQA Status Report apresenta as não conformidades para cada KPA em relação aos Objetivos, Compromissos, Aptidões, Atividades, Medições e Verificação. Baseado nisso, os PII podem ser identificados É possível extrair a freqüência, recorrências e tendências das não conformidades, possibilitando uma análise de prioridade dos problemas. É um instrumento muito bom para a avaliação das PAs do nível 2 Se, como no caso estudado, se percebe que é possível extender os objetivos da verificação independente para uma primeira análise de gaps, colocar nos objetivos da avaliação, esta intenção 22

24 O que fazer 1- Preparação Definir, com o patrocinador da avaliação, a intenção de usar a verificação independente de SQA para a identificação de gaps Verificar a disponibilidade de instrumentos semelhantes ao "SQA Status Report". Se se concluiu que há boa informação, fazer as seguintes atividades: a) Incluir o objetivo de identificação de gaps em relação ao CMMI no plano de avaliação b) Usar um mapeamento entre as KPA's do SW-CMM e as PA's do CMMI c) A partir do SQA Status Report ou equivalente, levantar evidências objetivas não só para SQA/PPQA mas também para as outras PA s. d) Identificar outras Process Implementation Indicators (PII) para outras PA s e) Adaptar o Plano de Avaliação, agenda, recursos e documentos requeridos para atender ao objetivo adicional f) No treinamento da equipe, incluir algumas comparações entre CMM e CMMI, destacando diferenças e similaridades. Incluir também comparações entre o SCAMPI e o CBA-IPI 23 O que fazer 2 - Fazer a avaliação Na sessão de abertura, apresentar informações sobre CMMI-SE/SW e SCAMPI Fazer a avaliação de acordo com SCAMPI (B ou C), verificando a função SQA e os processos verificados por ele. Organizar os resultados separando as questões relativas ao CMM e as relativas ao CMMI 24

25 O que fazer 3 - Relato dos resultados O relato deve ser feito em duas partes distintas: Questões relativas ao CMM-SQA Gaps em relação ao CMMI Aproveitar a sessão de fechamento para expor as diferenças entre CMM e CMMI e entre CBA- IPI e SCAMPI 25 Avaliação independente de SQA como primeiro passo para transição de CMM para CMMI SW-CMM Referências CMMI PPQA CMMI other PA s Relatório CMMI Gap Usado para Elaboração de plano de trabalho de transição Verificação Independente (SCAMPI B) Produces Independent SQA Verification Report Usado para Elaboração de plano de melhoria Verifica Verifica SQA Projetos/ Processos SQA Status Report Sub-produto Tomada de conhecimento das pessoas sobre CMMI e SCAMPI Processos e relatórios examinados Atividades e relatórios feitos no estudo de caso Atividades e relatórios adicionais propostos 26

26 Vantagens Primeira gap analysis com pequeno acréscimo nos custos da avaliação - pode ser usada como entrada para a decisão de como e quando fazer a transição A Organização tem contato com CMMI e SCAMPI, em situação real, nas sessões de abertura e fechamento, na preparação e realização da avaliação com a coleta das evidências objetivas e entrevistas O grupo de SQA pode reformular seus instrumentos para as avaliações internas com o objetivo de dar melhor apoio à transição 27 Conclusões Este trabalho representa uma aplicação da abordagem Indústriacomo-laboratório proposta por Potts [2]. O experimento com a indústria visava atender uma necessidade específica (realizar a avaliação independente do SQA). O CenPRA propôs a ampliação do alcance da avaliação pela extensão para o CMMI-PPQA e a utilização do SCAMPI. Os resultados da avaliação abriram a possibilidade de se propor uma ampliação maior ainda, incluindo a identificação dos "gaps" na transição do CMM para o CMMI. Os resultados da avaliação indicam-nos a possibilidade de propor um ampliação ainda maior dos objetivos da avaliação: usar a verificação independente de SQA para identificação dos gaps para a transição para o CMMI Nós definimos O que fazer? para aplicação desta abordagem Estamos prontos para aplicar esta abordagem 28

27 Referências [1] Gastal, L. e Pianta, R., Resultados e Lições Aprendidas com Aplicação do CMM em uma organização de P&D, ISD Brasil Customers Conference, [2] Potts C., "Software-Engineering Research Revised", IEEE Software, Volume 10, Number 5, pages 19-28, September [3] Paulk, M. C., Weber, C. V., Curtis, B. and Chrissis, M. B., The Capability Maturity Model: Guidelines for Improving the Software Process, Addison-Wesley,1995 [4] Chrissis, M. B., Konrad, M. and Shrum, S., CMMI: Guidelines for Process Integration and Product Improvement, Addison-Wesley, 2003 [5] SEI, Standard CMMI SM Appraisal Method for Process Improvement (SCAMPI SM ), Version 1.1: Method Definition Document, CMU/SEI-2001-HB-001, [6] SEI, Appraisal Requirements for CMMI SM, Version 1.1 (ARC v1.1), TECHNICAL REPORT CMU/SEI-2001-TR-034 ESC-TR , [7] ISO/IEC , An exemplar Process Assessment Model, doc. WG10 n524, [8] Message 2765 Why Causal Analysis & Resolution PA is only at ML 5 and not also at ML 2? and answers, in CMMI Process Improvement group, improvement/, 11/02/