Aplicação de Controle Estatístico de Processo (CEP) no contexto do MR-MPS em uma Fábrica de Software

Transcrição

1 Artigos aceitos Aplicação de Controle Estatístico de Processo (CEP) no contexto do MR-MPS em uma Fábrica de Software Thercio Rodrigues do Nascimento 1, Cristiane Soares Ramos 1, Luiz Carlos Miyadaira Ribeiro Jr. 2 thercio_teo@yahoo.com.br, cristianesramos@yahoo.com.br, lcarlos@unb.br 1 Politec Tecnologia de Informação S.A SIG Quadra 4 Lote 173 CEP Brasília DF 2 Universidade de Brasília - UnB Faculdade Gama FGA Área Especial 2 Lote 14 Setor Central CEP Gama - DF Resumo: Conforme definido no modelo de qualidade MR-MPS [6], os níveis de alta maturidade (Níveis B e A) exigem que alguns processos da Fábrica de Software - selecionados conforme os objetivos estratégicos da empresa - sejam controlados estatisticamente, isto é, sejam previsíveis, capazes e estáveis. Tais processos devem ser objetos de inovações que permitam a eliminação de causas comuns de variação, proporcionando melhorias quantitativamente perceptíveis. Este artigo apresenta um caso de sucesso para um ciclo de melhoria, executado na Politec Tecnologia da Informação S.A., em uma de suas unidades de Fábrica, bem como algumas técnicas estatísticas utilizadas para realização das análises dos dados resultantes dos processos da Fábrica. 1. Introdução Nos altos níveis de maturidade, de acordo com os objetivos de negócio da empresa, processos são selecionados para que sejam controlados estatisticamente. Técnicas estatísticas podem ser utilizadas para controlar esses processos a fim de torná-los previsíveis, capazes e estáveis. Algumas dessas técnicas são: Box Plot [8], Cartas de Controle [1], Análise de Distribuição de Dados [1], Simulações e Testes de Hipóteses. Se usadas de forma combinada, tais técnicas permitem mostrar a previsibilidade dos processos e provar estatisticamente a estabilidade, capacidade e diferenças entre amostras de dados. Nesse sentido, este trabalho apresenta um caso de sucesso para o ciclo de melhoria previsto pelos altos níveis de maturidade do modelo MR-MPS. Na seção 2, será apresentado um breve resumo da empresa e o contexto em que se insere este trabalho. Na seção 3, será apresentado o relato de experiência, os processos críticos e medições correspondentes, as etapas realizadas para estabilização e melhoria dos processos e as técnicas e ferramentas estatísticas utilizadas para as análises. Finalmente, na seção 4 são apresentas as conclusões deste trabalho. 62 WAMPS 2009

2 Aplicação de Controle Estatístico de Processo (CEP) no contexto do MR-MPS em uma Fábrica de Software 2. A Politec Tecnologia de Informação S.A. A empresa possui 39 anos de existência, sendo uma das pioneiras na prestação de serviços de TI no Brasil. Atualmente, está presente em praticamente todos os estados brasileiros, mantendo em vários deles Fábricas de Software para desenvolvimento e manutenção de sistemas de software e mais de colaboradores. Ainda, atua em mais quatro países, sendo eles: Argentina, Chile, Estados Unidos e Japão. Há mais de oito anos a empresa tem investido em melhoria de processos de desenvolvimento e manutenção de software, com o objetivo estratégico de se consolidar no cenário nacional e internacional como excelência em desenvolvimento de software. Em Janeiro de 2003, a organização conseguiu realizar, com sucesso, a primeira avaliação em um modelo de qualidade sólido e reconhecido internacionalmente, o SW-CMM. Desde então, a empresa intensificou os investimentos em Fábricas de Software, e consequentemente em processos de desenvolvimento e manutenção de software, sendo a primeira empresa a obter o nível A de maturidade do modelo MR-MPS, em Maio de 2006, e a primeira a renovar a avaliação, em Maio de Breve histórico Há vários anos a empresa tem investido na qualidade dos seus processos de software. O quadro abaixo apresenta o histórico de avaliações que foram realizadas na organização desde Quadro 1 Histórico da empresa em avaliações em modelos de qualidade Janeiro/2003 Setembro/2004 Fevereiro/2006 Maio/2006 Outubro/2006 Maio/2009 Obtenção do SW-CMM nível 2 (fábrica de software) Obtenção do SW-CMM nível 3 (fábrica de projetos) Obtenção do CMMI nível 5 (fábrica de software) Obtenção do MR-MPS nível A (fábrica de software) Obtenção do CMMI nível 3 (fábrica de projetos) Reavaliação do nível A do MR-MPS (fábrica de software) 3. O ciclo de melhoria gerenciado quantitativamente O ciclo de melhoria de processos, gerenciado de maneira quantitativa, segundo o modelo MR-MPS [6] é coberto nos níveis de maturidade A e B. O nível B possui uma evolução do processo Gerência de Projetos (gestão quantitativa nos projetos) e a adição dos Atributos de Processo 4.1 e 4.2, que demonstram a previsibilidade, estabilidade e capacidade de processo. O nível A garante o processo em Otimização. Isto significa que alguns processos, já estabilizados e controlados, devem ser priorizados para identificação de causas comuns de variação (Processo ACP) e que essas causas serão eliminadas por meio de inovações ou melhorias (Atributos de Processo 5.1 e 5.2). WAMPS

3 Artigos aceitos Segundo Oliveira [2], o que permite que um mesmo método de trabalho seguido por um determinado grupo de pessoas produza resultados bons ou ruins é chamado de variação. De outro modo, ou seria somente possível resultados bons ou somente resultados ruins. Um processo estável, portanto, consiste em minimizar as fontes de variação até um nível controlável. As variações não vão deixar de existir, principalmente quando considerados fatores humanos, porém as fontes de variação devem ser mínimas e conhecidas, chamadas de causas comuns de variação [1] [3]. Controladas as fontes de variação, o processo pode ser considerado estável, portanto, previsível. Processo previsível significa a possibilidade de determinar um desempenho futuro de algum resultado, fundamentado na previsibilidade de um processo e a partir disso, determinar a viabilidade de atingir um determinado objetivo. O processo de melhoria nesse contexto, utilizado na organização (Fábrica de Software unidade reavaliada MR-MPS, Nível A), seguiu as etapas apresentadas a seguir (Figura 1): Figura 1 Etapas do Processo de Melhoria Etapa 1: Seleção de processos críticos Os processos críticos foram selecionados a partir dos objetivos de negócio da empresa, voltados para qualidade e produtividade. Sendo assim, foram selecionados os processos de Verificação, Validação e de Construção de Software. Selecionados os processos críticos, foi necessário identificar as medições mais adequadas para aferir o comportamento do processo e o atendimento das metas. Critérios para seleção das medições incluem: Relacionamento das medições e os objetivos de negócio da empresa Disponibilidade de dados para a medição Freqüência da medição As medições selecionadas foram: Produtividade da Ordem de Serviço Consiste no esforço dispensado para desenvolver, revisar e testar cada unidade de tamanho da Ordem de Serviço 1. 1) Uma demanda de construção, geralmente um Caso de Uso e a especificação técnica. 64 WAMPS 2009

4 Aplicação de Controle Estatístico de Processo (CEP) no contexto do MR-MPS em uma Fábrica de Software PRD = Esforço Tamanho da Solicitação Densidade de Defeitos de Teste Consiste na quantidade de defeitos que ocorrem para cada unidade de tamanho da Ordem de Serviço. Defeitos DDT = Tamanho da Solicitação Ao final da primeira etapa, foi obtido o relacionamento entre Objetivos de Negócio -> Processos Críticos -> Medições (Figura 2). Figura 2 Relacionamento entre objetivo, processo e medição Etapa 2: Estabilizar os processos críticos Para demonstrar o comportamento dos processos, foi necessário selecionar a técnica estatística adequada ao tipo de dado existente. A técnica selecionada foi o Controle Estatístico do Processo (CEP) baseado na análise de gráficos de controle. O estudo do controle estatístico do processo apresenta uma diversidade de gráficos de controle, como os listados a seguir [2]. Média e Amplitudes (X e R) Média e Desvio-Padrão (X e S) Mediana e Amplitude (X e R) Individual e Amplitude (X e R) Valor Individual e Amplitude Móvel (X e mr) Cada tipo de carta apresenta a recomendação de uso conforme o tipo de processo e o volume de dados envolvido na análise [1]. Neste trabalho, foi adotada a carta de controle X e mr. Segundo Florac [1], esta é a mais adequada para processos de desenvolvimento de software, tendo em vista o fato que a coleta de dados não obedece a uma periodicidade específica, ou seja, os dados que compõem a carta são apresentados de forma esporádica e em baixo volume de ocorrências. A estabilização do processo consiste em identificar e eliminar suas fontes de variação. De acordo com Florac [1], para se efetuar a estabilização é necessário seguir os seguintes passos: coletar, avaliar a WAMPS

5 Artigos aceitos estabilidade, identificar e remover as fontes de variação, executar o processo e coletar novamente, estes passos devem ser repetidos até que o processo esteja estável (Figura 3). Selecionar o processo Selecionar as características do produto ou processo que descrevem a performance do processo Selecionar a carta de controle adequada Medir a performance do processo por um período de tempo Determinar a linha central e os limites de controle para as características de desempenho Plotar os dados da medição na Carta de Controle Identificar e eliminar as causas especiais Processo estável Sim Todos os valores estão dentro dos limites e distribuídos randomicamente em volta da linha central? Não Processo não estável Figura 3 Fluxo de estabilização do processo [5] O Quadro 2 apresenta o conjunto de técnicas e ferramentas estatísticas adotada para auxiliar no controle estatístico do processo. Quadro 2 Lista de técnicas e ferramentas estatísticas Técnica Estatística Descrição Ferramenta Gráfico de Controle Box Plot Representa o comportamento do processo a partir da medição selecionada e demonstra a estabilidade do processo Por meio da análise do Quartil permite eliminar a ocorrência de valores extremos da amostra. QI Macros for MS Excel 2007 Plugin do MS Excel 2007 Teste de Hipótese Utilizada com técnica para avaliar hipóteses estatisticamente. MS Excel 2007 Análise de Distribuição estatística Normal Regressão Linear Simulação de Monte Carlo Análise utilizada para avaliar se a amostra utilizada possui um comportamento normal [3]. Utilizada para descrever a relação estatística entre duas variáveis e estabelecer um Modelo de Desempenho Baseado nos Modelos de Desempenho permite estabelecer um modelo estatístico de predição através de simulações [9]. MS Excel 2007 MS Excel 2007 Oracle Cristal Ball 2 2) 66 WAMPS 2009

6 Aplicação de Controle Estatístico de Processo (CEP) no contexto do MR-MPS em uma Fábrica de Software Usando procedimentos baseados nos princípios de Análise de Causa Raiz, tais como a análise de Pareto [2] para definir a priorização das classes de defeitos mais significativas, análise de correlação de variáveis [2] para verificar o nível de influência entre atributos, Diagrama de Ishikawa [2] para mapear a causa raiz que mais influenciou a classe priorizada e os atributos, entre outros, foi possível identificar que as fontes de desestabilização se encontravam nos processos de Verificação (VER) e Validação (VAL). Tais fontes de desestabilização afetavam a medição de produtividade, principalmente em aspectos relacionados ao re-trabalho e esforço aplicado aos testes, em decorrência de ineficiência dos Testes de Software aplicados na fábrica e a falta de uma ferramenta para garantir que todos os defeitos encontrados fossem corrigidos. A Figura 4 apresenta o gráfico de controle para a medição de Produtividade. Figura 4 Medição de Produtividade A carta de controle da Figura 4 representa o processo através de pontos em função do tempo. A técnica consiste em diagnosticar a ocorrência das fontes de variação observando os pontos que mais se distanciam da linha central. Para determinar a instabilidade, os pontos são confrontados em função de faixas de trabalho definidas a partir do estabelecimento de 6 Sigmas [1] e a aplicação de testes observando os limites estabelecidos. Na literatura podem ser encontrados vários testes estatísticos [3]. Conforme sugerido por Florac [1] os testes adotados na Fábrica foram: Teste 1: Um ponto acima do 3º Sigma ou limite de controle superior. Teste 2: Dois pontos acima do 2º Sigma de três pontos consecutivos do mesmo lado da média. Teste 3: Quatro pontos acima do 1º Sigma de cinco pontos consecutivos do mesmo lado da média. Teste 4: oito pontos do mesmo lado da linha central. A estabilização do processo foi conseguida por meio de melhorias nos processos de VER e VAL. Em resumo, foram elas: Maior rigor na validação dos requisitos de entrada de cada Ordem de Serviço, com a adoção de padrões a serem seguidos e critérios objetivos de validação, com envolvimento dos papéis de Desenvolvedores, Arquitetos e Analistas de Testes. WAMPS

7 Artigos aceitos Maior rigor na verificação dos Casos de Testes Maior investimento no subprocesso de planejamento de Testes de Software, com objetivo de adequar o processo para cada projeto em particular. Implantação de uma ferramenta para gestão de defeitos, o que garantiu maior controle dos defeitos abertos, tanto de Verificações como de Validações. A Figura 5 apresenta o gráfico de controle para a medição de produtividade, antes e após as melhorias citadas. Figura 5 Estabilização do Processo A partir do processo estabilizado foi iniciado um novo estágio de gerenciamento do processo, que é intitulado gerenciamento quantitativo. Este gerenciamento consiste em acompanhar o processo a partir de uma base de referência, a Linha de Base de Desempenho do Processo [1] de modo que o projeto de desenvolvimento de software é planejado e controlado utilizando esta referência. Dessa maneira, qualquer sintoma de instabilidade pode ser diagnosticado e tratado de forma imediata. Esses aspectos caracterizam nível B de maturidade do MR-MPS [6]. Etapa 3: Implantar a inovação para otimizar o processo Esta etapa consiste em identificar causas comuns de variação em um processo estável e implantar uma melhoria ou inovação para eliminar tais causas comuns. A abordagem adotada consistiu em efetuar um estudo sobre as fontes de variação comuns no processo de Construção. O estudo indicou que muitos Ativos de Software desenvolvidos nas Fábricas eram recorrentes. Isso significava que as Fábricas definiam Arquiteturas de Software, soluções de negócio e soluções técnicas para problemas parecidos, mas fazia pouco reuso dessas soluções. Um Ativo de Software é uma coleção de artefatos relacionados que provê uma solução para um dado problema. Os Artefatos são produtos de trabalho resultantes do ciclo de vida do desenvolvimento de software, tais como: requisitos, modelos, código fonte, descritores de implantação, casos ou scripts de teste, etc. Um Ativo poderá ser relevante para um ou mais contextos, tais como desenvolvimento, implantação ou negócio e deverá conter regras e instruções de uso. 68 WAMPS 2009

8 Aplicação de Controle Estatístico de Processo (CEP) no contexto do MR-MPS em uma Fábrica de Software Entre os vários Tipos de Ativos de Software, pode-se citar: componentes, padrões, web services, frameworks e modelos de documentos. No entanto, algumas das falhas mais freqüentes em iniciativas de reuso são [7]: Não modificar processos existentes que não consideravam reuso; Não introduzir processos específicos de reuso; Não considerar fatores humanos como parte do processo. Os processos existentes precisam ser modificados principalmente porque o consumo de ativos de software reusáveis ocorre dentro dos projetos de desenvolvimento de sistemas. Assim, os processos que orientam o desenvolvimento devem conter tarefas de busca, seleção e adaptação de itens previamente produzidos, a fim de que estes possam ser adicionados a um projeto em particular. Também é durante os projetos de desenvolvimento que surgem as necessidades e soluções recorrentes que proporcionam novas oportunidades de reuso e é necessário que os processos ofereçam maneiras para se perceber e aproveitar essas oportunidades. Embora a identificação e o consumo dos ativos de software aconteçam ao longo dos projetos de desenvolvimento de sistemas, geralmente eles possuem um ciclo de vida que extrapola o período de execução dos projetos. Além disso, a produção e a gestão dos ativos são ações que envolvem interesses organizacionais e que ultrapassam os limites das equipes de projeto, o que justifica a necessidade de se introduzir um processo específico para tratar a questão. Nesse sentido, a abordagem na organização foi orientada nos seguintes pilares: Definição de processos para gestão, produção e consumo de ativos de software Os objetivos principais do processo de Gestão, Produção e Consumo de Ativos Reusáveis foram: Estabelecer estratégias claras para a reutilização de ativos, tais como categorização (aplicação, arquitetura, componente, ferramenta, framework), regras de certificação, regras para documentação e medições Estabelecer papéis e responsabilidades na Fábrica para administração dos serviços do repositório Estabelecer pontos no processo de desenvolvimento para identificação de oportunidades de reuso (produção de ativos) Estabelecer pontos no processo de desenvolvimento para utilização da biblioteca e dos ativos (consumo de ativos) Este processo está conforme o processo Gerência de Reutilização GRU do modelo MR- MPS, nível E de maturidade [6]. WAMPS

9 Artigos aceitos Identificação de oportunidades na vasta experiência passada da organização nas Unidades de Fábrica e a construção de Linhas de Produto Foi realizado o trabalho de inventariar os projetos desenvolvidos na empresa. Este trabalho resultou em 88 projetos mapeados de acordo com as seguintes características: Uso de ativos de terceiros Características dos ambientes de desenvolvimento e de produção dos sistemas desenvolvidos Linhas de negócio Clientes Tecnologias utilizadas Frameworks e padrões de projeto Linguagem de programação Ferramentas Criação de um grupo de Arquitetos de Software que, ao mesmo tempo, possuem a responsabilidade de atuar nos projetos de desenvolvimento e gerenciar a base de ativos de software Esse mapeamento foi importante para identificar áreas em que as oportunidades de reuso seriam mais promissoras, de acordo com o histórico da própria empresa. A partir disso, foi construída uma Linha de Produto com ativos relacionados ao negócio (verticais) e tecnológicos (horizontais). A estrutura totalmente orientada a projetos não se mostrou favorável, em outras iniciativas, para manter o processo de Gestão de Ativos em constante atualização a uso. Isso ocorreu pois a tendência natural é a perda da coesão técnica ao longo do tempo, ocasionando problemas de consistência da base de ativos em curto prazo. A solução adotada foi criar uma estrutura matricial para o perfil de Arquiteto de Software. A atuação destes profissionais no projeto é organizada e controlada pelo grupo de Arquitetura, sob gestão funcional do Gerente de Projetos. Essa mudança tem proporcionado maior controle do processo, permitindo, entre outros benefícios, os seguintes: Apropriação correta dos custos de produção de ativos Patrocínio dos gerentes de projeto Disseminação de conhecimento entre Arquitetos e Desenvolvedores Uniformização do conhecimento técnico Maior conformidade às políticas e regras do processo de Gestão de Ativos Reusáveis Após a implantação e execução desse novo processo de Construção, baseado em Linhas de Produto, o resultado da medição de Produtividade demonstrou uma melhoria significativa. A Figura 6 apresenta o gráfico de controle. Figura 6 Implantação da inovação 70 WAMPS 2009

10 Aplicação de Controle Estatístico de Processo (CEP) no contexto do MR-MPS em uma Fábrica de Software 4. Conclusões Este trabalho apresentou um relato de experiência que demonstra um ciclo de melhoria de acordo com os níveis B e A de maturidade do MR-MPS. No entanto, não foi explorado neste trabalho o uso dos modelos de desempenho para predição dos resultados no contexto da gestão quantitativa de projetos e também para seleção de melhorias / inovações. Tais modelos podem ser utilizados para predizer o resultado da execução de determinados processos por meio de simulações [4]. O resultado das simulações oferece maior segurança para a tomada de decisões sobre os investimentos necessários para executar as inovações. O gráfico da Figura 6 apresentou a melhoria obtida na medição de produtividade. Melhorias em outras medições também foram percebidas, principalmente naquelas relacionadas à qualidade do produto. Um estudo de retorno sobre investimentos mostrou que o resultado pode ser bastante satisfatório, a depender do volume de demandas em um determinado período de tempo. 5. Referências bibliográficas [1] FLORAC W. A.; CARLENTON, A. D.; Measuring the Software Process: Statistical Process Control for Software Process Improvement. Reading, MA, EUA: Addison-Wesley. SEI Series in Software Engineering; [2] OLIVEIRA, Marcelo S.; Qualidade de Processo Software: Medição e Análise; Lavras UFLA, [3] WHEELER, D. J.; CHAMBERS, D. S.; Understanding Statistical Process Control ; Knoxville, TN: SPC Press, [4] FENTON, N., MARSH, W., CATES, P., FOREY, S., TAYLOR, M., Making Resource Decisions for Software Projects. Proceedings of the 26th International Conference on Software Engineering, Escócia [5] CARLENTON, A. D.; FLORAC W. A.; PARK R. E.; Pratical Software Measurement: Measuring for Process Management and Improvment ; GUIDEBOOK CMU/SEI-97-HB-003. [6] ASSOCIAÇÃO PARA PROMOÇÃO DA EXCELÊNCIA DO SOFTWARE BRASILEIRO SOFTEX. MPS.BR Guia de geral, v 2009, Disponível em Acesso em 21/08/2009. [7] MORISIO, M.; EZRAN, M.; TULLY, C. Success and failure factors in software reuse.software Engineering, IEEE Transactions on Volume 28, Issue 4, pp Apr [8] FRIGGE, M; HOAGLIN, D.; IGLEWICZ, B. Some Implementations of the Boxplot. The American Statistician. Vol. 43 (1), February [9] SOBOL, Ilya Meerovich; A primer for the Monte Carlo Method; CRC Press, Inc; WAMPS