Avaliando a Adoção do CMMI considerando o Custo de Qualidade de Software

Transcrição

1 Avaliando a Adoção do CMMI considerando o Custo de Qualidade de Software Autoria: Alex Oliveira, Maira de Cassia Petrini Resumo Esta pesquisa utilizou a teoria do Custo de Qualidade de Software para analisar os resultados da implantação dos níveis 2 e 3 do modelo CMMI em uma empresa de desenvolvimento de software de porte médio. Os dados de uma amostra de projetos foram coletados e organizados em categorias, servindo de base para a realização de análises comparativas. O estudo apresentou como resultado redução satisfatória de custos em projetos de grande porte, o mesmo não ocorrendo nos projetos de menor porte. Como parte dos resultados também ficou evidenciada a dificuldade no registro e manutenção das categorias de custo. 1

2 INTRODUÇÃO Os investimentos em Tecnologia da Informação (TI), especificamente em software, constituem parte significativa do montante reservado no orçamento de muitas das empresas atuais. O desenvolvimento de aplicações customizadas está se tornando cada vez mais importante para os negócios e tem sido considerado por muitas empresas parte do seu diferencial estratégico (CHRISSIS, 3). Inúmeros processos corporativos estão amparados por Sistemas de Informação e a confiança na qualidade destes é crucial porque falhas ou erros, normalmente, resultam em prejuízos financeiros ou de imagem. Preservar estes investimentos e garantir a sustentação do negócio que a TI suporta são preocupações constantes para os gestores de TI. Para atender estas demandas as empresas têm buscado na melhoria de processos baseada em modelos de qualidade uma forma de aumentar a maturidade de seus processos produtivos. O incremento de maturidade torna os mesmos previsíveis e mensuráveis e as causas mais significativas de baixa qualidade e produtividade são controladas ou eliminadas. Os modelos de qualidade são guias que orientam na adoção de boas práticas e processos comprovadamente eficientes, resultado da experiência de inúmeras corporações que colaboram para compor o corpo de conhecimento destes modelos (AHERN, 4). Um dos modelos mais conhecidos e adotados na atualidade é o modelo CMMI (Capability Maturity Model Integration). Reconhecidamente direcionado a corporações grandes, que executam projetos de média ou longa duração, o modelo reúne melhores práticas distribuídas em áreas-chave de processos que endereçam aspectos das diversas fases desde a concepção até a entrega e manutenção de produtos de software (CHRISSIS, 3). Embora seja imprescindível, a adoção de um modelo de qualidade implica necessariamente na incorporação de custos ao processo de produção do software. Estes são oriundos das atividades necessárias para atingir um patamar de qualidade satisfatório para o cliente. Identificar e controlar estes custos tornou-se extremamente importante para que o equilíbrio mencionado anteriormente possa ser atingido e é neste contexto que se aplica o modelo de custos de qualidade de software (CoSQ Cost of Software Quality). Na indústria de manufatura tradicional o modelo de custos de qualidade (CoQ Cost of Quality) é conhecido e utilizado desde a década de 8. No âmbito da TI, entretanto, a experiência com modelos de CoSQ é mais recente e ele ainda é pouco empregado pelas empresas do setor (KRASNER, 1998). Trata-se de uma ferramenta que permite identificar processos candidatos a melhoria, reduzir custos e estabelecer métricas de comparação entre projetos, entre outros benefícios. Neste sentido, o objetivo desta pesquisa foi avaliar os resultados obtidos pela adoção do modelo de qualidade CMMI utilizando o modelo de CoSQ como ferramenta para tal avaliação. Inicialmente foram mapeadas e alinhadas as categorias de custo dos projetos da empresa com as categoriasdo modelo de CoSQ. A partir destas categorias de custo definidas foram avaliadas as variações de custos em dois períodos do tempo: (1) após a obtenção da certificação nível 2 do CMMI e (2) após a obtenção da certificação nível 3 do CMMI. A empresa estudada é uma multinacional de porte médio, com cerca de 15 colaboradores, que desenvolve software sob medida para o segmento de varejo nacional e internacional. Com atuação forte no mercado Europeu, também possui negócios na África e no Brasil. Além disso, é certificada no nível 3 do CMMI e tem o investimento em qualidade como um diferencial estratégico desde sua fundação, elementos que corroboram sua escolha. O tamanho dos projetos de seu portfólio varia desde os muito pequenos até os muito grandes e todos são executados sob o mesmo processo com pequenas personalizações de artefatos de acordo com a área. 2

3 O artigo apresenta na seção 2 a base teórica da pesquisa desenvolvendo temas sobre qualidade de software, melhorias de processos através do CMMI e o modelo do custo de qualidade de software. Na seção 3 é apresentada a metodologia e o delineamento da pesquisa e na seção 4 apresentam-se os principais resultados. A seção 5 finaliza este artigo trazendo algumas questões à discussão e considerações finais. REFERENCIAL TEÓRICO Para suportar a pesquisada conduzida neste trabalho, foram revisitados o modelo de maturidade de processos CMMI, foco de investigação desta pesquisa, e o modelo de custos da qualidade de software, ferramenta na qual se baseou este estudo na busca da identificação de resultados mensurados em termos de qualidade. O MODELO CMMI (CAPABILITY MATURITY MODEL INTEGRATION) Nas últimas décadas, o desenvolvimento de modelos de qualidade vem tentando estruturar processos de forma a buscar a garantia de qualidade, seja pela aplicação de boas práticas de mercado ou pela utilização de modelos já empregados com sucesso em outras áreas de conhecimento. O CMMI (Capability Maturity Model Integration) é um desses modelos e aborda a qualidade de maneira global ao longo de todos os processos produtivos. Chrissis (3) define o CMMI como as melhores práticas que endereçam o desenvolvimento e manutenção de produtos e serviços cobrindo o ciclo de vida do produto da concepção até a entrega e manutenção. Afirma ainda que o CMMI oferece uma solução abrangente para o desenvolvimento e manutenção de produtos e serviços por ser composto de corpos de conhecimento essenciais no desenvolvimento de produtos, que eram tratados em separado no passado como a engenharia de software, a engenharia de sistemas e aquisições. Nas bases do CMM (Capability Maturity Model), antecessor do atual modelo CMMI, estão os conceitos de gerenciamento total da qualidade (TQM Total Quality Management) dos pioneiros Deming, Juran e Crosby. Estes conceitos permanecem na versão mais recentemente do modelo CMMI e em suas versões como o CMMI-DEV (KASSE, 8), voltada para o desenvolvimento de software. Kasse (8) afirma que o modelo CMM, sempre indicou que para uma organização atingir um nível de maturidade maior que o inicial é necessário forte foco em qualidade. Descreve ainda que no atual modelo CMMI existe uma área de processo responsável por garantir qualidade que é chamada de Garantia de Qualidade de Processo e Produto. Essa área foi expandida de forma a incluir conceitos de qualidade para todas as disciplinas de engenharia cobrindo a qualidade de produto bem como de processo. A idéia de que a qualidade de um sistema ou produto é altamente influenciada pela qualidade do processo usado para desenvolvê-lo ou mantê-lo é a premissa de gerenciamento de processo adotada pelo SEI (Software Engineering Institute), proponente do modelo CMMI (KASSE, 8). Além disso, o custo da qualidade ainda hoje é uma das forças motrizes para as organizações alcançarem o nível 5 de maturidade do modelo CMMI (KASSE, 8). O modelo no seu formato mais conhecido é estruturado em níveis de maturidade de 1 a 5: Nível 1: Inicial: O processo é imprevisível, não controlado e reativo. Nível 2: Gerenciado: O processo é caracterizado por projetos e frequentemente reativo. Nível 3: Definido: O processo é caracterizado pela organização e é pró-ativo. Nível 4 Quantitativamente Gerenciado: O processo é mensurado e controlado. Nível 5 Otimizado: O foco do processo é na melhoria contínua quantitativa do processo. 3

4 Entretanto, a adoção de um modelo de qualidade implica necessariamente na incorporação de custos ao processo de produção do software. Estes são oriundos das atividades necessárias para atingir um patamar de qualidade satisfatório para o cliente. Identificar e controlar estes custos tornou-se extremamente importante para que o equilíbrio mencionado anteriormente possa ser atingido. CUSTOS DA QUALIDADE DE SOFTWARE (COST OF SOFTWARE QUALITY COSQ) O investimento em qualidade de software possui custos imediatos e um retorno líquido esperado como qualquer outro. Este investimento tem valor na medida em que os ganhos gerados podem ser determinados e para essa avaliação métodos quantitativos se fazem necessários (DOBBINGS, 1999). A dinâmica exata da economia que orienta os processos de melhoria de qualidade não está completamente compreendida no mundo do desenvolvimento de software (KRISHN, 1996 apud SLAUGHTER, 1998). Ainda hoje não existe uma teoria validada da economia da qualidade de software e que este é claramente um assunto para pesquisa multidisciplinar (KRASNER 1998, p. 8). O custo da qualidade (Cost of Quality CoQ) é utilizado na indústria de manufatura para demonstrar o valor das iniciativas de qualidade e indicar aquelas que são candidatas a serem incorporadas ao programa de melhoria da qualidade (KRASNER, 1998, p.6). Ou seja, são os custos que não existiriam se todos os trabalhadores fossem perfeitos em seu trabalho (SLAUGHTER, 1998). Fato improvável, dada a natureza do software, conforme destacado por Krasner O software é uma das mais importantes e ainda desafiadoras tecnologias, do ponto de vista econômico, na era atual. Por ser um produto puramente intelectual, esta entre as tecnologias mais trabalhosas, complexas e suscetíveis a erro da história da humanidade. Portanto, o custo da qualidade de software (Cost of Software Quality CoSQ) é um modelo que permite avaliar quanto custa a qualidade ou falta de qualidade em um projeto de software e tem seus princípios básicos oriundos da indústria de manufatura (KRASNER, 1998). A idéia por trás desta abordagem é de que os custos das falhas de software podem ser medidos e reduzidos através de uma análise de causa-efeito apropriada. Segundo Dobbings (1999) a análise dos custos da qualidade tem por objetivo não apenas reduzir o custo ou investimento em qualidade de software, mas assegurar que os gastos são realizados nos tipos corretos de custos e que o benefício máximo é obtido deste investimento. Krasner (1998) afirma que existem diversas formas de aplicação do CoSQ e neste momento as técnicas têm sido utilizadas apenas para documentar o retorno de investimento (ROI Return of Investiment) das iniciativas de software, pois os executivos querem saber que existe retorno dos investimentos iniciais. Sugere ainda que este tipo de aplicação do CoSQ deve aumentar na medida em que mais programas de melhoria de processo iniciarem. Slaughter (1998), Krasner (1998), Dobbings (1999) e Galin (4) entre outros, classificaram os custos de qualidade em dois grandes tipos: custos de conformidade ou de controle e custos de não-conformidade ou de falha de controle. Galin (4) propõe inclusive que estes custos podem ainda ser mensurados em separado nas unidades de desenvolvimento e de gestão ampliando a eficiência do modelo. Os custos de conformidade são constituídos pela quantia gasta para construir produtos de qualidade (SLAUGHTER, 1998, p. 68) e são divididos em custos de prevenção e custos de avaliação da qualidade. Os custos de prevenção são aqueles associados à prevenção dos defeitos antes que estes ocorram. Custos de treinamento de pessoal em metodologias de projeto, reuniões de melhoria de qualidade, revisões de projeto de software, coleta de métricas 4

5 e análise de causas raiz são exemplos de custos de prevenção ligados ao desenvolvimento de software (KRASNER, 1998). Os custos de avaliação incluem mensuração, estimativa e auditoria de produtos para garantir conformidade com padrões de qualidade e desempenho. Inspeções de código-fonte, revisões, testes e atividades de auditoria são exemplos desses custos no âmbito do desenvolvimento de software (SLAUGHTER, KRASNER, 1998). Já os custos de não-conformidade, conforme Slaughter (1998), são compostos por todas as despesas decorrentes de falhas ocorridas durante a construção do produto e são divididos em custos por falhas internas e custos por falhas externas. As falhas internas são aquelas ocorridas antes da entrega do produto ao cliente e, normalmente, incluem custos de retrabalho com programação, re-inspeção e retestes. Falhas externas ocorrem quando o produto já está implantado no cliente. Os exemplos mais comuns ligados ao desenvolvimento são o suporte em campo ao cliente, manutenções e despesas com litígios. A figura 1 apresenta uma lista dos custos típicos por estas categorias identificados nos diversos estudos realizados na área. Classes Categorias Subcategorias Custos típicos Esforços para definir qualidade, objetivos de qualidade, padrões e limites. Análise de custo-benefício de ações de qualidade. Custos de Conformidade Custos de Nãoconformidade Custos de Prevenção Custos de Avaliação Custos de Falhas Internas Custos de Falhas Externas Esforços para prevenir baixa qualidade de produto ou melhorar a qualidade do processo. Esforços para descoberta do nível de nãoconformidades. Inspeções de qualidade periódicas. Problemas de qualidade detectados antes da entrega dos produtos. Problemas de qualidade detectados após a entrega dos produtos. Investimentos no desenvolvimento e atualização de procedimentos de trabalho. Reuniões de melhoria de qualidade. Definição de critérios de padrões de qualidade. Treinamentos em metodologias de projeto. Certificação de profissionais. Revisões de projetos de software. Testes. Avaliações de qualidade de software. Revisões de projeto. Auditorias de qualidade de produto. Medição e avaliação de conformidade e desempenho com relação a padrões de qualidade. Gerenciamento de defeitos pré-entrega. Retrabalho em desenvolvimento, testes e revisões. Investigação de reclamações e notificação de defeitos. Atualizações emergenciais e correções.. Figura 1 Custos típicos de acordo com o CoSQ (adaptado de KRASNER, 1998 e GALIN, 4) Krasner (1998) salienta também que conflitos podem surgir da forma como os custos devem ser categorizados e novamente afirma que o mais importante é a consistência. Seu exemplo é o custo de uma revisão ou inspeção que pode ser classificada tanto em prevenção quanto em avaliação. Embora seja uma questão de interpretação que depende de quando o produto é considerado pronto ou não, ele afirma que as inspeções são realizadas em partes e por isso podem ser incorporadas ao processo produtivo, o que as tornaria prevenção. Por fim, Krasner (1998) destaca ainda que existe uma relação inversa entre os custos para se atingir a qualidade (custos de conformidade) e os custos em função da falta de 5

6 qualidade (custos de não-conformidade). Na medida em que o investimento para alcançar qualidade aumenta, o custo ocasionado por falta de qualidade diminui. Desta forma, este estudo buscou investigar esta relação, respondendo se a adoção de um modelo de melhoria de processo, ao contribuir para aumentar a qualidade dos produtos de software criados (o que aumenta os custos de conformidade), reduz os custos de não-conformidade de maneira a gerar maior rentabilidade nos projetos. METODOLOGIA Esta pesquisa é de natureza quantitativa e exploratória e o método utilizado foi o estudo de caso. Segundo GIL (9, p54) o estudo de caso pode ser definido como um estudo profundo e exaustivo de um ou poucos objetos, de maneira que permita seu amplo e detalhado conhecimento. O estudo de caso também é descrito por YIN (5, p.32) como uma investigação empírica de um fenômeno contemporâneo dentro de seu contexto da vida real, especialmente quando os limites entre o fenômeno e o contexto não estão claramente definidos. Quanto ao tempo, o estudo pode ser classificado como longitudinal com coleta de dados referentes a dois momentos distintos do tempo. Foram obtidos dados de projetos ocorridos após a adoção do CMMI nível 2 e após a adoção do CMMI nível 3, detalhados a seguir. POPULAÇÃO E AMOSTRA A população é representada por 16 projetos de desenvolvimento e manutenção executados e finalizados pela empresa entre janeiro de 5 e agosto de 1, compreendendo cinco anos de trabalhos. Neste período a empresa foi submetida a duas avaliações para certificação aos níveis 2 e 3 do modelo CMMI. A primeira ocorrida em janeiro de 6 para obtenção do nível 2 e a segunda ocorrida em fevereiro de 9 para obtenção do nível 3. Desta forma, os projetos desenvolvidos entre janeiro de 6 e janeiro de 9 foram classificados como CMMI nível 2 e os projetos desenvolvidos após fevereiro de 9 foram classificados como CMMI nível 3. Para realizar o estudo foi selecionado um conjunto de 32 projetos que compõem a amostra, correspondendo a % dos projetos realizados. Destes 32 projetos, 55% deles são projetos de CMMI nível 2 e 45% de CMMI nível 3. O conjunto foi definido com base na disponibilidade de dados categorizados que tornaram possível a comparação de métricas para identificação dos custos e avaliação dos resultados no âmbito da qualidade. Embora, tenham sido criadas versões de processo durante o período estudado, todos os projetos foram executados sobre o mesmo processo base que foi evoluindo ao longo do tempo. Além disso, foram construídos utilizando tecnologia semelhante e por equipes compostas de forma similar. Os projetos foram classificados por tamanho e por tipo (projetos de desenvolvimento ou de manutenção). Projetos até 4 horas são considerados muito pequenos, entre 41 e 3 horas são projetos pequenos, entre 31 e 5 são projetos médios, entre 51 e 15 projetos grandes e acima de 15 são projetos muito grandes. A composição da amostra manteve proporção similar entre os dois critérios de classificação tanto para projetos de CMMI nível 2 quanto para projetos de CMMI nível 3 (Figuras 2 e 3). 6

7 CMMI 2 Manutenção CMMI 3 Manutenção 67% 16% 17% Muito Pequeno Pequeno Médio 5% 25% 25% Muito Pequeno Pequeno Médio Figura 2 Perfil por tamanho dos projetos CMMI 2 e CMMI 3 Projetos de Manutenção Figura 3 Perfil por tamanho dos projetos CMMI 2 e CMMI 3 Projetos de Desenvolvimento COLETA DE DADOS A coleta de dados utilizou a técnica de pesquisa documental e foi realizada sobre relatórios de esforço extraídos das bases de dados históricos dos projetos. Embora razoavelmente estruturados, em decorrência das exigências de qualidade internas da empresa, os dados de esforço dos projetos não foram categorizados ao longo do tempo exatamente de acordo com o modelo de CoSQ apresentado neste estudo. Assim sendo, inicialmente foram mapeadas as categorias originais de esforço e estabelecida a relação destas categorias com as categorias propostas pelo modelo CoSQ (Figura 4). Algumas categorias, correspondentes ao esforço direto na atividade de produção de software não foram mapeadas ao modelo e estão sinalizadas como não aplicável (). Categorias Originais de Esforço da Empresa Custos de Qualidade Categoria Subcategoria Descrição Classes Categorias Comercial Gestão CMMI 2 Desenvolvimento % 3% 1% 3% 1% Muito Pequeno Pequeno Médio Grande Muito Grande CMMI 3 Desenvolvimento Estimativas Determinação de esforço para construção do projeto. Elaboração de Proposta comercial e Proposta precificação do projeto. Comunicação Gestão de comunicação Conformidade Prevenção Gerenciamento Gestão de pessoas, clientes, fornecedores... Conformidade Prevenção Planejamento Planejamento de atividades, manutenção de cronogramas... Conformidade Prevenção Reuniões Reuniões de esclarecimento, Conformidade Prevenção 11% 33% 11% 34% 11% Muito Pequeno Pequeno Médio Grande Muito Grande 7

8 Projeto Programação Testes Revisões Retrabalho Implantação Formação homologação e aceite de funcionalidades e de equipe. Monitoramento e Coleta de métricas, atividades Controle de acompanhamento. Conformidade Prevenção Levantamento de necessidades Análise de funcionais e não-funcionais do Requisitos sistema. Gestão de requisitos. Avaliação alternativas de Análise de desenvolvimento e demais Impacto aspectos relevantes relacionados com a solução. Projeto de Projeto de componentes de Software software, provas de conceito... Codificação Atividades de programação, construção do código-fonte. Especificação Criação de casos de teste. Conformidade Avaliação Gestão Gestão dos testes. Conformidade Avaliação Execução Execução dos testes. Conformidade Avaliação Revisão de Testes Revisão dos cenários de teste. Conformidade Prevenção Atividades de revisão de Revisão Técnica código, peer review, Conformidade Prevenção homologação de padrões. Correção de Defeitos Formação de suporte Estabilização Documentação Treinamento Implantação Capacitação de Equipe Correção de defeito em código-fonte e documentação de projeto. Correção de erros ou pendências no produto. Treinamento de equipe para manutenção dos sistemas em fase de transição e estabilização. Acompanhamento do produto pós entrega. Documentação de estrutura lógica e física do projeto. Treinamento de usuários finais e de suporte. Atividades de instalação e configuração do sistema. Treinamento de equipe em tecnologia específica ou metodologia. Nãoconformidade Conformidade Correção de nãoconformidades Nãoconformidade Nãoconformidade Conformidade Conformidade Conformidade Falha Interna Falha Interna Prevenção Falha Externa Prevenção Prevenção Prevenção Figura 4 Categorias de Esforço da Empresa x Modelo Uma vez que as categorias de custos originais foram identificadas e alinhadas às categorias propostas pelo modelo CoSQ, definiu-se qual a abordagem a ser adotada para o cálculo do custo da qualidade de software. Existem algumas abordagens possíveis para demonstrar o CoSQ em uma empresa e o tipo de informação disponível influência diretamente na escolha da mais adequada. A abordagem adotada nesta pesquisa apresenta os custos de qualidade como percentual sobre o custo total de desenvolvimento, mesma abordagem de grande parte dos estudos na área (KRASNER, 1998; GALIN, 4). 8

9 RESULTADOS Este capítulo apresenta os resultados do estudo através de análises que exploram a representatividade do custo de qualidade de forma global, por porte e tipo dos projetos. EVOLUÇÃO GLOBAL DOS CUSTOS DE QUALIDADE Considerada a totalidade da amostra obtida os dados consolidados revelaram redução do Custo Total de Qualidade da empresa estudada. Foi verificada pequena diminuição percentual de 1,8% entre os períodos avaliados no estudo. Embora tenha se observado redução de 9% nos custos de não-conformidade, o resultado foi afetado por um incremento de 7,2% nos custos de conformidade (Figura 5). % do Custo de Desenvolvimento ,6 33,4 Custos de Qualidade Geral 26,2 17,2 59,6 57,8 Figura 5 Custos de Qualidade consolidados. Ainda que seja difícil comprovar, em virtude das inúmeras variáveis envolvidas em projetos de software, é bastante provável que este incremento tenha sido influenciado pela implantação de 11 novas áreas-chave de processo, exigidas pelo CMMI nível 3, as quais estão fortemente relacionadas aos custos de prevenção e avaliação como Verificação, Validação e Treinamento Organizacional. A decomposição dos custos nas sub-categorias das categorias Conformidade e Não-conformidade contribui para sustentar este resultados, mostrando que os custos de prevenção e avaliação sofreram incremento de cerca de 5% e 2,5% respectivamente. Já os custos com falhas internas e externas tiveram redução em torno de 3% e 6% (Figura 6). % do Custo de Desenvolvimento Custos de Qualidade por Categoria 23,8 19, 16,8 14,5 Prevenção Avaliação Falhas Internas Categorias de Custos 14,1 12,1 9, 8,3 Falhas Externas Figura 6 Custos de Qualidade por categoria. 9

10 Assim, observa-se que embora tenham reduzido em comparação ao período anterior, os custos de não-conformidade somados ainda representam quase 18% do custo de desenvolvimento dos projetos em geral. Patamar dentro do padrão para projetos CMM conforme os estudos de Knox (1993 APUD KRASNER, 1998) que apontam para um valor em torno de 35% no nível 3 do modelo. No entanto, os custos de conformidade ultrapassam os 4% valor acima dos cerca de % apresentados pelo mesmo estudo. Infelizmente não existem estudos ou modelos teóricos mais recentes que permitam aproximar melhor os resultados obtidos, mas isto permite pelo menos concluir que os investimentos ou custos com atividades de qualidade na empresa estudada superam os valores previstos em teoria. Esse investimento pode não ter sido totalmente revertido na qualidade dos produtos e isso normalmente caracteriza o investimento excessivo ou superinvestimento. O CUSTO DE QUALIDADE POR TIPO DE PROJETO Quando observadas as variações dos custos segmentadas por tipo de projeto é possível perceber que no geral os ganhos foram maiores para os projetos de Manutenção, onde se pode perceber redução de quase 3% no Custo Total de Qualidade (Figura 7). Observa-se também que o custo total manteve-se praticamente no mesmo patamar do custo total geral. % do Custo de Desenvolvimento Custos de Qualidade Manutenção 41,5 36,7 25, 16,8 61,6 58,3 Figura 7 Custos de Qualidade Projetos de Manutenção Já nos projetos de Desenvolvimento o mesmo resultado não pode ser observado. O Custo Total manteve-se praticamente estável e a redução percentual foi pouco perceptível conforme ilustra a Figura 8. A diferença está na influência maior dos custos de conformidade: nos projetos de Manutenção tiveram aumento de pouco menos de 5% enquanto os projetos de Desenvolvimento tiveram aumento de mais de 9% nos mesmos custos. Uma possível explicação para essa diferença está no porte dos projetos, visto que os projetos de manutenção variam de muito pequenos até médios e os projetos de desenvolvimento podem variar de muito pequenos até muito grandes e estes últimos normalmente utilizam um número maior de processos de gestão que influenciam os custos médios de conformidade para cima. Nos projetos menores normalmente são realizadas sessões de tailoring para adequar o processo aos projetos. O tailoring consiste na remoção ou adequação de processos o que normalmente reduz o nível de exigência nos projetos e consequentemente os custos de conformidade. 1

11 % do Custo de Desenvolvimento Custos de Qualidade Desenvolvimento 57,6 57,3 39,6 3,2 27,4 17,7 Figura 8 Custos de Qualidade Projetos de Desenvolvimento O CUSTO DE QUALIDADE POR PORTE DE PROJETO A análise segmentada por porte mostra que o processo em utilização na empresa estudada favorece projetos de grande porte. Conforme apresentado nos itens a seguir, foi possível perceber reduções significativas dos custos na medida em que os projetos aumentam de tamanho. Projetos Muito Pequenos Nos projetos de porte muito pequeno foram observados os maiores custos de qualidade total do estudo, tanto em projetos de Manutenção quanto em projetos de Desenvolvimento. Os valores encontrados foram superiores a 7%, conforme ilustrado pelas figuras 9 e 1, bastante acima dos 57,8% da média geral. Nos projetos de desenvolvimento pode ser observado que, mesmo pequeno, houve aumento do custo total de qualidade. Em ambos os casos boa parte deste aumento é oriunda dos custos de conformidade que também estão entre os maiores encontrados no estudo. % do Custo de Desenvolvimento CoSQ Muito Pequenos / Manutenção 46,8 53,1 28,2 Figura 9 Custos de Qualidade Projetos de Manutenção Muito Pequenos,1 75, 73,2 11

12 % do Custo de Desenvolvimento CoSQ Muito Pequenos / Desenvolvimento 69,1 7,8 44,8 36,8 32,3 26, Figura 1 Custos de Qualidade Projetos de Desenvolvimento Muito Pequenos Os fatores prováveis para esta diferença com relação à média podem estar relacionados ao tailoring mal executado do processo de desenvolvimento ou ainda ao próprio processo que pode estar mal dimensionado para este porte de projetos. Isto pode ser inferido a partir das análises apresentadas mais a frente, pois se observou que no geral, independentemente do seu tipo, os custos tendem a diminuir percentualmente na medida em que o porte dos projetos aumenta, o que pode induzir a idéia de que o processo está mais adequado para projetos de maior porte. Projetos Pequenos e Médios Os projetos pequenos apresentaram redução gradual dos custos de não-conformidade conforme ilustram as figuras 11 e 12, acompanhando a média encontrada nos custos de manutenção por tipo de projeto. Os projetos de manutenção pequenos tiveram aumento percentual de 2,3% no custo total de qualidade, mesmo com o custo de conformidade tendo aumentado menos em comparação com os projetos menores, o que se explica pelo maior aumento nos custos de conformidade. Já os projetos de desenvolvimento pequenos, o custo total de qualidade teve umapequena redução percentual de,8%, mesmo com aumento de mais de 12% dos custos de conformidade. CoSQ Pequenos / Manutenção % do Custo de Desenvolvimento ,5 67,8 44,7 35,4 3,1 23,1 Figura 11 Custos de Qualidade Projetos de Manutenção Pequenos 12

13 % do Custo de Desenvolvimento CoSQ Pequenos / Desenvolvimento 63,8 63, 5,2 37,4 26,3 12,8 Figura 12 Custos de Qualidade Projetos de Desenvolvimento Pequenos Nos projetos de porte médio foi possível perceber que a tendência de redução de todas as classes de custos se manteve. Tanto os projetos de manutenção quanto os de desenvolvimento tiveram aumento dos custos de conformidade e redução dos custos de nãoconformidade que proporcionaram redução no custo total de qualidade conforme apresentam as figuras 13 e 14. CoSQ Médios / Manutenção % do Custo de Desenvolvimento , 46, 32,2 34,1,8 11,9 Figura 13 Custos de Qualidade Projetos de Manutenção Médios 13

14 % do Custo de Desenvolvimento CoSQ Médios / Desenvolvimento 59, 54,7 37,9 3,4 28,6 16,8 Figura 14 Custos de Qualidade Projetos de Desenvolvimento Médios Projetos Grandes e Muito Grandes A redução dos custos de qualidade observada nos projetos de menor porte manteve-se nos projetos de grande porte e foram observadas reduções nos custos totais de qualidade de 1,3% nos projetos grandes e de 5,9% nos projetos muito grandes (Figura 15 e 16).Foi possível observar que o comportamento dos custos de conformidade e de não-conformidade apresentou tendência à estabilidade quando comparados entre si os dois portes de projetos. Assim, embora esta análise isoladamente não seja suficiente para confirmar uma hipótese, poderia se considerar que os custos mínimos de qualidade da empresa, neste momento, estão situados na faixa entre 36% e 38% para os custos de conformidade e por volta de 17% para os custos de não-conformidade. Estes seriam os níveis mínimos de gastos em qualidade com que os projetos da empresa são produzidos hoje e são os valores que poderiam ser utilizados para apurar progressos em futuros projetos de melhoria de processo. % do Custo de Desenvolvimento CoSQ Grandes / Desenvolvimento 54,8 53,5 36, 27,5 27,4 17,5 Figura 15 Custos de Qualidade Projetos de Desenvolvimento Grandes 14

15 % do Custo de Desenvolvimento CoSQ Muito Grandes / Desenvolvimento 5,6 44,7 31,6 26,9 23,7 13,1 Figura 16 Custos de Qualidade Projetos de Desenvolvimento Muito Grandes CONSIDERAÇÕES FIIS Como na maioria dos trabalhos existentes na área de qualificação de custos, este trabalho evidenciou a dificuldade existente nas organizações em registrar, manter e analisar com regularidade os dados oriundos dos projetos. Qualificar e categorizar os custos não são tarefas simples e um processo de acompanhamento eficiente requer disciplina e sistemática para que os resultados apurados realmente representem uma visão da realidade e possam ser utilizados para direcionar os investimentos em qualidade. Durante o período de apuração dos dados para o estudo foi possível perceber que ainda existem muitos problemas na correta identificação e registro das atividades que são fundamentais para tradução do esforço e custos dos projetos. Muitos projetos possuíam dados incompletos e grandes distorções no registro de informações. Com relação ao CMMI, foi possível perceber que os projetos de menor porte poderiam se beneficiar de abordagens ágeis de processo. Comprovadamente orientado para projetos grandes e complexos, o CMMI onera bastante os projetos pequenos e de curta duração. Algumas iniciativas no formato de projetos piloto já experimentam abordagens alternativas ao processo formal da empresa, mas ainda não existe uma versão final contemplando o resultado destas experiências. Os resultados sugerem que nos projetos de menor porte os custos ainda se mantém muito acima do que seria razoável e em alguns casos chegam a quase 8% do total do projeto. No levantamento observou-se que os custos de qualidade variam muito de acordo com o porte dos projetos. Hoje, poderia se afirmar que o processo está ajustado para os projetos de grande porte, vista a melhor relação entre os custos destes projetos nas comparações realizadas. Assim mesmo, foi possível perceber resultados positivos que demonstram melhoria dos custos de não-conformidade de forma geral. Outro aspecto a ser destacado é a boa institucionalização do processo na empresa, que permitiu a obtenção da amostra utilizada no estudo. Trabalhos futuros poderiam explorar a segmentação mais detalhada dos dados categorizados bem como ampliar o número de métricas adotadas para suportar a tomada de decisão. Informações como as estatísticas de defeitos e outras métricas de desenvolvimento poderiam ser combinadas a estas análises permitindo a empresa compreender melhor os resultados de seus esforços diretamente com base em seus produtos. 15

16 Outro ponto importante a ser destacado, com relação aos dados sobre custos de qualidade, foi a ausência de ações estruturadas para utilização desta informação. Não foi possível identificar qualquer iniciativa semelhante à proposta neste estudo dentro da empresa. Desta forma, uma das principais contribuições deste estudo é auxiliar no direcionamento nos investimentos realizados em qualidade pela empresa. Iniciativas de acompanhamento são fundamentais para que as empresas possam calibrar o mais rápido possível seus esforços em atividades de prevenção e avaliação na medida em que a qualidade aumenta. Isto contribui para reduzir os custos de qualidade e evitar o investimento excessivo em áreas já consolidadas do processo de desenvolvimento. Assim, o gasto em qualidade de software deve ser considerado sempre uma forma de investimento. E como qualquer investimento, precisa ser acompanhado para obtenção de melhores resultados. Não existem limites para investir na melhoria de processos de software, por isso é importante observar que todo o custo associado à criação de um produto com qualidade acaba sendo transferido ao custo pago pelos clientes. No universo competitivo atual a habilidade e a velocidade com que as empresas ajustam seus esforços certamente determinam maiores ou menores custos produtivos e isso define o sucesso das iniciativas adotadas neste sentido. REFERÊNCIAS BIBLIOGRÁFICAS AHERN, Dennis M. et al. CMMI Distilled: A Practical Introduction to Integrated Process Improvement. Boston-USA: Addison Wesley Professional, 4. CHRISSIS, Mary Beth et al. CMMI: Guidelines for Process Integration and Product Improvement. Boston-USA: Addison Wesley Professional, 3. DOBBINGS, James H. The Cost of Software Quality. In: SCHULMEYER, G. Gordon; McMANUS, James I. Handbook of Software Quality Assurance. New Jersey-USA: Prentice Hall, p. ( ). GALIN, Daniel. Toward an Inclusive Model for the Costs of Software Quality. Software Quality Professional. v.6, n.4, p set. 4. GIL, Antonio Carlos. Como Elaborar Projetos de Pesquisa. São Paulo: Atlas, 9. GUERRA, Ana Cervigni; COLOMBO, Regina M. Thienne. Tecnologia da Informação: Qualidade de Produto de Software. Brasília: PBQP Software, 9. KASSE, Tim. Practical Insight into CMMI. Norwood-USA: Artech House, 8. KRASNER, Herb. Using the Cost of Quality Approach for Software. CrossTalk: The War on Bugs. v.11, n.11, p nov SLAUGHTER, Sandra A. et al. Evaluating the Cost of Software Quality. Communications of the ACM. v.41, n.8, p.67-73, ago SOMMERVILLE, Ian. Engenharia de Software. São Paulo: Addison Wesley, 3. YIN, Robert K. Estudo de Caso: Planejamento e Métodos. Porto Alegre: Bookman, 5. 16