Universidade Federal do Espírito Santo Centro Tecnológico Departamento de Informática Programa de Pós-Graduação em Informática

Transcrição

1 Universidade Federal do Espírito Santo Centro Tecnológico Departamento de Informática Programa de Pós-Graduação em Informática Disciplina: INF58 Prof.: Conteúdo 4. Medição de Software 4.1 Introdução de Software 4.3 Medição de Software e a Alta Maturidade 4.4 Controle Estatístico de Processos 4.5 Padrões de Medição de Software Artigos 1

2 4.1 Introdução Medição de software é uma avaliação quantitativa de qualquer aspecto dos processos e produtos da, que permite seu melhor entendimento e, com isso, auxilia o planejamento, controle e melhoria do que se produz e de como é produzido (BASS et al., 1999). O elemento básico da medição, que propicia a análise quantitativa, são as medidas. Elas caracterizam, em termos quantitativos, alguma propriedade de um objeto da Engenharia de Software (BASILI e ROMBACH, 1994). Provê informação útil para que as organizações tomem decisões que impactam em seus objetivos de negócios. A medição de software é um dos principais pilares da melhoria de processos de software. 4.1 Introdução Histórico Começou a ser praticada na década de 7: apenas para medir o número de linhas de código dos programas produzidos. Na década de 8, outras medidas relacionadas às fases finais do desenvolvimento começaram a ser utilizadas. Porém os objetivos da realização da medição nas organizações não eram explícitos ou, se eram, não eram compreensíveis aos seus membros, resultando em medições inúteis não alinhadas às necessidades das organizações ou dos projetos. Nos anos 9, impulsionados por algumas aplicações bem sucedidas, foram desenvolvidos modelos para o processo de medição baseados na melhoria de processos e nos princípios da qualidade total. Atualmente, é um dos temas mais importantes na. No passado: medição = mais uma coisa a ser feita. Hoje: prática básica da (nível 2 CMMI e nível F do MPS.BR) 2

3 4.1 Introdução Conceitos Básicos Medida Atributo Entidade Quantificação de atributos de entidades. Pode ser medida base (ex.: prazo estimado para o projeto*, prazo real do projeto) ou medida derivada (ex.: aderência ao prazo do projeto, dada pela razão entre o prazo real do projeto e o prazo estimado para o projeto) Propriedade de uma entidade que pode ser quantificada. A medida prazo estimado para o projeto quantifica o atributo tempo. Outros exemplos: tamanho, custo, esforço etc. Entidade que pode ser caracterizada pela quantificação de seus atributos. A medida prazo estimado para o projeto quantifica o atributo tempo de uma entidade projeto. Outros exemplos: projeto, artefato, processo, mó dulo etc. Nota: Tipo de Entidade * prazo estimado para o projeto poderia ser uma medida derivada, se fosse obtida pela multiplicação do número de pontos de função do projeto pelo tempo para desenvolver um ponto de função. 4.1 Introdução Conceitos Básicos Medida Unidade de Medida Escala É expressa por meio de unidade de medida. Possui uma escala, que indica os valores que podem ser atribuídos à medida. A medida prazo estimado para o projeto poderia ser expressa em horas. A medida aderência ao prazo do projeto não possui unidade de medida. Outros exemplos: horas, defeitos, pessoa/hora, pontos de função etc. A medida prazo estimado para o projeto possui uma escala do tipo Absoluta que é composta pelos números reais positivos. Outros tipos de escala: intervalar, taxa, nominal e ordinal. 3

4 4.1 Introdução Conceitos Básicos Medida É medida utilizando-se um procedimento de medição, que descreve como a coleta da medida deve ser realizada. É analisada usando-se um procedimento de análise, que descreve como os dados coletados para a medida devem ser representados e analisados. Procedimento de Medição A medida aderência ao prazo do projeto poderia ter como procedimento de medição: Aplicar a fórmula de cálculo de medida que determina a razão entre o prazo real do projeto e o prazo estimado para o projeto. Procedimento de Análise A medida aderência ao prazo do projeto poderia ter como procedimento de análise: Representar em histograma as taxas de aderência ao prazo dos projetos. Valores superiores a 1 indicam que o projeto levou mais tempo que o previsto, valores menores que 1 indicam que o projeto levou menos o que o previsto e valores iguais a1 indicam que o projeto levou exatamente o tempo que foi previsto. Analisar os valores medidos para os projetos e compará-los uns com os outros. Subagrupar os dados e representá-los em outros histogramas a fim de identificar e analisar: (i) as diferenças das taxas de acordo com as características dos projetos; (ii) as diferenças das taxas de acordo com a fase em que o projeto se encontra. 4.1 Introdução Conceitos Básicos Medição Análise de Medição Indicador Ato de medir, ou seja, de atribuir um valor a uma medida, executando seu procedimento de medição. Ex.: medição do prazo previsto para o projeto obtendo-se o valor 5. Ato de analisar os dados coletados para uma medida, executando seu procedimento de análise. Ex.: análise da aderência ao prazo do projeto, concluindo-se que os projetos que envolveram o uso de nova tecnologia apresentaram uma aderência 1% menor aos prazos previstos do que a média das aderências dos projetos que não utilizaram novas tecnologias. Medida utilizada para analisar o alcance a objetivos. Ex.: aderência ao prazo do projeto poderia ser um indicador para o objetivo melhorar a aderência dos projetos aos planos*. * Mais diretamente, poderia ser definido o indicador: % de melhoria da aderência ao prazo dos projetos. 4

5 4.1 Introdução Medição ao longo de um projeto Processo de Desenvolvimento Iniciação Planejamento Execução Encerramento Monitoração e Controle Estimativas iniciais Análise de Viabilidade Refinamento das estimativas Dados para Monitoração e Controle (produto, processo e projeto) Análise post-mortem Visão Geral do Processo de Medição objetivos da organização e dos projetos Planejar Medição melhorias no processo de medição novas necessidades de informação Plano de Medição medidas, dados e resultados da análise Realizar Medição resultados da medição Avaliar Medição 5

6 Visão Geral do Processo de Medição Envolve definir: Objetivos Necessidades de informação objetivos da Medidas organização e dos projetos Planejar Medição melhorias no processo de medição novas necessidades de informação Plano de Medição Envolve: Avaliar o processo de medidas, dados e resultados da análise Realizar Medição resultados da medição medição Envolve: Coleta dos dados Avaliar Medição Armazenamento dos dados Análise dos dados Visão Geral do Processo de Medição objetivos da organização e dos projetos Planejar Medição melhorias no processo de medição novas necessidades de informação Plano de Medição medidas, dados e resultados da análise Realizar Medição resultados da medição Avaliar Medição 6

7 a) Planejar Medição Os objetivos da organização são analisados e as necessidades de informação são identificadas. A partir daí, Plano de Medição as medidas necessárias para atender às necessidades de informação são definidas. Os resultados são registrados no Plano de Medição. É indispensável que a medição esteja alinhada com os objetivos de negócio da organização. Questões relacionadas ao planejamento da medição Como definir os objetivos adequadamente? o Abordagens como o GQM, GQIM, BSC, COBIT, podem ajudar. o Mas são suficientes? Como identificar as necessidades de informação realmente relevantes? o o Quem pode determinar isso? Como selecionar entre muitas? Deve-se selecionar? Quemedidas definir? Quantas? Como selecionar entre muitas? Deve-se selecionar? o Muitas medidas = + esforço, tempo e custo. o Poucas medidas = informações insuficientes Como definir satisfatoriamente as medidas? o Hávárias propostas (ISOs, IEEE, Kitchenham, Barcellos ). Qual usar? 7

8 GQM Goal Question Metric Para cada objetivo estabelecido, é possível determinar questões cujas respostas são fornecidas por medidas. Objetivo: Melhorar a aderência ao cronograma dos projetos. Questão: Qual a precisão das estimativas de tempo dos projetos? Questão: Quanto tempo está sendo utilizado em atividades que caracterizam retrabalho? Medida: Tempo estimado do projeto Medida: Tempo real do projeto Medida: Tempo utilizado em retrabalho Medida: Taxa de aderência ao tempo do projeto Medida: Taxa de tempo utilizado em retrabalho GQIM Goal Question Indicator Metric Para cada objetivo estabelecido, é possível determinar questões cujas respostas são fornecidas por indicadores obtidos a partir de medidas. Objetivo: Melhorar a aderência ao cronograma dos projetos. Questão: Qual a precisão das estimativas de tempo dos projetos? Questão: Quanto tempo está sendo utilizado em atividades que caracterizam retrabalho? Indicador: Taxa de aderência ao tempo do projeto Indicador: Taxa de tempo utilizado em retrabalho Medida: Tempo estimado do projeto Medida: Tempo real do projeto Medida: Tempo utilizado em retrabalho 8

9 Decompondo objetivos Para alinhar a medição com os objetivos da organização, estes podem ser utilizados como base para a definição de outros tipos de objetivos. Por exemplo, a partir de objetivos estratégicos, podem definidos objetivos de software que, por sua vez, podem originar objetivos de medição. Exemplo: Objetivo estratégico: Diminuir os custos da organização em 5%. Objetivo de software: Diminuir em 5% os custos com retrabalho nos projetos. Objetivo de medição: Diminuir a taxa de alteração dos requisitos. Necessidade de informação: Qual é a taxa dealteração derequisitos nos projetos? Medidas: número de requisitos do projeto, número de requisitos alterados no projeto, taxa de alteração de requisitos. Definindo medidas A definição operacional de uma medida deve conter todas as informações necessárias para que sua coleta possa ser realizada de forma consistente e para que sua análise seja realizada de modo a fornecer as informações necessárias. A definição operacional deve informar: nome, mnemônico, definição, entidade medida, propriedade medida, unidade de medida, tipo de escala, valores da escala, intervalo esperado dos dados (se possível), fórmulas (se aplicável), descrição detalhada e precisa dos procedimentos de medição e de análise de medição*, responsável pela medição, momento de medição, periodicidade de medição, responsável pela análise de medição, momento da análise da medição, periodicidade da análise da medição. * O procedimento de análise pode ser omitido em medidas base que não são analisadas isoladamente, ou seja, que apenas são analisadas quando compõem outras medidas. 9

10 Exemplo de definição operacional de medida Neste exemplo assume-se que a medida número de requisitos alterados é coletada e armazenada uma vez em cada ocorrência da atividade Avaliar Necessidade de Mudança de Requisitos, que é uma atividade na qual solicitações de mudança de requisitos são avaliadas e aprovadas ou não. A coleta da medida ocorre quando há aprovação de mudança de requisitos. Exemplo de definição operacional de medida (cont) Importante: a definição operacional de uma medida deve ser estabelecida considerando-se o objetivo ao qual se relaciona. 1

11 Visão Geral do Processo de Medição objetivos da organização e dos projetos Planejar Medição melhorias no processo de medição novas necessidades de informação Plano de Medição medidas, dados e resultados da análise Realizar Medição resultados da medição Avaliar Medição b) Realizar Medição Consiste na execução do Plano de Medição. Coleta São coletados dados (valores medidos) para as medidas. Os dados são validados e armazenados em um repositório de medidas. Análise Os dados coletados são analisados através de métodos analíticos (histogramas, gráficos de controle etc) e os resultados da análise são utilizados para apoiar a tomada de decisão. 11

12 Questões relacionadas à execução da medição Coleta Captura: Como capturar os dados apropriadamente e torná-los visíveis? Qualidade: Como garantir a qualidade dos dados? Armazenamento: Como armazenar e gerenciar os dados para a análise? Captura Usar coleta automática sempre que possível (ex.: SLOC) Muitas medidas serão coletadas manualmente (ex.: nº de defeitos detectados). Para diminuir a possibilidade de erros na coleta: Determinar um procedimento simples e claro para a coleta. Evitar registros desnecessários. Treinar as pessoas no procedimento de medição. Prover os resultados da análise dos dados coletados aos provedores originais, para que sejam utilizados em seu trabalho. Utilizar formulários que orientem e facilitem a medição. 12

13 Armazenamento dos dados A medição de software será tão boa quanto os dados forem coletados e analisados. Não se pode tomar boas decisões baseando-se em dados ruins. Características de um bom dado: Correto (foi coletado corretamente) Acurado (o valor obtido é o valor real) Completo (contém todas as informações necessárias a seus níveis de detalhe) Consistente (qualquer pessoa que o medisse obteria o mesmo resultado) Contextualizado (tempo e espaço do dado especificados) Alguns problemas possíveis Dados não capturados Valores errados capturados Erros nas ferramentas de gerência dos dados Então: deve ver feita validação de dados. Armazenamento arquitetura de armazenamento + instâncias = base de métricas (repositório de medidas) Pode ser: Base única Bases organizacionais e de projetos Bases diferentes geradas por sistemas diferentes (planilhas, editores, ferramentas de apoio,...) A forma como o armazenamento é realizado influencia diretamente na realização da coleta e processamento de dados. 13

14 Questões relacionadas à execução da medição Análise Quando realizar a análise e em que contexto (organização ou projeto)? Que grupo de dados considerar? Que métodos analíticos usar? Como analisar os dados? O que eles estão dizendo? Qual a razão das discrepâncias? Tipos de Análise O foco da análise muda ao longo do projeto. Assim, há três tipos diferentes de análise. Cada tipo de análise deve ser utilizado de acordo com as necessidades do projeto. A maioria dos projetos utiliza os 3 tipos. 14

15 número de unidades completadas nº defeitos/ksloc número de unidades completadas Nº de defeitos Analisando os dados coletados Para que os dados sejam analisados, deve ser seguido o procedimento de análise de medição da medida. O procedimento deve indicar o método analítico a ser utilizado e os critérios a serem considerados para se chegar a uma conclusão na análise. Os dados devem ser representados graficamente para a análise. Exemplos: variância Real x Planejado Comparação entre medidas em um mesmo gráfico semanas Planejado Real meses Registrados Resolvidos Representando os dados Exemplos de gráficos Gráficos em linha Gráficos de barras 9 8 Densidade de Defeitos Planejado Real,6,5,4, semanas,2,1 A B C D E Teste Gráficos dispersos 15

16 nº defeitos/ksloc Nº de defeitos número de defeitos Requisitos Análise Projeto Codificação número de defeitos número de defeitos número de defeitos Defeitos por fases em projetos 8 Comparação entre medidas em um mesmo gráfico 6 Análise e outras análises (desagregando dados) Um mesmo conjunto de dados coletados pode ser utilizado para apoiar várias análises. 4 2 Requisitos Análise Projeto Codificação fases Defeitos por fase - Projeto Número de defeitos em projetos 5 Requisitos Análise Projeto Codificação 4 fases Projeto Projeto 5 Projeto 4 Projeto 3 Projeto 2 Projeto 1 Projeto 1 Projeto 2 Projeto 3 Projeto 4 Projeto 5 Indicadores e outros indicadores Medidas base podem compor medidas derivadas diferentes e permitir análises diferentes Idade do Defeito semanas em aberto MEDIDAS DERIVADAS MEDIDAS BASE Número de defeitos registrados Idade do defeito Acumulado de defeitos registrados Status de defeitos meses Registrados Resolvidos Número de defeitos resolvidos Número de linhas de código Acumulado de defeitos resolvidos,6,5,4,3,2 Densidade de Defeitos Densidade de defeitos,1 A B C D E Teste 16

17 Modelo Integrado de Análise Representa relações entre categorias de informação, o que facilita a percepção dos impactos que uma categoria provocam em outras. Há modelos gerais (como o da figura) e as organizações podem definir ou refinar seus próprios modelos. Eficiência da Tecnologia Desempenho do Processo Tamanho e estabilidade do produto Recursos e Custos Cronograma e Progresso Satisfação do cliente Qualidade do produto Modelo Integrado de Análise (detalhado) Além das organizações poderem definir e refinar seus próprios modelos integrados, a partir de dados históricos elas podem quantificar as relações entre as medidas das categorias (modelos de desempenho). 17

18 pessoas-hora pessoas-hora Modelo Integrado de Análise (exemplo de uso) Aumento no tamanho do software Esforço maior que o planejado Qual deve ser a nova estimativa de esforço? Pelo Modelo de Análise Integrado, pode-se utilizar a relação entre tamanho e esforço para predizer o esforço adicional necessário Esforço Esforço estimado jan/1 jul/1 jan/2 Realizado Planejado meses KLOC Ainda sobre análise Nem sempre uma medida pode ser analisada isoladamente. Assim, é necessário identificar medidas correlatas e fazer uma análise conjunta. Exemplo: Tempo médio para 1 PF (em horas) - Projetos similares e em ordem cronológica P1 P2 P3 P4 P5 P6 P7 P8 P9 A produtividade parece ter melhorado : menos tempo para 1PF. 18

19 Mas. Tempo médio para 1 PF (em horas) - Projetos similares e em ordem cronológica P1 P2 P3 P4 P5 P6 P7 P8 P9 Nos projetos onde levou-se menos tempo para 1PF, foi necessário mais tempo com as manutenções. Ou seja, onde se levou menos tempo para desenvolver, levou-se mais tempo para consertar Tempo gasto com manutenção corretiva (em horas) P1 P2 P3 P4 P5 P6 P7 P8 P9 4.3 Medição de Software e a Alta Maturidade Atualmente, há diversos frameworks que apoiam a definição e institucionalização de programas de melhoria de processos como, por exemplo, o MR MPS.BR, o CMMI, a ISO/IEC 1554 e a ISO/IEC Em todos esses frameworks, a medição ocupa papel fundamental. Alguns desses frameworks propõem a implementação da melhoria de processos em níveis, nos quais a maturidade e a capacidade dos processos evoluem gradativamente. A medição de software fornece informações que são indispensáveis à melhoria dos processos e, para isso, deve atender a diferentes propósitos, dependendo do nível de maturidade em que é realizada. 19

20 4.3 Medição de Software e a Alta Maturidade Nos níveis iniciais de maturidade ( MPS.BR níveis F a C e CMMI níveis 2 e 3), é realizada a medição tradicional. A medição tradicional tem o propósito de apoiar a monitoração e o controle tradicionais dos processos e projetos. A monitoração e o controle tradicionais se baseiam na comparação entre valores planejados (estimativas) e valores realizados. Exemplo: Tempo estimado para a fase de Análise do projeto Tempo real da fase de Análise do projeto x 4.3 Medição de Software e a Alta Maturidade Nos níveis mais elevados de maturidade a medição tradicional não é suficiente. É necessário realizar o controle estatístico dos processos. Para realizar o controle estatístico de processos, alguns aspectos são acrescentados à medição tradicional. A medição em alta maturidade tem o propósito de apoiar a análise de desempenho dos processos, que busca conhecer o comportamento dos processos, determinar seu desempenho em execuções anteriores e, a partir daí, prever seu desempenho nos projetos correntes e futuros, verificando se são capazes de alcançar os objetivos para eles estabelecidos. Exemplo: Análise do comportamento do processo de Testes de Integração através da medida Taxa de detecção de defeitos no Teste de Integração. 2

21 4.3 Medição de Software e a Alta Maturidade O controle estatístico de processos não é novidade para a indústria em geral, mas sua utilização em processos de software é recente. Manufatura: processos fundamentalmente repetitivos, geralmente automatizados e a coleta dos dados muitas vezes é realizada automaticamente. Ainda há várias questões em aberto relacionadas à implementação do controle estatístico de processos em organizações de software, principalmente relacionadas à medição. 4.3 Medição de Software e a Alta Maturidade O Controle Estatístico de Processos foi originalmente proposto para a melhoria dos processos da área de manufatura. Sua aplicação na área de software envolve a utilização de dados coletados ao longo dos projetos para avaliar o comportamento dos processos e melhorar seu desempenho e capacidade. Projetos Dados coletados Dados coletados para o processo A Base de Medidas Dados coletados para o processo B O processo é estável? sim não O processo é capaz? É necessário remover as causas especiais de variação para estabilizar o processo. (se não) O processo sim pode ser melhorado continuamente. O processo deve ser alterado para se tornar capaz. 21

22 4. Medição de Software 4.4 Controle Estatístico de Processos 4.5 Padrões de Medição de Software (leitura e discussão de artigos) Referências BARCELLOS, M. P., 211, Material da disciplina, Universidade Federal do Espírito Santo, Vitória ES. BARCELLOS, M. P., 21, Material do curso Avaliação de Bases de Medidas para Controle Estatístico de Processos, Workshop de Medição, Workshop Anual do MPS.BR, Campinas SP. MCGARRY, J., CARD, D., JONES, C., LAYMAN, B., CLARK, E., DEAN, J. and HALL, F., 22, Practical Software Measurement: Objective Information for Decision Makers, Addison Wesley, Boston, USA. 22

23 Universidade Federal do Espírito Santo Centro Tecnológico Departamento de Informática Programa de Pós-Graduação em Informática Disciplina: INF58 Prof.: 23