MANGUE Métricas e Ferramentas para Avaliação Automática da Qualidade de Código-Fonte Paulo R. M. Meirelles IME-USP

Transcrição

1 Métricas e Ferramentas para Avaliação Automática da Qualidade de Código-Fonte Paulo R. M. Meirelles IME-USP 01 de Junho de 2009 WTDQS-SBQS Ouro Preto-MG, Brasil 1

2 Projeto de Doutorado Ciência da Computação no IME-USP - Projeto do CCSL-USP - Contexto do Projeto Qualipso Orientador: Prof. Dr. Fabio Kon Início: 03/2008 Qualificação: Previsão de Conclusão: Bolsa: CNPQ desde 08/2008 2

3 Motivação MANGUE Crescente aumento do uso e desenvolvimento do FLOSS (Freely-Licensed Open Source Software) 3

4 Motivação Comunidades FLOSS -... de todos os tipos e níveis MANGUE 4

5 Motivação MANGUE Ecossistema do FLOSS - Quantidade de FLOSS disponíveis - SourceForge em 2007/2008:» projetos» usuários e desenvolvedores cadastrados - 1% de Sucesso?» Se aumentarmos para 10%... - UE: 80% do $ em serviços - Estratégico para UE (e Brasil?) 5

6 Motivação Como convencer a usar /escolher um determinadado software? 6

7 Motivação Como convencer a usar /escolher um determinadado software? 7

8 Problema Avaliar rapidamente programas e códigos de terceiros - Semelhante quando surgiu o Outsourcing Falta de critérios objetivos para avaliar a confiabilidade do FLOSS 8

9 Questões a serem respondidas Como é possível medir a qualidade de produtos de software para ajudar na escolha de um deles? Que características são relevantes para avaliação de um FLOSS? Quais são as métricas de qualidade de um FLOSS? 9

10 Questões a serem respondidas Quais métricas são apropriadas para avaliação de código-fonte de um FLOSS? Como comparar FLOSS similares? Como automatizar a avaliação da qualidade e o que pode ser automático? Como verificar a eficiência das métricas e da automação da avaliação? 10

11 Objetivo Mais problemas Metodologia Pesquisa de campo Agenda Projetos relacionados 1ª Ferramenta do Mangue: Crab 11

12 Objetivo Composição de métricas - Combinação de métricas podem representar uma característica significativa do software Definir novas métricas 12

13 Objetivo Desenvolver uma ferramenta de avaliação automática da qualidade de código-fonte - métricas combinadas e configuradas por especialistas - análise automática de características como flexibilidade, clareza, modularidade e manutenibilidade do software Adaptar à ferramentas existentes 13

14 Objetivo Aumento da qualidade do FLOSS Facilitar a comparação entre FLOSS Aumento da adoção de FLOSS pela indústria de software 14

15 Mais problemas Código-Fonte é o principal artefato do FLOSS - Metodologias e métricas baseada na documentação do processo do software não se aplicada 15

16 Mais problemas Métricas existem há decadas... - In the past, most metrics have been defined by an individual and then tested and used only in a very limited environment (...). Currently, useful metrics and models cannot be pulled off the shelf and used indiscriminately, careful application of available metrics and models can yield to useful results if they are tuned to a particular environment (...) [SEI, 1988]. 16

17 Mais problemas Ferramentas de Métricas... MANGUE 17

18 Metodologia Análise estatística - Correlação significativa de métricas X características com a qualidade do FLOSS Experimentos controlados - Ferramentas existentes - Novas ferramentas 18

19 Metodologia Levantamento do estado-da-arte em métricas de software Estudo das métricas e metodologias usadas em outros projetos e ferramentas Coleta de opinião especialistas em FLOSS e métodos ágeis Pesquisa de campo com especialista em desenvolvimento de software - GQM: Qualipso Europa 19

20 20 MANGUE Pesquisa com Especialistas Questionário com 123 perguntas - 9 pessoais - 28 profissionais métricas e características listadas - Dividido em 16 grupos» Código-fonte(24), Testes(11), Comunidade(12), Manutenibilidade(11), Interoperabilidade(3), Portabilidade(2), Usabilidade(5), Ferramentas(4), Independência(2), Confiança(6), Funcionalidades(5), Satisfação(4), Documentação(6), Suporte(4), Treinamento(4), Canais de distribuição e licenças(2) - Notas: 1-Irrelevante Essencial

21 Pesquisa com Especialistas 38 entrevistados -...de 80 convidados por - 8 gerentes - 13 lideres de projetos FLOSS - 22 com mais de 10 anos de experiência - 16 com menos de 10 anos de experiência - 11 Mestrado e Doutorado 21

22 Pesquisa Download do códigofonte e binários 22

23 Pesquisa Uso de padrões da indústria e protocolos bem disseminados 23

24 Pesquisa Módulo para configurações 24

25 Pesquisa 25 Scripts para configuração do processo de build

26 Pesquisa com Especialistas Análise estatística: Código-Fonte Módulo para configurações (não espalhados pelo código) 26

27 Pesquisa com Especialistas Análise estatística: Código-Fonte Separação em Módulos 27

28 Pesquisa com Especialistas Análise estatística: Código-Fonte Existência de comentários no código (cobertura e distribuição no código) 28

29 Pesquisa com Especialistas Análise estatística: Código-Fonte Uso de bons nomes para classes, métodos, variáveis 29

30 Pesquisa com Especialistas Análise estatística: Código-Fonte Padrões de nomenclatura usados uniformemente 30

31 Pesquisa com Especialistas Análise estatística: Código-Fonte Cobertura dos testes 31

32 Pesquisa com Especialistas Análise estatística: Código-Fonte Sem duplicação de Código 32

33 Pesquisa com Especialistas Análise estatística: Código-Fonte Nível de coesão entre módulos/ classes do sistema 33

34 Pesquisa com Especialistas Análise estatística: Código-Fonte Nível de acoplamento 34

35 Pesquisa com Especialistas Análise estatística: Código-Fonte Estruturas de dados utilizadas 35

36 Pesquisa com Especialistas Análise estatística: Código-Fonte Estilo uniforme de indentação 36

37 Pesquisa com Especialistas Análise estatística: Código-Fonte Número de testes por método ou função 37

38 Pesquisa com Especialistas Análise estatística: Código-Fonte Número de testes por linha de código 38

39 Pesquisa com Especialistas Análise estatística: Código-Fonte Número de linhas em cada método 39

40 Pesquisa com Especialistas Análise estatística: Código-Fonte Número de métodos em cada classe 40

41 Pesquisa com Especialistas Análise estatística: Código-Fonte Número de linhas de testes 41

42 Pesquisa com Especialistas Análise estatística: Código-Fonte Número de linhas em cada classe 42

43 Pesquisa com Especialistas Análise estatística: Código-Fonte Número de atributos em cada classe 43

44 Pesquisa com Especialistas Análise estatística: Código-Fonte Número de colunas por linha não muito grande 44

45 Pesquisa com Especialistas Análise estatística: Código-Fonte Complexidade Ciclomática 45

46 Pesquisa com Especialistas Análise estatística: Código-Fonte 46 Número de variáveis locais em cada método

47 Pesquisa com Especialistas Análise estatística: Código-Fonte Número de métodos ou funções 47

48 Pesquisa com Especialistas Análise estatística: Código-Fonte 48 Número de classes (ou arquivos ou módulos)

49 Pesquisa com Especialistas Análise estatística: Código-Fonte Número total de linhas de código 49

50 Aquele problema Ferramentas de Métricas... MANGUE 50

51 Pesquisa com Especialistas Análise estatística: Testes Existência de testes automatizados 51

52 Pesquisa com Especialistas Análise estatística: Testes Existência de testes de desempenho (benchmarks) 52

53 Pesquisa com Especialistas Análise estatística: Testes Estudo sobre o consumo de recursos (disco, memória...) 53

54 Pesquisa com Especialistas Análise estatística: Testes Relatos dos experimentos de desempenho 54

55 Pesquisa com Especialistas Análise estatística: Testes Testabilidade do código (facilidade de escrever testes) 55

56 Pesquisa com Especialistas Análise estatística: Testes Uso de um arcabouço de testes 56

57 Pesquisa com Especialistas Análise estatística: Testes Tipos de teste disponíveis 57

58 Pesquisa com Especialistas Análise estatística: Testes Estudo sistemático sobre o tempo de resposta 58

59 Pesquisa com Especialistas Análise estatística: Testes Publicação dos resultados dos testes 59

60 Pesquisa com Especialistas Análise estatística: Testes 60 Existência de um subgrupo (comunidade ou pessoa) especializado em testes

61 Pesquisa com Especialistas Análise estatística: Testes Testes de mutação 61

62 Outros projetos - FlossMetrics - Ohloh - Qualoss - QSOS - SQO-OSS - Fossology - ETICS Mais focados em metodologias - Avaliações subjetivas 62

63 Ferramenta: Crab (caranguejo) Módulo de Configuração e Interpretação de Métricas de Software - Independente para ferramentas de métricas Java - JaBUTi, Metrics, CheckStyle... - Carrega métricas de uma ferramenta - Define intervalos e categoria de cada métrica - Definição de nota e classificação de cada intervalo - Resultado geral do programa analisado - Nota final da avaliação - Detalhamento por classe 63

64 64 CRAB

65 65 CRAB

66 66 CRAB

67 67 CRAB

68 68 CRAB

69 69 CRAB

70 Resultados Parciais Monografia - Relatório técnico do IME-USP Pesquisa com especialistas - Análise estatística - Delimitação do escopo do projeto Versão 0.1 da Ferramenta Crab - Acoplada à JaBUTi 70

71 Links svn://ccsl.ime.usp.br/jabutimetrics - /trunk/jabutimetrics - Sob GPL - Posteriormente em FreeBSD 71

72 Discussão!? 72

73 Agradecimentos IME-USP CCSL-USP Qualipso CNPQ 73

74 Contato Paulo Meirelles Centro de Competência em Software Livre da USP 74