Seminário - Two Case Studies of Open Source Software Development: Apache and Mozilla

Transcrição

1 Seminário - Two Case Studies of Open Source Software Development: Setembro de 2014 vagnercs@dcc.ufmg.br Departamento de Ciência da Computação ICEX/UFMG

2 Agenda

3 Sobre os autores 2 Audris Mockus: Professor do Departamento de Engenharia Elétrica e Ciência da Computação da Universidade de Tennessee. Roy T. Fielding: Um dos autores da especificação HTTP e co-fundador do projeto Apache. James D. Herbsleb: Professor da Faculdade de Ciência da Computação na Universidade Carnegie Mellon.

4 Qualidade dos OSS É inegável a qualidade de alguns Open Source Software (OSS): 3

5 Apache Market Share 4 Apache Market Share - 04/2014 [NETCRAFT, 2014] web-server-survey/

6 Firefox Market Share 5 Firefox Market Share - 06/2014 [STATCOUNTER, 2014]

7 Características do Desenvolvimento de OSS 6 O processo de desenvolvimento de OSS possui características próprias: Sistemas OSS são contruídos por um grande número de voluntários; O trabalho não é atribuído, o voluntário tem a possibilidade de escolher em que contribuir; Inexistência de desenho à nível de sistema, ou mesmo um desenho detalhado; Não existe plano, cronograma ou lista de entregáveis; Desenvolvimento geograficamento distribuído. Mecanismos de coordenação são importantes neste tipo de contexto. [Herbsleb and Grinter, 1999]

8 O Processo de Desenvolvimento de OSS 7 O processo de desenvolvimento de OSS é equivalente ou superior ao modo tradicional: Defeitos são localizados e resolvidos em menor tempo; "Linus s Law- [Raymond, 1999] O código é escrito com mais cuidado e criatividade, tendo em vista que o desenvolvedor trabalha somemte com aquilo que ele gosta Apesar do processo de OSS resultar em softwares de qualidade, existem autores que questionam a sua aplicabilidade em outros contextos. [Bollinger et al., 1999] e [McConnell, 1999].

9 8 Inexistências de estudos empíricos sobre o processo dos OSS OSS apresenta-se como um grande desafio para a economia e para os métodos de desenvolvimento tradicional,portanto, é fundamental para compreendê-lo e avaliá-lo.

10 9 Analisar o processo de desenvolvimento de um OSS (Parte 01 - Apache); Comparar o OSS com relação a outros softwares que utilizam o processo comercial/tradicional de desenvolvimento (Parte 01 - Apache) Propor um conjunto de hipóteses e validá-las em outro OSS (Parte 02 - Mozilla)

11 Avaliando o processo 10 Problema operacional: Como analisar um processo de software que não está formalmente definido? Definição de um rascunho do processo; Validação do rascunho junto aos core-members do Apache.

12 Apache Dataset 11 Lista de dos desenvolvedores: Data; Remetente Assunto corpo da mensagem Arquivos do sistema de controle de versão - CVS Data da alteração, Login do desenvolvedor, Arquivos alterados Número de linhas adicionadas ou deletadas por arquivo Descrição da mudança Pessoa que submeteu ou verificou a mudança Número do "Problem Report"(PR) fixes code submissions.

13 Apache Dataset 12 Arquivos do banco de dados de problemas relatados - BUGDB: Número do PR Módulo afetado Situação (open, suspended, analyzed, feedback, closed) Nome de quem submeteu Data Comentário

14 Processo Baseline 13 Utilizou-se um processo, denominado Processo de Desenvolvimento Comercial, para fins de comparação: Alteração evolução inicia-se através de uma Requisição de Modificação - MR MR define um trabalho a ser feito em um módulo específico Cabe a um gerente avaliar a validade de uma MR e atribuí-la ao desenvolvedor O desenvolvedor recebe a MR, realiza as alterações e devolve a quem o encaminhou Inspeções de código, testes de funcionalidade, integração, testes de sistema e implantação da modificação são realizadas.

15 Softwares de Baseline 14 Para fins de comparação utilizou-se de software que utilizam o Processo de Desenvolvimento Comercial: Projetos da área de telecomunicaçoes: Projeto A - Software para nodos de redes backbone do tipo SONET ou SDH Projeto B - Software para manipulação de redes sem fio Projetos C, D, e E - Softwares para a administração de operações Projetos similares ao Apache em tamanho e tempo de desenvolvimento

16 Dataset do Processo Comercial 15 Os dados do Processo de Desenvolvimento Comercial foram obtidos através dos softwares que o dão suporte: Extended Change Management System (ECMS) Gerencia o controle de mudanças Dados Registrados: Data de abertura da MR Descrição da MR Histórico da MR Data de conclusão da MR Source Code Control System (SCCS) Versionamento Dados registrados: Arquivo alterado Data do check-in Desenvolvedor que realizou a alteração

17 Questões de Pesquisa 16 Foram propostas as seguintes questões de pesquisa: Q1: Como funciona o processo utilizado para desenvolver Apache? Q2: Quantas pessoas escrevem novas funcionalidades do Apache? Quantas pessoas relatam problemas? Quantas pessoas repararam defeitos? Q3: As funções dentro do processo são realizadas por grupos distintos de pessoas, ou seja, algumas as pessoas assumem um único papel? Será que um grande número de pessoas participam igualmente dessas atividades, ou um pequeno número de pessoas que fazem a maioria do trabalho?

18 Questões de Pesquisa 17 Foram propostas as seguintes questões de pesquisa: Q4: Em quais partes do código um voluntário pode trabalhar? Existe algum tipo propriedade (lock) definida em nível de arquivo ou módulo? Q5: Qual é a densidade de defeitos no código do Apache? Q6: Quanto tempo demorou-se para resolver os problemas? Os problemas de maior prioridade form resolvidos mais rápido do que os de baixa prioridade? O intervalo de resolução diminuiu ao diminuiu ao longo do tempo?

19 18 Q1: Como funciona o processo utilizado para desenvolver Apache? Papéis e Responsabilidades: Apache Group (AG): 10/15 pessoas Definem a inclusão de qualquer mudança no código Definem se um voluntário poderá ficar responsável por alguma alteração.

20 19 Q1: Como funciona o processo utilizado para desenvolver Apache? Identificando o trabalho a ser feito: Mudanças e corrreções são identificadas na mailing list, BUGDB e USENET newsgroups Alterações apenas são realizadas com aprovação de algum membro do AG

21 20 Q1: Como funciona o processo utilizado para desenvolver Apache? Atribuindo e realizando o trabalho: Desenvolvedores tendem a trabalhar em problemas que são identificados com as áreas do código com o qual eles estão mais familiarizados Tal estratégia cria um implícito "code ownership"de partes do servidor que foram desenvolvidas ou mantidas por alguém do AG

22 21 Q1: Como funciona o processo utilizado para desenvolver Apache? Testes e Inspeções Apenas realizar uma manutenção o desenvolvedor realizar testes locais (Testes Unitários Posteriormente o código ou é revisado por alguém do AG, ou é disponibilidade para revisão pela comunidade Apenas após esta inspeção o commit será realizado

23 22 Q2: Quantas pessoas escrevem novas funcionalidades do Apache? Quantas pessoas relatam problemas? Quantas pessoas repararam defeitos? 400 pessoas trabalham no desenvolvimento como um todo 182 pessoas contribuíram com 695 correções 249 pessoas contribuíram com 6092 submissão de código 3060 pessoas relatam 3975 problemas

24 Q3: As funções dentro do processo são realizadas por grupos distintos de pessoas, ou seja, algumas as pessoas assumem um único papel? 23 Contribuição no código - Apache

25 Q3: Será que um grande número de pessoas participam igualmente dessas atividades, ou um pequeno número de pessoas que fazem a maioria do trabalho? 24 Contribuição em reparos - Apache

26 25 Contribuição em reparos - Softwares Comerciais

27 26 Q4: Em quais partes do código um voluntário pode trabalhar? Existe algum tipo propriedade (lock) definida em nível de arquivo ou módulo? Dos 42 arquibos ".c"com mais de 30 alterações: 40 tiveram pelo menos 02 responsáveis por 10% das alterações 20 tiveram pelos menos 04 responsáveis por 10% das alterações O "ownership"de código é uma questão de reconhecimento de competências do programador.

28 Q5: Qual é a densidade de defeitos no código do Apache? 27 Densidade de defeitos

29 Q6: Quanto tempo demorou-se para resolver os problemas? Os problemas de maior prioridade form resolvidos mais rápido do que os de baixa prioridade? O intervalo de resolução diminuiu ao diminuiu ao longo do tempo? 28 Dias Abertos

30 29 Hipótese 1: A Evolução de um código aberto terá um núcleo de desenvolvedores que controla a base de código. Este núcleo não será maior do que pessoas, e irá criar, aproximadamente, 80% ou mais das novas funcionalidades. Hipótese 2: Para os projetos que são tão grandes que desenvolvedores não pode escrever 80% do código em um prazo razoável, uma política estrita de propriedade do código terá que ser adotada para separar o trabalho dos outros grupos, criando, com isso, vários projetos de OSS relacionados. Hipótese 3: Em projetos de código aberto bem-sucedidos, um grupo maior, de aproximadamente uma ordem de magnitude do núcleo irá reparar defeitos; um grupo ainda maior (por outra ordem de grandeza) irá relatar problemas.

31 30 Hipótese 4: Projetos de código aberto que tem um forte núcleo de desenvolvedores, mas que não consiga alcançar um grande número de contribuintes para além desse núcleo, será capaz de criar novas funcionalidades, contudo não irá sobreviver tendo em vista a falta de recursos destinados a encontrar e reparar defeitos. Hipótese 5: A densidade de defeitos em versões de código aberto será geralmente menor do que código comercial. Hipótese 6: Em projetos OSS bem sucedidos os desenvolvedores também serão usuários do software. Hipótese 7: Projetos OSS apresentam respostas mais rápidas para problemas dos usuários.

32 DÚVIDAS?

33 [Bollinger et al., 1999] Bollinger, T., Nelson, R., Self, K. M., and Turnbull, S. J. (1999). Open-source methods: Peering through the clutter. IEEE Software, 16(4):8+. [Herbsleb and Grinter, 1999] Herbsleb, J. D. and Grinter, R. E. (1999). Splitting the organization and integrating the code: Conway s law revisited. In Proceedings of the 21st International Conference on Software Engineering, ICSE 99, pages 85 95, New York, NY, USA. ACM. [McConnell, 1999] McConnell, S. (1999). Open source methodology: Ready for prime time? IEEE Software, 16(4):6 8. [NETCRAFT, 2014] NETCRAFT (2014). Web Server Developer - Market Share of Computers.