Evolução das Tecnologias. Projeto de Experimentos em Engenharia de Software. Agenda 10/9/09

Transcrição

1 Projeto de Experimentos em Engenaria Evolução das Tecnologias Projeto de Experimentos em Engenaria de Software Desenvolvimento orientado a modelos Engenaria de requisitos Desenvolvimento orientado a agentes Verificação, validação e teste Software para Web Linas de produto de software Eduardo Arana, UFRN (eduardoarana@ect.ufrn.br) Cristiano Ferraz, UFPE (cferraz@de.ufpe.br) Paulo Borba, UFPE (pmb@cin.ufpe.br) Métodos, técnicas e ferramentas Orientação a aspectos Métricas e medições Qualidade de software Reengenaria de software 2 Como Essa Questão é Respondida em Outras Áreas? Medicina Objetivos do Tutorial Apresentar e motivar o uso de experimentos controlados Agronomia Indústria Introduzir técnicas básicas de projeto estatístico de experimentos Controle Precisão Eficiência 3 4 Agenda Problema Referência Problema referência Experimentos controlados Projeto estatístico de experimentos Plano Completamente Aleatorizado Plano Aleatorizado em Blocos Completos Plano de Quadrados Latinos Estruturas fatoriais 2k Conclusões Como avaliar diferentes tecnologias de Model Based Testing (MBT)? A B C 5 6 1

2 Projeto de Experimentos em Engenaria Model Based Testing - MBT Nossos Assistentes Especificação do Sistema Avaliação: Especificação usando notação específica: Especificação dos casos de teste: UML CNL LTS A B C Eficiência Efetividade Facilidade de manutenção Engeneiro de SW Responsável por planejar avaliações sobre MBT Sem conecimento de técnicas de DOE Estatístico* Sem Conecimento de Tecnologias de SW Conecimento das técnicas de DOE DOE Design of Experiments Execução manual ou automação 7 * Neste tutorial o estatístico tem como objetivo interagir gradativamente o engeneiro de SW, guiando o engeneiro na busca da solução mais apropriada. 8 Contexto dos Assistentes Proposta A1 do Eng. de SW (minimização de custos) Escola da melor tecnologia: A, B e C Indústria de software Profissionais variados Projetos diferentes Recursos limitados Requer resultados cientificamente embasados Usar MBT em três projetos em andamento Escopo: projeto dos testes Requisitos: Desenvolvedor: Abordagem: A B C 9 10 Possíveis Resultados e Conclusões da Proposta A1 Estudos de Caso Cenário 1: Cenário 2: Abordagens: A, B, C Projetos reais ou ambiente próximo do real Existe planejamento, mas pouco controle sobre execução Cenário 3: Cada projeto é singular Mas a abordagem MBT utilizada foi realmente a causa desses resultados? E se eu rodar novamente o estudo com outros projetos, qual será o resultado? 11 Resultados são válidos, mas não podem ser generalizados nem reproduzidos 12 2

3 Projeto de Experimentos em Engenaria Como Obter Resultados Mais Relevantes? Proposta A2 do Eng. de SW (controle do ambiente) Controlar os elementos existentes no ambiente de execução do estudo Eliminar ou reduzir o efeito desses elementos Ambiente de desenvolvimento Experiência dos participantes Controle Um único projeto Um único desenvolvedor Uso de todas as abordagens Requisitos: Desenvolvedor: Abordagens: A B C Complexidade do projeto Ordem de Execução: (1º) (2º) (3º) Considerações Sobre Proposta A2 Proposta A3 do Eng. de SW (evitando efeito de aprendizagem) Fixar projeto e desenvolvedor elimina alguns efeitos indesejáveis Existe algum efeito de aprendizado por parte do desenvolvedor? Treinamentos podem amenizar esse tipo de efeito, mas Mesmo perfil de desenvolvedor Interesse pessoal determina abordagem Treinamento na abordagem escolida Requisitos: Desenvolvedor: Abordagens: A B C Considerações Sobre Proposta A3 Proposta A4 do Eng. de SW (evitando viés) Escola de quem usa a técnica pode estar tendenciosa? Mesmo perfil de desenvolvedor Sorteio determina abordagem Treinamento na abordagem sorteada Requisitos: Desenvolvedor: Abordagens: A B C

4 Projeto de Experimentos em Engenaria Considerações Sobre Proposta A4 Apenas uma observação para cada abordagem é suficiente? Proposta A5 do Eng. de SW (aumentando observações) Mais desenvolvedores com mesmo perfil Sorteio da abordagem + treinamento Requisitos: Desenvolvedor: 19 Abordagem: C A B A C B 20 Possíveis Resultados e Conclusões da Proposta A5 Abordagens: A, B, C Aumentando a Quantidade de Réplicas Adicionar mais desenvolvedores Cenário 1: Subdividir o problema Cenário 2: Cenário 3: Requisitos da aplicação completa Quantidade de observações está suficiente? omem-ora Aumentando a Quantidade de Réplicas Adicionar mais desenvolvedores Conclusões Mudaram com Mais Réplicas? Abordagens: A, B, C Subdividir o problema Cenário 1: Cenário 2: Requisitos dos módulos da aplicação omem-ora Cenário 3:

5 Projeto de Experimentos em Engenaria Experimento Controlado Princípios aprendidos pelo engeneiro de SW formam a base dos Procedimentos que mudam de forma proposital as variáveis de um processo/sistema Observam mudanças na saída e identificar as causas EXPERIMENTOS CONTROLADOS Variáveis controladas Entradas Processo/Sistema Saída Coletam evidências contra ipótese formulada. Variáveis não controladas (e possivelmente desconecidas) Definições Princípios Fundamentais dos Experimentos Controlados Fatores Níveis de fatores Tratamento Controle local Replicação Aleatorização Unidade experimental Controle Local Eliminar, reduzir ou isolar o efeito de fatores de ruído Replicação (interna) Aplicação de um tratamento em mais de uma unidade experimental Fixar certos níveis para variáveis não investigadas Experiência dos participantes, complexidade do projeto, Dilui efeito da variabilidade existente entre pessoas, projetos e artefatos similares Diferente de repetição!

6 Projeto de Experimentos em Engenaria Aleatorização Análise de Causa-Efeito Possível apenas quando utilizado o princípio de aleatorização Z C A B A B C (3º) (1º) (2º) A B C (3º) (1º) (2º) X Y X Y Dilui efeito de diferenças de motivação, experiência, Elimina possível viés do pesquisador Reduz efeito de aprendizado Estudos observacionais ou quaseexperimentos Ausência de aleatorização e/ou controle local Nível de Importância Projeto Estatístico de Experimentos Aleatorização Configuração dos participantes, ambiente e materiais envolvidos Replicação Controle local Visa otimizar uso de recursos Define forma para análise dos dados Respaldo científico dos resultados Planos Experimentais Padrões de como projetar e analisar experimentos Motivação istórica: agricultura Plano Experimental COMPLETAMENTE ALEATORIZADO CRD Completely Randomized Design Legado de R. A. Fiser Te Design of Experiments (1935)

7 Projeto de Experimentos em Engenaria Plano Experimental Completamente Aleatorizado (CRD) Proposta A4 (CRD) do Engeneiro de SW Tratamentos atribuídos de forma aleatória as unidades experimentais Requisitos: Desenvolvedor: Abordagem: C A B C B A Imagem obtida em ttp:// Mas Como Analisar os Dados? Hipótese Estatística Cenário 1: Abordagens: A, B, C Afirmação sobre um parâmetro de uma modelo ou distribuição estatística Média, mediana, variância, proporção, etc. Cenário 2: Como avaliar situações onde análise visual não mostra claramente se ouve ou não melora significativa? Será que com mais observações as conclusões mudariam? µ N(µ, σ 2 ) H 0 : µ a = µ b = µ c H 1 : µ i µ j onde i,j = a, b, c Idéia da Análise Esquema Básico das Fontes de Variação de Um Experimento Variação dentro" dos tratamentos Variação entre os tratamentos Variação dentro" dos tratamentos Observação = Efeito do plano experimental + Efeito do tratamento + Efeito do erro experimental Erro experimental Variação entre os tratamentos

8 Projeto de Experimentos em Engenaria Modelo Linear ANOVA Analysis of Variance Fonte de Variação Graus d (. G.L ) e Liberdade Soma de Quadrados Quadrado Médio F o Tratamento a 1 Erro Experimental N a tratamento réplica µ+ʈ a µ y a1 ε a1 y a2 ε a2 Total N 1 valor-p Fonte de Variação Tratamento Exemplo de ANOVA Gra u (. G.L ) s de Liberdade 2 Soma de Quadrados 237,88 Quadrado Médio 118,94 F o Valor P Suposições da ANOVA Inferência baseada no modelo linear Independência dos dados Erro Experimental ,26 8,06 Variância constante erro Total ,14 Normalidade y y 0,8 0,6 0,4 0,2 F 0 = 14,76 Conclusão: Rejeitamos H 0 para α = 1% Inferência baseada na teoria de aleatorização Variância constante Mas Como Saber Qual o Melor Tratamento? Olar as médias das amostras e intervalos de confiança A C B T-test H 01 : µ a µ b H 02 : µ b µ c H 03 : µ a µ c Correção de Bonferroni (+ de 2 tratamentos) A4: Até que Ponto Podemos Generalizar os Resultados? Resultado do experimento limitado a um único perfil de desenvolvedores Exemplo: juniores Resultado é válido?

9 Projeto de Experimentos em Engenaria Proposta B1: CRD com Desenvolvedor Senior e Junior Considerações Sobre Níveis de Experiência no CRD Desenvolvedores Junior Efeito da experiência y a1 Erro experimental µ+ʈ a µ ε a1 y a2 ε a2 Desenvolvedores Sênior Experimento usando CRD é ineficiente nessa situação Mas resultado é válido! Proposta B2: Dois Experimentos Usando o CRD Experimento 1: Grupo de desenvolvedores Junior Considerações Sobre B2 Isolamento do efeito nível da experiência Erro experimental não será inflacionado Menor precisão da análise (graus de liberdade) Abordagens: A, B, C Experimento 2: Grupo de desenvolvedores Sênior E se resultados forem conflitantes? Situação pode ser tratada como um único experimento Abordagens: A, B, C Plano Aleatorizado em Blocos Completos Plano Experimental ALEATORIZADO EM BLOCOS COMPLETOS RCBD Randomized Complete Block Design Aplicado quando: Existe um fator não investigado com influência significante na variável de saída Não é possível ou interessante fixar um único nível para esse fator Bloco Grupo omogêneo de unidades experimentais Aleatorização feita dentro dos blocos

10 Projeto de Experimentos em Engenaria Exemplo na Agricultura Em Engenaria de Software Riaco Níveis de experiência em desenvolvimento Alto Baixo Blocos Médio Blocos (6 desenvolvedores) Médio Baixo Nível de umidade no solo participantes Alto 56 Esquema Básico das Fontes de Variação de Um Experimento Observação = Efeito do plano experimental + Efeito do tratamento + Efeito do erro experimental bloco y ijk tratamento Modelo Linear = µ + β + τ + ε réplica i µ+β s +Ʈ a y sa1 j ε sa1 ijk µ+β s µ ysa2 ε sa2 Suposição de aditividade ANOVA para RCBD Eficiência Relativa do RCBD Fonte de Variação Tratamentos Erro Experimental Graus d (. G.L ) e Liberdade a 1 (a 1)(b 1) Soma de Quadrados SS Tratamento Quadrado Médio Blocos b 1 SS Blocos QM Blocos SS Erro F o Uso de blocos consomem graus de liberdade Eficiência relativa do RCBD em relação ao CRD RE = MSE CR MSE RCB Total N 1 SS T

11 Projeto de Experimentos em Engenaria Até que Ponto Poderemos Generalizar os Resultados? Resultado do experimento limitado a um único tipo de projeto Tamano e complexidade de projetos na prática: Bloco: Tipo de Projeto Proposta C1: RCBD Dentro de um RCBD 6 desenv. Blocos: Nível de Experiência (baixo, baixo) Proposta C2: RCBD, onde bloco é (Tamano, Experiência) 6 desenv. (baixo, médio) (baixo, alto) Considerações Sobre Propostas C1 e C2 Quantidade de execuções por participante foi triplicada! 18 desenvolv. x 3 execuções = 54 observações (médio, baixo) (médio, médio) (médio, alto) Efeito de aprendizado é balanceado pela aleatorização Erro experimental será inflacionado (alto, baixo) (alto, médio) (alto, alto) Proposta C3: Cada Desenvolvedor em um Único Bloco Considerações Sobre Propostas C3 Não tem problema de efeito de aprendizado, mas aumenta variabilidade de experiência (baixo, baixo) (baixo, médio) (baixo, alto) (médio, baixo) (médio, médio) (médio, alto) (alto, baixo) (alto, médio) (alto, alto) 65 Quantidade de participantes foi triplicada! De 18 para 54 Experimento usando RCBD é ineficiente nessas situações Como manter quantidade reduzida de participantes e controlar efeito de aprendizado? 66 11

12 Projeto de Experimentos em Engenaria Proposta C4: Cruzamentos Entre Experiência e Tamano Tamano do Projeto Plano Experimental QUADRADOS LATINOS Nível de Experiência Réplicas mudando-se desenvolvedores ou projetos LS Latin Square Quadrado Latino Aleatorização Aplicado quando: Existem dois fatores de ruído com influência significante na variável de saída Bloco Combinação de níveis dos dois fatores de ruído (lina, coluna) Formas de Obter Mais Observações (linas) Formas de Obter Mais Observações (colunas) Réplica 1 do Quadrado Réplica 2 do Quadrado Réplica 1 do Quadrado Réplica 2 do Quadrado

13 Projeto de Experimentos em Engenaria Formas de Obter Mais Observações (linas e colunas) Esquema Básico das Fontes de Variação de Um Experimento Réplica 1 do Quadrado Réplica 2 do Quadrado Observação = Efeito do plano experimental + Efeito do tratamento + Efeito do erro experimental y ijkl Modelo Linear = µ + α + β + τ + ε i j k ijkl Fonte de Variação Tratamentos ANOVA para Quadrado Latino Graus d (. G.L ) e Liberdade a 1 Soma de Quadrados SS Tratamento Quadrado Médio F o lina coluna réplica tratamento µ+α 1 +β 1 +Ʈ a y 11a1 ε 11a1 y11a2 ε 11a2 Lina b 1 SS Lina QM Lina Coluna c 1 SS Coluna QM Coluna µ+α 1 +β 1 µ+α 1 µ Erro Experimental (a-1)(b-2) SS Erro Supõe aditividade Total N 1 SS T Limitações do Quadrado Latino Requer mesma quantidade de tratamentos, linas e colunas Alguns quadrados precisam de muitas réplicas Ex: quadrado de tamano 2 INVESTIGANDO MAIS DE UM FATOR

14 Projeto de Experimentos em Engenaria Experiência x MBT A experiência do desenvolvedor afeta o desempeno de MBT? Tratamentos Combinação de fatores investigados Projeto do experimento Estrutura de tratamentos + escola do plano experimental Experiência Abordagem MBT Tratamento A B C - A 1 - B 2 + A 3 + B Estruturas Fatoriais 2 k K fatores investigados Tratamentos com Estruturas Fatoriais 2 k 2 níveis para cada fator 2 k tratamentos Uso em qualquer plano experimental Simplicidade de análise Exp. 20 { } + - A 30 { } Idéia do Cálculo dos Efeitos: Fatorial Completo MTB 30 { } B 40 { } Gráfico dos Efeitos Principais A B MTB Exp. 83 Exp. 20 { } -6, A 26,67 { } Idéia do Cálculo dos Efeitos: Fatorial Completo MTB 20 { } -13,33 6,66 B 33,33 { } Gráfico dos Efeitos Principais e de Interação 26,66 23,33 33,33 26,67 20 A B MTB Exp = - Exp = + A B MTB ,33 26, Exp. MBT = A 20 MBT = B - + Exp

15 Projeto de Experimentos em Engenaria Considerações Finais Experimentos controlados Controle local Replicação Aleatorização Importância experimentação em ES SBES, ESELAW, ESEM, ICSE, Considerações Finais Projeto estatístico de experimentos Visa melor controle, precisão e eficiência Planos experimentais Completamente aleatorizado Aleatorizado em blocos completos Quadrado latino Tratamento com estrutura fatorial Fatorial completo 2 k Tópicos para Próximos Tutoriais Referências Aprofundar estruturas 2 k Estruturas 3 k e 2 k x3 n Retângulos latinos Quadrados greco-latinos, iper-greco-latinos, Blocos incompletos 87 G. Box, J. Hunter e W. Hunter. Statistics for Experimenters. Wiley- Interscience, 2nd edition, D. Montgomery. Design and Analysis of Experiments. Wiley, 7t edition, A. Jedlitscka, M. Ciolkowski and D. Pfal. Reporting Experiments in Software Engineering. Guide to Advanced Empirical Software Engineering, Springer London, , K. Hinkelmann and O. Kemptorne. Design and Analysis of Experiments, Introduction to Experimental Design. Wiley-Interscience, 2nd edition, R. Kuel. Design of Experiments: Statistical Principles of Researc Design and Analysis. Duxbury Press, 2nd edition, K. Maxwell. Applied Statistics for Software Managers. Prentice Hall, G. Milliken and D. Jonson. Analysis of Messy Data: Designed Experiments, volume I. Capman Hall/CRC, G. Snedecor and W. Cocran. Statistical Metods. Iowa State University Press, 8 edition, C. Wu and M. Hamada. Experiments: Planning, Analysis, and Parameter Design Optimization. Wiley-Interscience, Projeto de Experimentos em Engenaria de Software Eduardo Arana, UFRN (eduardoarana@ect.ufrn.br) Cristiano Ferraz, UFPE (cferraz@de.ufpe.br) Paulo Borba, UFPE (pmb@cin.ufpe.br) 15