A UTILIZAÇÃO DE MÉTODOS ESTATÍSTICOS NO PLANEJAMENTO E ANÁLISE DE ESTUDOS EXPERIMENTAIS EM ENGENHARIA DE SOFTWARE (FONTE:

Transcrição

1 A UTILIZAÇÃO DE MÉTODOS ESTATÍSTICOS NO PLANEJAMENTO E ANÁLISE DE ESTUDOS EXPERIMENTAIS EM ENGENHARIA DE SOFTWARE (FONTE: ESELAW 09 MARCOS ANTÔNIO P. & GUILHERME H. TRAVASSOS) 1 Aluna: Luana Peixoto Annibal

2 OBJETIVO Apresentar técnicas estatísticas utilizadas no planejamento e análise de estudos experimentais em ES Breve introdução aos conceitos de estudos experimentais e estatística Indicações concretas da aplicabilidade destas técnicas Abordagem prática das técnicas estatísticas com exemplos reais 2

3 AGENDA Experimentação e ES O processo de experimentação Escalas numéricas e operações aplicáveis Tabulação, preparação e análise visual dos dados Medidas de tendência, dispersão e dependência Análise de outliers e quartis Testes estatísticos aplicáveis aos tipos de estudo Testes paramétricos e não paramétricos Exemplos 3

4 EXPERIMENTAÇÃO E ES As engenharias (Engenharia de Software) baseiam no uso de pesquisas científicas para construir produtos e serviços economicamente viáveis Pesquisas científicas Propostas inovadoras Avaliação dos resultados atingidos pela aplicação destas inovações 4

5 EXPERIMENTAÇÃO E ES Existem diferentes métodos de avaliação para pesquisa Métodos científicos Modelos são construídos a partir da observação do mundo Método de engenharia Técnicas atuais são analisadas, são identificadas fraquezas, inovações são propostas e comparadas com as técnicas anteriores Método experimental Modelos são construídos e avaliados através de estudos experimentais Método analítico Teorias formais são propostas e seus resultados são comparados com observações do mundo real 5

6 AGENDA Experimentação e ES O processo de experimentação Escalas numéricas e operações aplicáveis Tabulação, preparação e análise visual dos dados Medidas de tendência, dispersão e dependência Análise de outliers e quartis Testes estatísticos aplicáveis aos tipos de estudo Testes paramétricos e não paramétricos Exemplos 6

7 ESTUDOS EXPERIMENTAIS Identificação das variáveis Variáveis controláveis 7

8 ESTUDOS EXPERIMENTAIS Levantamento de objetivo e grupo de estudo Levantamento de Hipóteses e materiais de estudo Treinamento e execução pelos participantes Validação das hipóteses (análise estatística) 8

9 PLANEJAMENTO E HIPÓTESE Planejamento Formulação da hipótese Identificação das variáveis independentes (fatores) Elemento de causa Fatores variáveis controláveis Identificação das variáveis dependentes (resposta) Afetadas durante o processo de experimentação Seleção dos participantes Projeto de estudo Seleção dos métodos de análise Definição dos instrumentos Análise de ameaças (validity threats) 9

10 PLANEJAMENTO E HIPÓTESE Hipóteses Uma hipótese é uma teoria ou suposição que pode explicar um determinado comportamento de interesse da pesquisa Estudos experimentais tem como objetivo coletar dados em um ambiente controlado para rejeitar ou não uma hipótese Utilizando a técnica Y os desenvolvedores concluem a atividade de análise de requisitos em menos tempo e com um conjunto de requisitos mais completo do que utilizando a técnica X Variáveis independentes Técnica utilizada, caracterização dos desenvolvedores, caracterização da aplicação Variáveis dependentes Tempo de execução e % de requisitos correlatos encontrados 10

11 AGENDA Experimentação e ES O processo de experimentação Escalas numéricas e operações aplicáveis Tabulação, preparação e análise visual dos dados Medidas de tendência, dispersão e dependência Análise de outliers e quartis Testes estatísticos aplicáveis aos tipos de estudo Testes paramétricos e não paramétricos Exemplos 11

12 VARIÁVEIS E SEUS VALORES Variáveis podem ser qualitativas e quantitativas Os valores das variáveis são coletados em escalas Nominal Representa diferentes tipos de elementos Diferentes linguagens de programação Java, C++, C#, Pascal,...) Ordinal Representa diferentes tipos de elementos de maneira ordenada, mas sem qualquer interpretação numérica Diferentes níveis de CMMI (nível 1,..., nível5) Intervalar Distâncias são estabelecidas a partir de um zero arbitrário (ano zero zero absoluto) Escala de Likert (muito alto, alto, médio, baixo, muito baixo) impossível averiguar a distância entre esses no mundo real, mas assume-se que seja próxima Razão Seus valores permitem que interpretar razões, ordenações e distâncias (proximidade) entre o valores consecutivos Um software com X linhas é 2 vezes menor que um software com 2x linhas de código 12

13 VARIÁVEIS E SEUS VALORES Mais informação 13

14 VARIÁVEIS E SEUS VALORES Exemplo Utilizando a técnica Y os desenvolvedores concluem a atividade de análise de requisitos em menos tempo e com um conjunto de requisitos mais completo do que utilizando a técnica X Variáveis independentes Técnica utilizada Escala nominal Caracterização dos desenvolvedores e da aplicação Escala nominal ou ordinal Variáveis dependentes Tempo de execução Escala razão % de requisitos correlatos encontrados Escala razão 14

15 AGENDA Experimentação e ES O processo de experimentação Escalas numéricas e operações aplicáveis Tabulação, preparação e análise visual dos dados Medidas de tendência, dispersão e dependência Análise de outliers e quartis Testes estatísticos aplicáveis aos tipos de estudo Testes paramétricos e não paramétricos Exemplos 15

16 TABULAÇÃO DOS RESULTADOS Medidas de tendência central, dispersão e dependência podem ser utilizadas em conjunto com a análise gráfica para que o analista tenha um melhor entendimento sobre os dados 16

17 VISUALIZAÇÃO GRÁFICA São mais fácil e rápidos de entender em comparação a dados tabulados Cuidado com as conclusões Métodos do representação gráfica Histograma Histograma cumulativo Gráfico em pizza Diagrama de dispersão Cada eixo representa uma variável Identificação de outliers e sua possível eliminação Depende do tipo de variável: contínua ou discreta Gráfico de controle Observação do comportamento dos dados quantitativos Caracterizado por três linhas linha média, limite superior (ICL) e limite inferior (LCL) Comportamento sob controle valores oscilando em torno da linha média e dentro da faixa entre o UCL e o LCL 17

18 AGENDA Experimentação e ES O processo de experimentação Escalas numéricas e operações aplicáveis Tabulação, preparação e análise visual dos dados Medidas de tendência, dispersão e dependência Análise de outliers e quartis Testes estatísticos aplicáveis aos tipos de estudo Testes paramétricos e não paramétricos Exemplos 18

19 ESTATÍSTICA DESCRITIVA Descreve características relevantes dos dados coletados e sua distribuição Medidas de tendência central Média Somatório dos dados dividido por sua quantidade Mediana Valor do meio de um conjunto de dados Moda Valor de maior frequência (mais comum) Valor mínimo Valor máximo Percentil É o valor que divide a amostra na porcentagem X Quartil Os valores que representam a amostra no percentil 25%, 50% e 75% - respectivamente 1º, 2º e 3º quartil 19

20 MEDIDAS DE DISPERSÃO Faixa Diferença entre o maior e menor valor da amostra Variância Quão longe está do valor esperado Desvio padrão Raiz quadrada da variância 20

21 DISTRIBUIÇÃO DE FREQUÊNCIA Distribuições clássicas Normal, uniforme, beta... Distribuição normal Importante para alguns métodos estatísticos Formato de sino Pode-se levantar hipótese dessa distribuição ao analisar um histograma Curva Média Largura Desvio padrão 21

22 MEDIDAS DE DEPENDÊNCIA Quando duas ou mais variáveis estão relacionadas em um estudo, é útil calcular o grau de dependência entre elas Essas medidas determinam a força e a direção do relacionamento entre as variáveis Mais comum é o coeficiente de correlação Uma correlação de valor -1 Um alto valor em uma variável ocorre em conjunto com um baixo valor da segunda Uma correlação de valor 1 Um alto valor em uma variável ocorre em conjunto com um alto valor da segunda Uma correlação próxima a 0 Não podemos inferir nenhum relacionamento entre as variáveis 22

23 EXEMPLO DE CORRELAÇÃO 23

24 MEDIDAS DE CORRELAÇÃO Correlação de Pearson Quantifica a correlação entre duas variáveis Força de associação linear Aplicados a valores que parecem seguir uma distribuição normal Correlação de Spearman Baseia se no ranking dos valores coletados Aplicados aos valores que parecem não seguir uma distribuição normal Relação em formato de curva (não linear) 24

25 ANÁLISE DE REGRESSÃO Fornece uma equação que descreve a natureza do relacionamento Análise de Regressão Linear Simples Predizer o valor de variáveis dependentes baseado no valor de apenas uma variável independente 25

26 ESTATÍSTICA DESCRITIVA 26

27 AGENDA Experimentação e ES O processo de experimentação Escalas numéricas e operações aplicáveis Tabulação, preparação e análise visual dos dados Medidas de tendência, dispersão e dependência Análise de outliers e quartis Testes estatísticos aplicáveis aos tipos de estudo Testes paramétricos e não paramétricos Exemplos 27

28 REMOÇÃO DE OUTLIERS Outliers valores extremos Podem representar erros De aplicação, digitação, interpretação, etc São removidos antes de se aplicar as técnicas de inferência estatística É importante verificar sua origem Podem ser informações válidas Podem ser visualmente identificadas através de gráficos de dispersão e box-plots A uma distância X (percentil, desvio, quartil) da média ou mediana 28

29 AGENDA Experimentação e ES O processo de experimentação Escalas numéricas e operações aplicáveis Tabulação, preparação e análise visual dos dados Medidas de tendência, dispersão e dependência Análise de outliers e quartis Testes estatísticos aplicáveis aos tipos de estudo Testes paramétricos e não paramétricos Exemplos 29

30 TIPOS DE ESTUDOS EXPERIMENTAIS 30

31 TESES DE HIPÓTESE Definição das hipóteses Sempre lida com algum tipo de risco, que implica em um erro de análise Erro de tipo I O teste estatístico indica um relacionamento entre causa e efeito e o relacionamento real não existe Rejeita H0 quando esta é verdadeira Erro de tipo II Não indica relacionamento entre causa e efeito, mas existe este relacionamento Não rejeita H0 quando esta é falsa Hipótese Nula (H0) é normalmente construída de forma a minimizar erros do tipo I É a hipótese que o analista quer rejeitar com maior significância possível 31

32 TESES DE HIPÓTESE Procedimentos Fixar o nível de significância do tese (definir H0) Obter uma estatísticas que tenha distribuição conhecida sob H0 (estimador do parâmetro) Através das estatísticas de teste e do nível de significância, construir a região crítica Usando as informações amostrais, obter o valor da estatística (estimativa) Se valor da estatística pertencer à região crítica, rejeita-se H0, aceitando-se a hipótese alternativa Caso contrário, não se rejeita H0 e nada pode se afirmar a respeito sobre H1 32

33 NÍVEL DE SIGNIFICÂNCIA Indica a probabilidade de cometer um erro tipo I Os níveis de significâncias ( ) mais utilizados são 5%, 10%, 1%, 0.1% Chamado de p-value É o menor nível de significância que se pode rejeitar a hipótese nula 33

34 AGENDA Experimentação e ES O processo de experimentação Escalas numéricas e operações aplicáveis Tabulação, preparação e análise visual dos dados Medidas de tendência, dispersão e dependência Análise de outliers e quartis Testes estatísticos aplicáveis aos tipos de estudo Testes paramétricos e não paramétricos Exemplos 34

35 TIPOS DE TESE DE HIPÓTESE Dois grupos Testes paramétricos Utilizam fórmulas fechadas Presumem distribuições de frequência Seguem as premissas de normalidade e homocedasticidade (variáveis com variâncias similares) Teste não-paramétricos (menos poderoso) Não atendem aos pressupostos de teses paramétricos Presumem distribuições de probabilidade 35

36 PRÉ-TESTE PARAMÉTRICOS Teste de normalidade Teste de Shapiro-Wilk Calcula o valor W para avaliar se a amostra segue a distribuição normal Valor W pequeno indica não normalidade Utilizado com amostras com menos de 50 valores Teste de homocedasticidade Teste de Levene Considere uma variável Y, com N valores divididos em k grupos, onde Ni é o número de valores no grupo i O teste de Levene aceita a hipótese de que as variâncias são homogêneas se o valor W for menor do que o valor da distribuição F Os valores da distribuição F estão disponíveis em tabelas e softwares estatísticos 36

37 TIPOS DE TESE DE HIPÓTESE 37

38 AGENDA Experimentação e ES O processo de experimentação Escalas numéricas e operações aplicáveis Tabulação, preparação e análise visual dos dados Medidas de tendência, dispersão e dependência Análise de outliers e quartis Testes estatísticos aplicáveis aos tipos de estudo Testes paramétricos e não paramétricos Exemplos 38

39 EXEMPLO O exemplo baseia-se na análise da utilização de uma técnica para detecção de defeitos em requisitos de software Esta técnica foi desenvolvida originalmente na língua inglesa e tinha-se dúvida se deveria ser traduzida para o português para ser utilizada no contexto dos cursos de pós-graduação em engenharia de software da COPE/UFRJ Desta forma, o objetivo principal deste estudo experimental é verificar se existem diferenças significativas na utilização da técnica nas versões em inglês e português, em relação ao tempo, número de discrepâncias e defeitos encontrados 39

40 EXEMPLO Estudo experimental 19 participantes 2 grupos Primeiro grupo (EP) 11 participantes e técnica para o Inglês Segundo grupo (PP) 8 participantes e técnica para o Português 40

41 TESTE T Utilizado para duas amostras independentes Variáveis são quantitativas Não são conhecidas as variâncias populacionais Amostras independentes cada participante integrou exclusivamente um grupo As análises foram feitas utilizando o pacote estatístico SPSS 41

42 ANÁLISE PARA A VARIÁVEL TEMPO Outliers moderados Aparente grande variabilidade entre as duas amostras Mas a correta conclusão é obtida por um teste estatístico apropriado 42

43 ANÁLISE PARA A VARIÁVEL TEMPO O Teste T para duas amostras independentes exige que as amostras sigam uma distribuição normal Desta forma, tem-se um primeiro teste de hipótese a ser feito, considerando um nível de significância de 5%, sendo: H0: A distribuição é normal H1: A distribuição não é normal 43

44 TESTE DE NORMALIDADE Teste de Kolmogorov-Smimov para amostras com mais de 30 elementos Teste de Shapiro-Wilk para amostras com menos de 50 elementos No teste de Shapiro-Wilk, ambos os valores de significância (Sig) é superior a 0.05 (p-value 5%), portanto não há indícios para rejeitar H0 A distribuição da amostra para a variável Tempo é normal 44

45 TESTE DE HOMOCEDASTICIDADE Teste de Levene Teste de hipótese com um nível de significância de 5% H0: as variâncias são iguais ( 2 GrupoEP = 2 GrupoPP) H1: as variâncias são diferentes ( 2 GrupoEP 2 GrupoPP) Como o valor de significância assume valor maior que p- value (o.o5) então não rejeita H0 As variâncias são iguais 45

46 ANÁLISE PARA A VARIÁVEL TEMPO Teste paramétricos sobre a variável tempo Teste de hipótese com nível de significância de 5% H0: As médias são iguais (µgrupoep = µgrupopp) H1: As médias são diferentes Como o valor de significância Sig.(2-tailed) = para a condição de igualdade das variâncias é maior que o p-value (0.05). Assim não se rejeita H0 Concluindo-se que as médias são iguais Outra maneira é analisando que o valor zero está entre os valores superior e inferior do intervalo de confiança 46

47 CONCLUSÃO Não há diferenças significativas em relação à variável tempo na utilização de técnica de detecção de defeitos na suas versões em inglês em e em português para esse grupo de pesquisadores 47

48 REFERÊNCIA The Use of Statistical Methods for Planning and Analyzing Experimental Studies in Software Engineering Area Guilherme Horta Travassos (Associate Prof. - COPPE/UFRJ) and Marco Antônio Pereira Araújo (PhD COPPE/UFRJ). ESELAW 09 48