MÉTODOS QUANTITATIVOS PARA CIÊNCIA DA COMPUTAÇÃO EXPERIMENTAL

Transcrição

1 MÉTODOS QUANTITATIVOS PARA CIÊNCIA DA COMPUTAÇÃO EXPERIMENTAL Pedro Henrique Bragioni Las Casas Apresentação baseada nos slides originais de Jussara Almeida e Virgílio Almeida

2 Exemplo Desenvolvi uma aplicação para aplicar filtros à imagens variadas. Desejo saber se o desempenho de minha aplicação é melhor que o desempenho obtido pelo Photoshop.

3 Exemplo

4 Exemplo Após a realização de vários experimentos, encontrei os seguintes resultados Foto Photoshop Minha Aplicação Foto 1 4,2 s 2,7 s Foto 2 5,4 s 3,1 s Foto 3 6,0 s 6,9 s Foto 4 3,9 s 8,9 s Foto 5 6,2 s 4,1 s Foto 6 1,0 s 2,2 s Foto 7 0,8 s 6,2 s

5 Exemplo Somente observando os resultados, consigo inferir qual aplicação possui desempenho superior?

6 Exemplo NÃO! Necessário realizar testes, com base estatística, para inferir qual aplicação é estatisticamente superior.

7 Programa Ciência da Computação Experimental e o Método Científico Conceitos estatísticos Caracterização de cargas Comparando Sistemas Usando Dados de Amostragem e Intervalos de Confiança

8 Programa Ciência da Computação Experimental e o Método Científico Conceitos estatísticos Caracterização de cargas Comparando Sistemas Usando Dados de Amostragem e Intervalos de Confiança

9 O que é Ciência? Ciência é o estudo sistemático das propriedades do mundo físico, através de medições e experimentos replicáveis e do desenvolvimento de teorias universais que são capazes de descrever e prever observações. As afirmações em ciência devem ser precisamente formuladas de modo que outros possam testá las.

10 O que é Ciência da Computação? Computer Science is the study of computers and what they can do the inherent powers and limitations of abstract computers, the design and characteristics of real computers, and the innumerable applications of computers to solving problems. (*) * National Research Council of the National Academies, USA

11 Métodos de Pesquisa Científica O Método Científico é o esquema lógico usado por cientistas na procura de respostas às questões colocadas dentro da ciência, como também para formular teorias e assegurar os meios para produzi-las (ferramentas, algoritmos) Passos fundamentais do Método Científico: 1. Formular um problema: colocar uma questão 2. Hipóteses: sugerir respostas plausíveis a serem testadas 3. Teste: construir e realizar experimentos plausíveis a serem testados 4. Aceitar (ou refutar) provisoriamente as hipóteses e fazer novos testes para verificar as teorias associadas as hipóteses 5. Analisar e repetir, se for o caso

12 Forma de Pesquisa em Computação Forma da Pesquisa Teórica e experimental Ciência da Computação Teórica Procurar entender os limites da computação e a capacidade de paradigmas computacionais, bem como desenvolver soluções gerais para classes de problemas Ciência da Computação Experimental É uma disciplina sintética, que envolve a criação e/ou experimentação e análise de artefatos computacionais.

13 O que significa ciência experimental? Baseado em observações, dados, experimentos Trabalho experimental deve complementar a pesquisa teórica Teorias podem ter incertezas Teorias podem resultar de observações Teorias podem ser testadas por observações. De forma oposta, teorias podem guiar a pesquisa experimental. Nem toda pesquisa em ciência da computação pode ser resolvida teoricamente (ex.: IHC)

14 Pesquisa Experimental e artefatos computacionais Ciência da computação experimental (CCE) refere-se a criação de artefatos computacionais, que podem ser definidos como a implementação de um ou mais fenômenos computacionais Podem ser extraordinariamente complexos Papel dos artefatos na pesquisa em C.C.: Prova de desempenho (performance) Prova de existência Prova de conceito CCE envolve a criação e/ou experimentação com artefatos computacionais

15 Prova de Performance Um artefato funcionando como prova de performance provê: Um aparato para medição direta e experimentação: O artefato existe ou pode ser construído Os resultados da prova são geralmente quantitativos O artefato mais frequente nas pesquisas experimentais Exemplos: processador com arquitetura RISC, um novo algoritmo de busca

16 Prova de Conceito Um artefato funcionando como prova de conceito demonstra pelo seu comportamento que um sistema complexo de componentes pode executar um determinado conjunto de atividades O comportamento não poderia ser inferido ou determinado a partir de uma argumentação lógica ou uma argumentação baseada em alguns princípios básicos O sistema em operação, isto é o artefato, é uma testemunha de prova que os conceitos estão corretos, pelo menos para aquela configuração Exemplo: computadores experimentais implementando sistema de memória virtual ou uma CDN (content distribution network)

17 Prova de Existência Um artefato funcionando com o papel de prova de existência apresenta a essência de um fenômeno inteiramente novo. Exemplo: mouse, iphone Menos comum das três provas

18 Ciência da Computação Experimental

19 Experimentação em Sistemas Computacionais Por quê?: It doesn t matter how beautiful your theory is, it doesn t matter how smart you are if it doesn t agree with the experiment, it s wrong. Richard Feynman, físico Prêmio Nobel 1965

20 Alguns tipos de artigos em Ciência da Computação Três tipos de artigos que descrevem a implementação de um algoritmo: Artigo de aplicação Aqui está um bom algoritmo para a solução X Artigo de marketing Aqui está um algoritmo novo e interessante Artigo Experimental Aqui está como o algoritmo comportou-se com dados reais O método experimental deve se aplicar aos três tipos de artigos.

21 Ciclo de Vida Experimental

22 Prática Usual em Ciência da Computação

23 Processo Experimental Sistemático 1. Entenda o problema, estabeleça as perguntas e defina os objetivos 2. Selecione métricas 3. Identifique os parâmetros 4. Decida quais parâmetros serão estudados, i.e., serão variados (fatores) 5. Selecione a técnica 6. Selecione a carga de trabalho (workload) 7. Execute experimentos 8. Analise e interprete os resultados 9. Apresente os resultados e dados do experimento 10. Apresente conclusões

24 Processo Experimental Sistemático 1- Entenda o problema, estabeleça as perguntas e defina os objetivos: A problem well-stated is half-solved. Deve-se ser objetivo Seja capaz de responder por que, e também como Delimite o escopo Defina as perguntas que pretende responder

25 Processo Experimental Sistemático Problema: Propagação de spam ao longo da rede Perguntas: Como identificar o tráfego de spam ainda na origem? Consigo identificar o usuário que está gerando este tráfego?

26 Processo Experimental Sistemático 2- Selecione métricas que ajudarão a analisar as perguntas

27 Processo Experimental Sistemático Métricas selecionadas para identificação de spammers ainda na rede de origem: Número de transações SMTP realizadas Número de servidores SMTP distintos acessados Tamanho médio das transações SMTP realizadas Distância geodésica entre o IP de origem e o IP destino da transação SMTP Processo entre chegada de transações (IAT)

28 Processo Experimental Sistemático 3- Identifique os parâmetros que afetam o comportamento Parâmetro do sistema Parâmetros de carga

29 Processo Experimental Sistemático Variação da carga de trabalho pode afetar o desempenho obtido.

30 Processo Experimental Sistemático 4- Decida quais parâmetros serão estudados, i.e., serão variados (fatores).

31 Processo Experimental Sistemático Realizou-se estudo de duas cargas de trabalho distintas Carga de trabalho de 2009 Carga de trabalho de 2010

32 Processo Experimental Sistemático 5- Selecione a técnica: Medição de uma implementação de protótipo Simulação quão detalhada? Como será a validação? Repetibilidade

33 Processo Experimental Sistemático Técnica de mineração de dados Classificação Supervisionada Requer conjunto de treino Infere resultado para um conjunto de teste Lazy Associative Classifier (LAC)

34 Processo Experimental Sistemático 6- Selecione a carga de trabalho (workload) Representativa? É aceita pela comunidade científica? Disponibilidade de dados?

35 Processo Experimental Sistemático Cargas de trabalho Proveniente de um provedor de Internet de Banda Larga Carga de trabalho de à 28 de março de ,3 mil usuários 5,4 milhões de transações Carga de trabalho de de junho à 10 de julho de ,5 mil usuários 5,2 milhões de transações

36 Processo Experimental Sistemático 7- Execute experimentos Quantos testes devem ser rodados? Quantas combinações dos parâmetros formam o ambiente experimental? Análise da sensibilidade dos outros parâmetros

37 Processo Experimental Sistemático Execução do LAC Em ambas as bases de dados Variando as métricas utilizadas Variando o grão dos dados de entrada (mês, dia)

38 Processo Experimental Sistemático 8- Analise e interprete os resultados Use Estatística para analisar a variabilidade, outliers, etc.

39 Processo Experimental Sistemático

40 Processo Experimental Sistemático 9- Apresente adequadamente os resultados e dados do experimento Gráficos: a questão da visualização dos resultados, distribuições estatísticas, etc.

41 Processo Experimental Sistemático

42 Processo Experimental Sistemático 10- Apresente conclusões Para onde os resultados nos levam? Quais os próximos passos? Novas hipóteses, novas questões, outros experimentos.

43 Processo Experimental Sistemático Usuários legítimos: Realizam poucas transações SMTP Acessam poucos servidores distintos Possuem alto intervalo de inatividade entre as transações; Possuem alta variabilidadade do tamanho médio das transações SMTP, uma vez que usuários legítimos podem enviar tanto mensagens apenas de texto, quanto mensagens com anexos extensos, contendo vídeos e imagens Realizam suas transações principalmente para servidores brasileiros ou servidores localizados nos Estados Unidos.

44 Processo Experimental Sistemático Spammers Realizam um número alto de transações SMTP Acessam vários servidores SMTP distintos Efetuam as transações com um período de inatividade muito baixo, sendo muitas vezes de apenas segundos Possuem tamanho médio das transações SMTP baixos, uma vez que, normalmente, spams possuem apenas texto Tendem a apresentar distância geodésica média maior que usuários legítimos.

45 Programa Ciência da Computação Experimental e o Método Científico Conceitos estatísticos Caracterização de cargas Comparando Sistemas Usando Dados de Amostragem e Intervalos de Confiança

46 Estatística É uma parte da Matemática Aplicada que fornece métodos para a coleta, a organização, a descriçã, a análise e a interpretação de dados quantitativos e a utilização desses dados para a tomada de decisões. É fundamental para trabalhos de medição e monitoramento de sistemas

47 Conceitos estatísticos básicos Média É o resultado da divisão entre a soma de todos os valores pela quantidade de valores x = x i N

48 Conceitos estatísticos básicos Média X1 5 X2 4 X3 8 X4 9 X5 2 X6 1 Soma 29 Soma/N 4,833333

49 Conceitos estatísticos básicos Mediana É o valor que se encontra na posição média da série ordenada dos dados Valores Valor em ordem crescente

50 Conceitos estatísticos básicos Moda É o valor de mais alta frequência de aparecimento na série dada. Valores Valores Frequênc ia

51 Conceitos estatísticos básicos Ao executar a aplicação de edição de imagens, obteve-se os seguintes resultados: X1 1,2 X2 1,5 X3 0,9 X4 2,1 X5 21,4 Média 5,42 Mediana 1,5

52 Conceitos estatísticos básicos A média representa bem o comportamento real dos dados? Média por si só, pode ser uma métrica fraca.

53 Conceitos estatísticos básicos Observações Medidas robustas são aquelas que não são influenciadas por outliers Média não é uma medida robusta Mediana e Moda são medidas robusta

54 Conceitos estatísticos básicos Variância É uma medida da sua dispersão estatística, indicando quão longe em geral os seus valores se encontram do valor esperado

55 Conceitos estatísticos básicos Variância Valo r Valor x i x (x i x) 2 5 0,17 0,03 4-0,83 0,69 8 3,17 10,03 9 4,17 17,36 2-2,83 8,03 1-3,83 14,69 Soma 50,83 Soma/N 10,17

56 Conceitos estatísticos básicos Desvio-Padrão É a raiz quadrada da variância

57 Conceitos estatísticos básicos Desvio-Padrão Para exemplo anterior Variância = 10,17 Desvio-Padrão = 10,17 = 3,19

58 Conceitos estatísticos básicos Coeficiente de Variação É a razão entre o desvio-padrão e a média Indica quão bem a média representa a variável C. V = σ x

59 Conceitos estatísticos básicos Coeficiente de Variação Para exemplo anterior Desvio-Padrão = 3,19 Média = 4,83 Coeficiente de Variação = 3,19 / 4,83 = 0,66

60 Conceitos estatísticos básicos Para exemplo anterior: X1 1,2 X2 1,5 X3 0,9 X4 2,1 X5 21,4 Média 5,42 D.P. 8,94 C.V. 1,65

61 Conceitos estatísticos básicos

62 Conceitos estatísticos Variáveis Aleatórias Variável que assume valores de acordo com uma certa probabilidade Exemplos: Atraso numa rede Tempo de execução de uma transação de consulta

63 Conceitos estatísticos Função de Distribuição Cumulativa (CDF) Mapeia um valor para uma probabilidade cujo resultado é menor ou igual a a: Válida para variáveis contínuas e discretas Fácil de especificar, calcular, medir

64 Conceitos estatísticos Função de Distribuição Cumulativa (CDF) Exemplo Jogada de uma moeda (cara=1; coroa=2)

65 Conceitos estatísticos Função de Distribuição Cumulativa (CDF)

66 Conceitos estatísticos Função de Massa de Probabilidade (pmf) CDFs não são diferenciáveis para variáveis aleatórias discretas PMF serve com substituto: f(xi) = pi, onde pi é a probabilidade que x irá assumir o valor xi

67 Conceitos estatísticos Função de Massa de Probabilidade (pmf)

68 Programa Ciência da Computação Experimental e o Método Científico Conceitos estatísticos Caracterização de cargas de trabalho Comparando Sistemas Usando Dados de Amostragem e Intervalos de Confiança

69 Caracterização de cargas de trabalho O que é uma carga de trabalho?

70 Caracterização de cargas de trabalho O que é uma carga de trabalho? Carga de trabalho de um sistema pode ser definida como o conjunto de todas as entradas recebidas por este em seu ambiente, durante dado período de tempo.

71 Caracterização de cargas de trabalho Passos comuns Especificação do ponto de vista do qual a carga de trabalho será analisada Escolha de parâmetros relevantes Monitoração do sistema Análise e redução dos dados Construção do modelo da carga de trabalho

72 Caracterização de cargas de trabalho Componente básico de uma carga de trabalho Refere-se à uma unidade de trabalho genérica que chega ao sistema de fontes externas Transações Comandos interativos Processos Requisições HTTP

73 Caracterização de cargas de trabalho Modelo da carga de trabalho é uma representação que imita a carga de trabalho em estudo Deseja-se encontrar um modelo que seja capaz de representar da melhor maneira possível a carga de trabalho real

74 Caracterização de cargas de trabalho Modelos da cargas de trabalho podem ser usados: Seleção de sistemas Ajuste do desempenho Planejamento de capacidade

75 Métricas Maior precisão possível Métricas que podem ser mensuradas Categorias de métricas Taxas (banda) Duração (latência, tempo de resposta) Contagem (faltas) Outras: entropia, CV, etc.

76 Ferramentas para coletar dados Monitores de Hardware Monitores de Software Programas analisadores

77 Exemplo de Caracterização de carga Analisar o tráfego SMTP na rede de origem para entender o comportamento dos usuários

78 Exemplo de Caracterização de carga Especificação do ponto de vista do qual a carga de trabalho será analisada Analisar o tráfego SMTP na rede de origem para entender o comportamento dos usuários

79 Exemplo de Caracterização de carga Escolha de parâmetros relevantes Número de transações SMTP realizadas Número de servidores SMTP distintos acessados Tamanho médio das transações SMTP realizadas Distância geodésica entre o IP de origem e o IP destino da transação SMTP Processo entre chegada de transações (IAT)

80 Exemplo de Caracterização de carga Monitoração do sistema Realizado por uma equipamento da Cisco chamado SCE 39," "mx.google.com", 18:39:49"," :40:52", ," ",363435,

81 Exemplo de Caracterização de carga Análise e redução dos dados Foi necessário tratar os dados, para filtrar somente as transações SMTP validas Agrupar as transações por usuário

82 Exemplo de Caracterização de carga

83 Exemplo de Caracterização de carga

84 Exemplo de Caracterização de carga Uma técnica para caracterizar os dados de uma carga de trabalho agrupamento (clustering) O objetivo de um algoritmo de clusterização é identificar grupos de componentes, baseado em recursos de similaridade. Algoritmo K-Means

85 Exemplo de Caracterização de carga Clustering O centróide de um cluster é um ponto cujo valores de parâmetros são os valores de parâmetros médios para todos os pontos do cluster A saída do algoritmo de clusterização é, basicamente, a descrição estatística de centróide do cluster com o número de componentes em cada cluster.

86 Exemplo de Caracterização de carga Foram encontrados 3 grupos, que representam a carga de trabalho

87 Exemplo de Caracterização de carga

88 Outros tipos de caracterização

89 Outros tipos de caracterização

90 Outros tipos de caracterização

91 Outros tipos de caracterização

92 Pedro Henrique Bragioni Las Casas Contato: