Métodos Quantitativos para Ciência da Computação Experimental

Transcrição

1 Métodos Quantitativos para Ciência da Computação Eperimental -Aula #2d- Virgílio A. F. Almeida Abril 2008 Departamento de Ciência da Computação Universidade Federal de Minas Gerais

2 Variáveis Aleatórias (V.A.) Contínuas Até aqui, olhamos VA com valores discretos, e. X(s) deve ser um inteiro. Eemplos de VAs discretas: numero de chegadas de queries em 1 seg., número de movimentos incorretos de um robô em treinamento até o movimento correto. Uma variável aleatória de valor contínuo assume valores no domínio dos números reais, e.x(s) vai de 0 até S. Eemplos de VA contínuas: tempo entre chegada de duas mensagens spam consecutivas, tempo para um usuário escolher a entrar com a senha de letras num caia automático do BB (ATM).

3 Variáveis Aleatórias (V.A.) Contínuas Para variáveis aleatória contínuasx, define-se a probability density function (pdf) df ( ) f ( ) = F ' ( ) X X = d FX Observe que desde que decrescente em nós temos para todo. ( ) f X é não ( ) 0

4 Propriedades das V.A. Contínuas Do Cálculo, tem-se: Em particular, Mais genericamente, F ( ) f ( ) d X = f( ) d = F X ( ) = 1 b f ( ) d = F X X ( b ) F X ( a ) = P ( a < X b ) a

5 Epectância de uma VA Contínua A epectância (average) de uma VA contínua X é dada por: = E( X ) f ( ) d E( X ) = Σ P ( ) = X X

6 Moment0s e Outras Propriedades das V.A. Contínuas Momentos de y Momentos de y: Média: Segundo Momento : y y = E [ y] = 2 = E [ y 2 ] = y y p y 2 ( y) dy p y ( y) dy Variancia Desvio Padrão σ σ 2 y y 2 = E [( y y) ] = 2 2 = E[ y = σ 2 y ] y ( y y) 2 p y ( y) dy Mode (peak) Prob(y > median) = Prob(y median) =0.5 Integrals are replaced by sums when PDF is discrete Median ± 1 Standard deviation Mean y 95 Prob(y>y 95 ) =0.05

7 Distribuições de Variáveis Aleatórias Contínuas Normal Eponencial Weibull Lognormal Pareto...

8 Distribuições de Variáveis Aleatórias Contínuas Variáveis aleatórias contínuas Assumem um intervalo infinito de diferentes valores W=% percentual de crescimento do PIB em 2008 V=tempo para retornar a resposta de um query Valores específicos-particulares de uma v.a. contínua tem probabilidade 0 Intervalos de valores tem probabilidade 0

9 Função Densidade de Probabilidade Para f () ser uma pdf 1. f () > 0. 2.A area da região entre o grafico de f e o eio do é igual a 1. Area = 1 y = f ( )

10 Distribuição de Probabilidade Seja X uma va contínua. Então a a função de probabilidade (pdf) de X é uma função f () tal que para dois números quaisquer a and b, ( ) ( ) = P a X b f d b a O gráfico de f é a curva de densidade.

11 PDF P( a X b) sombreada. é dada pela área da função y = f ( ) a b

12 Distribuição Eponencial Uma VA X é eponencialmente distribuida com parâmetro λ > 0 se suas pdf e cdf são: λe f ( ) = 0, λ, 0 elsewhere E(X) = 1/λ V(X) = 1/λ 2 Usada para modelar tempo entrechegadas qdo chegadas são alelatórias e tempos de serviço variáveis Para diferentes pdfs eponenciais o valor que intercepta Y é λ. = 0, F( ) = λe dt 1 e 0 λt λ, p 0 0

13 Distribuição Eponencial Uma variável aleatória eponencialmente distribuida Xtem a propriedade que o futuro é independente do passado, i.e. O fayto que o evento não ocorreu ainda não diz nada sobre quanto tempo demorará para o evento ocorrer.

14 Distribuição Eponencial Propriedade Memoryless s e t to 0: P(X > s+t X > s) = P(X > t) Eemplo: Uma lampada falha ~ ep(λ = 1/3 por hora), portanto, na média, 1 falha por 3 horas. A probabilidade que a lampada dure mais que sua média é: P(X > 3) = 1-(1-e -3/3 ) = e -1 = A probabilidade que a lampada entre 2 e 3 horas é: P(2 <= X <= 3) = F(3) F(2) = A probabilidade que a lampada dure por mais uma hora, dada que ela está funcionando por 2,5 horas: : P(X > 3.5 X > 2.5) = P(X > 1) = e -1/3 = 0.717

15 Distribuição Eponencial: ausência de memória Se nós vemos uma chegada em t=0, o tempo médio para próima chegada é 1/λ. Se não vemos chegada até t=, qual será a diostribuição do tempo remanescente até a próima chegada? t t T e e e e T P T P t T P T P T and t T P T t T P t e t T P t F λ λ λ λ λ + = = > < + < = > > < = > < = = < = 1 ) (1 ) (1 ) ( ) ( ) ( ) ( ) ( ) ( 0, 1 ) ( ) ( ) (

16 Distribuição Eponencial Média e Variância E ( X ) = 1 λ V 1 ( X ) = 2 λ

17 Eponential distribution Density

18 Distribuição Normal (Gaussiana) Distribuição mais comum na análise de dados pdf is: - + f ( ) 1 e 2π Média é µ, desvio padrão σ = σ ( µ ) 2σ 2 2

19 Notação para Distribuições Gaussianas Geralmente denotada N(µ,σ) Normal unitária é N(0,1) Se tem N(µ,σ), µ σ tem N(0,1) O α-quantil de uma normal unitária z ~ N(0,1) é denotado por z α tal que P µ ( ) z { P( ) z } = µ σ + σ = α α α

20 Por que uma Distribuição de Gauss é tão Popular? Se i ~ N(µ ι,σ ι ) e todos i independentes, então Σα i i é normal com média Σα i µ i e variância σ 2 = Σα i2 σ i 2 A soma de um número grande observações independentes de qualquer distribuição é uma distribuição normal (Teorema do Limite Central) Erros eperimentais podem ser modelados como uma distribuição normal.

21 Parâmetros Distribuição pode ser epressa pela pdf ou CDF Geralmente a informação eistente numa distribuição pode ser ecessiva para ser processada Quando isso é verdade, nós queremos sumarizar as métricas de informção: Média Variancia São também chamados de parâmetros de uma distribuição

22 Distribuição Normal Função de densidade Dois parâmetros, µ e σ Assim se X é distribuído com uma normal: X ~ N ( 2 µ, σ ) E V ( X ) = µ ( ) 2 X = σ

23 Normal Função de densidade para µ=0, σ= f() E

24 Normal Função de densidade para σ=1 µ= µ=

25 Normal Funções de densidade para µ= σ= σ=

26 Teorema do Limite Central O teorema do limite central diz que (na essência ) a média padronizada de muitas variáveis aleatórias (de distribuições diferentes) tende a ser distribuída como normal a medida que o número de v.a. cresce. Z = 1 N i N ( X ) i 1 N = σ µ ( 0,1) N

27 Outras Distribuições Contínuas Weibull Lognormal Pareto Power Laws...

28 Distribuição de Weibull A va contínua T tem uma distribuição de Weibull se a pdf é Onde os parâmetros satisfazem t 0 λ > 0 α > 0 α α λ λ α λα t t e t F e t t f = = 1 ) ( ) ( 1

29 Distribuição Lognormal Uma va X tem uma distribuição lognormal se a va Y Y = ln(x) X =e tem uma distribuição normal com a pdf resultante com parâmetros µ e λ [ln( ) µ ] /(2 σ ) e 0 f ( ; µ, σ ) = 2πα 0 < 0

30 Distribuição Lognormal

31 Média e Variância A média e variância de uma va X que tem uma distribuição lognormal são: µ + σ / 2 2µ + σ σ ( ) E( X ) = e V ( X ) = e e 1

32 Distribuição Lognormal Pdf da lognormal para 4 valores de σ.

33 Distribuição de Pareto ab Uma das distribuições a ( a+ 1) heavy tailed. f ( ) = = ab 1 ( a+ 1) a

34 Power Laws (Leis de potência) Uma distribuição da forma geral: P[X > ] c a, a,c>0

35 Leis de Potência (Power Laws) Pareto: a distribuição power law mais simples a ab f ( ) =, b, a > 0, b > 0 a+ 1 Distribuição acumulada a b P[ X ] = 1 a CCDF (acumulada complementar) b a [ X > ] a P =

36 Propriedades de Pareto a determina a média e variância b determina o menor valor pode assumir E var [ ] [ ] = ab ( 1 a) = ab a 1 a > 1 2 ( a 1) ( a 2) 2 a a > 2 2 Obs.:: 1<a<2 média finita, variância infinita!

37 Evidências de distribuições de cauda pesada em CC Distribuição de tamanho de: Arquivos armazenados em servidores Web; Arquivos de dados tranferidos pela internet; Arquivos em sistemas de armazenamento Uni. I/O traces of filesystem, disk, and tape activity [20, 33, 34, 35]

38 Fenômeno da Alta Variabilidade na Internet (High Variability Phenomena)

39 Motivation Internet is full of high variability Link bandwidth: Kbps Gbps File sizes: a few bytes Mega/Gigabytes Flows: a few packets 100,000+ packets In/out-degree (Web graph): 1 100,000+ Delay: Milliseconds seconds and beyond How to deal with high variability High variability = large, but finite variance High variability = infinite variance

40 A Working Definition A distribution function F() or random variable X is called heavy-tailed if for some α>0 α P [ X > ] = 1 F ( ) c, where c>0 and finite F is also called a power law or scaling distribution The parameter α is called the tail inde 1< α < 2, F has infinite variance, but finite mean 0 < α < 1, the variance and mean of F are infinite Mild vs wild (Mandelbrot): α 2 vs α < 2

41 Some Illustrative Eamples Some commonly-used plotting techniques Probability density functions (pdf) Cumulative distribution functions (CDF) Complementary CDF (CCDF = 1- CDF) Different plots emphasize different features Main body of the distribution vs. tail Variability vs. concentration Uni- vs. multi-modal

42 PDF = Probability density functions 1.5 Lognorm al(0,1) G am m a(.53,3) E pone ntial(1.6) W e ibull(.7,.9) P are to(1,1.5) 1 f()

43 CDF = Cumulative Distribution Function Lognorm al(0,1) G am m a(.53,3) E pone ntial(1.6) W e ibull(.7,.9) Pare to(1,1.5) 0.6 F()

44 Complementary CDFs -> 1-F X () log(1-f()) Lognorm al(0,1) G am m a(.53,3) E pone ntial(1.6) W e ibull(.7,.9) P are toii(1,1.5) P are toi(0.1,1.5) log( )

45 Evidências de Power Laws

46 100 maiores desastres do Século 20 Log(rank) 10 2 A maioria 10 1 dos eventos é pequena Energia Elétrica EUA (10M consumidores) Tecnológicos ($10B) Naturais ($100B) Mas grandes eventos Log(size) são enormes

47 Por que Heavy Tails são importantes? Modelagem de risco (seguros) Load balancing (CPU, network) Escalonamento (projeto de Web servidor) Busca combinatória(restart methods) Estudo de sistemas compleoa (SOC vs. HOT) Na construção de uma teoria da Internet

48 Eercício #2 14/04 1. You are writing code that controls the behavior of a very simple agent in a computer game. At each time-step in the game, the agent makes a decision to stay still (with probability 0.6), to walk (with probability 0.3), or to run (with probability 0.1). This is a very simple agent and it does not keep track from one time-step to the net of what it did before so it is memoryless." Answer the following questions about the agent's behavior: What is the probability that the agent stands, walks, and then runs, in that order, in 3 consecutive time-steps? What is the probability that the agent stands, walks, and runs, in any order, in 3 consecutive time-steps? What is the probability that over 5 time-steps the agent will not move (will not run or walk) in any of the 5 time-steps? What is the probability that over 10 time-steps the agent will walk or run at least once? (hint: it is easiest to solve this problem by dening a situation that is the opposite of this).

49 Eercício #2 14/04 2. A company (e.g., Dell) sells hard-drives of a particular type in a year. Each drive has a probability of 0.9 of failing within the rst year of operation. Each failed drive is returned and the company must supply the customer with a new drive. Answer the following questions using results from a statistical package (Matlab? Or write a code) functions What is the probability that eactly 1000 of the original drives will be returned? What is the probability that 1000 or more of the original drives will be returned? What is the probability that 1100 or more of the original drives will be returned? What is the probability that 900 or less of the original drives will be returned?