Virgílio A. F. Almeida DCC-UFMG 2005

Transcrição

1 Virgílio A. F. Almeida DCC-UFMG 2005

2 Prototipagem de sistemas Simulação Modelagem analítica matemática

3 Criterios para avaliação dos métodos Custo Precisão Flexibilidade Esforço e capacidade de construir o modelo do experimento

4 Comparação de métodos Modelos Prototipagem Simulação analíticos do sistema Custo pequeno alto ± pequeno Precisão média quase exata apurada Flexibilidade ± flexível inflexível flexivel Esforço depende grande depende

5 ! Simulação Trace-driven: exemplo - usa-se os logs de acesso aos arquivos de um server para analisar comportamento de cache Execution-driven: exemplo - usa-se um simulador de uma nova arquitetura de processador para executar aplicações reais Estocática: exemplo - usa-se dsitribuições estatísticas para gerar a sequência de valores dos parâmetros do sistema em estudo

6 " #! $ Ambiente Experimental Parâmetros da Carga Parâmetros Config. Do Sistema Níveis de Fatores Protótipos reais execdriven tracedriven estocastica Experimentos Diferentes amostras amostras.... amostras Dados Brutos

7 " #! $ Parâmetros da Carga Parâmetros Config. Do Sistema Níveis de Fatores Ambiente Experimental Protótipos reais execdriven tracedriven estocastica Experimento # Experimento 2 Comparação de alternativas Caso comum um ponto de amostra para cada exp. Conclusões apenas sobre este experimento..... Dados Brutos

8 " #! $ Parâmetros da Carga Parâmetros Config. Do Sistema Níveis de Fatores Ambiente Experimental Protótipos reais execdriven tracedriven estocastica Caracterizar esse conjunto de amsotras Tendência central média, moda, mediana Variabilidade desvio padrão, CV, quantis Fit em uma distribuição conhecida Experimento repetido Amostras Amostras Dados Brutos Dados amostrais vs. População Intervalo de confiança da média Nivel α de significância Tamanho n da amostra dada precisão ± r%

9 Parâmetros da Carga Parâmetros Config. Do Sistema Níveis de Fatores " #! $ Ambiente Experimental Protótipos reais execdriven tracedriven estocastica Comparação de Alternativas Observações pareadas como uma amostra das diferenças par-a-par intervalo de confiança Experimentos Diferentes amostras amostras.... amostras Dados Brutos A B a i - b i

10 " #! $ Parâmetros da Carga Parâmetros Config. Do Sistema Níveis de Fatores Ambiente Experimental Protótipos reais execdriven tracedriven estocastica Observações não pareadas Para múltiplas amostras, médias CI sobrepostos t-test na diferença das médias: x a - x b Experimentos Diferentes amostras amostras.... amostras Dados Brutos

11 " #! $ Parâmetros da Carga Parâmetros Config. Do Sistema Níveis de Fatores Ambiente Experimental Protótipos reais execdriven tracedriven estocastica Observações não pareadas Para múltiplas amostras, médias CI sobrepostos t-test na diferença das médias: x a - x b Experimentos Diferentes amostras amostras.... amostras Dados Brutos x a, s a, CI a x b, s b, CI b

12 " #! $ Ambiente Experimental Modelos de regressão var. resposta = f (previsores) Parâmetros da Carga Parâmetros Config. Do Sistema Níveis de Fatores Protótipos reais execdriven tracedriven estocastica Experimentos Diferentes amostras amostras.... amostras Dados Brutos Valores dos previsores x, nivel de fatores

13 % Regressão Linear Múltipla mais de uma variável de previsora Previsores Categóricos alguns dos preditivos não são quantitativos, mas representam categorias Regressão Curvilinear relações nãol ineares Transformações quando erros não são normalmente distribuídos ou variância nã é constante Tratamento de outliers pontos fora do corpo principal) Erros mais comuns na análise de regressão

14 Modelos com mais de uma variável previsora Mas cada variável previsora tem uma relação linear com a variável de resposta Conceitualmente, seria equivalente a fazer um gráfico de uma linha de regressão num espaço n- dimensional, ao invés de 2-dimensões

15 &' (! A resposta y é uma função de k variáveis previsoras x,x 2,..., x k y = b 0 + b x + b 2 x b k x k + e

16 ) Dada uma amostra de n observações {( x, x,..., x, y ),, ( x, x,, x, y )} o modelo consiste de n equações: y = b0 + b x + b2 x bk x k + e y = b + b x + b x b x + e k k k n 2 n kn n... y = b + b x + b x b x + e n 0 n 2 2 n k kn n

17 * +, y = Xb +e y y y x x x x x x x x x b b b e e e n k k n n kn k n =

18 ! Está descrita no box 5. do Jain. Não é essencialmente importante saber como foi derivada, pois nosso curso não é de estatística e nem essa é a nossa finalidade de um curso de métodos quantitativos. É importante no entanto saber que existe e como usá-la. A maior parte do material é similar a regressão linear simples. Um exemplo de duas variáveis.

19 Considere uma equipe de segurança de redes desenvolveu vários esquemas alternativos para conter ataques aos servidores e rede. O grupo quer avaliar os mecanismos e definiu um índice de sucesso dos esquemas. O índice foi atribuído pela equipe. O índice de sucesso é baseado em dois fatores Tempo do experimento (duração) Número de ataques no período Produz uma regressão índice = b 0 + b (#ataques) +b 2 (duração)

20 $ Esquema #Ataques Duração Índice A B C D E F G H

21 Precisa-se calcular X, X T, X T X, (X T X) - e X t y Porque? Para obter ( T ) T b = X X X y b = (8.373,.005, ) Indicando que a regressão prediz: indice = *#ataques 0.009*duração

22 -. = X

23 -/. / T X =

24 . /. X T X =

25 0. /.2 34 ( X T X) =

26 +. / 5 X T y =

27 . / / b =

28 + 6 Qual a precisão do modelo na previsão do índice de um esquema baseado no #ataques e tempo de duração? A melhor forma para determinar isto analiticamente é calcular SSE { T T T y y b X y} = ou SSE = e 2 i

29 ! Indice Índice #At. Dur. estimado e i 2 e i

30 Assim SSE =.08 2 SSY = SS0 =! SST = SSY - SS0 = =.4 SSR = SST - SSE =.33 R y i = n y = 2 SSR = SST 45. =.33.4 = Isto é, esta regressão está RUIM!.23

31 78 6 Vamos examinar as propriedades dos parâmetros da regresão s e SSE = n 3 =.08 5 =.46 Vamos calcular o desvio padrão dos parâmetros da regressão

32 ! $7 São estimativas, pois estamos trabalhando com uma amostra Desvio padrão estimado de: b0 = se c00 = =.294 b = se c = =.0097 b2 = se c22 = =.0083

33 ! 0, Em um nível de 90%, por exemplo Intervalos de confiança são: b 0 = 8.37 ± (2.05)(.29) = (5.77, 0.97) b =.005 ± (2.05)(.0) = (-.02,.02) b 2 = ± (2.05)(.008) = (-.03,.0) Somente b 0 é significante, neste nível

34 !"9 Podemos então dizer que realmente nenhuma das variáveis previsoras é significante? Ainda não, pois os previsores podem ser correlacionados O F-teste pode ser usado para essa finalidade Por exemplo, para deterimar se o SSR é significantement maior que o SSE Equivalente a testar que y não depende de qualquer das variáveis previsoras

35 &3/ Precisa calcular SSR e SSE Desses, calcule o quadrado das médias da regressão (MSR) e o erros (MSE) MSR/MSE tem uma distribuição F Se MSR/MSE > F-tabela, os previsores explicam uma fração significante da variação da resposta Correções na tabela 5.3 SSR tem k graus de liberdade SST casa com y y

36 %&3/ SSR =.33 SSE =.08 MSR = SSR/k =.33/2 =.6 MSE = SSE/(n-k-) =.08/(8-2 - ) =.22 F-calculado = MSR/MSE =.76 F [90; 2,5] = 3.78 (em 90%) Assim o teste F falha em 90%