Métodos Quantitativos para Ciência da Computação Experimental. Regressão Linear. Jussara Almeida DCC-UFMG 2013

Transcrição

1 Métodos Quantitativos para Ciência da Computação Experimental Regressão Linear Jussara Almeida DCC-UFMG 2013

2 Modelos de Regressão Linear O que é um bom modelo? Como estimar os parâmetros do modelo? Como alocar variações? Intervalos de Confiança para Regressões Inspeçao Visual

3 O que é um bom modelo? Para dados correlacionados, um modelo deve prever uma resposta dado uma entrada. Modelo deve ser a equação que se adequa ( fit ) aos dados. Uma definição padrão de fits está diretamente relacionada aos mínimos quadrados ( least-squares ) Minimizar o erro ao quadrado Enquanto mantém o erro médio em zero Equivalente a minimizar a variância dos erros

4 Erro do Mínimo Quadrado Se então o erro na estimativa para x i é e = y y Minimizar a Soma dos Erros ao Quadrado (SSE) ŷ i i i i Sujeita as restrições

5 Estimando os Parâmetros do Modelo Os melhores parâmetros da regressão (levam ao menor erro) são: onde

6 Estimativa dos parâmetros exemplo Tempo de execução de um query para várias palavras: = 6.8, = 2.32, Σxy = 88.54, Σx 2 = 264 b 0 = 2.32 (0.29)(6.8) = 0.35

7 Gráfico dos Parâmetros de Estimativa exemplo

8 Variantes da Regressão Linear Algumas relações não lineares podem ser tratadas por transformações: Para y = ae bx pegue o logaritmo de y, faça a regressão sobre log(y) = b 0 +b 1 x, sendo b = b 1, Para y = a+b log(x), tome o log de x antes dos parâmetros de fitting, seja b = b 1, a = b 0 Para y = ax b, tire o log de ambos x e y, e faça b = b 1,

9 Alocando a Variação Sem regressão, a melhor estimativa de y é Valores observados de y diferem de aumentando os erros (variação) Regressão provê uma melhor estimativa, mas ainda existem erros Nós podemos avaliar a qualidade da regressão pela alocação das fontes de erros.

10 Gráfico dos Parametros de Estimativa exemplo: regressão e a média

11 Notação SSE Sum of Squared Errors SST Total Sum of Squares SSY Sum of Squares of SS0 Sum of Squares of SSR Sum of Squares explained by Regression

12 A Soma Total dos Quadrados Sem regressão, o erro ao quadrado é

13 A Soma dos Quadrados da Regressão A soma dos erros quadrados sem regressão (=SST): SSE (com regressao): Assim a regressão explica SSR = SST - SSE Qualidade da regressão medida pelo coeficiente de determinação: Quanto maior o valor de R 2, melhor a regressão.

14 Avaliação do Coeficiente de Determinação Calcule Calcule Calcule

15 Exemplo de Coeficiente de Determinação Para o exemplo anterior de regressão Σy = 11.60, Σy 2 = 29.79, Σxy = 88.54, SSE = (0.35)(11.60)-(0.29)(88.54) = 0.05 SST = = 2.89 SSR = = 2.84 R 2 = ( )/2.89 = 0.98

16 Desvio Padrão de Erros Variancia de erros é SSE dividido pelos graus de liberdade (DOF): DOF: n 2 porque calculamos 2 parametros de regressão dos dados. Assim a variância (mean squared error, MSE): Desvio padrão dos erros é a raiz quadrada:

17 Coeficiente de Determinação X Correlação da Amostra Coeficiente de determinação Correlação da Amostra (premissa: linearidade)

18 Calculando os graus de liberdade de várias soma de quadrados SST n-1 Precisa computar SSY n Não depende de nenhum outro parâmetro SS0 1 Precisa computar SSE n-2 Precisa computar dois parâmetros da regressão SSR 1 =SST-SSE

19 Exemplo de Desvio Padrão de Erros Para o exemplo de regressão, SSE era 0.05, então MSE = 0.05/(5-2) = 0.05/3 = s e = = 0.13 Observe a alta qualidade da regressão do exemplo: R 2 = 0.98 s e = 0.13

20 Intervalos de Confiança para Regressões Regressão é calculada de uma única amostra da população (tamanho n) Diferentes amostras devem dar resultados diferentes. Modelo verdadeiro é y = β 0 + β 1 x Parâmetros b 0 e b 1 são na verdade médias (estimativas para parametros reais) retiradas das amostras da população.

21 Cálculo de Intervalos para Parâmetros da Regressão Desvio Padrão dos Parâmetros: Intervalos de confiança são b i ± Onde t tem n - 2 graus de liberdade é o desvio padrão dos erros s bi

22 Exemplo do Intervalo de Confiança da Regressão Lembre que s e = 0.13, n = 5, Σx 2 = 264, = 6.8 Assim Usando um intervalo de confiança de 90%: t 0.95;3 = 2.353

23 Exemplo do Intervalo de Confiança da Regressão Assim, o intervalo b ± 2.353(0.16) = (-0.03,0.73) b 1 é 0.29 ± 2.353(0.004) = (0.28,0.30)

24 Intervalos de Confiança para Predições Intervalos de confiança vistos são para os parâmetros Quão certo podemos estar que os parâmetros estão corretos? Finalidade da regressão é a predição Quão precisas são as predições? Regressão oferece APENAS uma média das respostas previstas, baseadas nas amostras usadas.

25 Predições baseadas em m amostras Desvio padrão para a média de futuras amostras de m observações em x p é S y mp Note que o desvio diminui qdo Variância mínima em x = m

26 Exemplo de Confiança das Predições Usando modelo desenvolvido, qual é o tempo previsto para uma execução com 8 palavras? Tempo = (8) = 2.67 Desvio padrão de erros s e = 0.13 S y p 90% do intervalo é então

27 Verificando as hipóteses ( assumptions ) visualmente Regressões são baseadas em hipóteses: Relação linear entre a resposta y e previsor x Previsor x livre de erro Erros do modelo são estatisticamente independentes Com distribuição normal N(0,c) para desvio padrão constante c Se as hipóteses são violadas, o modelo pode ser inadequado ou inválido.

28 Testando a Linearidade Gráficos de pontos x vs. y para ver o tipo básico da curva Linear Linear por partes Outlier/Excecão Não linear (Função de Potência)

29 Testando a Independência dos Erros y i Gráfico de pontos ε i versus Não deve haver tendência visível Exemplo do ajuste de curva feito: ε i y i

30 Testando a Independência

31 Testando a Independência Pode ser útil plotar os resíduos de erro versus o número do experimento No exemplo anterior dá o mesmo gráfico, exceto para a escala de x

32 Testando a Independência

33 Testando Erros Normais Preparar um gráfico quantil-quantil Exemplo da regressão anterior:

34 Testando Erros Normais

35 Testando para Desvio-Padrão Constante Homoscedasticity (esta hipótese assume que a variância ao longo da linha de regressão é a mesma para todos previsores x) Retorno ao gráfico de independência Verificar tendência no espalhamento Exemplo:

36 Testando para Desvio-Padrão Constante

37 Regressão linear pode ser enganadora (misleading) Regressão despreza alguma informação sobre os dados Para permitir uma sumarização compacta Algumas vezes características vitais são perdidas No geral, examinando os gráficos de dados pode-se determinar se ha um problema ou não

38 Exemplo de Regressões Inadequadas I II III IV x y x y x y x y

39 O que a regressão nos diz sobre esses conjuntos de dados? Exatamente a mesma coisa para cada um deles! N = 11 Média de y = 7.5 Y = X Erro padrão da regressão é Todas as somas de quadrados são as mesmas Coeficiente de correlação =.82 R 2 =.67

40 Agora, observe estes gráficos... I II III IV

41 Sobre os gráficos anteriores Importância da inspeção visual dos dados experimentais...

42 Exemplo The number of disk I/O's and processor times of seven programs were measured as: (14, 2), (16, 5), (27, 7), (42, 9), (39, 10), (50, 13), (83, 20) For this data: n=7, Σ xy=3375, Σ x=271, Σ x 2 =13,855, Σ y=66, Σ y 2 =828, = 38.71, = Therefore,

43 Exemplo Computacao do Erro

44 Exemplo Alocacao da Variacao Modelo explica 97% da variacao: MUITO BOM!!!

45 Exemplo Desvio Padrao dos Erros

46 Exemplo Desvio Padrao dos Parametros

47 Exemplo IC de 90% dos Parametros 0.95 quantil of t variate with 5 degrees of freedom = 2.015

48 Linearity? Exemplo Testes Visuais Independence? Homoscedasticity? Normality of errors?

49 Outros Métodos de Regressão Regressão Linear Múltipla mais de uma variável previsora Previsores Categóricos alguns dos previsores não são quantitativos, mas representam categorias Regressão Curvilinear relações não lineares Transformações quando erros não são normalmente distribuídos ou variância não é constante Tratamento de outliers pontos fora do corpo principal Erros mais comuns na análise de regressão

50 Regressão Linear Múltipla Modelos com mais de uma variável previsora Mas cada variável previsora tem uma relação linear com a variável de resposta Conceitualmente, seria equivalente a fazer um gráfico de uma linha de regressão num espaço n-dimensional, ao invés de 2-dimensões

51 Fórmula Básica de Regressão Linear Múltipla A resposta y é uma função de k variáveis previsoras x 1,x 2,..., x k y = b 0 + b 1 x 1 + b 2 x b k x k + e

52 Um Modelo de uma Regressão Linear Múltipla Dada uma amostra de n observações... o modelo consiste de n equações:

53 Sob a forma de aritmética matricial y = Xb +e

54 Análise de Regressão Linear Múltipla Está descrita no box 15.1 do Jain. Não é essencialmente importante saber como foi derivada, pois nosso curso não é de estatística e nem essa é a finalidade de um curso de métodos quantitativos. É importante no entanto saber que existe e como usá-la. A maior parte do material é similar a regressão linear simples. Um exemplo de duas variáveis.

55 Exemplo de uma Regressão Linear Múltipla Considere uma equipe de segurança de redes desenvolveu vários esquemas alternativos para conter ataques aos servidores e rede. O grupo quer avaliar os mecanismos e definiu um índice de sucesso dos esquemas. O índice foi atribuído pela equipe. O índice de sucesso é baseado em dois fatores Tempo do experimento (duração) Número de ataques no período Produz uma regressão índice = b 0 + b 1 (#ataques) +b 2 (duração)

56 Dados amostrais Esquema #Ataques Duração Índice A B C D E F G H

57 Aritmética Matricial Precisa-se calcular X, X T, X T X, (X T X) -1 e X t y Por quê? Para obter b = (8.373,.005, ) Indicando que a regressão prediz: indice = *#ataques 0.009*duração

58 Matriz X do Exemplo

59 Matriz Transposta X T

60 Multiplicação Matricial X T X

61 Inversão Matricial (X T X) -1

62 Multiplicação para obter X T y

63 Multiplicação de (X T X) -1 (X T y) para obter b

64 Quão bom é este modelo de regressão? Qual a precisão do modelo na previsão do índice de um esquema baseado no #ataques e tempo de duração? A melhor forma para determinar isto analiticamente é calcular ou

65 Cálculo dos Erros Indice Índice #At. Dur. estimado e i e i

66 Assim SSE = 1.08 SSY = Cálculo dos Erros SS0 = SST = SSY - SS0 = = 1.4 SSR = SST - SSE =.33 Isto é, esta regressão está RUIM!

67 Por que é ruim? Vamos examinar as propriedades dos parâmetros da regresão Graus de liberdade: n -3 (3 parametros) Vamos calcular o desvio padrão dos parâmetros da regressão

68 Cálculo do Desvio Padrão São estimativas, pois estamos trabalhando com uma amostra Desvio padrão estimado de:

69 Cálculo de Intervalos de Confiança Em um nível de 90%, por exemplo Intervalos de confiança são: b0 = 8.37 ± (2.015)(1.29) = (5.77, 10.97) b1 =.005 ± (2.015)(.01) = (-.02,.02) b2 = ± (2.015)(.008) = (-.03,.01) Somente b 0 é significativo, neste nível

70 Análise da Variância Podemos então dizer que realmente nenhuma das variáveis previsoras é significativa? O teste F pode ser usado para essa finalidade Por exemplo, para determinar se o SSR é significativamente maior que o SSE Equivalente a testar se y não depende de qualquer das variáveis previsoras

71 Executando o F-Teste Calcule SSR e SSE e seus graus de liberdade: SSR tem k graus de liberdade SST tem n-1 graus de liberdade Logo: SSE tem n-(k+1) graus de liberdade (k+1 parametros) Calcule o quadrado das médias da regressão (MSR) e dos erros (MSE) MSR = SSR/DOF(SSR) MSE = SSE/DOF(SSE) MSR/MSE tem uma distribuição F Se MSR/MSE > F-tabela, os previsores explicam uma fração significativa da variação da resposta Em outras palavras: SSR e significativamente maior que SSE OU: y depende de pelo menos uma variavel previsora Vide Tabela 15.3 do Jain: Tabela ANOVA

72 O F-Teste do Exemplo SSR =.33 SSE = 1.08 MSR = SSR/k =.33/2 =.16 MSE = SSE/(n-k-1) = 1.08/( ) =.22 F-calculado = MSR/MSE =.76 F [90; 2,5] = 3.78 (em 90%) Assim o teste F falha em 90%

73 Multipla colinearidade Se dois previsores são linearmente dependentes, eles são co-lineares Significa que são relacionados E assim uma segunda variável não melhora a regressão Pode inclusive piorar a regressão. Sintoma típico são resultados inconsistentes em vários testes de significância. F-teste da que SSR e significativamente maior que SSE Mas ICs para coeficientes incluem 0

74 Determinação de Multipla colinearidade Deve uma haver uma correlação entre as variáveis previsoras. Se a correlação for alta, elimine uma e repita a regressão sem ela. Se a significância da regressão melhorar, devese provavelmente a co-linearidade entre as duas variáveis.

75 A múltipla co-linearidade é um problema no nosso exemplo? Provavelmente não, pois não há testes inconsistentes. Como verificar? Calcular a correlação de #ataques e duração O cálculo indica: -.25 Não são correlacionados Ponto importante: adicionar uma variável previsora nem sempre aumenta a precisão da regressão.

76 Calculo da Correlacao

77 Por que a regressão não funcionou bem neste exemplo? Verifique os gráficos de pontos Índice vs. #ataques Índice vs. duração Independente de quão boa ou ruim é a regressão (coeficiente de determinação), sempre verifique os gráficos de pontos.

78 9 Olhe os gráficos! Indice Duração

79 Olhe os gráficos! Índice #Ataques

80 Exemplo Sete programas foram monitorados quanto as suas demandas por recursos, particularmente, o numero de operacoes de I/Os (disco), o consumo de memoria (em KB) e o tempo de CPU (em ms). Os dados sao mostrados a seguir Tempo de CPU y i Disk I/Os x 1i Tamanho da Memoria x 2i Encontre um modelo linear para estimar o tempo de CPU em funcao dos outros dois recursos

81 Exemplo CPU time = b 0 + b 1 (# disk I/Os) + b 2 (tamanho da mem)

82 Exemplo CPU time = b 0 + b 1 (# disk I/Os) + b 2 (tamanho da mem)

83 Exemplo CPU time = b 0 + b 1 (# disk I/Os) + b 2 (tamanho da mem) A equacao de regressao: Cpu time = (# disk I/Os) (tam. Mem)

84 Exemplo Vamos fazer a analise de variancia (ANOVA) da regressao: Calculo das previsoes, erros e erros quadrados y i x 1i x 2i e i (e i )

85 Exemplo Calculo dos SS* A regressao explica 97% da variabilidade dos dados: BOM!

86 Exemplo Calculo do desvio padrao dos erros e dos coeficientes

87 Exemplo Calculo dos CI de 90%: 95% da variavel t com 4 graus de liberdade t 0.95,4 = Nenhum parametro e significativo

88 Exemplo Realizando o teste F: SSE = 5.3 Graus de liberdade do SSE = n-(k+1) = n-3 = 4 MSE = SSE/n-(k+1) = 5.3/4 = 1.33 SSR = Graus de liberdade do SSR = k = 2 MSR = /2 = MSR / MSE = Tabela F: 4.32 Ja que MSR/MSE > F -> regressao passou o teste F Isto significa que a hipotese de que todos parametros sao 0 nao pode ser aceita. Inconsistencia???

89 Exemplo Vamos calcular a correlacao entre as variaveis previsoras (numeros de I/Os e tamanho de memoria)

90 Exemplo Alta correlacao: multicolineariedade prejudica a regressao. Precisa refazer regressao somente com # de I/Os e, separadamente, com tamanho de memoria, e escolher melhor previsor (isto e, aquele que resulta no maior R2) Neste caso e regressao linear simples

91 Regressão com Previsores Categóricos Os métodos de regressão vistos ate aqui assumiram valores numéricos! O que acontece se algumas variaveis são por natureza categóricas, não numéricas? Por exemplo, o tipo de processador pode ser uma variável categórica. Existem técnicas se todas variáveis são categóricas. Projetos fatoriais: estatisticamente mais precisos As tecnicas apresentadas a seguir sao para regressoes com previsores mistos (alguns categoricos e outros numericos) Níveis número de valores que uma categoria pode assumir.

92 Trabalhando com Previsores Categóricos Se somente dois níveis são usados, defina x i assim: x i = 0 para primeiro valor, x i = 1 para segundo valor b i representa a diferenca no efeito das duas alternativas Pode-se usar +1 and -1 como valores, também. 2b i representa a diferenca entre duas alternativas

93 Trabalhando com Previsores Categóricos Precisa-se de k-1 variáveis previsoras para k níveis Para evitar implicações de ordem nas categorias Reflete B no meio entre A e C Parametros sem significado

94 Exemplo de Variáveis Categóricas O desempenho de uma chamada de procedimento remota (RPC) foi comparada em dois sistemas operacionais UNIX e ARGUS. A metrica avaliada foi o tempo total para diferentes tamanhos de dados. A Tabela abaixo mostra os resultados das medicoes. Unix: Data bytes Tempo Argus: Data bytes Tempo Qual o custo de processamento por byte para os dois sistemas? E o custo de setup?

95 Exemplo de Variáveis Categóricas y = b 0 + b 1 x 1 + b 2 x 2 y = tempo de processamento da RPC x 1 = numero de bytes x 2 = 1 se sistema e Unix, e 0 se sistema e Argus Resultado da Regressao: Parametro Media Desvio Padrao IC b ( , ) b (0.0192, ) b ( , ) R 2 = Custo por byte em ambos sistemas e milisegundos Custo de setup e ms no ARGUS e ( ) no UNIX Premissa da solucao: custo per byte independe do sistema operacional. E se isto nao for verdade?

96 Regressão Curvilinear Regressão linear assume relações lineares entre variáveis previsoras e a resposta. O que acontece quando essas relações não são lineares? Coeficientes de determinação R 2 pobres É necessário encontrar outro tipo de função para a relação entre previsores e resposta.

97 Quando devemos usar uma regressão curvilinear? A forma mais direta é fazer uma inspeção visual nos dados. Faça um gráfico de pontos Se o gráfico não se apresenta como linear (alguma indicação de linearidade), use então uma regressão curvilinear. Ou então quando há outras razões para suspeitar que as relações não são lineares (ex., fenômenos claramente modelados por power laws, Zipfs Law, etc). Relações devem ser convertidas para formas lineares.

98 Tipos de Regressão Curvilinear Existem muitos tipos possíveis, baseados numa variedade de relações entre as variáveis: Existem várias outras possibilidades

99 Transformação para Relações Lineares Use qualquer transformação que leve a representar a relação através de funções de forma linear, como : logaritmos, multiplicação, divisão, etc. Quer se obter algo como: y = a + bx y e x obtidos com a transformacao

100 Funções de Regressão CurviLineares NaoLinear y =a + b x Linear y =a + b( 1 x ) x' = 1 x y =1/(a + bx) 1 y = a + bx y' = 1 y y =a b x ln y =ln a + x lnb y =a + bx n y =a + b(x n )

101 Transformações O termo transformação é usado quando uma função da variável de resposta medida é usada no lugar da própria variável. Usar alguma função da variável resposta y (w = h(y)) em lugar do próprio y. Regressão curvilinear é um exemplo dessa transformação. As técnicas tem aplicação mais geral

102 Quando transformar? 1. Quando as propriedades físicas conhecidas do sistema medido sugerem que a função da resposta, ao invés da própria resposta, é uma variável melhor para o modelo. Exemplo: mediu-se tempos entre chegadas mas sabe-se que relacao linear e valida para taxa de chegadas. 2. Quando o intervalo dos dados medidos cobre várias ordens de grandeza e a amostra e pequena. Deve-se buscar uma transformacao que reduza a variabilidade. Exemplo: 3. Quando a hipótese de uma variância homogênea dos resíduos é violada (i.e. Homoscedasticity).

103 Transformação Devida a Homoscedasticity Se num gráfico de pontos dos resíduos (erros) versus a resposta prevista, o espalhamento não é homogêneo. Então os resíduos são ainda uma função das variáveis previsoras. A transformação da resposta pode resolver o problema.

104 Qual transformação deve-se usar? Calcule o desvio padrão dos resíduos para cada estimativa ŷ i. Deve haver mais de um residuo para cada valor estimado para x i. Considere múltiplos experimentos para um conjunto de valores previsores.

105 Qual transformação deve-se usar? Coloque num gráfico de pontos esses desvios como função da média das observações para ŷ i. se for linear então use a transformação logaritmica. s = aŷ i + b w = h(y) = ln(y)

106 Outros testes para transformações Se a variância versus a média das observações medidas é linear, use uma transformação de raíz quadrada: w = sqrt(y)

107 Outros testes para transformações Se o desvio padrão versus o quadrado da média é linear, use uma transformação inversa: w = 1/sqrt(y) Se o desvio padrão versus a média elevada a uma potência a é linear use uma transformação de potência: w = y 1-a Outras transformações estão descritas no livro do Jain. Ao final basta fazer a regressao para w = b 0 + b 1 x b k x k + e

108 Outliers Medidas observadas em experimentos tipicamente contem outliers (i.e., valores muito fora do corpo da curva) Medidas que não são uma característica verdadeira do sistema. Erros podem ter ocorrido no processo experimental de medição. Comportamentos atípicos de usuários do sistema podem existir (ex: um nerd que joga um game 15 horas consecutivas, quando se está analisando tempos de conexão a um provedor de serviços) Isso resulta no seguinte problema: Devemos ou não incluir os outliers nas análises que estamos fazendo?

109 Como tratar os outliers? 1. Determine os outliers, analisando por exemplo os gráficos de pontos. 2. Verifique cuidadosamente os erros experimentais 3. Repita os experimentos com valores previsores para os outliers e valores proximos a eles. 4. Decida se deve ou não incluir os outliers: Verifique se os outliers são parte do sistema ou se são excecões que podem ser desprezadas. Analise os dados com e sem os outliers e veja o que faz mais sentido. Todas as análises dependem da natureza do sistema em estudo.

110 Erros mais comuns nas análises usando regressões Geralmente baseadas em atalhos ou simplificação excessiva dos dados. Realizada sem cuidados e técnicas fundamentadas. Falta de entendimento dos princípios fundamentais de estatística. Falta de entendimento dos princípios fundamentais do método científico.

111 Não verificação da linearidade Desenhe o gráfico de pontos Se não for linear, verifique as possibilidades curvilineares e suas transformações. O uso de uma regressão linear quando as relações entre resposta e previsores não são lineares é um ERRO!

112 Basear em resultados sem uma inspeção visual Sempre verifique o gráfico de pontos, como parte das análises usando regressões. Examine a linha de regressão prevista versus os pontos reais obtidos pelo experimento. Isso é particularmente importante no caso de uso de pacotes que fazem regressões automaticamente.

113 Atribuição de importância aos valores dos parâmetros Valores numéricos da regressão dependem da escala das variáveis previsoras. Não é devido ao fato de um valor ser pequeno ou grande que é necessariamente uma indicação de importância. Exemplo: Converter segundos para microsegundos não muda nada fundamental no problema Mas muda a magnitude dos valores dos parâmetros associados.

114 Exemplo Tempo de CPU em segundos = 0.01*(# oper. E/S) *(tamanho da memória em Mbytes) Tempo de CPU em milisegundos = 10*(# oper. E/S) + 1*(tamanho da memória em Mbytes) Valores absolutos dos parâmetros podem ser enganadores! A forma correta de comparar a significância de um parâmetro da regressão é através de seu intervalo de confiança.

115 Ausência de cálculo de Intervalos de Confiança As amostras das observações medidas são aleatórias. Assim, a regressão executada nessas amostras gera parâmetros com propriedades aleatórias também. Sem intervalos de confiança, é impossível entender o significado e a confiança que se tem nos valores dos parâmetros.

116 Ausência de cálculo do Coeficiente de Determinação (R 2 ) Sem o cálculo de R 2, é difícil determinar quanto da variação é explicada pela regressão.

117 Uso Inadequado do Coeficiente de Correlação Coeficiente de determinação é R 2 Coeficiente de correlação é R R 2 dá o percentual da variacao que é explicada pela regressão, e isso é diferente de R Exemplo se R é 0.6, então R 2 = 0.36 a regressão explica apenas 36% da variação nos dados não 60%!!

118 Uso de variáveis previsoras altamente correlacionadas Se duas variáveis previsoras são correlacionadas, o uso de ambas variáveis degrada a regressão. Exemplo: num servidor Web é provável haver correlação entre tamanho de um arquivo e sua popularidade assim, não use os dois num modelo de previsão de cache hit ratio O exemplo mostra que é necessário conhecer bem as variáveis previsoras e suas possíveis relações

119 Uso de regressão muito além do intervalo de observação A regressão é baseada no comportamento observado de uma amostra em particular (ou conjunto de amostras). Refere se ao comportamento do sistema numa certa faixa de valores É mais seguro prever dentro de uma faixa compatível com o intervalo de valores observados na medição Valores muito além podem ser previstos? Exemplos Uma regressão do tempo de execução de módulos de código que são menores que o tamanho de memória disponível, pode não ser capaz de prever o tempo de módulos que fazem muito uso de memória virtual. A previsão do número de queries que chega numa máquina de busca baseada numa regressão sobre valores de um log de vários dias pode não ser capaz de prever o que acontecerá meses a frente.

120 Uso de muitas variáveis previsoras O acréscimo de mais variáveis previsoras não necessariamente melhora a qualidade do modelo. Pode-se criar problemas como o de multi-colinearidade Quais variáveis devem então ser usadas? É o que estamos tentando aprender neste curso

121 Medindo um intervalo pequeno de valores ou medindo intervalos não significativos Uma regressão somente prevê bem valores próximos do intervalo observado de mediçoes. Se não forem feitas medições dos intervalos mais comuns de operação do sistema, a regressão não irá prever muita coisa. Exemplos Se muitos programas são maiores que a memória real disponível, então medir aqueles que são menores, pode ser um erro, pois fatores como overhead estariam sendo ignorados quando fosse feita uma previsão de programas maiores. Se o experimento mede os tempos de execução de queries de um conjunto de palavras pouco frequentes, então prever os tempos de palavras muito frequentes, pode ser um erro, pois há efeitos como caching que não estariam sendo considerados.

122 Exemplo 2 A Lei de Amdahl para operacoes de I/Os em sistemas de computacao diz que a taxa de I/O e proporcional a velocidade do processador. Para cada instrucao executada, ha um bit de I/O em media. Para validar a lei, os numeros de I/Os e as utilizacoes de CPU de um numero de computadores foram medidos. Usando a taxa MIPS nominal para o sistema e a sua utilizacao, a taxa de processamento de instrucoes (em MIPS) e a taxa de I/O (em KB/s) foram computados para um periodo. Os dados foram mostrados abaixo. Voce consegue validar/refutar a Lei de Amdahl com os dados abaixo? Sistema MIPS Usado Taxa de I/O

123 Exemplo 2 Vamos assumir, por hora, o seguinte modelo curvilinear: I/O rate = α (MIPS rate) b log(i/o rate) = log α + b log(mips rate) Os parametros b 0 = log α e b 1 = b podem ser estimados via regressao linear simples Parametro Media Desvio Padrao CI 90% b (1.20, 1.64) b (0.64,1.14) R2 = > boa regressao Os dois coeficientes sao significativos com a confianca de 90%. Alem disto, como o CI para b1 contem 1, podemos aceitar a hipotese de que o relacionamento entre I/O rate e MIPS rate e linear.

124 Exemplo 3 Os resultados de uma regressao linear multipla baseada em nove observacoes estao mostrados na tabela abaixo. Baseado nestes resultados responda as perguntas a seguir. j b j s bj Ponto de Intersecao = 75.3 Coeficiente de correlacao multipla = 0.95 Desvio padrao dos erros = 12.0

125 Exemplo 3 Qual porcentagem da variacao e explicada pela regressao? R = 0.95 R 2 = 0.95*0.95 = % da variacao e explicada pela regressao A regressao e significativa, com uma confianca de 90%? Desvio padrao dos erros s e = sqrt (SSE/n-k-1) SSE = (n-k-1)* (s e ) 2 = (9 5)*12*12 = 576 R 2 = SSR / SST = SSR / (SSR + SSE) SSR/(SSR + 576) = SSR = / = MSR = SSR/k = /4 = MSE = SSE/(n-k-1) = 576/4 = 144 MSR/MSE = F-value (0.9,4,4) = 4.11 sim, a regressao e significativa

126 Exemplo 3 Quais parametros sao significativos com uma confianca de 90%? Calcular IC : b j ± t*s bj 0.95 quantil da variavel t com n-k-1 (= 4) graus de liberdade = CI para b 1 = 1.3 ± 2.132*3.6 = (-6.38, 8.98) : nao e significativo pois inclui zero. CI para b 2 = 2.7 ± 2.132*1.8 = (-1.14, 6.54) : nao e significativo CI para b 3 = 0.5 ± 2.132*0.6 = (-0.78, ) : nao e significativo CI para b 4 = 5.0 ± 2.132*8.3 = (-12.70,22.70): nao e significativo Nenhum parametro e significativo com confianca de 90%

127 Exemplo 3 Qual o problema com a regressao e qual seria o seu proximo passo? Pode ser um problema de multicolinearidade. Testar correlacao entre varios pares de previsores. Dentre os pares que tiverem alta correlacao, testar a regressao com cada previsor separadamente e escolher aquele que resulta no melhor R 2