Virgílio A. F. Almeida DCC-UFMG 2005

Transcrição

1 Virgílio A. F. Almeida DCC-UFMG 005

2 O que é um bom modelo? Como estimar os parâmetros do modelo Como alocar variações Intervalos de Confiança para Regressões Inspeção Visual

3 ! "# Para dados correlacionados, um modelo deve prever uma resposta dado uma entrada. Modelo deve ser ser a equação que adequa-se ( fit ) aos dados. Definição padrão de fits está diretamente relacionada aos mínimos quadrados ( leastsquares ) Minimizar o erro ao quadrado Enquanto mantém o erro médio em zero Minimizar a variância dos erros

4 $ Se é y y b + b x 0 então o erro na estimativa para x i Minimizar a Soma dos Erros ao Quadrado (SSE) n n i i i Sujeita as restrições i i i e y y ( ) e y b b x i y i 0 i n n e y b b x i i i ( ) i 0 i 0

5 %& Os melhores parâmetros da regressão são onde b x xy xy nxy x nx Observe erro no livro! x i y n x y b0 y b x y i n i i x x i

6 & Tempo de execução de um query para várias palavras: x x Palavras y Tempo ,.3, Σxy 88.54, Σx 64 y ( 5)( 6. 8)(. 3) 64 ( 5)( 6. 8) b 0. 9 b 0.3 (0.9)(6.8) 0.35

7 ' () %& 3 Tempo Palavras

8 * Algumas relações não lineares podem ser tratadas por transformações: Para y ae bx pegue o logaritmo de y, faça a regressão sobre log(y) b 0 +b x, sendo b b, a e b 0 Para y a+b log(x), tome o log de x antes dos parâmetros de fitting, seja b b, a b 0 Para y ax b, tire o log de ambos x e y, e faça b b, a e b 0

9 * Sem regressão, a melhor estimativa de y é y Valores observados de y diferem de y aumentando os (variação) Regressão provê uma melhor estimativa, mas ainda existem erros Nós podemos avaliar a qualidade da regressão pela alocação das fontes de erros.

10 ' () % + Tempo 3 y Palavras

11 , SSE Sum of Squared Errors SST Total Sum of Squares SST n n ( yi y) i i y i ny SSY SS0 y y SSY Sum of Squares of SS0 Sum of Squares of SSR Sum of Squares explained by Regression

12 -. Sem regressão, o erro ao quadrado é SST n ( y y) ( y y y y ) i i i + i i n n yi y yi + ny i i n ( ) yi y ny + ny i n SSY SS yi ny 0 i n

13 - O SSE sem regressão seria: ( y y ) e i i i Erro sem regressão é SST Assim a regressão explica SSR SST - SSE Qualidade da regressão medida pelo coeficiente de determinação: R S S R S S T S S E S S T S S T Quanto maior o valor de R, melhor a regressão.

14 ) / Calcule Calcule SST ( y ) ny SSE y b y b xy 0 Calcule R SST SSE SST SSE SST

15 )/ Para o exemplo anterior de regressão x y ( 5)(. 3) 6. 9 ny Σy.60, Σy 9.79, Σxy 88.54, SSE 9.79-(0.35)(.60)-(0.9)(88.54) 0.05 SST SSR R ( )/

16 / % Variancia de erros é SSE dividido pelos graus de liberdade (DOF): DOF: n porque calculamos parametros de regressão dos dados. Assim a variância (mean squared error, MSE): SSE Desvio padrão dos erros é a raiz quadrada: n s e SSE n

17 Coeficente de determinação R S S R S S T S S T S S E S S T Correlação da Amostra s xy n i ( y i y)( x i x) Correlaçãoda amostra R xy s s xy x s y

18 " (! SST SSY SS0 SSE SSR n- n n- Precisa computar Não depende de nenhum outro parâmetro Precisa computar y Precisa computar dois parâmetros da regressão SST-SSE SST SSY SS0 SSR+ SSE n n + ( n ) y

19 / % Para o exemplo de regressão, SSE era 0.05, então MSE é 0.05/ e s e 0.3 Observe a alta qualidade da regressão do exemplo: R 0.98 s e 0.3 Por que uma linha reta se adequa ( fit ) tão bem?

20 0) Regressão é calculada de uma única amostra da população (tamanho n) Diferentes amostras devem dar resultados diferentes. Modelo verdadeiro é y β 0 + β x Parâmetros b 0 e b são na verdadade médias retiradas das amostras da população.

21 ( 0 %& Desvio Padrão dos Parâmetros: s s b b 0 x se + n x nx se x nx Intervalos de confiança são b i ± t Onde t tem n - graus de liberdade s e é o desvio padrão dos erros [ α /, n ] s bi

22 0) Lembre que s e 0.3, n 5, Σx 64, 6.8 Assim s s b b ( 6. 8) ( 6. 8) 64 5( 6. 8) Usando um intervalo de confiança de 90%, t 0.95;3.353 x

23 0) Assim, o intervalo b ±.353(0.6) (-0.03,0.73) b é 0.9 ±.353(0.004) (0.8,0.30)

24 0), Para fits nonlineares usando transformações exponenciais: Intervalos de confiança se aplicam aos parâmetros transformados Não é valido para a transformação inversa sobre os intervalos.

25 0) % Intervalos de confiança vistos são para os parâmetros Quão certo podemos estar que os parâmetros estão corretos? Finalidade da regressão é a predição Quão precisas são as predições Regressão oferece uma média das respostas previstas, baseadas nas amostras usadas.

26 %" Desvio padrão para a média de futuras amostras de m observações em x p é b b y + p 0 x p S s y s mp e + + m n ( x x ) p x n x Note que o desvio diminui qdo m Variância mínima em x x

27 ) % Usando equações prévias, qual é o tempo previsto para 8 queries? Tempo (8).67 Desvio padrão de erros s e 0.3 ss y p. y p % do intervalo é então ( ) 64 5( 6. 8) ( 0. 4) (. 34, 3. 00)