Regressão, Interpolação e Extrapolação Numéricas

Transcrição

1 , e Extrapolação Numéricas Departamento de Física Universidade Federal da Paraíba 29 de Maio de 2009, e Extrapolação Numéricas

2 O problema Introdução Quem é quem Um problema muito comum na física é o de conhecermos os valores de uma função em uma série de pontos e desejamos fazer previsões ou estimativas fora deles Conhecimento da forma analítica subjascente ao problema estimar parâmetros da função Estimar valor da função entre os valores conhecidos interpolação Estimar valor da função fora do intervalo de valores conhecidos extrapolação, e Extrapolação Numéricas

7 O que usar? Introdução Ajuste de dados é mais confiável que interpolação é mais confiável que extrapolação Os algoritmos para interpolação servem para extrapolação Contudo, são muito menos confiáveis, e Extrapolação Numéricas

10 polinomial Polinomial Spline cúbico Polinômios Suponha que conheçamos y i = f (x i ) em N + 1 pontos x 0 < x 1 <... < x N Existe um único polinômio P N (x) de grau N que passa por todos eles P N (x i ) = y i P N (x) = a 0 +a 1 (x x 0 )+a 2 (x x 0 )(x x 1 )+ +a N (x x 0 )(x x 1 ) (x x N 1 ) a 0 = y 0 a 0 + a 1 (x 1 x 0 ) = y 1 a 0 + a 1 (x 2 x 0 ) + a 2 (x 2 x 0 )(x 2 x 1 ) = y 2, e Extrapolação Numéricas

16 Cálculo dos coeficientes Polinomial Spline cúbico 1 a 0 = f (x 0 ) 2 f 0 (x) = f (x) f (x 0) x x 0 = a 1 + a 2 (x x 1 ) + + a N (x x 1 ) (x x N 1 ) a 1 = f 0 (x 1 ) 3 f 1 (x) = f 0(x) f 0 (x 1 ) x x 1 = a 2 + a 3 (x x 2 ) + + a N (x x 2 ) (x x N 1 ) a 2 = f 1 (x 2 ) 4 Em geral, temos f k 1 (x) = f k 2(x) f k 2 (x k 1 ) x x k 1 = a k + a k+1 (x x k ) + + a N (x x k ) (x x N 1 ) a k = f k 1 (x k ), e Extrapolação Numéricas

23 Polinomial Spline cúbico a 0 x 0 f (x 0 ) f 0 (x 1 ) x 1 f (x 1 ) f 1 (x 2 ) f 0 (x 2 ) f 2 (x 3 ) x 2 f (x 2 ) f 1 (x 3 ) f 0 (x 3 ) x 3 f (x 3 ), e Extrapolação Numéricas

24 Polinomial Spline cúbico a 0 a 1 x 0 f (x 0 ) f 0 (x 1 ) x 1 f (x 1 ) f 1 (x 2 ) f 0 (x 2 ) f 2 (x 3 ) x 2 f (x 2 ) f 1 (x 3 ) f 0 (x 3 ) x 3 f (x 3 ), e Extrapolação Numéricas

25 Polinomial Spline cúbico a 0 a 1 x 0 f (x 0 ) f 0 (x 1 ) x 1 f (x 1 ) f 1 (x 2 ) f 0 (x 2 ) f 2 (x 3 ) x 2 f (x 2 ) f 1 (x 3 ) f 0 (x 3 ) x 3 f (x 3 ), e Extrapolação Numéricas

26 Polinomial Spline cúbico a 0 a 1 x 0 f (x 0 ) a 2 f 0 (x 1 ) x 1 f (x 1 ) f 1 (x 2 ) f 0 (x 2 ) f 2 (x 3 ) x 2 f (x 2 ) f 1 (x 3 ) f 0 (x 3 ) x 3 f (x 3 ), e Extrapolação Numéricas

29 Polinomial Spline cúbico a 0 a 1 x 0 f (x 0 ) a 2 f 0 (x 1 ) a 3 x 1 f (x 1 ) f 1 (x 2 ) f 0 (x 2 ) f 2 (x 3 ) x 2 f (x 2 ) f 1 (x 3 ) f 0 (x 3 ) x 3 f (x 3 ), e Extrapolação Numéricas

33 polinomial Polinomial Spline cúbico f(x) x, e Extrapolação Numéricas

34 Observações finais Introdução Polinomial Spline cúbico A interpolação polinomial deve ser feita em cada ponto Em pontos diferentes, obtemos polinômios diferentes Erro pode ser grande próximo aos limites do intervalo., e Extrapolação Numéricas

37 Spline cúbico objetivo Polinomial Spline cúbico Interpolar um conjunto de n + 1 pontos {x i, y i } com uma função s(x) = s i (x) para x i < x x i+1 n equações s i (x) é um polinômio de grau 3 4n coeficiente Condições de contorno 1 s(x i ) = y i n equações 2 Continuidade de s(x) s i (x i ) = s i 1 (x i ) = y i n equações 3 Continuidade de s (x) s i (x i) = s i 1 (x i) (n 1) equações 4 Continuidade de s (x) s i (x i ) = s i 1 i) (n 1) equações 5 Condições de contorno livres nos extremos s (x 0 ) = s (x n ) = 0 2 equações, e Extrapolação Numéricas

48 Determinação de s i (x) Introdução Polinomial Spline cúbico s i (x) = a i (x x i ) 3 + b i (x x i+1 ) 3 + c i (x x i ) + d i (x x i+1 ) Precisamos, portanto, calcular {a i, b i, c i, d i } s i (x i ) = y i = 6b i (x i x i+1 ) y i b i = 6(x i+1 x i ) s i (x i+1 ) = s i+1 (x i+1 ) = y a i = y i+1 6(x i+1 x i ) i+1 = 6a i (x i+1 x i ) s i (x) = y i+1 (x x i ) 3 y i (x x i+1 ) 3 + c i (x x i ) + d i (x x i+1 ) 6h i 6h i, e Extrapolação Numéricas

49 Determinação de s i (x) Introdução Polinomial Spline cúbico s i (x) = a i (x x i ) 3 + b i (x x i+1 ) 3 + c i (x x i ) + d i (x x i+1 ) Definindo y i como a segunda derivada em x i (a determinar), temos s i (x i ) = y i = 6b i (x i x i+1 ) y i b i = 6(x i+1 x i ) s i (x i+1 ) = s i+1 (x i+1 ) = y a i = y i+1 6(x i+1 x i ) i+1 = 6a i (x i+1 x i ) s i (x) = y i+1 (x x i ) 3 y i (x x i+1 ) 3 + c i (x x i ) + d i (x x i+1 ) 6h i 6h i, e Extrapolação Numéricas

52 Determinação de s i (x) Introdução Polinomial Spline cúbico s i (x) = y i+1 (x x i ) 3 y i (x x i+1 ) 3 + c i (x x i ) + d i (x x i+1 ) 6h i 6h i Mas, s i (x i ) = y i e s i (x i+1 ) = y i+1, logo s i (x) = y i+1 y i+1 = y i+1 6 h2 i + c i h i c i = y i+1 y i+1 h i 6 h i y i = y i 6 h2 i d i h i d i = y i (x x i ) 3 y i (x x i+1 ) 3 6h i 6h i + ( yi+1 h i y i+1 6 h i ) (x x i ) + ( y i + y i h i 6 h i + y i h i 6 h i ) (x x i+1 ), e Extrapolação Numéricas

55 Determinação de y i Introdução Polinomial Spline cúbico Usando a continuidade de s (x) [ s i (x i) = s i 1 (x i) ], temos y i [ 2 h yi+1 i + y h i Donde = y i 2 h i 1 + ] [ i+1 6 h i + y i + y ] i h i 6 h i y ] [ i h i 1 6 h i 1 + y i 1 [ yi h i 1 + y i 1 6 h i 1 ] h i 1 y i 1 + 2(h i 1 + h i )y i + h i y i+1 [ yi+1 y i = 6 h i y ] i y i 1 h i 1, e Extrapolação Numéricas

58 Determinação de y i Introdução Polinomial Spline cúbico Definindo u i = 2(h i 1 + h i ) e v i = y i+1 y i h i resolver o seguinte sistema de equações: u 1 h 1 0 h 1 u 2 h h 2 u 3 h 3 0 h n 4 u n 3 h n 3 0 h n 3 u n 2 h n 2 h n 2 u n 1 y i y i 1 h i 1 sistema tridiagonal temos que y 1 y 2 y 3 y n 3 y n 2 y n 1 = v 1 v 2 v 3 v n 3 v n 2 v n 1, e Extrapolação Numéricas

59 Algoritmo Introdução Polinomial Spline cúbico 1 Dado o conjunto de pontos {x i, y i }, resolvemos o sistema de equações acima, obtendo y i. 2 Para um ponto qualquer x 0, encontramos i, tal que x i x 0 < x i+1. 3 Calculamos a interpolação em x 0 s i (x 0 ) = y i+1 ( yi+1 + (x 0 x i ) 3 y i (x 0 x i+1 ) 3 6h i 6h i y ) ( i+1 h i 6 h i (x 0 x i ) + y i + y i h i 6 h i ) (x 0 x i+1 ), e Extrapolação Numéricas

62 Observações finais Introdução Polinomial Spline cúbico O método Spline gera uma função que pode ser avaliada para qualquer ponto Chamadas sucessivas para diferentes pontos não requerem novas interpolações Suavidade da curva é garantida, e Extrapolação Numéricas

65 Objetivo e Tipos Introdução linear não-linear Objetivo Modelar a relação entre uma ou mais variáveis dependentes e as variáveis de controle Conhecendo a dependência funcional entre as variáveis dependentes e de controle, encontrar os parâmetros que melhor ajustam a função aos dados A função não passa necessariamente por todos os pontos, mas deve minimizar o erro (mínimos quadrados), e Extrapolação Numéricas

68 Mínimos quadrados Introdução linear não-linear Definições Assim como no caso da interpolação, conhecemos N pontos {x i, y i } Temos também uma função f (x; a 1, a 2,..., a k ), onde {a j } são os parâmetros ajustarão a função Por exemplo, f (x) = a 1 x + a 2 Podemos medir a distância entre a função e os pontos (erro) pela soma dos quadrados das diferenças N χ 2 = [f (x i ) y i ] 2 i=1 Mínimos quadrados minimizar χ 2, e Extrapolação Numéricas

73 linear: um exemplo linear não-linear f (x) = a 0 + a 1 x Minimizar χ 2 = N i=1 [a 1x i + a 0 y i ] 2 [ χ 2 = 2 a 1 χ 2 a 0 = 2 a 1 ( N i=1 x 2 i ) ( N ) ( N )] + a 0 x i x i y i = 0 i=1 i=1 [ ( N ) ( N )] a 1 x i + Na 0 y i = 0 i=1 i=1, e Extrapolação Numéricas

74 linear Introdução linear não-linear Resolvendo o sistema para a 1 e a 0 temos ( N ) ( N i=1 x N ( iy i i=1 x N ) i) i=1 y i a 1 = ( N ) ( N i=1 x N ) 2 i 2 i=1 x i ( N ) ( i=1 x N ( i 2 i=1 y N ) ( i) i=1 x N ) i i=1 x iy i a 0 = ( N ) ( N i=1 x N ) 2 i 2 i=1 x i, e Extrapolação Numéricas

75 linear Introdução linear não-linear Interpretação física a 1 = xy x y x 2 x 2 a 0 = x 2 y x xy x 2 x 2, e Extrapolação Numéricas

76 Qualidade da regressão linear não-linear Coeficiente de correlação r = xy x y ( x 2 x 2) ( y 2 y 2) Dados correlacionados: y = f (x) = a 0 + a 1 x r = sinal(a 1 ) r > 0 dados correlacionados r < 0 dados anti-correlacionados r = 0 y não depende de x Quanto mais próximo de 1 for o valor de r 2, melhor a regressão, e Extrapolação Numéricas

82 linear: teoria geral linear não-linear No exemplo anterior, consideramos a função f (x) = a 0 + a 1 x O termo linear NÃO se refere à variável x Para a regressão linear o importante é a linearidade de a 0 e a 1 Em geral, podemos fazer uma regressão linear da função f (x) = k a k g k (x) onde g k (x) pode ser qualquer., e Extrapolação Numéricas

85 linear: teoria geral linear não-linear f (x) = k a kg k (x) Minimizar χ 2 = N i=1 [( k a kg k (x i )) y i ] 2 [ ( χ 2 N ) ( N )] = 2 a k g k (x i )g j (x i ) g j (x i )y i = 0 a j k i=1 i=1 Definindo G kj = N i=1 g k(x i )g j (x i ) e Y j = N i=1 g j(x i )y i temos: a k G kj = Y j k Sistema linear solução analítica, e Extrapolação Numéricas

86 Linearização Introdução linear não-linear Algumas funções não-lineares podem ser linearizadas 1 Exponencial f (x) = A exp(bx) Transformação: g(x) = ln f (x) = Bx + ln A = a 1 x + a 0 linear de {x i, ln(y i )} 2 Lei de potência f (x) = Ax B Transformação: g(x) = ln f (x) = B ln(x) + ln A = a 1 ln(x) + a 0 linear de {ln(x i ), ln(y i )} 3 Logaritmo f (x) = A ln(bx) Notando que f (x) = A ln(x) + A ln B = a 1 ln(x) + a 0 linear de {ln(x i ), y i }, e Extrapolação Numéricas

95 não-linear Introdução linear não-linear Para regressões lineares, a minimização de χ 2 levou a um sistema de equações lineares Portanto, uma solução analítica foi possível No caso da regressão não-linear, isto não é possível Contudo, se olharmos para χ 2 no espaço de parâmetros {a k }, o problema se resume a encontrar o mínimo solução iterativa, e Extrapolação Numéricas

99 Múltiplos mínimos Introdução linear não-linear Exemplo: f (x) = 10 cos 2 (a 1 x) cos 2 (a 2 x) y x, e Extrapolação Numéricas

100 Múltiplos mínimos Introdução linear não-linear Exemplo: f (x) = 10 cos 2 (a 1 x) cos 2 (a 2 x) χ a a , e Extrapolação Numéricas

101 Como encontrar o mínimo? linear não-linear O problema Encontrar o mínimo de χ 2 (a 1, a 2,..., a s ) = Métodos N [F k (a 1, a 2,..., a s )] k=1 Todos os métodos são iterativos 1 Steepest descent 2 Algoritmo de Gauss-Newton 3 Algoritmo de Levenberg-Marquardt, e Extrapolação Numéricas

106 Steepest descent Introdução linear não-linear Intuitivamente é o método mais simples A partir de um ponto inicial (no espaço de parâmetros), se aproxima do mínimo local tomando passos proporcionais ao negativo do gradiente Portanto, a n+1 = a n λ F, com λ > 0 suficentemente pequeno, se aproxima sucessivamente do mínimo local, e Extrapolação Numéricas

107 Steepest descent Introdução linear não-linear Intuitivamente é o método mais simples A partir de um ponto inicial (no espaço de parâmetros), se aproxima do mínimo local tomando passos proporcionais ao negativo do gradiente Portanto, a n+1 = a n λ F, com λ > 0 suficentemente pequeno, se aproxima sucessivamente do mínimo local, e Extrapolação Numéricas

108 Steepest descent Introdução linear não-linear Intuitivamente é o método mais simples A partir de um ponto inicial (no espaço de parâmetros), se aproxima do mínimo local tomando passos proporcionais ao negativo do gradiente O gradiente diz a direção em que a função cresce mais rápido Portanto, a n+1 = a n λ F, com λ > 0 suficentemente pequeno, se aproxima sucessivamente do mínimo local, e Extrapolação Numéricas

109 Steepest descent Introdução linear não-linear Intuitivamente é o método mais simples A partir de um ponto inicial (no espaço de parâmetros), se aproxima do mínimo local tomando passos proporcionais ao negativo do gradiente O negativo do gradiente diz a direção em que a função decresce mais rápido Portanto, a n+1 = a n λ F, com λ > 0 suficentemente pequeno, se aproxima sucessivamente do mínimo local, e Extrapolação Numéricas

110 Steepest descent Introdução linear não-linear Intuitivamente é o método mais simples A partir de um ponto inicial (no espaço de parâmetros), se aproxima do mínimo local tomando passos proporcionais ao negativo do gradiente O negativo do gradiente diz a direção em que a função decresce mais rápido Portanto, a n+1 = a n λ F, com λ > 0 suficentemente pequeno, se aproxima sucessivamente do mínimo local, e Extrapolação Numéricas

111 Steepest descent Introdução linear não-linear x 0, y 0, e Extrapolação Numéricas

116 Problemas do steepest descent linear não-linear O algoritmo pode levar muitas iterações para convergir para o mínimo local se as curvaturas forem diferentes nas diferentes direções Só funciona se começarmos próximo ao mínimo, e Extrapolação Numéricas

117 Problemas do steepest descent linear não-linear O algoritmo pode levar muitas iterações para convergir para o mínimo local se as curvaturas forem diferentes nas diferentes direções Só funciona se começarmos próximo ao mínimo, e Extrapolação Numéricas

118 Algoritmo de Gauss-Newton linear não-linear Para achar o mínimo, seria conveniente dar passos grandes quando o gradiente é pequeno e passos pequenos quando o gradiente é grande O método do steepest descent faz o oposto Uma possível solução é usar também a curvatura (segunda derivada) para determinar o passo Para tanto, notamos que no ponto de mínimo f ( a) = 0. Logo, podemos escrever f ( a) = f ( a 0 )+( a a 0 ) 2 f ( a 0 ) a = a 0 [ 2 f ( a 0 ) ] 1 f ( a 0 ) Que, iterativamente, se torna [ 1 f a n+1 = a n 2 f ( a n )] ( a n ), e Extrapolação Numéricas

124 Algoritmo de Gauss-Newton linear não-linear O método possui uma convergência rápida Contudo, a taxa de convergência depende sensivelmente do ponto de partida Torna-se particularmente lento se 2 f for grande, e Extrapolação Numéricas

127 linear não-linear Algoritmo de Levenberg-Marquardt Os algoritmos do steepest descent e de Gauss-Newton são, de certa forma, complementares em suas vantagens O algoritmo de Levenberg-Marquadt é uma mistura dos dois, e Extrapolação Numéricas

128 linear não-linear Algoritmo de Levenberg-Marquardt Os algoritmos do steepest descent e de Gauss-Newton são, de certa forma, complementares em suas vantagens O algoritmo de Levenberg-Marquadt é uma mistura dos dois, e Extrapolação Numéricas

129 Algoritmo de Levenberg linear não-linear 1 Faça uma iteração usando a seguinte regra [ 1 f a n+1 = a n 2 f ( a n ) + λi] ( a n ) 2 Calcule o erro com o novo vetor de parâmetros 3 Se o erro aumentar, despreze o novo vetor de parâmetros e aumente λ por um certo fator (normalmente 10) 4 Se o erro diminuir, aceite o novo vetor e divida λ pelo mesmo fator 5 Repita o processo até obter convergência, e Extrapolação Numéricas

134 linear não-linear Algoritmo de Levenberg-Marquardt Para λ grande, o algoritmo anterior, despreza a curvatura É interessante, no entanto, dar passos maiores na direção em que a curvatura é menor Marquardt propôs, então, alterar a regra de iteração para [ 1 a n+1 = a n 2 f ( a n ) + λdiag( 2 f ( a n ))] f ( a n ), e Extrapolação Numéricas

137 linear não-linear Algoritmo de Levenberg-Marquardt O algoritmo de Levenberg-Marquardt não é um algoritmo ótimo É heurístico Contudo, funciona muito bem na prática É o algoritmo mais usado Várias implementações estão disponíveis na internet, e Extrapolação Numéricas

142 linear não-linear Resolução de sistema tridiagonal b 1 c 1 0 a 2 b 2 c a 3 b 3 c 3 0 a n 2 b n 2 c n 2 0 a n 1 b n 1 c n 1 a n b n x 1 x 2 x 3. x n 2 x n 1 x n = r 1 r 2 r 3. r n 2 r n 1 r n, e Extrapolação Numéricas

143 linear não-linear Resolução de sistema tridiagonal b 1 c 1 0 a 2 b 2 c a 3 b 3 c 3 0 a n 2 b n 2 c n 2 0 a n 1 b n 1 c n 1 a n b n multiplicando primeira linha por a 2 b 1 x 1 x 2 x 3. x n 2 x n 1 x n = e somando à segunda r 1 r 2 r 3. r n 2 r n 1 r n, e Extrapolação Numéricas

144 linear não-linear Resolução de sistema tridiagonal β 1 c β 2 c a 3 b 3 c 3 0 a n 2 b n 2 c n 2 0 a n 1 b n 1 c n 1 a n b n x 1 x 2 x 3. x n 2 x n 1 x n = definindo β 1 = b 1, β 2 = b 2 a 2 β 1 c 1, ρ 1 = r 1 e ρ 2 = r 2 a 2 β 1 ρ 1 ρ 1 ρ 2 r 3. r n 2 r n 1 r n, e Extrapolação Numéricas

145 linear não-linear Resolução de sistema tridiagonal β 1 c β 2 c a 3 b 3 c 3 0 a n 2 b n 2 c n 2 0 a n 1 b n 1 c n 1 a n b n multiplicando segunda linha por a 3 β 2 x 1 x 2 x 3. x n 2 x n 1 x n = e somando à terceira ρ 1 ρ 2 r 3. r n 2 r n 1 r n, e Extrapolação Numéricas

146 linear não-linear Resolução de sistema tridiagonal β 1 c β 2 c β 3 c 3 0 a n 2 b n 2 c n 2 0 a n 1 b n 1 c n 1 a n b n definindo β 3 = b 3 a 3 β 2 c 2 e ρ 3 = r 3 a 3 β 2 ρ 2 x 1 x 2 x 3. x n 2 x n 1 x n = ρ 1 ρ 2 ρ 3. r n 2 r n 1 r n, e Extrapolação Numéricas

147 linear não-linear Resolução de sistema tridiagonal β 1 c β 2 c β 3 c β n 2 c n β n 1 c n 1 0 β n procedendo recursivamente e definindo β n = b n an β n 1 c n 1 e ρ n = r n x 1 x 2 x 3. x n 2 x n 1 x n an β n 1 ρ n 1 = ρ 1 ρ 2 ρ 3. ρ n 2 ρ n 1 ρ n, e Extrapolação Numéricas

148 linear não-linear Resolução de sistema tridiagonal β 1 c β 2 c β 3 c β n 2 c n β n 1 c n 1 0 β n agora, da última linha, temos que x n = ρn β n x 1 x 2 x 3. x n 2 x n 1 x n De volta ao spline cúbico e x n j = ρ n j c n j x n j+1 β n j = ρ 1 ρ 2 ρ 3. ρ n 2 ρ n 1 ρ n, e Extrapolação Numéricas

Exibir mais