Prof. MSc. David Roza José 1/26

Transcrição

1 1/26

2 Mínimos Quadrados Geral e Regressão Não Linear Objetivos: Implementar a regressão polinomial; Implementar regressão múltipla linear; Entender a formulação do modelo linear geral de mínimos quadrados; Entender como um modelo geral de mínimos quadrados pode ser resolvido no MATLAB com equações normais ou divisão à esquerda; Entender como implementar a regressão não linear com técnicas de otimização. 2/26

3 Regressão Polinomial Na aula anterior vimos como utilizar o método dos mínimos quadrados para ajustar retas. O mesmo conceito é estendido para se ajustar polinômios de ordem maior. Tomemos como exemplo um polinômio de segunda ordem: Para este caso a soma dos quadrados dos resíduos torna-se: Assim, para se gerar o ajuste de mínimos quadrados deve-se derivar a equação em relação aos coeficientes desconhecidos do polinômio. 3/26

4 Regressão Polinomial Obtemos: Estas equações podem ser igualadas a zero (obtenção do mínimo) e reorganizadas para se desenvolver um conjunto de equações normais: 4/26

5 Regressão Polinomial Observa-se que o sistema de equações é linear e possui três incógnitas: a 0, a 0 e a 2. Os coeficientes das incógnitas podem ser calculados dos dados observados. Nota-se também que resolver um problema de mínimos quadrados para um polinômio de segundo grau é equivalente a resolver um sistema linear 3x3. Isso nos permite facilmente estender a ideia para um polinômio de ordem m. 5/26

6 Regressão Polinomial O erro padrão pode ser formulado como E o r 2 como: Sendo que S t e S r são definidos como: 6/26

7 Exemplo Regressão Polinomial Ajustar um polinômio de segundo grau aos dados da tabela mostrada. Os seguintes dados podem então serem calculados: 7/26

8 Exemplo Regressão Polinomial Assim, as equações formam o seguinte sistema: 8/26

9 Exemplo Regressão Polinomial A resolução do sistema fornece: 9/26

10 Exemplo Regressão Polinomial Levando em conta novos dados, efetua-se novo cálculo de tabela: E se pode efetuar o cálculo de r 2 : 10/26

11 Exemplo Regressão Polinomial 11/26

12 Regressão Linear Múltipla Outra extensão útil da regressão linear é quando o y é uma função linear de duas ou mais variáveis independentes. Por exemplo, y pode ser uma função linear de x 1 e x 2 : Neste caso particular, a linha de regressão torna-se um plano. 12/26

13 Regressão Linear Múltipla Assim como nos casos anteriores, o valor ótimo dos coeficientes é determinado ao se formular a soma dos quadrados dos resíduos: e derivar em relação aos coeficientes desconhecidos: 13/26

14 Regressão Linear Múltipla Os coeficientes que fornecerão a mínima soma dos quadrados dos resíduos são obtidos ao se igualar as derivadas parciais a zero e expressar o sistema na forma matricial: Restando, então, somente a resolução do sistema para a obtenção dos coeficientes. 14/26

15 Exemplo: Regressão Linear Múltipla Os dados da tabela foram criados através da equação mostrada. Utilizar regressão linear para confrontar a equação obtida com a equação original. 15/26

16 Exemplo: Regressão Linear Múltipla O seguinte sistema é montado: Resultando nos seguintes coeficientes: Que são coerentes com a equação original: 16/26

17 Mínimos Quadrados Generalizados Vimos, até o momento, três tipos de regressão: linear simples, polinomial e linear múltipla. A rigor, todas as três pertencem ao mesmo modelo geral linear de mínimos quadrados: Tal que z 0, z 1,., z m são m+1 funções base. Para modelos lineares fica claro que z 0 =1, z 1 =x 1, z 2 =x 2,, z m =x m. Regressão polinomial também está inclusa quando as funções base são monômios tais como z 0 =1, z 1 =x, z 2 =x 2,, z m = x m. Note que o linear refere-se somente à dependência do modelo aos parâmetros, no caso os a s. No caso da regressão polinomial, as funções em si podem ser altamente não lineares. Linear em relação aos parâmetros Não linear em relação aos parâmetros 17/26

18 Mínimos Quadrados Generalizados A seguinte equação: Pode ser expressa de forma matricial da seguinte maneira: tal que onde m representa o número de variáveis do modelo e n representa a quantidade de dados observados. Na maioria das vezes, [Z] não é uma matriz quadrada. 18/26

19 Mínimos Quadrados Generalizados Assim, a minimização dos resíduos toma a seguinte forma: E o cálculo dos resíduos entre a curva ajustada e os dados experimentais pode ser expressa da forma matricial como: 19/26

20 Exemplo Ajustar um polinômio de segundo grau aos seguintes dados, resolvendo através de operações matriciais. x = [ ]; y = [ ]; y = a 0 + a 1 x + a 2 x 2 ; 1 x 1 x x 2 x x 3 x x 4 x 4 2 Assim, [Z] T [Z]{a}=[Z] T {y}, tal que {a} = [Z] T [Z]\[Z] T {y} 20/26

21 Exemplo Em termos de MATLAB, a = (Z *Z)\(Z *y) E para calcular r 2 devemos calcular a soma dos quadrados dos resíduos Sr = sum((y-z*a).^2) r 2 = 1 Sr/sum((y-mean(y)).^2) 21/26

22 Fatoração QR e divisão à esquerda Gerar curvas ótimas através da resolução de equações normais é algo largamente utilizado e certamente adequado para maioria das aplicações de ajuste de curvas na engenharia e ciência. Entretanto, estes sistemas de equações normais podem ser mal condicionados e bastante sensíveis a erros de arredondamento e truncamento. Dois métodos mais avançados, fatoração QR e decomposição de valor singular, são mais robustos neste aspecto. A descrição destes métodos está além do escopo destas aulas, mas são mencionados porque eles podem ser implementados no MATLAB. A fatoração QR é automaticamente utilizada pelo MATLAB em dois casos: Ao se ajustar um polinômio através da função polyfit; Ao se utilizar a divisão à esquerda para resolver sistemas do tipo {y} = [Z]{a}; quando o sistema é superdeterminado. 22/26

23 Regressão Não Linear Existem muitos casos onde modelos não lineares devem ser utilizados para se ajustar aos dados. Um exemplo pode ser visto: Esta equação não pode ser manipulada para se adequar à forma de: Porém, assim como nos mínimos quadrados, a regressão não linear é baseada no processo de determinar valor dos parâmetros que minimizam a soma dos quadrados dos resíduos. Entretanto, para o caso não linear, a solução deve ser iterativa. Existem técnicas desenvolvidas para a regressão linear. Por exemplo, no método de Gauss-Newton utiliza-se uma expansão por série de Taylor para linearizar a equação. Assim, o método de mínimos quadrados pode ser utilizado para se obter as novas estimativas dos parâmetros que minimizam os resíduos. 23/26

24 Regressão Não Linear Uma alternativa é a de se utilizar técnicas de otimização para determinar o ajuste não linear de mínimos quadrados. Pode-se utilizar as funções implícitas do MATLAB para se obter os parâmetros ótimos através da seguinte sintaxe: [x,fval] = fminsearch( fun, x0, opções, p1, p2) De forma que x é o vetor de valores dos parâmetros que minimizam a função fun, fval é o valor da função no mínimo e x0 é a estimativa inicial. 24/26

25 Exemplo: Regressão Não Linear Em exemplos anteriores nós linearizamos a seguinte função para encontrar os valores dos coeficientes ajustados aos dados experimentais do túnel de vento. A linearização foi feita através de logaritmos. Refaremos o exemplo utilizando a regressão não-linear. Definimos no MATLAB a função fssr.m, que definirá a função que desejamos minimizar. O restante está definido no arquivo RNL.m 25/26

26 Informações Exercícios: /26