Esmeralda Sousa Dias. (a) (b) (c) Figura 1: Ajuste de curvas a um conjunto de pontos

Transcrição

1 Mínimos quadrados Esmeralda Sousa Dias É frequente ser necessário determinar uma curva bem ajustada a um conjunto de dados obtidos experimentalmente. Por exemplo, suponha que como resultado de uma certa experiência se obtém a seguinte tabela de dados: x x x n y y y n () Os dados (x i,y i ) podem representar-se por pontos do plano. Pretende-se assim encontrar a curva y = f(x) que melhor se ajusta aos dados (pontos) obtidos. Na figura seguinte indicam-se algumas possibilidades. (a) (b) (c) y = a + bx y = a + bx + cx y = a + bx + cx + dx 3 Figura : Ajuste de curvas a um conjunto de pontos Comecemos por analisar o caso em que se pretende determinar uma recta de equação y = ax + b que melhor se ajuste aos dados da Tabela (). Em Estatística, este problema é conhecido como modelo de regressão linear. Se os pontos (x i,y i ) são colineares então os coeficientes a e b satisfazem o sistema de equações lineares seguinte y = a + bx y = a + bx y = Ax, () y n = a + bx n com y y y =., x = y n [ ] a, A = b x x... x n Se os pontos (x i,y i ) não são colineares (como é o caso na Figura -(a)) então o sistema () é impossível. Neste caso, iremos procurar uma solução de mínimos quadrados

2 AL 6/7 [â ] ˆx =, onde â e ˆb ˆb definem a recta y = â+ˆbx indicada na Figura -(a). Precisemos o que entendemos por uma solução de mínimos quadrados para um sistema de equações lineares y = Ax. Definição.. Se A é uma matriz n p e y R n, uma solução de mínimos quadrados para o sistema y = Ax é um vector ˆx de R p tal que para todo o x de R p. y Aˆx y Ax, (3) A designação mínimos quadrados (ou least squares em inglês) está relacionada com o facto de y Ax ser a raiz quadrada de uma soma de quadrados e de se pretender minimizar esta quantidade. Para encontrar uma solução de mínimos quadrados para o sistema y = Ax iremos aplicar os conhecimentos adquiridos neste curso de Álgebra Linear. Relembremos portanto alguns resultados essenciais: (i) Ax é uma combinação linear das colunas de A, ou equivalentemente Ax pertence ao espaço das colunas de A (abreviadamente EC(A)). (ii) A equação (3) é equivalente a dizer-se que Aˆx está mais próximo de y que qualquer outro vector do espaço das colunas de A. Pelo teorema da melhor aproximação isto quer dizer que: Uma solução de mínimos quadrados, ˆx, para y = Ax, é tal que Aˆx é a projecção ortogonal de y sobre o espaço das colunas de A: Aˆx = proj EC(A) y (4) y Ax Aˆx EC(A) Ax Figura : O vector Aˆx está mais próximo de y do que qualquer outro vector Ax EC(A). Nota: Note que a equação (4) é sempre possível já que ambos os vectores proj EC(A) y e Aˆx pertencem ao espaço das colunas de A. O teorema da decomposição ortogonal diz-nos que qualquer vector de um espaço linear pode escrever-se como a soma da projecção ortogonal desse vector sobre um

3 AL 6/7 3 subespaço com a projecção ortogonal sobre o subespaço complementar. Assim, o vector y Aˆx é ortogonal ao espaço das colunas de A, isto é pertence ao complemento ortogonal de EC(A). Como o complemento ortogonal de espaço das colunas de uma matriz é o núcleo da sua transposta temos: (y Aˆx) EC(A) (y Aˆx) N(A T ) A T (y Aˆx) = A T y A T Aˆx = A T Aˆx = A T y. (5) Podemos então concluir que uma solução de mínimos quadrados, ˆx, satisfaz a equação A T Ax = A T y. (6) A equação (6) é designada por equação normal para o sistema y = Ax. Acabámos de mostrar que uma solução de mínimos quadrados do sistema Ax = y satisfaz a equação normal. Podemos também mostrar o resultado inverso, isto é, que uma qualquer solução da equação normal é uma solução de mínimos quadrados do sistema referido. Este é o resultado enunciado no teorema seguinte. Teorema.. O conjunto de soluções de mínimos quadrados do sistema Ax = y coincide com o conjunto (não vazio) das soluções da equação normal A T Ax = A T y. Demonstração. Já mostrámos que o conjunto das soluções de mínimos quadrados é não vazio, e que uma solução de mínimos quadrados verifica a equação normal. Basta portanto mostrar que qualquer solução da equação normal é uma solução de mínimos quadrados do sistema. Para tal, suponha-se que ˆx é solução da equação normal e mostre-se que ˆx é uma solução de mínimos quadrados do sistema Ax = y (ou seja, que Aˆx é a projecção ortogonal de y sobre EC(A)). Como, ˆx solução de A T Ax = A T y A T Aˆx = A T y, então por (5) tem-se que (y Aˆx) EC(A). Logo, y = Aˆx + (y Aˆx), é a decomposição ortogonal de y na soma de um vector de EC(A) com um vector de EC(A). Da unicidade da decomposição ortogonal tem-se que Aˆx tem de ser a projecção ortogonal de y sobre EC(A). Exemplo. Suponha que se fizeram as seguintes observações: x 3 y Estas observações correspondem a três pontos no plano xy, representados na Figura 3. Vemos claramente que não existe nenhuma recta y = a+bx que passe por estes três pontos. Esta afirmação é equivalente a dizer que o sistema seguinte é impossível x = Ax = y. (7) 3

4 AL 6/7 4 y y = â + ˆbx 3 x Figura 3: Recta de mínimos quadrados do Exemplo. Pretende-se determinar a recta y = â+ˆbx que melhor se ajusta aos pontos observados. Isto é, pretende-se determinar um vector ˆx R que seja uma solução de mínimos quadrados de Ax = y. Usando o Teorema., a equação normal é: A T Ax = A T y [ ][ ] 3 6 a 6 4 b = [ ] 5. Como a matriz A T A é invertível então o sistema de equações normais tem solução única dada por (A T A) A T y. Ou seja: = 5 A equação da recta de mínimos quadrados é: y = 3 + x. Sendo ˆx uma solução de mínimos quadrados do sistema Ax = y, então Aˆx é uma aproximação de y (a melhor aproximação). A distância de Aˆx a y é designada por erro de mínimos quadrados, ou seja y Aˆx. O vector d = y Aˆx é denominado por vector dos desvios. Para o Exemplo calcule-se o vector dos desvios, bem como o respectivo erro de mínimos quadrados. Recorde-se que a solução de mínimos quadrados obtida é ˆx = ( 3, ) e y = (,,). Logo, o vector dos desvios é: d = y Aˆx = = O erro de mínimos quadrados é d = 6. Na Figura 4 encontram-se representados os desvios, d,d e d 3, ou seja as componentes de d = (d,d,d 3 )

5 AL 6/7 5 y y = â + ˆbx d d 3 d 3 x Figura 4: Desvios para o Exemplo. No Exemplo o problema de mínimos quadrados possui solução única. Põe-se naturalmente a questão de saber quando é que para um dado sistema Ax = y existe solução única de mínimos quadrados. Obviamente que tal se verifica sempre que a matriz quadrada A T A é invertível. O resultado que se segue dá-nos um critério para a unicidade da solução de mínimos quadrados em termos da matriz A. Teorema.. A matriz A T A é invertível se e só se as colunas de A são linearmente independentes. Neste caso, o sistema Ax = y tem solução de mínimos quadrados única, dada por ˆx = (A T A) A T y. Demonstração. A unicidade de solução de mínimos quadrados é obviamente equivalente à existência de inversa de A T A. Quando esta matriz é invertível então, da equação normal segue que a solução de mínimos quadrados é dada pela expressão no teorema. Falta pois mostrar que a matriz A T A é invertível se e só se as colunas de A são linearmente independentes. A prova deste resultado será feita em dois passos: (i) mostrar que o núcleo de A é igual ao núcleo de A T A; (ii) usar (i) para mostrar o resultado. (i) Mostrar que N(A) = N(A T A): Se x pertence ao N(A), isto é, Ax =, então pertence ao núcleo de A T A, já que Ax = = A T Ax =. Ou seja N(A) N(A T A). Para a implicação inversa, suponha-se agora que x N(A T A), isto é, A T Ax =. Então A T Ax = = x T A T Ax =. Porém, x T A T Ax = Ax = Ax = x N(A). (ii) Suponha-se que A T A é invertível, então o sistema homogéneo A T Ax = tem exclusivamente a solução x =, ou seja N(A T A) = {}. Como, por (i), N(A T A) = {} = N(A), então a equação Ax = tem sómente a solução nula.

6 AL 6/7 6 Por definição de independência linear, dizer-se que Ax = tem sómente a solução nula, é equivalente a afirmar que as colunas de A são linearmente independentes. Para a implicação inversa: Se que as colunas de A são linearmente independentes então Ax = se e só se x =, isto é, N(A) = {}. Logo, N(A T A) = {} = N(A). Se N(A T A) = {} então, pelo teorema da dimensão, a matriz quadrada A T A tem característica máxima e portanto é invertível. Nota: No caso de A ser uma matriz quadrada invertível, a solução de mínimos quadrados para Ax = y, dada pelo Teorema., reduz-se a ˆx = A A T A T y = A y. Neste caso, o sistema Ax = y não é impossível e tem solução única dada por A y, coincidente com a solução de mínimos quadrados. A técnica descrita para ajustar uma recta a um conjunto de dados generaliza-se facilmente quando a curva é definida por um polinómio (como no caso da Figura - (b),(c)). Por exemplo, suponha-se que se pretende determinar o polinómio y = a + a x + + a k x k que melhor se ajuste aos dados: x x x x n y y y y n Então substituindo em y = a + a x + + a k x k os n valores de x e de y da tabela, obtemos n equações lineares a + a x + + a k x k = y a + a x + + a k x k = y Ax = y. a + a x n + + a k x k n = y n Resolvendo, como anteriormente, a equação normal A T Ax = A T y obtemos os coeficientes a i (i =,...,k) do polinómio de mínimos quadrados. Exemplo. Nos primeiros 5 meses do ano, as vendas (em milhares de euros) de uma certa empresa foram:,.,.6, 3. e 4. Marcámos estes dados no gráfico abaixo e conjecturámos que as vendas podem ser aproximadas por um polinómio de grau. Milhares de Euros Meses do ano Figura 5: Dados do Exemplo. Pretende-se determinar y(x) = a + a x + a x que melhor se ajuste aos dados obtidos, e usar esta função para deduzir qual o volume de vendas que a empresa irá realizar no último mês do ano.

7 AL 6/7 7 Vamos portanto determinar a aproximação de mínimos quadrados para o sistema: a + a + a = a + a + 4a =. 4 a + 3a + 9a = a + 4a + 6a = x = y, a + 5a + 5a = com x = [ ] T [ ] T a a a e y = A equação normal é: A T Ax = A T y x = A solução de mínimos quadrados para o sistema Ax = y é: ˆx = (A T A) A T y = O polinómio procurado é y(x) =.x +.x. Assim, prevê-se que as vendas da empresa no último mês do ano seja de y() = 5. mil euros. Leitura suplementar: Aproximação de funções; Séries de Fourier. Esta matéria não será leccionada nas aulas mas é incluída nestas notas a título informativo. No espaço linear das funções reais contínuas no intervalo [a, b] (abreviadamente C([a, b])) pode definir-se o seguinte produto interno: f,g = b a f(x)g(x) dx (8) Pretende-se aproximar uma dada função de C([a, b]) usando somente funções de um subespaço de C([a,b]). Por exemplo: (i) Determinar a melhor aproximação de e x no intervalo [,] pelo polinómio de segundo grau a + a x + a x. (ii) Determinar a melhor aproximação da função f(x) = x no intervalo [, π] por uma função da forma a + a cos x + a cos(x) + b sen x + b sen(x).

8 AL 6/7 8 O subespaço do exemplo (i) é o subespaço de C([,]) gerado por {,x,x } e para (ii) é o subespaço de C([, π]) gerado por {, cos x, cos(x), sen x, sen(x)}. A primeira questão que se coloca é a de saber o que se entende por melhor aproximação. Como é sabido, tendo definido um produto interno num espaço linear, podemos sempre definir uma norma e consequentemente uma distância. No caso do produto interno (8), a norma e a distância entre duas funções são dadas respectivamente por: b b f = f (x)dx e dist(f,g) = f g = (f(x) g(x)) dx (9) a Pelo Teorema da melhor aproximação, a função de um dado subespaço S de C([a,b]) que melhor aproxima uma dada função f de C([a,b]) é a projecção ortogonal de f sobre S. Ou seja, a função ˆf S que minimiza f g para qualquer g S (Ver Figura 6). f a g ˆf S g Figura 6: Melhor aproximação de uma função f por uma função do subespaço S. O erro (global) cometido ao aproximar uma dada função f pela função ˆf é dado por b e = f ˆf = f(x) ˆf(x) dx, a e é designado habitualmente por erro médio quadrático. Geometricamente, o erro médio quadrático é a área da região situada entre os gráficos de f e de ˆf (ver Figura 7). Resumindo: A solução do problema de aproximação de uma função f C([a,b]) por funções de um subespaço, de dimensão finita, S de C([a, b]), é a projecção ortogonal de f sobre S, isto é, ˆf = proj S f. Esta função minimiza o erro médio quadrático e é designada por aproximação de mínimos quadrados de f por funções de S. Para determinar a projecção ortogonal de um vector sobre um subespaço de dimensão finita S, devemos encontrar uma base ortogonal para S. A razão da designação erro médio quadrático está relacionada com o Teorema do valor médio para integrais

9 AL 6/7 9 f ˆf a b Figura 7: Erro médio quadrático. No caso de B = {g,g,...,g k } ser uma base ortogonal de S, então a expressão para a aproximação de mínimos quadrados de f é dada por ˆf = proj S f = proj g f + proj g f + + proj gk f = f,g g g + f,g g g + + f,g k g k g k. () Recorde que, conhecida uma base para o subespaço S, o processo de ortogonalização de Gram-Schmidt permite obter uma base ortogonal de S. Exemplo 3. Vejamos como obter uma base ortonormada para o subespaço de C([, ]), S, gerado por {,x,x }. Designe-se as funções,x e x por h =, h = x e h 3 = x. Então, h = dx = h = h = x dx = x3 3 = 3 h 3 = x4 dx = x5 5 = 5 Uma base ortogonal para S, seja {g,g,g 3 }, obtida pelo processo de ortogonalização de Gram-Schmidt é: g = h = g = h proj g h = h h,g g g = h h,g = x x xdx = x = x g = g 3 = h 3 proj g h 3 proj g h 3 = h 3 h 3,g g g h 3,g g g = x xdx (x ) x (x )dx = x (x ) = x x g 3 = 3.

10 AL 6/7 A aproximação de mínimos quadrados para a função e x por funções de S é ˆf = proj S f = e x, + ex,(x ) x Séries de Fourier e x, + e x,(x ) ( x ( x ) + + ex,x x x x (x x) ) + 3 e x,x x (x x) = (e ) + 6(3 e)(x ) + 3(e 3)(x x) Dada uma função contínua, f, no intervalo [, π], pretende-se aproximá-la por uma função t do tipo t(x) = a + a cos x + + a n cos(nx) + b sen x + + b n sen(nx). Isto é, pretende-se aproximar f por uma função do subespaço gerado por V = {,cos x,cos(x),,cos(nx),senx,sen(x),sen(nx)}. A função t é conhecida pela designação de polinómio trigonométrico (de ordem n, se a n e b n são ambos não nulos). Pode mostrar-se que V é um conjunto linearmente independente e, portanto, uma base para W = SpanV. Para determinar a aproximação de mínimos quadrados de uma função f C([, π]) por uma função de W, é conveniente encontrar uma base ortogonal (ou ortonormada) para W. Se {g,g,,g n,h,,h n } for uma base ortonormada para W então a aproximação de mínimos quadrados para f será: ˆf = proj W f = f,g g + f,g g + + f,g n g n + f,h h + + f,h n h n = ã g + a g + + a n g n + b h + + b n h n. Relativamente ao produto interno f,g = f(x)g(x)dx, podemos verificar que V é uma base ortogonal de W. Normalizando V, isto é dividindo cada função de V pela sua norma, obtemos a base ortonormada g = π, g = π cos x,, g n = π cos(nx) h = π sen x,, h n = π sen(nx). Logo, a aproximação de mínimos quadrados de f será ˆf = proj W f = a + [a cos x + + a n cos(nx)] + [b cos x + + b n cos(nx)] = a n + (a k cos(kx) + b k sen(kx)) k=

11 AL 6/7 onde a = π f,g = π a = π f,g = π. a n = π f,g n = π b = π f,h = π. b n = π f,h n = π f(x) dx = π π f(x) π cos xdx = π f(x)dx f(x) cos(nx)dx = π π f(x) π sen xdx = π f(x)cos xdx f(x) cos(nx)dx f(x)sen xdx f(x) sen(nx)dx = f(x) sen(nx)dx π π Os coeficientes a,a,...,a n,b,...,b n são conhecidos como os coeficientes de Fourier de f. Fixado n, o polinómio trigonométrico de ordem menor ou igual a n que aproxima a função f é: f(x) a n + (a k cos(kx) + b k sen(kx)) k= Sob certas condições sobre a função f, pode mostrar-se que o erro médio quadrático se aproxima de zero à medida que n tende para infinito. Isto significa que f pode identificar-se como sendo o limite da soma finita quando n tende para infinito, isto é, f(x) = a + lim n n (a k cos(kx) + b k sen(kx)) = a + (a k cos(kx) + b k sen(kx)). k= A última igualdade é designada por série de Fourier de f no intervalo [,π]. Exemplo 4. Determinar a aproximação de mínimos quadrados de f(x) = x em [,π], por um polinómio trigonométrico de ordem menor ou igual a 3. Calculemos os coeficientes de Fourier a,a,a,b,b,b 3 : a = π a = π b = π b 3 = π xdx = x π π xcos(x)dx = xsen(x)dx = xsen(3x)dx = 3 = π a = π b = π k= xcos(x)dx = xsen(x)dx = Assim, a aproximação de f(x) = x por um polinómio de ordem menor ou igual a três é: x π sen x sen(x) 3 sen(3x).

12 AL 6/7 Na Figura 8 encontram-se representados os polinómios trigonométricos, respectivamente de ordens menores ou iguais a, e 3, que aproximam f(x) = x f f f 3 y = x π Figura 8: Aproximação de f(x) = x pelos polinómios trigonométricos: f = π sen(x), f = π sen(x) sen(x) e f 3 = π sen(x) sen(x) 3 sen(3x).