5.7 Projeções Ortogonais

5.7. PROJEÇÕES ORTOGONAIS 5.7 Projeções Ortogonais V espaço vetorial de dimensão n; H V subespaço vetorial de dimensão p; γ = { u, u,..., u p } base ortogonal de H; β = { u, u,..., u p, u p+,..., u n } extensão de γ a base ortogonal de V. (β pode ser obtida estendendo-se γ e depois ortogonalizando-se por Gram-Schmidt.) Já vimos que, neste caso, δ = { u p+,..., u n } é base ortogonal de H. Teorema (de Pitágoras) Se v H H e v H H, então v H + v H = v H + v H. Prova: Lembrando que v H, v H = v H, v H =, temos: v H + v H = v H + v H, v H + v H = v H, v H + v H, v H + v H, v H + v H, v H = v H, v H + v H, v H = v H + v H Teorema Dado v V, existe uma única decomposição da forma v = v H + v H v H H e v H H. onde Prova: Existência: v = n a i u i = i= p a i u i + i= }{{} H n i=p+ a i u i } {{ } H Unicidade: Suponha que v = v H + v H = w H + w H sejam duas decomposições. Então v H w }{{ H + v } H w H = z }{{} H + z H =. H H Mas, usando Pitágoras, = = z H + z H = z H + z H, o que implica z H = e z H =, que por sua vez implica v H = w H e v H = w H. Definição Projeção ortogonal sobre H: P H : V H v v H tal que v = v H + v H com v H H Observação Fica claro da definição que v = P H v + P H v v V. Portanto, P H + P H = I e P H = I P H. Propriedades:

. P H é linear;. P H v = v H, ou seja, N(P H ) = H ;. P H v = v v H;. A imagem de P H é R(P H ) = H; 5. P H = P H; 6. P T H = P H; Prova:. Se v = v H + v H com v H H e v H H e w = w H + w H com w H H e w H H, então α v + w = (α v H + w H ) + (α v H + w H ) com α v H + w H H e α v H + w H H. Assim, P H (α v + w) = αp H v + P H w.. P H v = v = + v H, com v H H.. P H v = v (I P H ) v = P H v = v (H ) = H.. Da Propriedade, segue que H R(P H ). Mas da Definição decorre que R(P H ) H. 5. Como P H v H, a Propriedade garante que P H v = P H(P H v) = P H v. 6. Para quaisquer v e w, temos que v T P T H w = (P H v) T w = ( v H ) T w = ( v H ) T ( w H + w H ) = ( v H ) T w H + ( v H ) T w H = ( v H ) T w H = ( v H ) T w H + ( v H ) T w H = ( v H + v H ) T w H = v T w H = v T P H w. Assim, v T (PH T P H) w = v, w V. Sejam { w, w,..., w n } base de V e v i = (PH T P H ) w i, i =,,..., n. Então v T i (PH T P H) w i = (PH T P H) w i =, i =,,..., n, ou seja, (PH T P H) w i =, i =,,..., n. Isto garante que PH T P H = ( aqui é a transformação linear nula) e portanto PH T = P H. 5.7. Calculando P H v Dado um vetor v, já vimos como expressá-lo em termos de uma base ortogonal β: v = n i= v, u i u i, u i u i = p v, u i u i= i, u i u i + }{{} H n i=p+ v, u i u i, u i u i } {{ } H = P H v + P H v. Conclusão: se γ = { u, u,..., u p } é base ortogonal de H, então P H v = p v, u i i= u u i, u i i. Se γ = { q, q,..., q p } é não apenas ortogonal, mas sim ortonormal, então os denominadores são todos iguais a e a fórmula se simplifica para P H v = p i= v, u i u i = QQ T v, onde Q n p é a matriz ortogonal com colunas q i, i =,,..., p. Isto nos dá uma fórmula para a matriz de projeção: P H = QQ T.

5.7. PROJEÇÕES ORTOGONAIS Exemplo H = span P H v = v, u u, u u = Exemplo H = span e v =,, P H v = (I P H ) v =,. Calcule P H v e P H v. e v = = /7 /7 /7 = = /7 /7 /7. Calcule P H v. Primeira solução É necessária uma base ortogonal para H. Por Gram-Schmidt, u = e u = Assim,, =,, = é base ortogonal de H e portanto P H v = v, u u, u u + v, u u, u u, =, + 8 + = 5/ / /,,.. = /7 /7 /7. /7 /7 /7.

Segunda solução Usando que P H = I P H, precisamos de uma base para H. [ Seja A =. Então o espaço-linha de A é R(A T ) = span [ [,, = H. Mas vimos que R(A T ) = N(A), ou seja, H = N(A). Assim, para encontrarmos uma base de H, resolvemos o sistema homogêneo x = x x = x. x = x é base de H e, como trata-se de um conjunto contendo um único vetor, é uma base ortogonal. Assim, podemos utilizar a fórmula:, P H v = v, u u, u u = = 6, = / / /. Finalmente, P H v = (I P H ) v = / / / = 5/ / /. 5.8 Mínimos Quadrados Já vimos que o sistema linear A x = b tem solução(ões) se e somente se b R(A). O que fazer quando b / R(A)?. Nem sempre a resposta o problema não tem solução é plenamente satisfatória, como ilustra o exemplo a seguir. Imagine, de forma super-simplificada, que um paciente deva fazer uma refeição consistindo de arroz e carne, de forma a totalizar 5g de alimento com 5 Kcal e 5g de gordura. Dado que g de arroz tem.5kcal e.g de gordura e que a mesma quantidade de carne tem. Kcal e.g de gordura, que quantidade de cada alimento deve ser ingerida? Seja x a quantidade de arroz, em gramas, e y a quantidade de carne. Precisamos de uma solução para o sistema linear x + y = 5.5x +.y = 5.x +.y = 5. ou 5.5. 5.. 5 É fácil verificar, no entanto, que este é um sistema inconsistente. Mas esta resposta não há de ajudar muito o nosso paciente!.

5.8. MÍNIMOS QUADRADOS 5 Note que.5... [ 8 = 5 5..87 Isto significa que 8g de arroz e de carne é uma quase-solução : 5g de alimento (ao invés de 5g), 5.Kcal (ao invés de 5Kcal) e.87g de gordura (ao invés de 5g). Para fins de alimentação, estes erros são totalmente aceitáveis. Quando uma quase-solução existe, e como encontrá-la? Primeiro, devemos entender a geometria do problema. Observe a figura abaixo:. Uma quase-solução é um vetor x cuja imagem por A, A x, está bem próxima de b. Isto é, a distância entre b e A x, b A x, deve ser mínima. A solução no sentido de mínimos quadrados do sistema A x = b é definida como o argumento que minimiza b A x. O vetor b A x é denominado resíduo associado a x e iremos denotá-lo por r. Vamos começar investigando um problema correlato mais simples. Dado H V subespaço vetorial e b V, qual é o vetor b H H mais próximo de b? Podemos decompor b como b = P H b + PH b e portanto a quantidade a ser minimizada pode ser escrita como b b H = P H b + PH b b H. Ou, equivalentemente, podemos minimizar b b H = P H b bh + P }{{} H b }{{} = P H b bh + P H b, H H onde a última identidade se deve ao Teorema de Pitágoras. Note que estamos minimizando uma função de b H, mas o termo P H b não depende desta variável. Assim, o mínimo é obtido minimizando-se o termo P H b bh, o que obviamente se dá quando b H = P H b. Isto responde à nossa pergunta: existe um único vetor b H H cuja distância a H é mínima e este vetor é dado pela projeção ortgonal de b sobre H. Voltando ao nosso sistema linear A x = b, note que minimizar r = b A x com x qualquer é o mesmo que minimizar b y com y R(A). Mas este último problema nós já resolvemos: y = P R(A) b. Portanto, r = b A x é minimizado quando A x = PR(A) b. Nesta situação, r = b A x = b P R(A) b = (I PR(A) ) b = P R(A) b = P N(A T ) b N(A T ). Portanto, = A T r = A T ( b A x) = A T b A T A x,

6 o que implica Vale também a volta: A T A x = A T b. A T A x = A T b b A x N(A T ) b A x R(A) P R(A) ( b A x) = P R(A) A x = P R(A) b A x = P R(A) b. Resumindo: os sistemas lineares A x = P R(A) b e A T A x = A T b são sempre consistentes, quaisquer que sejam A e b, e são equivalentes (isto é, possuem o mesmo conjunto solução). Ademais, as soluções destes sistemas são os argumentos que minimizam a norma do resíduo b A x e são ditas soluções no sentido de mínimos quadrados de A x = b. Observação Se um sistema linear tem solução no sentido clássico, então b R(A) e portanto P R(A) b = b. O sistema A x = PR(A) b é idêntico ao sistema original A x = b. As soluções de mínimo quadrado coincidem, neste caso, com as soluções clássicas. Lema A m n qualquer. A T A é invertível se e somente se as colunas de A são linearmente independentes. Prova: Se A T A é invertível, N(A T A) = { } e portanto N(A) = { }, o que implica a independência linear das colunas de A. Se A T A não é invertível, existe x tal que A T A x =. Portanto, A x = x T A T A x = x T =, o que implica A x = e a existência de uma combinação linear não-trivial das colunas de A dando. Corolário O problema de mínimos quadrados tem solução única se e somente se as colunas de A são linearmente independentes. Incidentalmente, obtivemos uma fórmula alternativa para a matriz de projeção. Se { a, a,..., a p } é base de H e A é a matriz [ a a... a p, então A T A é invertível e a solução de A T A x = A T b é dada por x = (A T A) A T b. Sabemos que este vetor satisfaz também a A x = P R(A) b = PH b, ou seja, PH b = A(A T A) A T b. Isto nos dá a fórmula alternativa P H = A(A T A) A T para a matriz de projeção. Exemplo Resolva, no sentido dos mínimos quadrados, [ x =. y 5 e calcule P H 5, onde H = span,.

5.8. MÍNIMOS QUADRADOS 7 Solução A T A x = A T b : [ [ 9 6 6 6 [ x y = [ 9 [ x y [ x y = = [ [ 5/ /. 5. A projeção é dada por A(A T A) A T b. Mas x = (A T A) A T b já foi calculado acima. Basta fazer [ A x = 5/ =. / Exemplo A equação que modela um determinado fenômeno físico é dada por f(t) = at + bt + c (por exemplo, f pode ser a posição de um corpo uniformemente acelerado). Com o objetivo de se determinar os parâmetros a, b e c, uma série de experimentos são realizados, com os seguintes resultados: As posições medidas foram: t f(t) 6.5. 7.7 7. 5 9. Determine os parâmetros a, b e c que melhor ajustam os dados experimentais no sentido dos mínimos quadrados. Solução Gostaríamos que, para determinada escolha de a, b e c, fossem satisfeitas simultaneamente as equações a + b + c = 6.5 6.5 a + b + c =. a. a + b + c = 7.7 ou 9 b = 7.7 a + b + c = 7. 6 c 7.. a 5 + b 5 + c = 9. 5 5 9. A solução aproximada é obtida resolvendo-se 9 6 5 a 5 9 b = 6 c 5 5 979 5 55 5 55 5 55 5 5 a b c = 69. 85..5 9 6 5 5 a b c..68.68 6.5. 7.7 7. 9...

8 Para estes valores dos parâmetros, o modelo prevê a seguinte tabela bastante próxima da real. t f(t) 6.6. 7.88 7. 5 9.8 Exemplo 5 Vamos retomar oexemplo e oferecer agora uma terceira solução. H = span, e v =. Queremos calcular P H v. A idéia é escrever um problema de mínimos quadrados cuja solução x satisfaça A x = P H v. Para isto, basta encontrarmos uma matriz A tal que R(A) = H e tomarmos o lado direito b = v. Tal matriz pode ser obtida colocando-se os vetores que geram H em suas colunas. Assim, A =, b = e Portanto, A T A x = [ [ 9 x = P H v = A x = [ x = A T b = [ x = [ / 8/ [ / 8/ = 5/ / /...