Algoritmos para o Método dos Mínimos Quadrados

Transcrição

1 Algoritmos para o Método dos Mínimos Quadrados Antonio Elias Fabris Instituto de Matemática e Estatística Universidade de São Paulo Map 2210 Aplicações de Álgebra Linear Antonio Elias Fabris (IME-USP) Algoritmos MMQ 1 / 14

2 O Problema dos Mínimos Quadrados Linear A C m n, m n, b C m Em geral, Ax = b com m > n não tem solução b C m e imagem(a) C n Tentaremos então minimizar o resíduo r = b Ax Problema dos Mínimos Quadrados Linear: Dados A C m n, m n, b C m encontre x C n que minimize b Ax 2 Antonio Elias Fabris (IME-USP) Algoritmos MMQ 2 / 14

3 A Geometria do Problema Determine o ponto Ax imagem(a) mais próximo de b x minimiza norma-2 de r = b Ax Ax = Pb P é projetor ortogonal sobre imagem(a) Então, o resíduo r deve ser ortogonal à imagem(a) Antonio Elias Fabris (IME-USP) Algoritmos MMQ 3 / 14

4 Solução MMQ: Equações Normais ou Projeção Ortogonal Teorema: Sejam A C m n (m n) e b C m. Então: x C n minimiza a norma residual r 2 = b Ax 2 r imagem(a) ou A r = 0 (1) A Ax = A b (2) Pb = Ax onde P é projetor ortogonal sobre Imagem(A) Corolário: x é único deta A 0 A tem posto máximo A + {}}{ x = (A A) 1 A b, A + C n m é denominada pseudoinversa de A Nas hipóteses acima, os algoritmos existentes baseiam-se na determinação de x por (1): resolução das Equações Normais (2): determinação do Projetor Ortogonal sobre imagem(a) Antonio Elias Fabris (IME-USP) Algoritmos MMQ 4 / 14

5 Três algoritmos para a solução dos MMQ 1 Equações Normais: método clássico tradicional Resolve A Ax = A b via decomposição de Cholesky proporcionando algoritmo mais eficiente do que aqueles com fatoração LU, QR, etc. Decomposição de Cholesky só é possível porque A A é hermitiana positiva definida Sistema linear instável na presença de erros de arredondamento 2 Fatoração QR: método clássico moderno - partir dos anos 60 Constrói A = ˆQ ˆR via ortogonalização de Gram-Schmidt ou, mais frequentemente, via triangularização de Householder Substituição de A = ˆQ ˆR em Pb = Ax resulta em sistema triangular Instabilidade numérica quando A próxima de ter deficiência de posto 3 Fatoração SVD: método moderno - a partir dos anos 90 Baseia-se na fatoração reduzida A = Û ˆΣV Análogo à fatoração QR, agora o projetor P é representado por P = ÛÛ resultando em sistema diagonal Apresenta boas propriedades de estabilidade numérica Antonio Elias Fabris (IME-USP) Algoritmos MMQ 5 / 14

6 Fatoração de Cholesky Definição: Uma matriz hermitiana H C m m é positiva definida se x Hx > 0 x 0. Teorema: Toda matriz hermitiana positiva definida H C m m admite uma única decomposição de Cholesky, isto é: H = C C c jj > 0 C é triangular superior Fatoração de Cholesky: H = C C 1: C = H 2: for k = 1 to m do 3: for j = k + 1 to m do 4: C(j,j : m) = C(j,j : m) C(k,j : m) C kj /C kk 5: C jk = 0 6: end for 7: C(k,k : m) = C(k,k : m)/ C kk 8: end for Antonio Elias Fabris (IME-USP) Algoritmos MMQ 6 / 14

7 A Ax = A b x =? A A hermitiana positiva definida = A A = C C { C C }{{} Cx = A b = y = A b (1) Cx = y (2) y Resolvemos (1) para obter y que substituímos em (2) para obter x Algoritmo 1: MMQ via Equações Normais Entrada: A C m n, b C n, posto(a) = n Saída: x C n, solução do MMQ 1: Construir matriz A A e vetor A b 2: Calcular fatoração de Cholesky A A = C C 3: Resolver em y o sistema triangular inferior C y = A b 4: Resolver em x o sistema triangular superior Cx = y Antonio Elias Fabris (IME-USP) Algoritmos MMQ 7 / 14

8 Eficiência da Solução do MMQ via Equações Normais Exercício 1: Prove que o custo computacional assintótico do Algoritmo 1 é da ordem de mn 2 + n3 3 flops Veremos que o Algoritmo 1 ao utilizar a decomposição de Cholesky para a solução do sistema normal A Ax = A b (1) torna-se mais rápido comparado com os algoritmos análogos se, para a solução de (1), utilizassemos as decomposições LU, QR, etc. Em muitas aplicações m >> n. Neste caso, a matriz A A é relativamente pequena e o custo maior estará na construção de A A (O(mn 2 )) e não na solução do sistema linear A Ax = A b (O(n 3 )) Antonio Elias Fabris (IME-USP) Algoritmos MMQ 8 / 14

9 Possível Instabilidade das Equações Normais Erros de arredondamento no cálculo de A A podem ocasionar perda de dígitos significativos, com a consequente perda da não-singularidade da matriz A A Sabemos que se A tem posto máximo então o sistema normal A Ax = A b é não-singular, i.e. deta A 0 Exercício 2: Seja A = k k (a) Calcule A A com precisão infinita (b) Utilizando o Scilab, determine k N tal que float(a A) seja uma matriz singular (c) Idem para o Matlab e para o Excel (d) Analise e comente os resultados Antonio Elias Fabris (IME-USP) Algoritmos MMQ 9 / 14

10 MMQ via fatoração QR Se A C m n tem posto máximo, existe única fatoração reduzida A = ˆQ ˆR, com r jj > 0 ˆQ C m n tem colunas ortonormais; ˆR C n n é triangular superior O projetor ortogonal P sobre imagem(a) pode então ser escrito na forma P = ˆQ ˆQ. Portanto, y= def Pb = ˆQ ˆQ b Como y imagem(a) e admitindo-se A de posto máximo, o sistema Ax = y tem solução única x que minimiza b Ax 2 e reescrevemos Ax = y ˆQ ˆRx = ˆQ ˆQ b ˆRx = ˆQ b O sistema ˆRx = ˆQ b é triangular superior Antonio Elias Fabris (IME-USP) Algoritmos MMQ 10 / 14

11 Fatoração QR & Equações Normais, Algoritmo e Custo Conclusões slide anterior via equações normais: A Ax = A b A= ˆQ ˆR {}}{ = ˆR ˆQ ˆQ ˆRx = ˆR ˆQ b = ˆRx = ˆQ b Algoritmo 2: MMQ via Fatoração QR Entrada: A C m n, b C n, posto(a) = n Saída: x C n, solução do MMQ 1: Calcular fatoração QR reduzida A = ˆQ ˆR 2: Calcular vetor ˆQ b 3: Resolver sistema triangular superior ˆRx = ˆQ b Exercício 3 Usando-se refletoras de Householder para fatoração QR, prove que custo computacional assintótico do Algoritmo 2 é da ordem 2mn n3 flops. E usando o algoritmo de Gram-Schmidt? Antonio Elias Fabris (IME-USP) Algoritmos MMQ 11 / 14

12 MMQ via fatoração SVD Toda A C m n tem uma fatoração reduzida A = Û ˆΣV Û C m n e V C n n colunas ortonormais; ˆΣ C n n é diagonal Admitindo-se A de posto máximo, o projetor ortogonal P sobre imagem(a) pode então ser escrito na forma P = ÛÛ. Portanto, y= def Pb = ÛÛ b Como y imagem(a), o sistema Ax = y tem solução única x que minimiza b Ax 2 e podemos reescrever Ax = y Û ˆΣV x = ÛÛ b ˆΣV x = Û b Definindo y = V x, o sistema ˆΣy = Û b é diagonal Antonio Elias Fabris (IME-USP) Algoritmos MMQ 12 / 14

13 Fatoração SVD & Equações Normais, Algoritmo e Custo Conclusões slide anterior via equações normais: A=Û ˆΣV A Ax = A {}}{ {}}{ b = V ˆΣ Û Û ˆΣV x = V ˆΣ Û b = ˆΣ V x = Û b Algoritmo 3: MMQ via Fatoração SVD Entrada: A C m n, b C n, posto(a) = n Saída: x C n, solução do MMQ 1: Calcular fatoração SVD reduzida A = Û ˆΣV 2: Calcular vetor Û b 3: Resolver em y o sistema diagonal ˆΣy = Û b 4: Faça x = Vy Custo Algoritmo 3 dominado pelo cálculo SVD 2mn n 3 flops Se m >> n custo acima é aproximadamente igual à fatoração QR Se m n, SVD é mais caro y Antonio Elias Fabris (IME-USP) Algoritmos MMQ 13 / 14

14 Comparação entre os Algoritmos Todos os algoritmos apresentam vantagens em determinadas situações Quando velocidade é a única consideração, o Algoritmo 1 pode ser o melhor Entretanto, a resolução das equações normais não é sempre estável na presença de erros de arredondamento Então, os analistas numéricos por muitos anos tem recomendado o Algoritmo 2 como o método padrão para problemas MMQ Por outro lado, se A está próxima de uma matriz com deficiência de posto (i.e., posto não-máximo) então o Algoritmo 2 não tem as propriedades de estabilidade ideais e neste caso existem boas razões para utilizar-se o Algoritmo 3, baseado na SVD. Quais são estas considerações de estabilidade que torna um algoritmo melhor do que outro em algumas circunstâncias e não em outras? Antonio Elias Fabris (IME-USP) Algoritmos MMQ 14 / 14