Métodos Numéricos C. A. Ismael F. Vaz 1. Escola de Engenharia Universidade do Minho Ano lectivo 2007/2008

Transcrição

1 Métodos Numéricos C A. Ismael F. Vaz 1 1 Departamento de Produção e Sistemas Escola de Engenharia Universidade do Minho aivaz@dps.uminho.pt Ano lectivo 2007/2008 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

2 Conteúdo 1 Introdução 2 Erros 3 Zeros de funções 4 Resolução de sistemas lineares 5 Resolução de sistemas não lineares 6 Interpolação polinomial 7 Mínimos quadrados lineares 8 Mínimos quadrados não lineares 9 Integração numérica 10 Optimização não linear sem restrições 11 Método de Davies Swann e Campey 12 Método de Nelder Mead 13 Método de Segurança de Newton 14 Método quasi-newton A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

3 Introdução Contents 1 Introdução 2 Erros 3 Zeros de funções 4 Resolução de sistemas lineares 5 Resolução de sistemas não lineares 6 Interpolação polinomial 7 Mínimos quadrados lineares 8 Mínimos quadrados não lineares 9 Integração numérica 10 Optimização não linear sem restrições 11 Método de Davies Swann e Campey 12 Método de Nelder Mead 13 Método de Segurança de Newton 14 Método quasi-newton A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

4 Introdução Apresentação - Docente Aulas teóricas A. Ismael F. Vaz - aivaz@dps.uminho.pt Aulas teórico-práticas Isabel Espírito Santo - iapinho@dps.uminho.pt Horário de atendimento A combinar... A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

5 Introdução Apresentação - Disciplina Uma primeira parte de métodos numéricos e uma segunda parte de optimização não linear sem restrições; Página da disciplina; 7 fichas TPs para realizar ao longo do semestre (nas aulas Ts). A classificação final é a soma das notas das fichas TPs. Não é obrigatória a presença nas aulas Ts e TPs. Mas atenção aos momentos de avaliação. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

6 Introdução Material necessário e de apoio Calculadora científica; Folhas das fichas TPs; Papel e caneta; Livro de Computação Numérica; Software CoNum; A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

7 Introdução Programa detalhado / Avaliações Dia 25-Fev 29-Fev 04-Mar 11-Mar 01-Abr 08-Abr Matéria Apresentação da disciplina. Erros. Algarismos significativos. Fórmula fundamental dos erros. Erros de truncatura. Solução de equações não lineares. Método dos gráficos. Método da secante e sua convergência. Método de Newton e sua convergência. Critérios de paragem. Sistemas de equações lineares. Eliminação de Gauss com pivotagem parcial. Métodos iterativos de Gauss-Seidel e Jacobi. Método de Newton para sistemas de equações não lineares. Avaliação sobre zeros de funções (2.5 valores). Interpolação polinomial. Diferenças divididas. Fórmula interpoladora de Newton. Erro da fórmula interpoladora de Newton. Avaliação sobre sistemas lineares e não lineares (2.5 valores). Mínimos quadrados polinomiais e modelos lineares. Mínimos quadrados não lineares. Método de Gauss-Newton. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

8 Introdução Programa detalhado / Avaliações - cont. Dia Matéria 15-Abr Revisões. Avaliação sobre interpolação e mínimos quadrados (3 valores). 22-Abr Integração numérica. Fórmulas simples e compostas do Trapézio, Simpson e 3/8. 29-Abr Optimização não linear sem restrições. Condições de optimalidade. Avaliação sobre integração numérica (2.5 valores). 06-Mai Procura unidimensional. Método DSC. Procura multidimensional. Método de Nelder-Mead. 20-Mai Método de Newton. Método de segurança de Newton. Avaliação sobre condições de optimalidade e DSC + NM (3 valores). 27-Mai Procura unidimensional com divisões sucessivas de α por 2. Critério de Armijo. Questionários. 03-Jun Método quasi-newton. Revisões. Avaliação sobre segurança de Newton (4 valores). 17-Jun Revisões. Avaliação sobre quasi-newton (2.5 valores). A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

9 Introdução Motivação da disciplina Presente em todos os cursos de engenharia (aplicações em todas as áreas da engenharia); A disciplina de métodos numéricos dedica-se à resolução numérica de problemas matemáticos. Com o desenvolvimento dos computadores encontra-se direccionada para a implementação de algoritmos estáveis. A optimização consiste em determinar soluções óptimas para problema matemáticos. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

10 Introdução Controlo óptimo - Um exemplo Problema de optimização do processo semi-contínuo de produção de Etanol. O problema de optimização é: (t 0 = 0 e t f = 61.2 dias) max u(t) J(t f ) x 3 (t f )x 4 (t f ) s.a dx 1 = g 1 x 1 u x 1 dt x 4 dx 2 = 10g 1 x 1 + u 150 x 2 dt x 4 dx 3 = g 2 x 1 u x 3 dt x 4 dx 4 = u dt 0 x 4 (t f ) u(t) 12 t [t 0, t f ] com ( ) ( ) x 2 g 1 = 1 + x 3 / x 2 ( ) ( ) 1 x 2 g 2 = 1 + x 3 / x 2 onde x 1, x 2 e x 3 são as concentrações da massa celular, substrato e produto (g/l), e x 4 é o volume (L). As condições iniciais são: x(t 0 ) = (1, 150, 0, 10) T. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

11 Introdução Abordagem para a resolução Grande exigência em termos numéricos; Grande exigência em termos de programação; Solução da equação diferencial com o CVODE (software em C); Problemas codificados em AMPL (linguagem de modelação); Algoritmo para optimização sem derivadas; A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

12 Erros Contents 1 Introdução 2 Erros 3 Zeros de funções 4 Resolução de sistemas lineares 5 Resolução de sistemas não lineares 6 Interpolação polinomial 7 Mínimos quadrados lineares 8 Mínimos quadrados não lineares 9 Integração numérica 10 Optimização não linear sem restrições 11 Método de Davies Swann e Campey 12 Método de Nelder Mead 13 Método de Segurança de Newton 14 Método quasi-newton A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

13 Erros Formato de vírgula flutuante normalizado fl(x) = ±0.d 1 d 2...d k 10 e onde, 0.d 1 d 2... d k corresponde à mantissa, e e é o expoente. fl t (x) representa o valor de x em vírgula flutuante truncado e fl a (x) representa o valor de x em vírgula flutuante arredondado. Exemplo x = 2 3 fl t (x) = fl a (x) = A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

14 Erros Formato de vírgula flutuante (norma IEEE-754, 32 bits) σ e + 64 d 1 d 2 d 3 d 4 d 5 d 6 1 bit 7 bits 4 bits 4 bits 4 bits 4 bits 4 bits 4 bits Exemplo x = = = ( ) σ e + 64 d 1 d 2 d 3 d 4 d 5 d 6 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

15 Erros Exemplo de programação A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

16 Erros Exemplo de programação A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

17 Erros Erros Seja x o valor exacto e x o seu valor aproximado, que será usado nos cálculos x x é o erro absoluto (normalmente não se pode calcular, porque x é desconhecido); x x δ x é o limite superior do erro absoluto; r x = x x x = δx x δx x é o erro relativo. Exemplo Pediu-se a duas pessoas para contarem laranjas de dois cestos. A primeira contou 980 laranjas num cesto de 1000 e a segunda contou 480 num cesto de 500. Apesar de cometerem o mesmo erro absoluto (δ 1 = 20 laranjas e δ 2 = 20 laranjas) a segunda cometeu um erro maior, visto que r 1 = = 0.02 e r 2 = = A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

18 Erros Fórmula fundamental dos erros Dados n valores aproximados, x 1,..., x n, e os seus respectivos erros absolutos é possível calcular um majorante para o erro absoluto cometido quando se aplica uma função f, através da fórmula fundamental dos erros. δ f M x1 δ x1 + M x2 δ x M xn δ xn f onde max x I xi Mxi, com I = I x1 I xn I xi = [x i δ xi, x i + δ xi ] r f δ f f(x 1,..., x n ) e A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

19 Erros Exemplo Cálculo dos limites do erro absoluto e relativo do cálculo da função f(x) = x 1 x 2. Temos que f x 1 Mx1 = 1 e f x 2 Mx2 = 1, logo e δ f = δ x1 + δ x2 r f δ x 1 + δ x2 x 1 x 2 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

20 Erros Algarismos Significativos Casa decimais são as casas (algarismos) à direita da vírgula. Os algarismos significativos são aqueles em que temos confiança do seu valor. Exemplos: tem 1 algarismo significativo se δ = 0.05, 2 se δ = e 7 se δ = tem 7 casas decimais e 2 algarismos significativos (δ = ). Quando todas as casas decimais são significativas 0.2 é diferente de A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

21 Zeros de funções Contents 1 Introdução 2 Erros 3 Zeros de funções 4 Resolução de sistemas lineares 5 Resolução de sistemas não lineares 6 Interpolação polinomial 7 Mínimos quadrados lineares 8 Mínimos quadrados não lineares 9 Integração numérica 10 Optimização não linear sem restrições 11 Método de Davies Swann e Campey 12 Método de Nelder Mead 13 Método de Segurança de Newton 14 Método quasi-newton A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

22 Zeros de funções Forma geral do problema Pretende-se determinar x tal que f(x) = 0 Exemplo Temos x = como solução para e x + x = 0 Nota: uma equação não linear pode não ter solução, ou ter mais do que uma. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

23 Zeros de funções Métodos iterativos Uma sequência diz-se iterativa se é definida por uma função F independente de k e dependente de um ou vários elementos anteriores a ele, x k = F (x k 1, x k 2,... ) Aproximações iniciais Um método que se baseie numa sequência iterativa com k 1 elementos anteriores necessita também de k 1 valores iniciais. Exemplo x k = x k 1 + x k 2 Partindo de x 0 = 1 e x 1 = 1 temos x 2 = x 1 + x 0 = 2, x 3 = x 2 + x 1 = = 3, x 4 = x 3 + x 2 = = 5 gera uma sequência com os números de Fibonacci. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

24 Zeros de funções Convergência Uma sequência iterativa diz-se convergente quando Convergência superlinear lim x k = x k lim k + x x k+1 x = L ou lim x k k + x x k+1 x x k = 0 Convergência quadrática x x k+1 lim k + x x k 2 = L A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

25 Zeros de funções Critério de Paragem A sequência de aproximações pode ser infinita. Como se pretende obter uma aproximação à solução implementa-se um critério de paragem. Estimativa do erro relativo d k = x k+1 x k x k+1 ɛ 1 Valor da função f(x k+1 ) ɛ 2 Número máximo de iterações k n max A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

26 Zeros de funções Método dos gráficos Uma aproximação ao zero da função f(x) pode obter-se pela intersecção do gráfico de f(x) com o eixo dos xx; se f(x) = g(x) h(x) os zeros de f(x) são os pontos de intersecção de g(x) com h(x). O método dos gráficos é frequentemente usado para obtermos uma aproximação inicial para outros métodos mais precisos. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

27 Zeros de funções Exemplo f(x) = e x + x g(x) = e x h(x) = x g(x) 0.2 h(x) y f(x) x A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

28 Zeros de funções Método da bissecção Se f(x i )f(x s ) < 0 então existe um número ímpar de raízes de f(x) no intervalo [x i, x s ]. Aproxima-se da raiz calculando x k = x i+x s 2, k = 1, 2,... Considera-se o intervalo [x i, x k ] se f(x i )f(x k ) < 0 e faz-se x s x k ou [x k, x s ] se f(x k )f(x s ) < 0 e faz-se x i x k A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

29 Zeros de funções Interpretação gráfica (Bissecção) f(x) = e x + x f(x) xi xk+1 xk xs xs x A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

30 Zeros de funções Método da secante Método iterativo em que se fornece o x 1 e x 2 (a raiz não está necessariamente no intervalo [x 1, x 2 ]). O próximo valor é calculado pela seguinte fórmula (equação iterativa): x k+1 = x k (x k x k 1 )f(x k ), k = 2, 3,... f(x k ) f(x k 1 ) Zeros complexos: O método da secante também calcula zeros complexos, bastando para isso usar aritmética complexa. Convergência: A convergência do método da Secante depende do valor de M 2m ser pequeno. M é o max f (ξ) e m é o min f (η), onde ξ, η I. ɛ k+1 = f (ξ) 2f (η) ɛ k 1ɛ k A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

31 Zeros de funções Interpretação gráfica (Secante) f(x) = e x + x f(x) xk+2 xk+1 xk xk x A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

32 Zeros de funções Método de Newton Método iterativo em que se fornece o x 0. O próximo valor é calculado pela seguinte formula (equação iterativa): x k+1 = x k f(x k) f, k = 1, 2,... (x k ) Zeros complexos: O método de Newton também calcula zeros complexos, bastando para isso usar aritmética complexa. Convergência: A convergência do método de Newton depende do valor de M 2m ser pequeno. M é o max f (ξ) e m é o min f (η), onde ξ, η I. ɛ k+1 = f (ξ) 2f (η) ɛ2 k A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

33 Zeros de funções Interpretação gráfica (Newton) f(x) = e x + x f(x) xk+2 xk+1 xk x A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

34 Zeros de funções Principais propriedades Ambos possuem convergência local. Superlinear no caso do método da secante e quadrática no método de newton. O método da secante não usa derivadas. O método da secante e de Newton podem falhar quando o denominador da equação iterativa é próximo de zero, i.e., quando f(x k ) f(x k 1 ) ou f (x k ) 0. O método da secante e de Newton não convergem necessariamente para o zero mais próximo da aproximação inicial. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

35 Zeros de funções Exemplo e x + x = 0 Método de Newton com x 0 = 0.5, ε 1 = 0.5, ε 2 = 0.1, n max = 2. Temos então que f(x) = e x + x e que f (x) = e x a iteração x 0 = 0.5 f( 0.5) = e = e f ( 0.5) = x 1 = x 0 f( 0.5) f ( 0.5) = = CP: f( ) = (Verdadeiro) x 1 x 0 x 1 = = (Verdadeiro) O processo iterativo pára com x x 1 = E se o ε 1 fosse 0.1? A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

36 Resolução de sistemas lineares Contents 1 Introdução 2 Erros 3 Zeros de funções 4 Resolução de sistemas lineares 5 Resolução de sistemas não lineares 6 Interpolação polinomial 7 Mínimos quadrados lineares 8 Mínimos quadrados não lineares 9 Integração numérica 10 Optimização não linear sem restrições 11 Método de Davies Swann e Campey 12 Método de Nelder Mead 13 Método de Segurança de Newton 14 Método quasi-newton A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

37 Resolução de sistemas lineares Forma geral do problema a 11 x 1 + a 12 x a 1n x n = b 1 a 21 x 1 + a 22 x a 2n x n = b 2... a n1 x 1 + a n2 x a nn x n = b n É um sistema com n equações lineares nas n incógnitas, x 1, x 2,..., x n. O sistema pode ser escrito na forma matricial Ax = b a 11 a a 1n a 21 a a 2n... a n1 a n2... a nn x 1 x 2... x n = b 1 b 2... b n A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

38 Resolução de sistemas lineares Exemplo x 1 x 2 x 3 = É um sistema linear de dimensão 3 3. A matriz dos coeficientes A = R 3 3 e o vector b = (1, 1, 1) T R 3 é o vector dos termos independentes A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

39 Resolução de sistemas lineares Definições A característica de uma matriz A, c(a), é o número máximo de linhas paralelas, ou colunas, linearmente independentes que existem na matriz. Para que um sistema seja possível e determinado temos de ter c(a) = n. Caso contrário (c(a) < n) o sistema é indeterminado ou impossível. À matrix (A b) que se obtém ampliando A com a coluna do termo independente b chama-se matriz ampliada do sistema. Triangular superior (inferior): É uma matriz em que os elementos abaixo (acima) da diagonal principal são zeros. Tridiagonal: Matriz em que a ij = 0, se i j 2, i, j = 1,..., n. Uma matriz com muitos elementos nulos diz-se esparsa. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

40 Resolução de sistemas lineares Tipos de métodos Métodos directos e estáveis. Métodos que calculam a solução exacta do sistema ao fim de um número finito de operações elementares, caso não ocorram erros de arredondamento. Matrizes dos coeficientes densas e de pequena dimensão. Métodos iterativos. Métodos que definem uma sequência infinita de operações, determinando uma sequência de aproximações, cujo limite é a solução exacta do sistema. Matrizes dos coeficientes esparsas e de grande dimensão. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

41 Resolução de sistemas lineares Estabilidade numérica Considere-se o seguinte sistema linear: { x1 + x 2 = x 1 + x 2 = 2 cuja solução é x = (1, 1) T. Usando aritmética de três algarismos significativos e considerando o multiplicador igual a = , surge o sistema condensado { x 1 + x 2 = cuja solução é x = (0, 1) T!!! x 2 = A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

42 Resolução de sistemas lineares Motivação - Continuação Se nas mesmas condições usarmos a pivotagem parcial temos { x 1 + x 2 = x 1 + x 2 = m = = cuja solução é x = (1, 1) T. { x1 + x 2 = 2 x 2 = A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

43 Resolução de sistemas lineares Eliminação de Gauss com Pivotagem Parcial (EGPP) Corresponde a eliminação de Gauss, mas em que a linha usada na eliminação dos elementos da coluna das linhas seguintes é o maior em módulo. Exemplo: m 21 = 3 9 m 31 = 6 9 = A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

44 Resolução de sistemas lineares Eliminação de Gauss com Pivotagem Parcial (EGPP) m 32 = = 0.1 = A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

45 Resolução de sistemas lineares Substituição inversa Quando a matriz é triangular superior pode-se determinar a solução directamente, através da substituição inversa. Exemplo vem que x 3 = = 0.875, x ( 2) = = x 1 = 1 ( 9) = 0.5 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

46 Resolução de sistemas lineares Substituição directa Quando a matriz é triangular inferior pode-se determinar a solução directamente, através da substituição directa. Exemplo vem que x 1 = 2 1 = 2, x 2 = = 1 x 3 = ( 1) 1 = 0 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

47 Resolução de sistemas lineares Decomposição LU Da eliminação de Gauss com Pivotagem Parcial resulta Exemplo ( ) (A I ) (U J ) ( ) ( ) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

48 Resolução de sistemas lineares Determinantes de Matrizes det(a) = ( 1) s n u ii onde u ii corresponde aos elementos da diagonal da matriz U e s é o número de trocas de linhas para obter a matriz U. Exemplo ( 1 2 det 2 1 ) ( = ( 1) det i=1 ) = ( 1) = 3 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

49 Resolução de sistemas lineares Cálculo da Inversa de Matrizes A matriz inversa de A (A 1 ) verifica AA 1 = I = A 1 A. O cálculo da matriz inversa reduz-se a resolução de n sistemas lineares da forma Ax j = e j, j = 1,..., n, em que os vectores independentes e j são as colunas da matriz identidade. O vector solução x j corresponde à coluna j da matriz inversa. Na prática resolve-se os n sistemas em simultâneo, i.e., resolve-se a equação (U J ) por substituição inversa. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

50 Resolução de sistemas lineares Cálculo da Inversa de Matrizes - Exemplo ( ) ( ) ( ) ( ) { x11 = = x 21 = = ( ) { x12 = 1 1 ( ) 2 = x 22 = = ( ) ( ) A inversa de é A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

51 Resolução de sistemas lineares Métodos iterativos Nos métodos iterativos a solução exacta só é obtida ao fim de uma sequência infinita de operações. O processo parte de uma aproximação inicial para a solução do sistema e usa uma equação iterativa da forma Mx (k+1) = Nx (k) + b, para k = 1, 2,... Os métodos em que M e N não dependem de k dizem-se estacionários. Os métodos de Jacobi e Gauss-Seidel são métodos estacionário. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

52 Resolução de sistemas lineares Método Iterativo Jacobi D matriz dos elementos da diagonal principal, L matriz dos simétricos dos elementos abaixo da diagonal principal e U matriz dos simétricos dos elementos acima da diagonal principal. O método de Jacobi usa a partição de A em D (L + U), i.e, M = D e N = L + U A equação iterativa fica Dx (k+1) = (L + U)x (k) + b ou x (k+1) = D 1 (L + U)x (k) + D 1 b A matriz iteração é C J = M 1 N = D 1 (L + U) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

53 Resolução de sistemas lineares Método Iterativo Gauss-Seidel M = D L N = U A equação iterativa fica Mx (k+1) = Nx (k) + b ou x (k+1) = M 1 Nx (k) + M 1 b A matriz iteração é C GS = M 1 N = (D L) 1 U. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

54 Resolução de sistemas lineares Critério de Paragem Erro relativo na aproximação x (k+1) x (k) x (k+1) < ɛ 1 Resíduo Ax (k+1) b < ɛ 2 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

55 Resolução de sistemas lineares Convergência dos métodos iterativos Condições suficientes A simétrica e definida positiva = GS exibe convergência global; A é estrita e diagonalmente dominante = J e GS exibem convergência global; C p < 1, para qualquer normal p, = J e GS exibem convergência global; C é a matriz iteração de Jacobi ou Gauss-Seidel. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

56 Resolução de sistemas lineares Algumas definições Uma matriz A diz-se simétrica se A = A T. Uma matriz é definida positiva se d T Ad > 0, d 0. É equivalente a verificar que todos os determinante das sub-matrizes principais são maiores do que zero. Uma matriz A diz-se estrita e diagonalmente dominante se a ii > n a ij, i = 1,..., n j=1 j i A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

57 Resolução de sistemas lineares Exemplo - convergência de Gauss-Seidel Considere-se a seguinte matriz dos coeficientes de um sistema linear ( ) 3 1 A = 1 2 Como a A = A T a matriz é simétrica. ( ) 3 1 det( 3 ) = 3 > 0 det(a) = = 5 > Logo A é simétrica e definida positiva e o método de Gauss-Seidel converge. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

58 Resolução de sistemas lineares Exemplo - convergência de Jacobi Considere-se o seguinte sistema ( Como 1 2 a matriz dos coeficientes não é estrita e diagonalmente dominante e nada se pode concluir acerca da convergência do método de Jacobi. No entanto se trocarmos as linhas temos ( 3 1 ) e como 3 > 1 e 2 > 1 a matriz é estrita e diagonalmente dominante, logo o método de Jacobi converge. ) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

59 Resolução de sistemas lineares Exemplo - convergência de Jacobi Considere-se a seguinte matriz dos coeficientes de um sistema linear ( ) 3 2 A = 3 1 Como 3 > 2, mas 1 3 a matriz dos coeficientes não é estrita e diagonalmente dominante e nada se pode concluir acerca da convergência do método de Jacobi. D = ( ) L = ( ) U = ( ) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

60 Resolução de sistemas lineares Continuação ( ) ( C J = D (L + U) = ( ) = 3 0 ) Como C J = max{ , } = 3 1 e c J 1 = max{ 0 + 3, } = 3 1 nada se pode concluir acerca da convergência do método de Jacobi. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

61 Resolução de sistemas lineares Uma iteração do método de Gauss-Seidel Considere-se o seguinte sistema linear ( A = ), x (1) = (0, 0) T e ɛ 1 = ɛ = 0.1 ( ) 3 0 D = L = 0 2 Equação iterativa é ( ) U = ( ) (D L)x (k+1) = Ux (k) + b A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

62 Resolução de sistemas lineares Continuação 1 a iteração C.P. ( ) ( x (2) 0 1 = 0 0 ( x (2) x (1) x (2) = ) { ( ( ) ( 0 0 ) ( ) = ( 1 1 x (2) 1 = 1 3 = x (2) 2 = = ) ( 0 0 ) ) ) = = Como o critério não se verifica deve-se continuar com a próxima iteração. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

63 Resolução de sistemas não lineares Contents 1 Introdução 2 Erros 3 Zeros de funções 4 Resolução de sistemas lineares 5 Resolução de sistemas não lineares 6 Interpolação polinomial 7 Mínimos quadrados lineares 8 Mínimos quadrados não lineares 9 Integração numérica 10 Optimização não linear sem restrições 11 Método de Davies Swann e Campey 12 Método de Nelder Mead 13 Método de Segurança de Newton 14 Método quasi-newton A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

64 Resolução de sistemas não lineares Sistemas de equações não lineares Forma geral do problema f 1 (x 1, x 2,..., x n ) = 0 f 2 (x 1, x 2,..., x n ) = 0... f n (x 1, x 2,..., x n ) = 0 em que f = (f 1, f 2,..., f n ) T é um vector de funções pelo menos uma vez continuamente diferenciáveis. Pretende-se determinar um x = (x 1, x 2,..., x n) T tal que f(x ) = (0, 0,..., 0) T = 0. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

65 Resolução de sistemas não lineares Fórmula de Taylor a uma dimensão Se f : R R for l + 1 vezes diferenciável temos que f(x) = l k=0 f (k) (a) k! (x a) k + f (l+1) (ξ) (x a)l+1 (l + 1)! com ξ [a, x] e a função definida em torno de a. Exemplo: Valor da função em x (k+1) definido em torno de x (k). f(x (k+1) ) f(x (k) ) + f (x (k) )(x (k+1) x (k) ) ou seja, quando se pretende que f(x (k+1) ) = 0 vem x (k+1) = x (k) f(x(k) ) f (x (k) ) Eq. it. do método de Newton A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

66 Resolução de sistemas não lineares Fórmula de Taylor para dimensão n Se f : R n R n temos que f(x (k+1) ) f(x (k) )+ f 1 (x (k) ) f 1 (x (k) ) x 1 f 2 (x (k) ) f 2 (x (k) ) x 1 x 2... x f n(x (k) ) x 1 f n(x (k) ) x 2... f 1 (x (k) ) x n f 2 (x (k) ) x n f n(x (k) ) x n x (k+1) 1 x (k) 1 x (k+1) 2 x (k) 2 x (k+1) n... x (k) n e deduzindo a equação iterativa do método de Newton para sistemas de equações não lineares temos, J(x (k) ) (k) x = f(x (k) ), com x (k+1) = x (k) + (k) x em que J(x) é o Jacobiano da função. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

67 Resolução de sistemas não lineares Critério de paragem x (k+1) x (k) 2 x (k+1) = (k) x 2 2 x (k+1) ɛ 1 2 Se x (k+1) 2 é zero, ou próximo de zero, então o critério deve ser (k) x 2 ɛ 1 Número máximo de iterações. f(x (k+1) ) 2 ɛ 2 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

68 Resolução de sistemas não lineares Propriedades Convergência local quadrática. Determina a solução de um sistema linear numa única iteração. Inconveniente do cálculo do Jacobiano. (Também existe um método da secante para sistemas.) O método falha quando o Jacobiano é singular (nova aproximação inicial). O método de Newton não converge necessariamente para a solução mais próxima da aproximação inicial. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

69 Resolução de sistemas não lineares Um exemplo Considere-se o seguinte sistema não linear { 3x 2 + 2y 2 = 35 4x 2 3y 2 cujo Jacobiano é J(x, y) = = 24 ( 6x 4y 8x 6y ) Temos f(x, y) = ( 3x 2 + 2y x 2 3y 2 24 ) e a aproximação inicial é (x, y) (1) = (2.5, 2). Pretende-se determinar a solução com uma precisão de ɛ 1 = ɛ 2 = A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

70 Resolução de sistemas não lineares Continuação 1 a iteração ( ) J((x, y) (1) 15 8 ) = J(2.5, 2) = ( ) f((x, y) (1) 8.25 ) = f(2.5, 2) = 11 ( (1) (x,y) = ( ) ) ( ) ( e (x, y) (2) = (x, y) (1) + (1) (x,y) = (3.05, 2)T ) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

71 Resolução de sistemas não lineares Continuação C.P. ( f (x, y) (2)) ( ) = = 1.21 ɛ 2 = 0.1 Como o critério não se verifica faz-se uma nova iteração. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

72 Interpolação polinomial Contents 1 Introdução 2 Erros 3 Zeros de funções 4 Resolução de sistemas lineares 5 Resolução de sistemas não lineares 6 Interpolação polinomial 7 Mínimos quadrados lineares 8 Mínimos quadrados não lineares 9 Integração numérica 10 Optimização não linear sem restrições 11 Método de Davies Swann e Campey 12 Método de Nelder Mead 13 Método de Segurança de Newton 14 Método quasi-newton A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

73 Interpolação polinomial Motivação Pretende-se determinar uma função aproximação que descreva o melhor possível o comportamento de um conjunto de pontos (x 0, f 0 ), (x 1, f 1 ),..., (x m, f m ). Este conjunto de pontos pode ter sido obtido de: observações de uma experiência (função desconhecida); uma função complexa cujo cálculo é difícil (função pode ser conhecida). A função aproximação server para: formular um modelo matemático que descreve o processo em causa; obter valores da função em pontos que são desconhecidos. Problema: Como implementar a função sin(x) num microcontrolador? A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

74 Interpolação polinomial Continuação Pretende-se então, dado um conjunto de pontos (x i, f i ), i = 1,..., m, determinar uma função aproximação p(x) que melhor descreve o comportamento dos dados, de acordo com uma certa medida. No nosso caso vamos apenas considerar funções aproximação polinomiais, i.e., p n (x) é um polinómio interpolador de grau n. Para construirmos o polinómio interpolador de Newton são necessárias as diferenças divididas. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

75 Interpolação polinomial Diferenças divididas com espaçamento não constante Considere-se uma função f(x) tabelada em m + 1 pontos x 0, x 1,..., x m não igualmente espaçados. Diferenças divididas de primeira ordem são onde f j = f(x j ). [x j, x j+1 ] = f j f j+1 x j x j+1 j = 0,..., m 1 A diferença dividida de primeira ordem corresponde ao declive da recta que passa em (x j, f j ) e (x j+1, f j+1 ). A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

76 Interpolação polinomial Continuação As diferenças divididas de segunda ordem são [x j, x j+1, x j+2 ] = [x j, x j+1 ] [x j+1, x j+2 ] x j x j+2, j = 0,..., m 2. As diferenças divididas de ordem n são [x j, x j+1,..., x j+n ] = [x j, x j+1,..., x j+n 1 ] [x j+1, x j+2,..., x j+n ] x j x j+n para j = 0,..., m n. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

77 Interpolação polinomial Tabela das diferenças divididas 0 0 [x 0, x 1 ] x 1 f 1 [x 0, x 1, x 2 ] [x 1, x 2 ] [x 0, x 1, x 2, x 3 ] x 2 f 2 [x 1, x 2, x 3 ] [x 2, x 3 ] [x 1, x 2, x 3, x 4 ] x m 2 f m 2 [x m 3, x m 2, x m 1 ] [x m 2, x m 1 ] [x m 3, x m 2, x m 1, x m] x m 1 f m 1 [x m 2, x m 1, x m] [x m 1, x m] x m f m [x 0,..., x m 1, x m] A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

78 Interpolação polinomial Exemplo x i f i dd1 dd2 dd3 dd4 dd A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

79 Interpolação polinomial Propriedades das diferenças divididas Simétrica nos argumentos, i.e., é independente da ordem dos argumentos; Exemplo x i f i x i f i A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

80 Interpolação polinomial Propriedades das diferenças divididas Se f j = u j + v j para valores de x j, j = 0,..., m então a tabela das DD de f é igual à soma das tabelas das DD de u e v. Exemplo: f(x) = sin(x) + e x, u(x) = sin(x) e v(x) = e x. x i u i x i v i x i f i A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

81 Interpolação polinomial Propriedades das diferenças divididas A diferença dividida de cf(x), com c constante, é igual ao produto da diferença dividida de f(x) por c. Exemplo: f(x) = sin(x), cf(x) = 2 sin(x) x i f i x i 2f i A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

82 Interpolação polinomial Propriedades das diferenças divididas As diferenças divididas de ordem n da função x n são iguais a 1 e as de ordem r > n são nulas. Como consequência as diferenças divididas de ordem n de um polinómio de ordem n são iguais e diferentes de zero. Exemplo: f(x) = x 2 + 3x + 1 x i f i dd1 dd2 dd3 dd A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

83 Interpolação polinomial Fórmula interpoladora de Newton Das definições das diferenças divididas pode-se concluir que f(x) = f 0 + (x x 0 )[x 0, x] = f 0 + (x x 0 ) f(x) f 0 x x 0 [x 0, x] = [x 0, x 1 ] + (x x 1 )[x 0, x 1, x] [x 0, x 1, x] = [x 0, x 1, x 2 ] + (x x 2 )[x 0, x 1, x 2, x]... [x 0, x 1,..., x n 1, x] = [x 0, x 1,..., x n 1, x n ] + (x x n )[x 0, x 1,..., x n 1, x n, x]... deduzindo-se a fórmula interpoladora de Newton f(x) = f 0 + (x x 0 )[x 0, x 1 ] + (x x 0 )(x x 1 )[x 0, x 1, x 2 ] + + (x x 0 )... (x x n 1 )[x 0, x 1,..., x n ] + A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

84 Interpolação polinomial Polinómio interpolador de Newton O polinómio interpolador de grau n obtém-se usado apenas n + 1 termos da fórmula interpoladora de Newton, p n (x) = f 0 + (x x 0 )[x 0, x 1 ] + (x x 0 )(x x 1 )[x 0, x 1, x 2 ] + + (x x 0 )... (x x n 1 )[x 0, x 1,..., x n ] e temos que R(x) = f(x) p n (x) = (x x 0 )(x x 1 )... (x x n 1 )(x x n ) f (n+1) (ξ) (n+1)!, ξ [x 0, x n ]. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

85 Interpolação polinomial Diferenças divididas e derivadas Da dedução da fórmula do erro de truncatura temos que [x 0, x 1,..., x n ] = f (n) (ξ), ξ [x 0, x n ], n! ou seja, as diferenças divididas de primeira ordem são aproximações as primeiras derivadas e a diferença dividida de ordem n é uma aproximação à derivada de ordem n da função sobre n!. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

86 Interpolação polinomial Determinação do polinómio interpolador Em geral temos que m > n. Para construirmos o polinómio interpolador de grau n são necessários n + 1 pontos. A escolha dos pontos está relacionada com o valor de x para o qual se pretende obter uma estimativa da função f( x). A escolha dos pontos deve obedecer as seguintes regras: os pontos x j e x j+1 em que x j < x < x j+1 devem ser incluídos. os restantes, até formar os n + 1 necessários, são aqueles que estão mais próximos de x. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

87 Interpolação polinomial Exemplo Considere-se a seguinte tabela de pontos i x i f i pretende-se obter uma estimativa de f(8) através usando uma interpolação quadrática (polinómio de colocação de grau 2). Precisamos de 3 pontos para construir o polinómio de grau 2. x 4 e x 5 devem ser incluídos, uma vez que x 4 < 8 < x 5, e o restante será o x 3. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

88 Interpolação polinomial Continuação Construindo a tabela das diferenças divididas temos que x i f i e p 2 (x) = 5 + (x 6) 1 + (x 6)(x 7) , ficando f(8) p 2 (8) = 5 + (8 6) 1 + (8 6)(8 7) = Nota: x 0 = 6, x 1 = 7, e x 2 = 10 para efeitos do cálculo do polinómio. Sendo o polinómio interpolador único qualquer combinação de pontos resulta no mesmo polinómio. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

89 Interpolação polinomial Continuação x i f i e p 2 (x) = 6 + (x 7) (x 7)(x 10) , ficando f(8) p 2 (8) = 6 + (8 7) (8 7)(8 10) = A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

90 Interpolação polinomial Cálculo do majorante do erro absoluto ET (x) = (x x 0)(x x 1 )(x x 2 ) f (3) (ξ), ξ [6, 10] 3! Como necessitámos de uma estimativa para f (3) (ξ) e a função f(x) é desconhecida vamos usar as diferenças divididas para a obter. Com os pontos usados na construção do polinómio não é possível obter uma diferença dividida de ordem 3 e por isso vamos acrescentar mais um ponto à tabela anterior. É indiferente inserir o ponto no início ou no final da tabela, uma vez que o valor de dd3 será o mesmo. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

91 Interpolação polinomial Continuação x i f i ET (8) = (8 6)(8 7)(8 10) ( ) = A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

92 Mínimos quadrados lineares Contents 1 Introdução 2 Erros 3 Zeros de funções 4 Resolução de sistemas lineares 5 Resolução de sistemas não lineares 6 Interpolação polinomial 7 Mínimos quadrados lineares 8 Mínimos quadrados não lineares 9 Integração numérica 10 Optimização não linear sem restrições 11 Método de Davies Swann e Campey 12 Método de Nelder Mead 13 Método de Segurança de Newton 14 Método quasi-newton A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

93 Mínimos quadrados lineares Mínimos quadrados lineares Motivação Os mínimos quadrados são usados quando os dados obtidos para uma determinada função f(x) estão afectados de erros (ou ruídos). Neste caso não faz muito sentido usar uma interpolação, mas sim construir uma função que reflicta, na generalidade, o comportamento dos dados. Exemplo Suponhamos que se pretende estimar o consumo de um automóvel em função da velocidade. Através da realização de várias experiências chegou-se aos seguintes valores: x i (velocidade - km/h) f i (consumo l/100km) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

94 Mínimos quadrados lineares Cont. Seria correcto usar um polinómio interpolador para modelar a função f(x)? Consumo (l/100km) Velocidade (km/h) O mais correcto seria determinar um polinómio de grau 2 (ou c 1 + c 2e x?) que melhor se aproxima-se dos dados da tabela. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

95 Mínimos quadrados lineares Forma geral do problema - Caso discreto Dado um conjunto de valores (x i, f i ), i = 1,..., m, pretende-se determinar um modelo M(x) que aproxima o melhor possível a função dada, ou seja, minimizar f M(x), f M(x) em que Pretende-se então m g(x), h(x) = ω(x i )g(x i )h(x i ). i=1 m minimizar (f i M(x i )) 2 i=1 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

96 Mínimos quadrados lineares Caso polinomial - estabilidade numérica No caso polinomial, ou seja, no caso em que M(x) = p n (x) e é usado o conjunto dos polinómios base {1, x, x 2,..., x n 1, x n } na definição do modelo, temos que M(x) = p n (x) = c 0 + c 1 x + c 2 x c n 1 x n 1 + c n x n e a resolução do problema min m (f i p n (x i )) 2 i=1 resulta num sistema linear mal condicionado. A introdução dos polinómios ortogonais é suficiente para resolver o problema de mau condicionamento. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

97 Mínimos quadrados lineares Polinómios ortogonais Definições: Duas funções g(x) e h(x) dizem-se ortogonais se o seu produto escalar for nulo, i.e., se g(x), h(x) = 0. A sequência P 0 (x), P 1 (x),..., P n (x) forma uma sequência de n + 1 polinómios ortogonais se os polinómios P i (x), i = 0,..., n, forem ortogonais dois a dois e cada P i (x) for um polinómio de grau igual a i. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

98 Mínimos quadrados lineares Propriedades dos polinómios ortogonais Os polinómios ortogonais P n (x) são também linearmente independentes. Assim, qualquer polinómio p n (x), de grau n, pode ser expresso na seguinte forma única p n (x) = c 0 P 0 (x) + c 1 P 1 (x) + + c n P n (x), como uma combinação linear de uma sequência de polinómios ortogonais. Os polinómios P n (x) têm zeros reais e distintos que pertencem a [x 1, x m ]. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

99 Mínimos quadrados lineares Determinação dos polinómios ortogonais P i+1 (x) = A i (x B i )P i (x) C i P i 1 (x), para i = 0,..., n 1 sendo P 1 (x) = 0, P 0 (x) = 1 e os coeficientes da relação A i = 1, para todo o i, B i = xp i(x), P i (x), para todo o i, P i (x), P i (x) C 0 = 0 e C i = P i(x), P i (x) para i > 0. P i 1 (x), P i 1 (x) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

100 Mínimos quadrados lineares Determinação dos coeficientes c 0 = m i=1 f ip 0 (x i ) m m i=1 P 0(x i ) 2, c i=1 1 = f ip 1 (x i ) m i=1 P 1(x i ) 2,..., c n = m i=1 f ip n (x i ) m i=1 P n(x i ) 2 sendo o modelo p n (x) = c 0 P 0 (x) + c 1 P 1 (x) + + c n P n (x). A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

101 Mínimos quadrados lineares Exemplo Determinação da recta (polinómio de grau 1) que melhor se ajusta (no sentido dos mínimos quadrados) aos dados da tabela x i f i O modelo a determinar será p 1 (x) = c 0 P 0 (x) + c 1 P 1 (x). Em primeiro lugar determina-se os polinómios ortogonais. P 0 (x) = 1 por definição e P 1 (x) = A 0 (x B 0 )P 0 (x) C 0 P 1 (x) com A 0 = 1, C 0 = 0, P 1 (x) = 0 e B 0 = xp 0(x), P 0 (x) 7 P 0 (x), P 0 (x) = i=1 x ip0 2(x i) 7 i=1 P 0 2(x = 380 i) 7 = A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

102 Mínimos quadrados lineares Cont. Temos então que p 1 (x) = c 0 + c 1 (x ) e falta determinar os coeficientes. 7 i=1 c 0 = f ip 0 (x i ) 7 i=1 P 0(x i ) = = i=1 c 1 = f ip 1 (x i ) ) 7.5( ) 7 i=1 P =5.5(20 1(x i ) 2 ( ) 2 ( ) 2 = = ( CoNum) ficando p 1 (x) = (x ) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

103 Mínimos quadrados lineares Exemplo - Interpretação gráfica p2(x) p1(x) p 2 (x) = (x ) ((x )(x ) ) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

104 Mínimos quadrados lineares Modelo linear não polinomial - Caso discreto Pretende-se determinar o modelo, linear nos coeficientes, que melhor se aproxima (no sentido dos mínimos quadrados) à função f(x). Sendo o modelo linear nos coeficientes pode-se escrever como M(x) = c 1 φ 1 (x) + c 2 φ 2 (x) + + c n φ n (x) Exemplo em que φ 1 (x) = 1 e φ 2 (x) = e x. M(x) = c 1 + c 2 e x A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

105 Mínimos quadrados lineares Dedução das equações normais Pretende-se minimizars m (f i c 1 φ 1 (x i ) c n φ n (x i )) 2 i=1 e derivando S em ordem aos c i, i = 1,..., n e igualando a zero, obtém-se S c 1 = S c n = m (f i c 1 φ 1 (x i ) c n φ n (x i )) φ 1 (x i ) = 0 i=1 m (f i c 1 φ 1 (x i ) c n φ n (x i )) φ n (x i ) = 0 i=1 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

106 Mínimos quadrados lineares Sistema das equações normais Na forma matricial vem 0 mx mx mx 1 0 mx 1 φ 1(x i)φ 1(x i) φ 1(x i)φ 2(x i)... φ 1(x i)φ n(x i) f iφ 1(x i) i=1 i=1 i=1 0 1 i=1 mx mx mx c 1 φ 2(x i)φ 1(x i) φ 2(x i)φ 2(x i)... φ 2(x i)φ n(x i) c 2 mx i=1 i=1 i=1 B A = f iφ 2(x i) i= mx mx mx C c n... B mx C A φ n(x i)φ 1(x i) φ n(x i)φ 2(x i)... φ n(x i)φ n(x i) f iφ n(x i) i=1 i=1 i=1 i=1 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

107 Mínimos quadrados lineares Exemplo Consideremos o exemplo já apresentado x i (velocidade - km/h) f i (consumo l/100km) pretendendo-se ajustar o modelo M(x) = c 1 + c 2 e x 20 à tabela dada. Temos que φ 1 (x) = 1 e φ 2 (x) = e x 20, resolvendo o sistema linear (EGPP) ( 7 i=1 1 7 i=1 e x i ) 20 7 i=1 f i 7 i=1 e x i 20 7 i=1 e x i 10 7 i=1 f ie x i 20 vem c 1 = , c 2 = e consequentemente M(x) = e x 20. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

108 Mínimos quadrados lineares Exemplo - Gráfico Consumo (l/100km) Velocidade (km/h) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

109 Mínimos quadrados lineares Resíduo O resíduo é determinado por m (f i c 1 φ 1 (x i ) c n φ n (x i )) 2. i=1 No caso do polinómio de grau um, p 1 (x), temos um resíduo de Para o polinómio de grau 2 temos um resíduo de e no modelo linear um resíduo de O melhor modelo é o linear, porque tem menor resíduo. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

110 Mínimos quadrados lineares Exemplo - Gráficos p1(x) Consumo (l/100km) M(x) p2(x) Velocidade (km/h) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

111 Mínimos quadrados não lineares Contents 1 Introdução 2 Erros 3 Zeros de funções 4 Resolução de sistemas lineares 5 Resolução de sistemas não lineares 6 Interpolação polinomial 7 Mínimos quadrados lineares 8 Mínimos quadrados não lineares 9 Integração numérica 10 Optimização não linear sem restrições 11 Método de Davies Swann e Campey 12 Método de Nelder Mead 13 Método de Segurança de Newton 14 Método quasi-newton A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

112 Mínimos quadrados não lineares Forma geral do problema - Caso discreto Dado um conjunto de valores (x i, f i ), i = 1,..., m, pretende-se determinar um modelo M(x) que aproxima o melhor possível a função dada, ou seja, minimizars = m (f i M(x i )) 2 i=1 em que o modelo M(x) é não linear nos coeficientes. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

113 Mínimos quadrados não lineares Exemplo Suponhamos que se pretende estimar o consumo de um automóvel em função da velocidade. Através da realização de várias experiências chegou-se aos seguintes valores: x i (velocidade - km/h) f i (consumo l/100km) Pretende-se ajustar o modelo M(x) = c 1 + e c 2x aos pontos da tabela, no sentido dos mínimos quadrados. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

114 Mínimos quadrados não lineares Dedução das equações normais Pretende-se minimizars m (f i M(x i )) 2 i=1 e derivando S em ordem aos c i, i = 1,..., n e igualando a zero, obtém-se S c 1 = S c n = m i=1 m i=1 (f i M(x i )) M(x i) c 1 = 0 (f i M(x i )) M(x i) c n = 0 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

115 Mínimos quadrados não lineares Sistema das equações normais Uma vez que M(x) é não linear nos coeficiente o sistema resultante é também não linear nos coeficientes m F 1 (c) = (f i M(x i )) M(x i) = 0 c i=1 1 m F n (c) = i=1 (f i M(x i )) M(x i) c n = 0 e vamos aplicar o método de Newton para sistemas não lineares. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

116 Mínimos quadrados não lineares Método de Newton A equação iterativa do método de Newton é J(c) c = F (c) com c k+1 = c k + c e em que o cada elemento do Jacobiano é J jk = F j c k = para j, k = 1,..., n. m i=1 { } M(xi ) M(x i ) (f i M(x i )) 2 M(x i ), c k c j c k c j A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

117 Mínimos quadrados não lineares Método de Gauss-Newton Como, próximo da solução, se espera que (f i M(x i )) seja próximo de zero, o método de Gauss-Newton despreza o segundo termo dos elementos do Jacobiano, tomando como aproximação ao Jacobiano a matriz A cujos elementos são para j, k = 1,..., n. F j c k A jk = m i=1 { } M(xi ) M(x i ), c k c j A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

118 Mínimos quadrados não lineares Resíduo O resíduo é determinado por S = m (f i M(x i )) 2, i=1 sendo um resultado obtido em cada iteração do algoritmo de Gauss-Newton. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

119 Mínimos quadrados não lineares Exemplo - Uma iteração Considere novamente o modelo M(x) = c 1 + e c 2x que se pretende ajustar aos pontos da tabela (c (1) = (3.7, 0.015) T e ɛ 1 = ɛ 2 = 0.1) x i (velocidade - km/h) f i (consumo l/100km) Temos que e consequentemente M(x) c 1 = 1 e F (c) = i=1 M(x) c 2 = xe c2x 4 (f i c 1 e c2xi ). 4 (f i c 1 e c2xi ) x i e c2xi i=1 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

120 Mínimos quadrados não lineares Exemplo - Cont. A matriz aproximação do Jacobiano é 4 i=1 A(c) = A(c) = 4 i=1 ( M(xi ) c 1 ) 2 4 i=1 M(x i ) c 2 M(x i ) c 1 4 i=1 M(x i ) M(x i ) c 1 c 2 ( M(xi ) c 2 ) 2 ( 4 i=1 1 4 i=1 x ie c ) 2x i 4 i=1 x ie c 2x i 4 i=1 (x ie c 2x i ) 2 A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

121 Mínimos quadrados não lineares Exemplo - 1 a iteração x i f i M(x i ) c (1) = (3.7, 0.015) T M(x i) c 2 ( M(xi) c 2 ) 2 (f i M(x i )) (f i M(x i )) M(xi) c 2 (f i M(x i )) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

122 Mínimos quadrados não lineares Cont. Temos então que S (1) = e o seguinte sistema linear para resolver (por EGPP) ( e consequentemente c (2) = c (1) + c = ( ) c = ) ( ) = ( ( Falta-nos confirmar que há decréscimo da função objectivo, i.e., S (2) < S (1) e o critério de paragem. ) ) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

123 Mínimos quadrados não lineares Cont. c (2) = (3.7769, ) T M(x x i f i M(x i ) i) c 2 (f i M(x i )) (f i M(x i )) M(xi) c (f i M(x i )) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

124 Mínimos quadrados não lineares Critério de paragem Temos então que = S (2) < S (1) = , ( ) F (c (2) ) = e F (c (2) ) = > ɛ = 0.01 por outro lado também temos que ( ) c c (2) = ( ) = = > ɛ 1 = e temos que passar para a próxima iteração. A. Ismael F. Vaz (UMinho) MN C 2007/ / 216

125 Mínimos quadrados não lineares Gráfico com c (2) O resíduo em c (2) é S (2) = Consumo (l/100km) Velocidade (km/h) A. Ismael F. Vaz (UMinho) MN C 2007/ / 216