Método de Quadrados Mínimos: Caso discreto

Transcrição

1 Método de Quadrados Mínimos: Caso discreto Marina Andretta ICMC-USP 23 de maio de 2012 Baseado no livro Análise Numérica, de R. L. Burden e J. D. Faires. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

2 Aproximação de funções Considere o problema, dada uma tabela de valores (x i, f (x i )), estimar valores de f em pontos não tabulados. Tome, por exemplo, os seguintes dados: x i f (x i ) Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

3 Aproximação de funções Pontos Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

4 Aproximação de funções Podemos notar que os pontos no gráfico se aproximam de uma reta. Provavelmente os pontos não formam, de fato, uma reta por conterem erros. Assim, não é razoável exigir que uma função que aproxime os pontos dados passe por todos os pontos. Ou seja, se usarmos interpolação polinomial para aproximar os dados, obteremos uma aproximação indesejada. O gráfico a seguir mostra o polinômio interpolador de grau 9 para o exemplo anterior. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

5 Aproximação de funções Pontos Polinomio Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

6 Aproximação de funções Claramente este é um preditor ruim para valores de função em diversos pontos. Neste caso, uma abordagem melhor seria encontrar uma reta que melhor se aproxima dos pontos dados, que não necessariamente passe pelos pontos dados. Para isso, é necessário definir o que uma melhor aproximação. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

7 Aproximação de funções Seja m o número de pontos disponíveis. Denote por y i o valor f (x i ). Denote por a 1 x + a 0 a reta que queremos encontrar. Então, o valor da reta em um ponto x i é dado por a 1 x i + a 0. O problema de encontrar a reta que obtém o menor erro absoluto em relação aos pontos dados é o mesmo de encontrar os valores de a 0 e a 1 que minimizem E 0 (a 0, a 1 ) = max 1 i m { y i (a 1 x i + a 0 ) }. Este é um problema chamado de minmax e não pode ser tratado usando técnicas elementares. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

8 Aproximação de funções Outra alternativa é encontrar os valores de a 0 e a 1 que minimizem o desvio absoluto, dado por E 1 (a 0, a 1 ) = m y i (a 1 x i + a 0 ). Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

9 Aproximação de funções Para encontrar a solução para este problema, é necessário calcular as derivadas parciais de E 1 e igualá-las a zero. Ou seja, e 0 = a 0 m y i (a 1 x i + a 0 ) 0 = a 1 m y i (a 1 x i + a 0 ). O problema com esta formulação é que a função E 1 não é diferenciável no ponto 0, o que significa que podemos não encontrar uma solução para estas equações. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

10 Aproximação de funções Outra alternativa é encontrar os valores de a 0 e a 1 que minimizem E 2 (a 0, a 1 ) = m (y i (a 1 x i + a 0 )) 2. Esta abordagem é chamada de Quadrados Mínimos. Uma vantagem desta abordagem é que este cálculo de erro, apesar de dar bastante peso a pontos que estejam mais longe da reta, não permite que estes desvios dominem a aproximação. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

11 Método de Quadrados Mínimos (reta) Assim, o problema de encontrar uma reta que se ajuste aos pontos dados usando o Método de Quadrados Mínimos consiste em encontrar valores de a 0 e a 1 que minimizem E E 2 (a 0, a 1 ) = m (y i (a 1 x i + a 0 )) 2. Note que esta função é uma quadrática convexa. Ou seja, para encontrar seu mínimizador, basta calcular as derivadas parciais e igualá-las a zero. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

12 Método de Quadrados Mínimos (reta) Ou seja, basta calcular a 0 e a 1 solução de e 0 = a 0 m m (y i (a 1 x i + a 0 )) 2 = 2 (y i a 1 x i a 0 )( 1) 0 = a 1 m m (y i (a 1 x i + a 0 )) 2 = 2 (y i a 1 x i a 0 )( x i ). Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

13 Método de Quadrados Mínimos (reta) Reordenando as equações, temos o sistema linear { a0 m + a m 1 x i = m y i, a m 0 x i + a m 1 x i 2 = m x iy i. Estas equações são conhecidas por equações normais. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

14 Método de Quadrados Mínimos (reta) Para este caso, que possui apenas duas variáveis, as soluções do sistema são dadas por e a 0 = ( m x i 2)( m y i) ( m x iy i )( m x i) m( m x i 2) ( m x i) 2 a 1 = m( m x iy i ) ( m x i)( m y i) m( m x i 2) ( m x i) 2. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

15 Método de Quadrados Mínimos (reta) - exemplo Considere os dados apresentados na tabela a seguir (os pontos são os mesmos usados no primeiro exemplo): x i y i Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

16 Método de Quadrados Mínimos (reta) - exemplo Para utilizar o Método dos Quadrados Mínimos, precisamos calcular os valores de m x i, m y i, m x i 2 e m x iy i. Assim, aumentamos a tabela, calculando estes valores: x i y i xi 2 x i y i Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

17 Método de Quadrados Mínimos (reta) - exemplo Resolvendo as equações normais, temos que a 0 = = 0.36 e a 1 = = Ou seja, a reta que aproxima os dados é dada por P(x) = 1.538x Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

18 Método de Quadrados Mínimos (reta) - exemplo A tabela foi aumentada, mais uma vez, para calcular o erro obtido na aproximação dos dados pela reta P(x): x i y i xi 2 x i y i P(x i ) = 1.538x i E 2 = 10 (y i P(x i )) Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

19 Método de Quadrados Mínimos (reta) - exemplo Pontos Aproximacao Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

20 Método de Quadrados Mínimos (polinômio) De maneira análoga, podemos utilizar o Método de Quadrados Mínimos para aproximar um conjunto de dados {(x i, y i ), i = 1, 2,..., m} por um polinômio P n (x) = a n x n + a n 1 x n a 1 x + a 0 de grau n < m 1. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

21 Método de Quadrados Mínimos (polinômio) Neste caso, estamos interessados em encontrar a 0, a 1,..., a n que minimizem E 2 = m (y i P n (x i )) 2 = m m y 2 i 2 y 2 i 2 m y 2 i 2 m P n (x i )y i + m n a j x j i y i + j=0 ( n m ) a j y i x j i + j=0 n m (P n (x i )) 2 = m n a j x j i j=0 k=0 j=0 ( n m a j a k 2 = x j+k i ). Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

22 Método de Quadrados Mínimos (polinômio) Mais uma vez, a função E 2 é uma quadrática convexa. Assim, para encontrar seu minimizador, basta calcular a 0, a 1,..., a n que anulem suas derivadas parciais. Ou seja, a 0, a 1,..., a n devem satisfazer 0 = E 2 a j para cada j = 0, 1,..., n = 2 n m y i x j i + 2 m a k k=0 x j+k i = n m a k k=0 m y i x j i, x j+k i Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

23 Método de Quadrados Mínimos (polinômio) Neste caso, as equações normais são dadas por m a 0 x i 0 m + a 1 x i 1 m a n x i n = m y ixi 0, m a 0 x i 1 m + a 1 x i 2 m a n x n+1 i = m y ixi 1,. m a 0 x i n m + a 1 x n+1 m i a n x i 2n = m y ixi n. É possível mostrar que este sistema possui solução única quando os pontos x i são distintos. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

24 Método de Quadrados Mínimos (polinômio) - exemplo Considere os dados da tabela a seguir: i x i y i Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

25 Método de Quadrados Mínimos (polinômio) - exemplo Para calcularmos um polinômio de grau dois que aproxime os dados, usando o Método de Quadrados Mínimos, devemos resolver o sistema linear a a a 2 = , a a a 2 = , a a a 2 = Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

26 Método de Quadrados Mínimos (polinômio) - exemplo A solução do sistema é dada por a 0 = , a 1 = , a 2 = Ou seja, o polinômio de grau no máximo dois que melhor se aproxima dos dados (no sentido de quadrados mínimos) é P(x) = x x 2. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

27 Método de Quadrados Mínimos (polinômio) - exemplo Pontos Aproximacao Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

28 Método de Quadrados Mínimos (polinômio) - exemplo A tabela com os dados foi completada com dados do polinômio calculado: i x i y i P(x i ) y i P(x i ) O erro total é dado por E 2 = 5 (y i P(x i )) 2 = Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

29 Método de Quadrados Mínimos (exponencial) Em alguns casos, é desejável aproximar os dados fornecidos por uma função exponencial ou y = be ax (1) y = bx a. (2) Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

30 Método de Quadrados Mínimos (exponencial) Para estes casos, ao aplicarmos o Método de Quadrados Mínimos, teríamos de minimizar as funções ou E = E = m (y i be ax i ) 2 m (y i bxi a ) 2. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

31 Método de Quadrados Mínimos (exponencial) Novamente, para encontrar o minimizador destas funções, é necessário encontrar os pontos a e b que façam com que as derivadas parciais se anulem. No caso da primeira função (1), temos e 0 = E m b = 2 (y i be ax i )( e ax i ) 0 = E m a = 2 (y i be ax i )( bx i e ax i ). Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

32 Método de Quadrados Mínimos (exponencial) No caso da segunda função (2), temos e 0 = E m b = 2 (y i bxi a )( xi a ) 0 = E m a = 2 (y i bxi a )( bxi a ln(x i )). Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

33 Método de Quadrados Mínimos (exponencial) Note que, neste caso, o sistema formado pelas equações normais não é linear. Assim, não há métodos exatos para encontrar os valores de a e b. Uma alternativa para contornar esta dificuldade é tomar o logarítmo das funções (1) e (2). Assim, temos ou ln(y) = ln(b) + ax ln(y) = ln(b) + a ln(x). Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

34 Método de Quadrados Mínimos (exponencial) Desta maneira, podemos calcular ln(b) e a usando a mesma ideia usada para aproximar os dados por retas. Note que esta NÃO é uma aproximação pelo Método de Quadrados Mínimos das funções (1) e (2). De fato, esta aproximação pode diferir significativamente da aproximação por Método de Quadrados Mínimos das funções originais. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

35 Método de Quadrados Mínimos (exponencial) - exemplo Considere os dados fornecidos na tabela a seguir: i x i y i Como os pontos (x i, ln(y i )) parecem ter uma relação linear, vamos utilizar a aproximação y = be ax (ou ln(y) = ln(b) + ax). Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

36 Método de Quadrados Mínimos (exponencial) - exemplo Para resolver as equações normais, precisamos calcular os valores de m x i, m ln(y i), m x i 2 e m x i ln(y i ). Assim, aumentamos a tabela, calculando estes valores: i x i y i ln(y i ) xi 2 x i ln(y i ) Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

37 Método de Quadrados Mínimos (exponencial) - exemplo Resolvendo as equações normais, temos que e a = ln(b) = = = Como ln(b) = 1.122, temos que b = e = Assim, temos a aproximação y = 3.071e x. Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

38 Método de Quadrados Mínimos (exponencial) - exemplo Na tabela a seguir, podemos comparar os valores de y i e da aproximação 3.071e x i : i x i y i 3.071e x i Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39

39 Método de Quadrados Mínimos (exponencial) - exemplo Pontos Aproximacao Marina Andretta (ICMC-USP) sme cálculo numérico 23 de maio de / 39