第0节:最小二乘法及numpy复现

• 最小二乘法
• • 思路
  • numpy实现

高斯证明了最小二乘法的最优性质,在所有五篇的线性估计类中,最小二乘法是其中方差最小的.
对于数据 ( x i , y i ) ( i = 1 , 2 , 3... , m ) (x_i, y_i)(i=1, 2, 3...,m) (xi​,yi​)(i=1,2,3...,m)
拟合出函数 h ( x ) h(x) h(x)
有误差，即残差： r i = h ( x i ) − y i r_i=h(x_i)-y_i ri​=h(xi​)−yi​
此时L2范数(残差平方和)最小时，h(x) 和 y 相似度最高，更拟合

一般的H(x)为n次的多项式， H ( x ) = w 0 + w 1 x + w 2 x 2 + . . . w n x n H(x)=w_0+w_1x+w_2x^2+...w_nx^n H(x)=w0​+w1​x+w2​x2+...wn​xn

w ( w 0 , w 1 , w 2 , . . . , w n ) w(w_0,w_1,w_2,...,w_n) w(w0​,w1​,w2​,...,wn​)为参数

最小二乘法就是要找到一组 w ( w 0 , w 1 , w 2 , . . . , w n ) w(w_0,w_1,w_2,...,w_n) w(w0​,w1​,w2​,...,wn​) 使得 ∑ i = 1 n ( h ( x i ) − y i ) 2 sum_{i=1}^n(h(x_i)-y_i)^2 ∑i=1n​(h(xi​)−yi​)2 (残差平方和) 最小

即，求 m i n ∑ i = 1 n ( h ( x i ) − y i ) 2 minsum_{i=1}^n(h(x_i)-y_i)^2 min∑i=1n​(h(xi​)−yi​)2

# -*- coding:utf-8 -*-
# /usr/bin/python

import numpy as np
import scipy as sp
from scipy.optimize import leastsq
import matplotlib.pyplot as plt

p = 9 # 多项式次数

def realFunc(x):
    '''真实目标函数'''
    return np.sin(2*np.pi * x)

def fitFunc(p,x):
    '''多项式插值函数'''
    f = np.poly1d(p)
    return f(x)

def lossFunc(p,x,y):
    '''残差'''
    ret = fitFunc(p,x)-y
    return ret

def fitting(M,x,y):
    """
    p 为 多项式的次数
    """
    # 随机初始化多项式参数
    p_init = np.random.rand(M+1)
    # 最小二乘法
    p_lsq = leastsq(lossFunc, p_init, args=(x, y))
    print('Fitting Parameters:', p_lsq[0])
    # 可视化
    plt.plot(x, y, label='real')
    plt.plot(x, fitFunc(p_lsq[0], x), label='fitted curve')
    plt.plot(x, y, 'bo', label='noise')
    plt.legend()
    plt.show()
    return p_lsq

# 构造数据集
x = np.linspace(0, 1, 10)
y = realFunc(x)  # 真实函数输出加噪声
p_lsq_3 = fitting(3,x,y)