线性回归一值是一个较为简单且常用的算法模型之一,那么实现线性回归一般有一下两个方法,一个是标准方程,一个是直接调用skLearn里的linearegression方法。两者究竟有何异同呢?
目录
1.标准方程
1.1标准方程代码实现
2.sklearn中LinearRegression
首先我们先要了解一下这两种方法的实现过程以及相关原理
1.标准方程衡量线性回归模型好坏的标准我们通常选用RMSE,但是由于它要开根号计算不如MSE简单,所以在这就用Mse来当作损失函数,如下给出的是mse函数表达式
也就是说求解出mse最小值即可得到我们想要的线性回归方程的解,那么如何求解呢?这时候我们就需要利用到标准方程(闭式解方法)
mse最小值即为θ
1.1标准方程代码实现
好的此时已经把标准方程的大概原理思路捋了一遍,现在可以试着敲代码了。
- 生成线性数据
import numpy as np X=2*np.random.rand(100,1) y=4+3*X+np,.random.randn(100,1)
- 计算θ
X_b=np.c_[np.ones((100,1)),X] theta_best=np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y) theta_best就是把上面标准方程的公式复现一遍,这里的theta_best结果为
第一个为偏置项,第二个为权重
- 利用θ做出预测
x_new=np.array([[0],[2]]) x_new_b=np.c_[np.ones((2,1)),x_new] y_predict=x_new_b.dot(theta_best)这里预测选用了头和尾然后接下来画个图把头尾连接一下看看效果
- 画图
import matplotlib.pyplot as plt x_new=np.array([[0],[2]]) x_new_b=np.c_[np.ones((2,1)),x_new] y_predict=x_new_b.dot(theta_best) print(y_predict) plt.plot(x_new,y_predict,"r-")#从头至尾定位(两点确定一条线) plt.plot(X,y,"b.")#原始分布 plt.axis([0,2,0,15]) plt.show()
- 预测
new=np.array([3]) #输入你要的横坐标 x_new=np.c_[np.ones((1,1)),new] y_pred=x_new.dot(theta_best) y_pred #结果array([[13.34049575]])
2.sklearn中LinearRegression
重点在于,这是基于最小二乘法的!那最小二乘法的损失函数是什么呢?
这个就是最小二乘法的损失函数表达式,那跟上面标准方程差了个1/m,完全不影响变量,也就是说如果标准方程使用的损失函数为mse那么两个方法得到的结果是一样的。
下面上代码
from sklearn.linear_model import LinearRegression lin_reg=LinearRegression() lin_reg.fit(X,y) lin_reg.predict(x_new)非常的简洁干净
3.方法选择
我们在选择方法时候也需要考虑到速度问题,这里呢直接上结论,数据量小时,两个方法都可以选择,如果你希望掌控的更多,那标准方程法还可以更换其他损失函数。数据量大时,sklearn方法计算速度是要优于标准方程的。



