目录

最小二乘法

代码实现

1 数据导入

2 线性回归模型定义

 3 测试

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = wx+b。

一、最小二乘法

一般来说，线性回归都可以通过最小二乘法求出其方程，可以计算出对于y=wx+b的直线。

首先，直接给出w、b的解

 

均方误差是回归任务中最常用的性能度量，因此我们试图让均方误差最小 

由于均方差为凸函数，因此一定能找到最小值，我们对上式的w，b分别求偏导得：

当偏导为0时，可以求得极小值w，b，如上所示。

二、代码实现

1 数据导入

我们的数据在dada.csv中，每行为一组观察值，用逗号隔开，第一列为输入，第二列为输出

import matplotlib.pyplot as plt
import numpy as np

points = np.genfromtxt('data.csv', delimiter=',')

# 提取points中的两列数据，分别作为x，y
x = points[:, 0]
y = points[:, 1]

# 用plt画出散点图
plt.scatter(x, y)
plt.show()

2 线性回归模型定义

class LinerRegression:
    def __init__(self, w=0.1, b=0.1):
        self.w = w
        self.b = b

    def fit(self,x,y):
        self.leasteq(x,y)

    def leastsq(self,x,y):
        self.w = np.sum(y * (x-np.mean(x))) / 
                 (np.sum(x*x) -  1/len(x) * np.sum(x) ** 2)
        self.b = 1/len(x) * np.sum(y- self.w*x)

    def predict(self,x,y):
        return self.w*x+self.b

    # 损失函数是系数的函数，另外还要传入数据的x，y
    def compute_cost(x,y):
        return np.mean((self.w*x + self.b - y)**2)

 3 测试

lr = LinerRegression()
lr.fit(x,y)

print(lr.w, lr.b)
# 1.3224310227553517 7.991020982270779

print(lr.compute_loss(x,y))
#110.25738346621318

y_ = lr.predict(x) # 预测
plt.scatter(x,y)
plt.plot(x,y_,c='r')
plt.show()