1.问题描述:
已知三组学习时长和最终得分的数据，建立数学模型，预测学习时长为4小时的最终得分
2.梯度下降：
x:学习时长 y:最终得分
模型：采用线性回归模型y_pred=wx+b，求解参数w,b
损失函数：cost=sum((y_pred-y)**2)/n
其中：y_pred为穷举不同w,b时x对应的预测输出，cost最小时参数w,b最优
3.相关知识：
同理：可求得cost关于w的偏导数作为w的梯度。
图中：cost=sum((y_pred-y)**2)/n即目标函数，w的梯度是目标函数关于w的偏导数，b的梯度是目标函数关于b的偏导数,w,b以按照以上公式更新。
4.python代码:
import numpy as np
import matplotlib.pyplot as plt
# 准备数据集
x_data = [1, 2, 3]
y_data = [2, 4, 6]
w = 1 # 随机初始化w=1
b = 1 # 随机初始化b=1
learning_rate = 0.005 # 初始化超参数学习速率，通常等于0.01,0.001或者更小
def forward(x, w, b): # 前向计算
return x * w + b
def loss_cal(x_data, y_data, w, b): # 计算loss
loss_sum = 0
for x, y in zip(x_data, y_data):
y_pred = forward(x, w, b)
loss = (y_pred - y) ** 2
loss_sum += loss
return loss_sum / len(x_data)
def grad_cal(x_data, y_data): # 计算梯度
w_grad_sum = 0
b_grad_sum = 0
for x, y in zip(x_data, y_data):
w_grad = 2 * x * (w * x + b - y)
b_grad = 2 * (w * x + b - y)
w_grad_sum += w_grad
b_grad_sum += b_grad
return w_grad_sum / len(x_data), b_grad_sum / len(x_data)
epoch_list = []
w_list = []
b_list = []
loss_list = []
for epoch in range(200):
w_list.append(w)
b_list.append(b)
epoch_list.append(epoch)
loss = loss_cal(x_data, y_data, w, b)
loss_list.append(loss)
w_grad, b_grad = grad_cal(x_data, y_data)
w = w - learning_rate * w_grad # 更新权值
b = b - learning_rate * b_grad # 更新权值
# 一个窗口画出三张图
plt.figure(1)
plt.subplot(3, 1, 1)
plt.plot(epoch_list, b_list)
plt.ylabel("b")
plt.subplot(3, 1, 2)
plt.plot(epoch_list, w_list)
plt.ylabel("w")
plt.subplot(3, 1, 3)
plt.plot(epoch_list, loss_list)
plt.xlabel("epoch")
plt.ylabel("loss")
plt.figure(2)
ax3 = plt.axes(projection='3d')
X = w_list
Y = b_list
X, Y = np.meshgrid(X, Y)
Z = loss_cal(x_data, y_data, X, Y)
ax3.set_xlabel("w")
ax3.set_ylabel("b")
ax3.set_zlabel("loss")
ax3.plot_surface(X, Y, Z, cmap='rainbow')
plt.show()
5.可视化结果：
可以看到，随着训练次数增加，loss逐渐减小，w,b相应取2，0。
绘制出了w,b,loss的3d图。
6.以上均为个人学习pytorch基础入门中的基础，浅做记录，如有错误，请各位大佬批评指正！
7.关于问题描述和原理的部分图片参考刘老师的视频课件，本文也是课后作业的一部分，特此附上视频链接，《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili，希望大家都有所进步！
