目录
线性回归
平方损失函数
pytorch实现
线性回归
线性回归（Linear Regression）可以追溯到19世纪初， 它在回归的各种标准工具中最简单而且最流行。 线性回归基于几个简单的假设： 首先，假设自变量x和因变量y之间的关系是线性的， 即y可以表示为x中元素的加权和，这里通常允许包含观测值的一些噪声； 其次，我们假设任何噪声都比较正常，如噪声遵循正态分布。
线性模型可以表示为：
向量版本：
线性模型可以看做单层全连接神经网络
输入为x1,…,xd， 因此输入层中的输入数（或称为特征维度，feature dimensionality）为d。 网络的输出为o1，因此输出层中的输出数是1。
平方损失函数
现在模型已经有了，下一步要进行预测就必须有损失函数，我们使用平方损失：
这里有个系数 1/2 是因为进行求导时，平方 2 可以和 1/2 抵消，方便计算。
为了去衡量在整个模型的质量，所有的 要进行求和，要求平均，如果不求平均，那么梯度就会比较大，反向传播更新时，梯度过大是不希望看到的（如果不求平均，那么学习率就要求平均）
训练参数时，我们希望找到一组参数 使得在所有样本上有最低的损失。
pytorch实现
# 作者 ：CV小Rookie
# 创建时间： 2022/7/29 20:41
# 文件名： linear_regression_easy.py
import numpy as np
from torch.utils import data
import torch
from torch import nn
from d2l import torch as d2l
# 利用 d2l 中的 synthetic_data 生成数据
true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)
# 读取数据集
def load_array(data_arrays, batch_siz, is_train=True):
dataset = data.TensorDataset(*data_arrays)
return data.DataLoader(dataset, batch_siz, shuffle=is_train)
batch_size = 10
data_iter = load_array((features, labels), batch_size)
# 定义模型
net = nn.Sequential(nn.Linear(2, 1))
# 初始化模型参数
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)
#定义损失函数
loss = nn.MSELoss()
# 定义优化算法
trainer = torch.optim.SGD(net.parameters(), lr=0.03)
# 训练
num_epochs = 3
for epoch in range(num_epochs):
for X, y in data_iter:
l = loss(net(X) ,y)
trainer.zero_grad()
l.backward()
trainer.step()
l = loss(net(features), labels)
print(f'epoch {epoch + 1}, loss {l:f}')
w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)
