Task1 线性回归

• 线性回归的基本元素
• • 线性回归模型
  • 损失函数
  • 解析解
• 矢量化加速
• 正态分布与平方损失
• 从线性回归到深度网络

加权和

误差

像线性回归这样的简单问题存在解析解，但并不是所有的问题都存在解析解。解析解可以进行很好的数学分析，但解析解的限制很严格，导致它无法应用在深度学习里。

在训练我们的模型时，我们经常希望能够同时处理整个小批量的样本。为了实现这一点，需要我们对计算进行矢量化，从而利用线性代数库，而不是在Python中编写开销高昂的for循环。

import math
import time
import numpy as np
import torch
from d2l import torch as d2l
n = 10000
a = torch.ones(n)
b = torch.ones(n)

均方误差损失函数（简称均方损失）可以用于线性回归的一个原因是：我们假设了观测中包含噪声，其中噪声服从正态分布。噪声正态分布如下式:

因此，在高斯噪声的假设下，最小化均方误差等价于对线性模型的最大似然估计。

我们可以用描述神经网络的方式来描述线性模型，从而把线性模型看作一个神经网络。 首先，让我们用“层”符号来重写这个模型。
神经网络如下：

对于线性回归，每个输入都与每个输出（在本例中只有一个输出）相连，我们将这种变换（ 图3.1.2中的输出层）称为全连接层（fully-connected layer），或称为稠密层（dense layer）