二、深度学习基础

1.线性回归

1.1基本介绍

        线性回归的基本要素主要有六个：模型，模型训练，训练数据，损失函数，优化算法，模型预测。其中模型可以理解为函数表达式，模型训练是为了找到合适的参数，训练数据是用于模型训练使用的数据，损失函数即为衡量测试数据和真实数据的误差，一般只与参数有关，优化算法即在迭代的过程中降低损失函数的值，模型预测即为在优化结束后模型在测试集中预测值。

1.2基本实现

基本实现的几大步骤分别为：

1. 生成数据集
2. 读取数据
3. 初始化模型参数
4. 定义模型
5. 定义损失函数（平方损失或L2范数损失）
6. 定义优化算法（小批量随机梯度下降）
7. 训练模型

2.softmax回归         2.1基本介绍

        当输出的值为多个离散值时，问题就变成了分类问题，softmax回归的输出个数即标签里的类别数。而由于输出为离散数，这些离散值与不确定范围的输出值之间的误差难以衡量。而softmax将输出值变换为值为正且和为1的概率分布，公式如下：

yi = exp(oi) / ∑exp（on）

2.2基本实现

基本实现的几大步骤分别为：

1. 读取数据
2. 初始化模型参数
3. 实现softmax计算
4. 定义模型
5. 定义损失函数（交叉熵）
6. 计算分类准确率（小批量随机梯度下降）
7. 训练模型