- 前言
- 一、激活函数
- 二、损失函数
- 结论
前言
当我们构建完一个小型的卷积神经网络时，我们通常要考虑网络最后一层激活函数和损失函数的选择。以下分别讲解了部分激活函数和损失函数。
一、激活函数激活函数是神经网络中对输入数据进行计算的非线性函数，如果没有激活函数的加持，那么神经网络仅仅对输入数据做简单的线性变化，只能解决线性问题。以下是一个二分类的任务，通过该分类任务我们来观察激活函数到底起到了什么作用。
然而再加入了激活函数之后，我们便可以计算非线性的问题。上图经过激活函数之后，我们可以用一条曲线将其分开，分类的结果如下：
损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。
损失函数使用主要是在模型的训练阶段，每个批次的训练数据送入模型后，通过前向传播输出预测值，然后损失函数会计算出预测值和真实值之间的差异值，也就是损失值。得到损失值之后，模型通过反向传播去更新各个参数，来降低真实值与预测值之间的损失，使得模型生成的预测值往真实值方向靠拢，从而达到学习的目的。
结论以下列出了常见问题类型的最后一层激活函数和损失函数，仅作参考。
最后一层激活函数如下：
| 问题类型 | 最后一层激活 |
|---|---|
| 二分类问题 | sigmoid |
| 多分类、单标签问题 | softmax |
| 多分类、多标签问题 | sigmoid |
| 回归任意值 | 无 |
| 回归到0~1范围内的值 | sigmoid |
最后一层损失函数如下：
| 问题类型 | 损失函数 |
|---|---|
| 二分类问题 | binary_crossentropy |
| 多分类、单标签问题 | categorical_crossentropy |
| 多分类、多标签问题 | binary_crossentropy |
| 回归任意值 | mse |
| 回归到0~1范围内的值 | binary_crossentropy或mse |
