所谓多层感知器，其实就是具有一个或多个隐藏层（hidden layer）的全连接前馈神经网络，如图所示，在最重要的求取损失关于权重的偏导数的过程上，跟之前的 Logistic Regression 和 Softmax Regression 一样，仍然是使用链式法则进行求导。
为了将感知器、Logistic Regression 和 Adaline 看作是单层神经网络，习惯上，我们把输入层作为第 0 层，把第一个隐藏层作为第 1 层，以此类推。在符号上也是如此，
a
2
(
1
)
a_2^{(1)}
a2(1) 表示第 1 层的第 2 个神经元，即第一个隐藏层的第 2 个神经元。
单层神经网络模型的损失函数是凸函数，而在多层神经网络模型下就不是了，凸函数会存在很多的局部极小值点，所以需要进行多次不同的权重初始化，以防止损失陷入局部极小值点。
Sigmoid 激活函数 + MSE 损失函数的组合虽然在形式上很好（Sigmoid 函数的导数抵消了负对数似然函数导数的分母），但是 Sigmoid 函数
σ
(
z
)
sigma (z)
σ(z) 当输入 z 很小时，其输出也会很小，这就造成了梯度消失的问题。
