【深度学习基础】输出层设计与激活函数的选择

我们发现，神经网络解决的问题大致分为两种：

1. 回归问题。连续值的预测就是回归问题，例如体重预测、温度预测。

2. 分类问题。给定输入，给定类别范围，将输入划归到某一类的问题。如，0-9数字识别，鸢尾花分类问题。

恒等函数就是y = x原样输出。

恒等函数一般用于回归问题。

softmax用于解决概率归一化的问题。

即，当前输入的e指数与所有输入e指数和的商。

计算公式：

 例如，上述示例中的y1的计算：

 代码示例：

>>> a = np.array([0.3, 2.9, 4.0])
>>>
>>> exp_a = np.exp(a) # 指数函数
>>> print(exp_a)
[ 1.34985881 18.17414537 54.59815003]
>>>
>>> sum_exp_a = np.sum(exp_a) # 指数函数的和
>>> print(sum_exp_a)
74.1221542102
>>>
>>> y = exp_a / sum_exp_a
>>> print(y)
[ 0.01821127 0.24519181 0.73659691]

因此我们可以设计出softmax的计算函数：

def softmax(a):
    exp_a = np.exp(a)
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y

e指数会出现溢出的问题，我们往往需要进行优化：

def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a - c) # 溢出对策
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y

这里给出的优化就是，矩阵先减去其中的最大值，然后再进行计算。这样做不会改变值的大小吗？

 我们发现，给每一项同时加上一个常数，不改变最终的结果。

softmax有个特点，计算出来的y的和一定是1，所以这里的softmax的结果，其实是某个类别存在的概率值。这也在一定程度上符合了分类问题的前提，分类结果一定是某几类中的一类。