激活函数ReLU(Rectified Linear Unit)由下式表示。
根据上述公式,可以求出y关于x的导数,由下式表示。
在导数公式中,如果正向传播时的输入x大于0,则反向传播会将上游的值原封不动的传给下游。反过来,如果正向传播时的x小于等于0,则反向传播中传给下游的信号将停在此处。如下图1.1所示。
图1.1 ReLu层的计算图
现在,我们来实现ReLu()层,代码实现如下图1.2所示。
图1.2 ReLu()函数的实现代码
Relu类有实例变量mask。这个变量mask是由True/False构成的NumPy数组,它会把正向传播时的输入x的元素中,小于等于0的地方保存为True,其他地方(大于0)保存为False。如下例所示,mask变量保存了由True/False构成的NumPy数组。
如上图所示,如果正向传播时的输入值小于等于0,则反向传播的值为0。因此,反向传播中会使用正向传播时保存的mask,将从上游传来的dout的mask中的元素为True的地方设为0。
因此,ReLU层的作用就像电路的开关一样。正向传播时,有电流通过的话,就将开关设为ON;没有电流通过的话,就将开关设为OFF。反向传播时,如果开关为ON,电流直接通;开关为OFF的话,则不会有电流通过。



