栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

激活函数--1.ReLu()函数

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

激活函数--1.ReLu()函数

激活函数ReLU(Rectified Linear Unit)由下式表示。

根据上述公式,可以求出y关于x的导数,由下式表示。

在导数公式中,如果正向传播时的输入x大于0,则反向传播会将上游的值原封不动的传给下游。反过来,如果正向传播时的x小于等于0,则反向传播中传给下游的信号将停在此处。如下图1.1所示。

图1.1 ReLu层的计算图

现在,我们来实现ReLu()层,代码实现如下图1.2所示。

图1.2 ReLu()函数的实现代码

Relu类有实例变量mask。这个变量mask是由True/False构成的NumPy数组,它会把正向传播时的输入x的元素中,小于等于0的地方保存为True,其他地方(大于0)保存为False。如下例所示,mask变量保存了由True/False构成的NumPy数组。

 如上图所示,如果正向传播时的输入值小于等于0,则反向传播的值为0。因此,反向传播中会使用正向传播时保存的mask,将从上游传来的dout的mask中的元素为True的地方设为0。

因此,ReLU层的作用就像电路的开关一样。正向传播时,有电流通过的话,就将开关设为ON;没有电流通过的话,就将开关设为OFF。反向传播时,如果开关为ON,电流直接通;开关为OFF的话,则不会有电流通过。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/893185.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号