最近在阅读一本书籍–Dive-into-DL-Pytorch（动手学深度学习），链接：https://github.com/newmonkey/Dive-into-DL-PyTorch，自身觉得受益匪浅，在此记录下自己的学习历程。
本篇主要记录关于三种常见的激活函数的知识。
常见的激活函数- ReLU函数
- sigmoid函数
- tanh函数
绘制ReLU函数图像，可以得到：
不难得出，当输入为负数时，ReLU函数值为0，则ReLU函数的导数为0。但输入为正数时，ReLU函数只为输入值x，则ReLU函数的导数为1。故ReLU函数的导数表达式为：
绘制ReLU函数的导数图像，可以得到：
sigmoid函数 sigmoid函数可以将元素的值变换到0~1之间，其表达式为：
绘制sigmoid函数图像，可以得到：
sigmoid函数的导数表达式为：
当输入为0时，sigmoid函数值为0.5，此时sigmoid函数的导数达到最大值0.25。当输入值越偏离0时，sigmoid函数的导数就越接近0。
绘制sigmoid函数的导数图像，可以得到：
tanh函数 tanh（双曲正切）函数可以将元素的值表环岛-1~1之间，其表达式为：可见tanh函数是一个奇函数，于坐标系原点对称。绘制tanh函数图像，可以得到：
tanh函数的导数表达式为：
当输入为0时，tanh函数值为0，此时sigmoid函数的导数达到最大值1。当输入值越偏离0时，sigmoid函数的导数就越接近0。
END！
