fig.png
符号说明
神经网络的层数m，也就是包括一个输入层，m-2个隐层，一个输出层；
输入层为I，其节点数等于单个样本的输入属性数N_i；
隐层输出为Hh，h为1到m-2，每一个隐层的节点数为Nh；
输出层为O，其节点数等于单个样本的输出属性数N_o；
样本真实输出为R；层之间连接的权重为Wq，q为0到m-2，Wq矩阵的大小为(g, t), g为该隐层前一层的节点数，t为该隐层的节点数；
对应的偏置为Bq，Bq矩阵的大小为(1, t), t为该隐层的节点数；隐层的激活函数Ah，h为0到m-2。每一层的激活函数可以不同，但是大多数情形下设置为相同的；
常用的激活函数：Sigmoid，Tanh，ReLu。选择激活函数时一定要注意：输出层激活函数的输出尺度一定要和样本的输出数据是同一尺度。例如Sigmoid的输出是0-1，因此样本的输出也应该转化到0-1之间。
输出层O与样本真实输出R之间的成本函数C，回归问题用最小二乘函数， 分类问题用交叉熵函数；
s为子样本数，也就是一次训练过程中的样本数。当s为1是在线学习；当s为k，也就是全部样本数，为增量学习；s为小于k的其他数值为批量学习，比较常用；
运算符号说明：+为numpy数组的广播运算加法；×为矩阵对应元素相乘；表示矩阵乘法；
网络结构图
nnstruct.png
样本数据说明
data.png
正向传播过程
forward.png
反向传播过程
回归问题
reg.png
分类问题
class.png
梯度下降
gradient.png
image
回归实例：北京市Pm2.5预测
训练结果
ten_train.png
预测结果
ten_predict.png
分类实例：Mnist手写数字识别(多类别)
训练结果
tensorflow.gif
预测结果
ten_mnist.jpg
作者：AiFan
链接：https://www.jianshu.com/p/779967c3baa7
