一、神经网络定义：前向传播
A(j+1) =g(Θ(j) *A(j) );
set p is the last layer,
X=[ones(m,1),X]; X要加上常数项；
A(2) =g(Θ(1) *A(1) )= g(Θ(1) *XT);
A(2) = [ones(1,m); A(2)];A(2)要加上常数项；和X加常数项的方向是反的。详情见维数分析；
…
hΘ(X)= A(p) =g(Θ(p-1) *A(p-1) );
二、代价函数
逻辑回归的代价函数：
当神经网络的激活函数选用逻辑回归函数时，神经网络的代价函数就是逻辑回归的代价函数，不同的是神经网络用K个输出，一起加起来就是。
三、误差定义：
误差的理解：
代价函数J的另外一种表达方式是：
对最后一层也就是输出层来讲，J对Z的求导正好是误差，比较容易理解。p是最后一层：
对其他层来讲，也沿用误差的概念，为的是后面计算梯度的方便。
四：反向传播：误差的反向计算
Delta(p)= A(p)-Y;
Delta(j-1)= (Θ(j-1))T *Delta(j).* A(j-1).*( 1-A(j-1));
Delta(j-1)= Delta(j-1) (2:end,:)；把常数项去掉。
所以得到：
这是向量化公式，要注意维度保持一致；
维度分析：
theta转置后和delta进行矩阵相乘，
然后和后两项进行数组相乘，
得到的结果再去掉常数项。
五、梯度公式及推导
set reg_Θ(j)= Θ(j); reg_Θ(j)(:,1)= 0;
Grad(j)=1/m*Delta(j+1)*( a(j)).T+λ/m* reg_Θ(j)；
去掉正则项为：
Grad(j)=1/m*Delta(j+1)*( a(j)).T
这是向量化公式，要注意各项之间维度保持一致。
delta和A的转置进行矩阵相乘。
