- Early Stopping
- Dropout
- Stochastic Gradient Descent
注意：out = network(x, training=True) 这一行中，设置training参数为True
对比下面设置为False
注意：dropout 在做 test 的时候不能使用，做 test 的时候要求全连接，以得到最好的效果
stochastic 在这里并不是取它的汉语意思“随机的”，在这里的Stochastic Gradient Descent是指按照某一个分布来取
更具体来讲，由于像图像这类数据量过大，为了节省显存空间，我们无法像传统Gradient Descent那样给每一张图像都求其梯度，而是把图片分成若干 Batch ，求这些Batch 的梯度
比如，将60k的图像分成128个Batch
batch通常选取 16，32，64，128...
