您在初学者示例中使用的是非常基本的线性模型吗？
这是调试它的技巧-在增加批处理大小时观察交叉熵（第一行来自示例，第二行是我刚刚添加的）：
cross_entropy = -tf.reduce_sum(y_*tf.log(y))cross_entropy = tf.Print(cross_entropy, [cross_entropy], "CrossE")
批次大小为204，您将看到：
I tensorflow/core/kernels/logging_ops.cc:64] CrossE[92.37558]I tensorflow/core/kernels/logging_ops.cc:64] CrossE[90.107414]
但是在205，您会从一开始就看到这样的序列：
I tensorflow/core/kernels/logging_ops.cc:64] CrossE[472.02966]I tensorflow/core/kernels/logging_ops.cc:64] CrossE[475.11697]I tensorflow/core/kernels/logging_ops.cc:64] CrossE[1418.6655]I tensorflow/core/kernels/logging_ops.cc:64] CrossE[1546.3833]I tensorflow/core/kernels/logging_ops.cc:64] CrossE[1684.2932]I tensorflow/core/kernels/logging_ops.cc:64] CrossE[1420.02]I tensorflow/core/kernels/logging_ops.cc:64] CrossE[1796.0872]I tensorflow/core/kernels/logging_ops.cc:64] CrossE[nan]
Ack-NaN出现。基本上，大批生产会产生巨大的渐变，以至于您的模型逐渐失去控制-应用的更新过大，并大大超出了方向。
实际上，有几种方法可以解决此问题。您可以将学习率从.01降低到.005，最终精度为0.92。
train_step = tf.train.GradientDescentOptimizer(0.005).minimize(cross_entropy)
或者，您可以使用更复杂的优化算法（Adam，Momentum等），尝试做更多的工作来找出梯度的方向。或者，您可以使用更复杂的模型，该模型具有更多自由参数，可以分散较大的梯度。
