看起来我找到了解决方案。正如我所建议的，问题出在BatchNormalization层上。他们做树的东西
- 减去均值并通过std归一化
- 使用运行平均值收集均值和标准差的统计数据
- 训练两个附加参数（每个节点两个）。
当一个集
trainable到
False，这两个参数冻结和层也停止对平均和std收集统计量。但是看起来该层仍在 使用训练批处理的
训练时间内执行归一化。这很可能是喀拉拉邦的一个bug，或者出于某些原因，他们故意这样做了。结果， 即使可训练属性设置为False
，训练时间期间正向传播的计算与预测时间 也 不同。
我可以想到两种可能的解决方案：
- 要将所有BatchNormalization图层设置为可训练。在这种情况下，这些层将从您的数据集中收集统计信息，而不是使用预先训练的数据（这可能有很大的不同！）。在这种情况下，您将在训练期间将所有BatchNorm图层调整为自定义数据集。
- 将模型分为两部分
model=model_base+model_top
。之后，使用model_base
提取特征model_base.predict()
，然后将这些特征输入model_top
并仅训练model_top
。
我刚刚尝试了第一个解决方案，它似乎正在工作：
model.fit(x=dat[0],y=dat[1],batch_size=32)Epoch 1/132/32 [==============================] - 1s 28ms/step - loss: **3.1053**model.evaluate(x=dat[0],y=dat[1])32/32 [==============================] - 0s 10ms/step**2.487905502319336**
这是在经过一些培训之后-需要等待，直到收集到有关均值和标准差的足够统计信息为止。
第二种解决方案我还没有尝试过，但是我很确定它会起作用，因为在训练和预测期间的前向传播将是相同的。
Update. I found a great blog post where this issue has been discussed in all
the details. Check it outhere
