将所有这些变量加起来，我们希望得到一个大小为12.45Mb的model.ckpt.data文件
传统上，在这种情况下，大多数模型参数位于第一个完全连接的层中
wd1。仅计算其大小会得出：
7*7*128 * 1024 * 4 = 25690112
…或
25.6Mb。注意
4系数，因为变量
dtype=tf.float32，即
4每个参数的字节数。其他层也影响模型的大小，但并不是很大。
如您所见，您的估算
12.45Mb值 有些偏离
（您是否为每个参数使用16位？）。该检查点还存储一些常规信息，因此开销大约为25％，这仍然很大，但不是300％。
[更新]
[7*7*64,1024]正如所阐明的，所讨论的模型实际上具有FC1形状的图层。因此，计算出的上述尺寸应该
12.5Mb确实是。这使我更加仔细地查看了保存的检查点。
检查之后，我注意到我最初错过的其他大变量：
...Variable_2 (DT_FLOAT) [3136,1024]Variable_2/Adam (DT_FLOAT) [3136,1024]Variable_2/Adam_1 (DT_FLOAT) [3136,1024]...
该
Variable_2是完全
wd1，但也有亚当优化2个拷贝。这些变量由创建亚当优化，他们是所谓的
插槽 并保持
m和
v蓄能器 对所有训练的变量 。现在总大小有意义。
您可以运行以下代码来计算图形变量的总大小-
37.47Mb：
var_sizes = [np.product(list(map(int, v.shape))) * v.dtype.size for v in tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES)]print(sum(var_sizes) / (1024 ** 2), 'MB')
因此，开销实际上很小。额外的大小取决于优化程序。
