批量归一化和辍学订购？

在《Ioffe and Szegedy
2015》中
，作者指出：“我们希望确保对于任何参数值，网络始终以期望的分布产生激活”。因此，批处理规范化层实际上是在转换层/完全连接层之后，但在馈入ReLu（或任何其他种类的）激活之前插入的。有关详情，请在53分钟左右观看此视频。

就辍学而言，我相信辍学是在激活层之后应用的。在丢弃纸图3b中，将隐藏层l的丢弃因子/概率矩阵r（l）应用于y（l），其中y（l）是应用激活函数f之后的结果。

因此，总而言之，使用批处理规范化和退出的顺序为：

-> CONV / FC-> BatchNorm-> ReLu（或其他激活）->退出-> CONV / FC->