- 07a_lsuv.ipynb
- 初始化的方式：LSUV
- 08_data_block.ipynb
- 09_optimizers.ipynb
- 09b_learner.ipynb
- 09c_add_progress_bar.ipynb
- 10_augmentation.ipynb
- 10b_mixup_label_smoothing.ipynb
1. LSUV 另一种初始化技术：逐层序列化单位方差
- 这种初始化的好处：可以不假思索的初始化任何神经网络，不用考虑是否有ReLU或者dropout。我们可以很轻松的对复杂和特别深层的网络架构训练。这是fastai初始化你的神经网络的方法，这不是数学，不需要思考，只需要一直while循环。
（一）fastai1.0.61库 debug & datablock API 数据接口__helen_520的博客-CSDN博客_fastai库 中针对DataBlock已经有过介绍了。
3. 新的CNN模型5个epoch训练后，imagenette的valid_acc=73.6%，官网上显示为85% best。还可以再进一步优化。
4. Optimizer 优化Optimizer初始化
5. Weight decay 权重衰减与l2正则化相关：KCF原理学习__helen_520的博客-CSDN博客
- 挑选数据的PCA的成分最终的方向。自动地进行了模型选择。
- weight decay与l2正则化的区别如下：
在先做momentum，在做weight decay，会一直多加入一个衰减因子的污染。这个是需要注意的。
Weight decay + Batch Norm的效果：批量归一化+权重衰减 Momentum动量的工作机制
