论文：MixConv: Mixed Depthwise Convolutional Kernels
论文： https://arxiv.org/abs/1907.09595
代码：https://github.com/linksense/MixNet-PyTorch[非官方]
代码：https://github.com/leaderj1001/Mixed-Depthwise-Convolutional-Kernels [非官方]
Trick:
谷歌出品，轻量化网络，值得学习借鉴
要点记录：
1：开门见山：平常只关注depth-wise有效，却忽略了depth-wise的kernel size问题
-----------------------------------------------------------------------------------------------------------------
要点记录：
1：很显然，一定程度上，增加kernel size是可以提升acc的，但flops也随之增加。继续增大，精度反而下降。
-----------------------------------------------------------------------------------------------------------------
要点记录：
1：large kernel size具有更多参数，会显著增加模型size。
2：极端情况下，kernel size = input resolution时，ConvNet就变成了一个fully-connected network.
3：即需要large kernel size 来捕获高分辨率patterns，也需要small kernel size来捕获第分辨率patterns。这样的可以均衡精度和效率。
-----------------------------------------------------------------------------------------------------------------
要点记录：
1：上图就是作者提出的MixConv，和Inception的思想很像。对channel分组，分别使用不同大小的卷积核，使得在同一层捕获不同分辨率的patterns.
-----------------------------------------------------------------------------------------------------------------
要点记录：
1：Group Size：通过实验发现g=4就很好了。通过NAS发现1-5的变化组合效果更好
-----------------------------------------------------------------------------------------------------------------
要点记录：
1：Kernel Size per Group：从3x3开始，逐步加2。即3x3, 5x5, 7x7...
-----------------------------------------------------------------------------------------------------------------
要点记录：
1：Channel Size Per Group：均分就ok。指数划分，造成large kernel size的数目偏少，学习能力下降。
-----------------------------------------------------------------------------------------------------------------
要点记录：
1：Dilated Convolution：大卷积核使用孔洞卷积，容易丢失局部细节，造成精度下降
-----------------------------------------------------------------------------------------------------------------
要点记录：
1：从图表上看，效果确实不错，后面在活体任务上验证一下效果
-----------------------------------------------------------------------------------------------------------------
要点记录：
1：网络浅层使用小卷积核来节省计算量；网络深层使用大卷积核来提升精度
-----------------------------------------------------------------------------------------------------------------
要点记录：
1：从这个图上看，确实值的一试。等我验证了，回来补坑。
