GCN的提出可以说缓解了大小卷积核之间的矛盾,大小卷积核对模型产生的作用各有千秋,总结来说:
大卷积核:
- 优点:感受域较大,能够获得丰富的上下文信息
- 缺点:参数量大,计算量大
- 举例:AlexNet,LeNet等使用了5*5,11*11的大卷积核
小卷积核:
- 优点: 参数量小,计算量小,用多个小卷积核代替一个大卷积核,可以进行多次非线性激活,使模型判别能力增加。
- 缺点:感受域不足,产生的特征图可能 比较稀疏,深度堆叠卷积可能会产生不可控问题(例如模型退化等)
- 举例:VGG之后
当输入通道和输出通道相同时,使用小卷积核参数会比使用大卷积核参数要少,当输入通道和输出通道不同时,使用大卷积核参数反而会比较少。
自VGG之后各位大佬们都以解决小卷积核带来的弊端这个方向做研究,提出了空洞卷积,ASPP等方法,GCN可以说是从另一个方向入手问题,解决大卷积核带来的问题。
参考:
B站深度之眼



