| LeNet5 | 没啥特点，不过是第一个CNN应该知道 |
| AlexNet | 引入了ReLU和dropout,引入数据增强，池化相互之间有覆盖，三个卷积一个最大池化+三个全连接 |
| VGGNet | 采用11和33的卷积核以及2*2的最大池化使得层数变得更深，常用VGGNet-16和VGGNet-19 |
| Google Inception Net | 这个在控制参数的同时，获得了比较好的分类性能，和上面相比有几个大的改进 1.去除最后的全连接层，而是用一个全局的平均池化层来取代它 2.引入Inception Module,这是一个4个分支结合的结构，所有的分支都用到了11的卷积，这是因为1×1性价比很高，可以用很少的参数达到非线性和特征变换 3.Inception V2第二版将所有的55变成2个3*3，而且提出来著名的Batch Normalization4.Inception V3第三版就更变态了，把较大的二维卷积拆成了两个较小的一维卷积，加速运算，减少过拟合，同时还更改了Inception Module的结构 |
| 微软ResNet残差神经网络(Residual Neural Network) | 1.引入高速公路结构，可以让神经网络 变得非常深 2.ResNet第二个版本将ReLU激活函数 变成y=x的线性函数 |
