首先是LeNet，七层结构，也就是早期的神经网络，但是中途一直没有得到发展，直到2012年出现了AlexNet,采用了(数据增强，大数据集（imagenet），dropout，relu激活函数，同时使用了GPU)这些技巧，使得准确率得到显著提升；VGG提出了一个新的概念，用小的卷积核的堆叠来替代大的卷积核，更加精确，也更深，使用了33的卷积来代替原先的1111和5*5的卷积核；ResNet网络深到极致，采用了一种将之前的网络层输出也作为当前层的输入来防止网络过深造成的梯度消失现象；
既然深到了极致，又开始考虑能不能把网络拓宽，提出了inception v1的网络结构，使用了不同尺寸的卷积核，增加了网络的宽度，同时增加了网络对尺度的适应性，后来由于直接用不同尺寸进行卷积参数量巨大，采用了一个trick，在之前加入了一个11的卷积核进行运算，有效减小了参数；inception v2就仿照了VGG的特点，用2个33的卷积核来代替55的卷积核进一步减小参数；既然如此，做到极致那么nn的卷积核可以用n1和1n的卷积核来代替，参数减少，同时网络更深，输入的尺寸由299299变为了224224,；Xception的提出基于一个假设，也就是空间相关性和通道相关性是可分离的，因此是采用了先进行一个整体的11的卷积操作，但每个通道形成的featuremap不进行叠加，而是对这些通道上所有的featuremap进行正常的多个33卷积，得到结果，模型变得很宽，参数没发生大变化，但是在性能上得到了提升。
