经典卷积神经网络算法(4)：GoogLeNet

在卷积网络结构中，提升网络性能最直接的方法就是提升网络的深度和宽度，但是，网络结构深度和宽度的提升也将带来一些问题： (1)参数太多，如果训练数据集有限，很容易产生过拟合； (2)网络越大、参数越多，计算复杂度越大，难以应用； (3)网络越深，容易出现梯度弥散问题(梯度越往后穿越容易消失)，难以优化模型。 解决这些问题的方法当然就是在增加网络深度和宽度的同时减少参数，为了减少参数，自然就想到将全连接变成稀疏连接。但是在实现上，全连接变成稀疏连接后实际计算量并不会有质的提升，因为大部分硬件是针对密集矩阵计算优化的，稀疏矩阵虽然数据量少，但是计算所消耗的时间却很难减少。

那么，有没有一种方法既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能。大量的文献表明可以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能，就如人类的大脑是可以看做是神经元的重复堆积，因此，GoogLeNet团队提出了Inception网络结构，就是构造一种“基础神经元”结构，来搭建一个稀疏性、高计算性能的网络结构。如下图所示就是最原始的Inception网络结构：