1*1卷积的理解与总结

1、降维（减少参数）。比如，一张500×500且深度为100的图片在20个filter上做1×1的卷积，那么结果的大小为500×500×20； 2、升维（用最少的参数拓宽网络channal）； 3、加入非线性。卷积层之后经过激励层，1×1的卷积在前一层的学习表示上添加了非线性激励（ non-linear activation ），提升网络的表达能力； 4、跨通道信息交互和特征整合（channal 的变换）。使用1×1卷积核，实现降维和升维的操作其实就是channel间信息的线性组合变化，3×3×64的卷积核后面添加一个1×1×28的卷积核，就变成了3×3×28的卷积核，原来的64个channels就可以理解为跨通道线性组合变成了28channels，这就是通道间的信息交互。注意：只是在channel维度上做线性组合，W和H上是共享权值的sliding window 5、从fully-connected layers的角度来理解1*1卷积核，将其看成全连接层

1×1卷积首先是出现在Network in Network这篇论文当中，作者想要让网络变得更深，但并不是简单的去增加神经网络的层数。根据Aaditya Prakash (Adi)的观点，其实从某种程度来讲用1×1卷积并不是是网络变得更深，而是更宽，这里的宽实际上是增加数据量，但是通过1×1的卷积我们就可以对原始图片做一个变换，得到一张新的图片，从而可以提高泛化的能力减小过拟合，同时在这个过程中根据所选用的1×1卷积和filter的数目不同，可以实现跨通道的交互和信息的整合**，而且还可以改变图片的维度，而且因为通过对维度的操作，虽然网络的层数增加了，但是网络的参数却可以大大减小，节省计算量。

在实际应用的过程中，通常在卷积之后就跟着一个Relu之类的非线性层，把卷积的线性变成非线性，通过这个可以增加更多的非线性因素，理论上学习到更多的特征，包持feature map 尺寸不变（即不损失分辨率）的前提下大幅增加非线性特性，把网络做得很深。

图片从矩阵角度来讲，不要看作是一个平面，而是一个三维立方体，除了，长度和宽度这个两个维度以外，第三个维度是图像的通道。这对于理解为什么1×1卷积能够实现跨通道的交互和信息的整合至关重要。而且1×1×F的卷积在数学上就等价与多层感知机，F是filter的数目，一个filter相当于就是对一张图片做一次卷积。

可以看成是在原图片的每一个像素都乘以了一个因子。以左图为例，两个filter因子分别记录为是α, β, 数学描述如下：

所以这也就解释了为什么实现跨通道的交互和信息的整合，而且还可以改变图片的维度。

参考链接： 1X1卷积核到底有什么作用 One by One [ 1 x 1 ] Convolution - counter-intuitively useful