ChebNet与GCN 总结笔记

GCN来源于对ChebNet的进一步简化与近似，即Cheb滤波器在K=1时的近似，所谓一阶近似。他们都属于在频域上定义的图卷积网络。

频谱图卷积的一般形式

图的结构不像二维网格那样稳定，每个图节点的度不尽相同，所以无法像CNN一样直接在空间域(节点域)上为所有节点使用相同大小的局部图卷积核。于是研究者们提出可以在频域上定义卷积，因为在空间域的卷积其实就相当于在频域上的乘积。图信号处理根据图的拉普拉斯矩阵L的特征分解定义了图的频谱，结合这种图的频谱的定义，研究者们定义了空域上的图信号x和y的卷积为：

即先使用将信号x和y变换到频域，然后相乘(逐元素相乘)，最后再使用U将乘积后的信号变换到空间域。具体地，对于一个参数化的滤波器信号G与输入信号x，频谱图卷积可定义为：

其中的函数g​θ​​(Λ)为卷积核的频率响应函数，θ为待学习参数。以上就是频谱图卷积的一般形式，有许多频谱图卷积的工作以此式为核心展开。

U0特征向量  入0特征值

ChebNet的作者指出原始的频谱图卷积有两大缺点：

① 图卷积核是全局的且参数量大 (卷积核大小与输入信号相同，参数量与图节点数相同)

② 图卷积运算的复杂度高 (运算过程涉及高计算复杂度的特征分解)

可以想象一下一个卷积核大小与输入图像大小相同的普通CNN卷积层，再想象CNN的卷积运算是平方复杂度，这样的“卷积”运算的实用性毋庸置疑是很差的，更别利用其构造深层神经网络。

首先，为了克服卷积核过“大”的缺点，ChebNet指出可以使用多项式展开近似计算图卷积，即对参数化的频率响应函数进行多项式近似：

其中k代表多项式的最高阶数，这一步近似将卷积核的参数数量从n个减少到了k个，使卷积核变“小”了，变得“局部”了。

但是，整个图卷积运算的复杂度还是O(N^2)，因为输入信号要与傅里叶基U做矩阵乘法。为了进一步降低计算复杂度，作者使用迭代定义的切比雪夫多项式(ChebShev Polynomial)作近似并证明可以将计算复杂度降低至O(K|E|)，其中K为多项式的阶数，E为图中边的数量。作者将基于切比雪夫多项式定义的卷积核称为切比雪夫卷积核，对应的卷积运算则称为切比雪夫卷积，他们的公式定义如下：

式中的λ​max​​表示拉普拉斯矩阵的最大特征值，添加’是为了表明这是近似的参数。从替换和化简后的卷积运算式可以发现，切比雪夫多项式矩阵的运算是固定，可以在预处理阶段完成，且拉普拉斯矩阵一般是稀疏的，可以使用稀疏张量乘法加速，因此整个图卷积的计算复杂度大大降低。

除了定义切比雪夫图卷积外，ChebNet的作者还提出了图池化层，此处不展开叙述。

ChebNet结论：要学一个filter，filter需要学一组参数.

                        做filter的方式就是先把信号用迭代的方式算到K次方

                        相乘得到filter完的信号

 可以多个filter，对应多个y

        受切比雪夫图卷积的启发，Thomas等人(GCN的作者)提出了一种更加简单的图卷积变种GCN。GCN相当于对一阶切比雪夫图卷积的再近似。在切比雪夫卷积核定义的基础上，我们令多项式的阶数K=1，再令矩阵L的大特征值为2(带来的缩放效应可以通过网络学习自动适应)，则图卷积运算过程可以按如下过程进一步简化：

GCN的卷积核更小，参数量也更少，计算复杂度也随之减小，可以说是将简化进行到了极致，它等价于最简的一阶切比雪夫卷积。上图中倒数第三行的变换被称为“重归一化技巧”，GCN的作者指出，前者的特征值范围是在区间[0,2]内的，所以在神经网络当中多次反复运用这样的算子（多层堆叠）会导致梯度消失和梯度爆炸的问题，为此他们使用归一化技巧将其转化成后者。重归一化技巧能够将特征值范围进一步缩小以使滤波器变得更加低通。

直观的感受GCN示意图：

        总的来看，频谱图卷积网络的研究以图的频谱分析为理论基础，沿着“降低模型复杂度”的主线进行，大多数常规的图运算天然的平方复杂度是掣肘图卷积实用性的主要阻碍，但是最终研究者们还是利用多项式近似和神经网络的适应性一步步将图卷积网络改造到了实用级别，也提高了图卷积网络的研究热度。图嵌入、半监督学习等方向的研究也在不断助推者GNN研究的发展，将卷积从规则的欧式空间推广到非欧式空间是一个非常有意义的课题，这能够使神经网络应用到更多的问题领域。