因果卷积(causal Convolutions)和扩展卷积(Dilated Convolutions)

对于序列问题(Sequence Modeling)的处理方法，通常采用RNN或者LSTM，例如处理一段视频/音频，往往会沿着时间方向（时序）进行操作。通常CNN网络都被认为适合处理图像数据而不适合处理sequence modeling问题；而今年来，由于RNN及LSTM这类模型的瓶颈，越来越多的人开始发现其实CNN对于这种序列问题的处理是被大大低估了，CNN建立的model要比之前人们之前用的RNN要好很多，而且简洁。

传统的CNN模型是无法直接处理Sequence Modeling这种序列问题的，使用因果卷积，其作用就是对与序列问题（sequence modeling），主要抽象为，根据x1…xt和y1…yt-1去预测yt，使得yt接近于实际值 因果卷积的计算过程如下：

从上面结构可以看出，每一层的输出都是由前一层对应未知的输入及其前一个位置的输入共同得到，并且如果输出层和输入层之前有很多的隐藏层，那么一个输出对应的所有输入就越多，并且输入和输出离得越远，就需要考虑越早之前的输入变量参与运算，这样会增加卷积的层数，而卷积层数的增加就带来：梯度消失，训练复杂，拟合效果不好的问题，

对于因果卷积，存在的一个问题是需要很多层或者很大的filter来增加卷积的感受野

为了解决这个问题，出现了扩展卷积（dilated）

扩展卷积（dilated convolution）是通过跳过部分输入来使filter可以应用于大于filter本身长度的区域。等同于通过增加零来从原始filter中生成更大的filter。

使用扩展卷积，就可以解决因果卷积带来的问题，在示意图中，卷积感受野扩大了1,2,4,8倍。扩大卷积（dilated convolution）可以使模型在层数不大的情况下有非常大的感受野。

【更详细的介绍可跳转至】：Convolution Network及其变种（反卷积、扩展卷积、因果卷积、图卷积）