1、卷积与互相关

在深度学习中，卷积中的过滤器不经过反转。严格来说，这是互相关。我们本质上是执行逐元素乘法和加法。但在深度学习中，直接将其称之为卷积更加方便。因为过滤器的权重是在训练阶段学习到的。如果上面例子中的反转函数 g 是正确的函数，那么经过训练后，学习得到的过滤器看起来就会像是反转后的函数 g。

2、3D卷积

对比的，2D卷积为全通道的，不会在通道轴上滑动。

3、转置卷积（去卷积）（反卷积）

对应的算术解释：

#普通卷积：
现在，如果我们在等式的两边都乘上矩阵的转置 CT，并借助“一个矩阵与其转置矩阵的乘法得到一个单位矩阵”这一性质，那么我们就能得到公式 CT x Small = Large，如下图所示：

4、扩张卷积（Atrous 卷积）

即空洞卷积

5、可分卷积

5.1空间可分卷积（pointwise）

空间可分卷积操作的是图像的 2D 空间维度，即高和宽。从概念上看，空间可分卷积是将一个卷积分解为两个单独的运算。对于下面的示例，3×3 的 Sobel 核被分成了一个 3×1 核和一个 1×3 核。
我们稍微推广一下上面的例子。假设我们现在将卷积应用于一张 N×N 的图像上，卷积核为 m×m，步幅为 1，填充为 0。传统卷积需要 (N-2) x (N-2) x m x m 次乘法，空间可分卷积需要 N x (N-2) x m + (N-2) x (N-2) x m = (2N-2) x (N-2) x m 次乘法。

5.2深度可分卷积（DepthWise卷积）

标准2D卷积
一般来说，两个神经网络层之间会应用多个过滤器。假设我们这里有 128 个过滤器。在应用了这 128 个 2D 卷积之后，我们有 128 个 5×5×1 的输出映射图（map）。然后我们将这些映射图堆叠成大小为 5×5×128 的单层。通过这种操作，我们可将输入层（7×7×3）转换成输出层（5×5×128）。空间维度（即高度和宽度）会变小，而深度会增大。
深度可分卷积：
先提取区域特征，再提取通道特征

6、组卷积