图像分割综述【深度学习方法】

CNN图像语义分割基本上是这个套路：

下采样+上采样：Convlution + Deconvlution／Resize
多尺度特征融合：特征逐点相加／特征channel维度拼接
获得像素级别的segement map：对每一个像素点进行判断类别

即使是更复杂的DeepLab v3+依然也是这个基本套路。

图13 DeepLab v3+

Image Segmentation（图像分割）网络结构比较

网络	父辈	生辰	增加的结构	丢弃的结构	优势	劣势
VGG16	FCN的灵感来源
FCN	VGG16	2014	一个Deconv层(从无到有)	所有fc层	简单	粗糙
DeconvNet	FCN	2015	Unpooling层（从无到有）、多个Deconv层（层数增加）、fc层（从无到有）
SegNet	DeconvNet	2016	每个max_pooling的max索引	所有fc层
DeepLab	FCN
PSPNet
Mask-RCNN		2017			真正做到像素级

Image Segmentation（图像分割）族谱

FCN

DeepLab
DeconvNet
- SegNet
PSPNet
Mask-RCNN

按分割目的划分

普通分割

将不同分属不同物体的像素区域分开。
如前景与后景分割开，狗的区域与猫的区域与背景分割开。
语义分割

在普通分割的基础上，分类出每一块区域的语义（即这块区域是什么物体）。
如把画面中的所有物体都指出它们各自的类别。
实例分割

在语义分割的基础上，给每个物体编号。
如这个是该画面中的狗A，那个是画面中的狗B。

论文推荐：

图像的语义分割（Semantic Segmentation）是计算机视觉中非常重要的任务。它的目标是为图像中的每个像素分类。如果能够快速准去地做图像分割，很多问题将会迎刃而解。因此，它的应用领域就包括但不限于：自动驾驶、图像美化、三维重建等等。

语义分割是一个非常困难的问题，尤其是在深度学习之前。深度学习使得图像分割的准确率提高了很多，下面我们就总结一下近年来最具有代表性的方法和论文。

Fully Convolutional Networks (FCN)

我们介绍的第一篇论文是Fully Convolutional Networks for Semantic Segmentation，简称FCN。这篇论文是第一篇成功使用深度学习做图像语义分割的论文。论文的主要贡献有两点：

提出了全卷积网络。将全连接网络替换成了卷积网络，使得网络可以接受任意大小的图片，并输出和原图一样大小的分割图。只有这样，才能为每个像素做分类。
使用了反卷积层（Deconvolution）。分类神经网络的特征图一般只有原图的几分之一大小。想要映射回原图大小必须对特征图进行上采样，这就是反卷积层的作用。虽然名字叫反卷积层，但其实它并不是卷积的逆操作，更合适的名字叫做转置卷积（Transposed Convolution），作用是从小的特征图卷出大的特征图。

这是神经网络做语义分割的开山之作，需彻底理解。

DeepLab

DeepLab有v1 v2 v3，第一篇名字叫做DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs。这一系列论文引入了以下几点比较重要的方法：

第一个是带洞卷积，英文名叫做Dilated Convolution，或者Atrous Convolution。带洞卷积实际上就是普通的卷积核中间插入了几个洞，如下图。

它的运算量跟普通卷积保持一样，好处是它的“视野更大了”，比如普通3x3卷积的结果的视野是3x3，插入一个洞之后的视野是5x5。视野变大的作用是，在特征图缩小到同样倍数的情况下可以掌握更多图像的全局信息，这在语义分割中很重要。

Pyramid Scene Parsing Network

Pyramid Scene Parsing Network的核心贡献是Global Pyramid Pooling，翻译成中文叫做全局金字塔池化。它将特征图缩放到几个不同的尺寸，使得特征具有更好地全局和多尺度信息，这一点在准确率提升上上非常有用。

其实不光是语义分割，金字塔多尺度特征对于各类视觉问题都是挺有用的。

Mask R-CNN

Mask R-CNN是大神何凯明的力作，将Object Detection与Semantic Segmentation合在了一起做。它的贡献主要是以下几点。

第一，神经网络有了多个分支输出。Mask R-CNN使用类似Faster R-CNN的框架，Faster R-CNN的输出是物体的bounding box和类别，而Mask R-CNN则多了一个分支，用来预测物体的语义分割图。也就是说神经网络同时学习两项任务，可以互相促进。

第二，在语义分割中使用Binary Mask。原来的语义分割预测类别需要使用0 1 2 3 4等数字代表各个类别。在Mask R-CNN中，检测分支会预测类别。这时候分割只需要用0 1预测这个物体的形状面具就行了。

第三，Mask R-CNN提出了RoiAlign用来替换Faster R-CNN中的RoiPooling。RoiPooling的思想是将输入图像中任意一块区域对应到神经网络特征图中的对应区域。RoiPooling使用了化整的近似来寻找对应区域，导致对应关系与实际情况有偏移。这个偏移在分类任务中可以容忍，但对于精细度更高的分割则影响较大。

为了解决这个问题，RoiAlign不再使用化整操作，而是使用线性插值来寻找更精准的对应区域。效果就是可以得到更好地对应。实验也证明了效果不错。下面展示了与之前方法的对比，下面的图是Mask R-CNN，可以看出精细了很多。

U-Net

U-Net原作者官网

U-Net是原作者参加ISBI Challenge提出的一种分割网络，能够适应很小的训练集（大约30张图）。U-Net与FCN都是很小的分割网络，既没有使用空洞卷积，也没有后接CRF，结构简单。

图9 U-Net网络结构图

整个U-Net网络结构如图9，类似于一个大大的U字母：首先进行Conv+Pooling下采样；然后Deconv反卷积进行上采样，crop之前的低层feature map，进行融合；然后再次上采样。重复这个过程，直到获得输出388x388x2的feature map，最后经过softmax获得output segment map。总体来说与FCN思路非常类似。

为何要提起U-Net？是因为U-Net采用了与FCN完全不同的特征融合方式：拼接！

图10 U-Net concat特征融合方式

与FCN逐点相加不同，U-Net采用将特征在channel维度拼接在一起，形成更“厚”的特征。所以：

语义分割网络在特征融合时也有2种办法：

FCN式的逐点相加，对应caffe的EltwiseLayer层，对应tensorflow的tf.add()
U-Net式的channel维度拼接融合，对应caffe的ConcatLayer层，对应tensorflow的tf.concat()

综述介绍

图像语义分割，简单而言就是给定一张图片，对图片上的每一个像素点分类

从图像上来看，就是我们需要将实际的场景图分割成下面的分割图：

不同颜色代表不同类别。经过阅读“大量”论文和查看PASCAL VOC Challenge performance evaluation server，发现图像语义分割从深度学习引入这个任务（FCN）到现在而言，一个通用的框架已经大概确定了。即：

FCN-全卷积网络
CRF-条件随机场
MRF-马尔科夫随机场

前端使用FCN进行特征粗提取，后端使用CRF/MRF优化前端的输出，最后得到分割图。

前端

为什么需要FCN？

我们分类使用的网络通常会在最后连接几层全连接层，它会将原来二维的矩阵（图片）压扁成一维的，从而丢失了空间信息，最后训练输出一个标量，这就是我们的分类标签。

而图像语义分割的输出需要是个分割图，且不论尺寸大小，但是至少是二维的。所以，我们需要丢弃全连接层，换上全卷积层，而这就是全卷积网络了。具体定义请参看论文：Fully Convolutional Networks for Semantic Segmentation

前端结构

FCN

此处的FCN特指Fully Convolutional Networks for Semantic Segmentation论文中提出的结构，而非广义的全卷积网络。

作者的FCN主要使用了三种技术：

卷积化（Convolutional）
上采样（Upsample）
跳跃结构（Skip Layer）

卷积化

卷积化即是将普通的分类网络，比如VGG16，ResNet50/101等网络丢弃全连接层，换上对应的卷积层即可。

上采样

此处的上采样即是反卷积（Deconvolution）。当然关于这个名字不同框架不同，Caffe和Kera里叫Deconvolution，而tensorflow里叫conv_transpose。CS231n这门课中说，叫conv_transpose更为合适。

众所诸知，普通的池化（为什么这儿是普通的池化请看后文）会缩小图片的尺寸，比如VGG16 五次池化后图片被缩小了32倍。为了得到和原图等大的分割图，我们需要上采样/反卷积。

反卷积和卷积类似，都是相乘相加的运算。只不过后者是多对一，前者是一对多。而反卷积的前向和后向传播，只用颠倒卷积的前后向传播即可。所以无论优化还是后向传播算法都是没有问题。图解如下：

但是，虽然文中说是可学习的反卷积，但是作者实际代码并没有让它学习，可能正是因为这个一对多的逻辑关系。代码如下：

layer {name: "upscore"type: "Deconvolution"bottom: "score_fr"top: "upscore"param {lr_mult: 0}convolution_param {num_output: 21bias_term: falsekernel_size: 64stride: 32}
}

可以看到lr_mult被设置为了0.

跳跃结构

（这个奇怪的名字是我翻译的，好像一般叫忽略连接结构）这个结构的作用就在于优化结果，因为如果将全卷积之后的结果直接上采样得到的结果是很粗糙的，所以作者将不同池化层的结果进行上采样之后来优化输出。具体结构如下：

而不同上采样结构得到的结果对比如下：

当然，你也可以将pool1， pool2的输出再上采样输出。不过，作者说了这样得到的结果提升并不大。

这是第一种结构，也是深度学习应用于图像语义分割的开山之作，所以得了CVPR2015的最佳论文。但是，还是有一些处理比较粗糙的地方，具体和后面对比就知道了。

SegNet/DeconvNet

这样的结构总结在这儿，只是我觉得结构上比较优雅，它得到的结果不一定比上一种好。

SegNet

DeconvNet

这样的对称结构有种自编码器的感觉在里面，先编码再解码。这样的结构主要使用了反卷积和上池化。即：

反卷积如上。而上池化的实现主要在于池化时记住输出值的位置，在上池化时再将这个值填回原来的位置，其他位置填0即OK。

DeepLab

接下来介绍一个很成熟优雅的结构，以至于现在的很多改进是基于这个网络结构的进行的。

首先这里我们将指出一个第一个结构FCN的粗糙之处：为了保证之后输出的尺寸不至于太小，FCN的作者在第一层直接对原图加了100的padding，可想而知，这会引入噪声。

而怎样才能保证输出的尺寸不会太小而又不会产生加100 padding这样的做法呢？可能有人会说减少池化层不就行了，这样理论上是可以的，但是这样直接就改变了原先可用的结构了，而且最重要的一点是就不能用以前的结构参数进行fine-tune了。所以，Deeplab这里使用了一个非常优雅的做法：将pooling的stride改为1，再加上 1 padding。这样池化后的图片尺寸并未减小，并且依然保留了池化整合特征的特性。

但是，事情还没完。因为池化层变了，后面的卷积的感受野也对应的改变了，这样也不能进行fine-tune了。所以，Deeplab提出了一种新的卷积，带孔的卷积：Atrous Convolution.即：

而具体的感受野变化如下：

a为普通的池化的结果，b为“优雅”池化的结果。我们设想在a上进行卷积核尺寸为3的普通卷积，则对应的感受野大小为7.而在b上进行同样的操作，对应的感受野变为了5.感受野减小了。但是如果使用hole为1的Atrous Convolution则感受野依然为7.

所以，Atrous Convolution能够保证这样的池化后的感受野不变，从而可以fine tune，同时也能保证输出的结果更加精细。即：

总结

这里介绍了三种结构：FCN, SegNet/DeconvNet，DeepLab。当然还有一些其他的结构方法，比如有用RNN来做的，还有更有实际意义的weakly-supervised方法等等。

后端

终于到后端了，后端这里会讲几个场，涉及到一些数学的东西。我的理解也不是特别深刻，所以欢迎吐槽。

全连接条件随机场(DenseCRF)

对于每个像素 $i$ 具有类别标签 $x_i$ 还有对应的观测值 $y_i$ ，这样每个像素点作为节点，像素与像素间的关系作为边，即构成了一个条件随机场。而且我们通过观测变量 $y_i$ 来推测像素 $i$ 对应的类别标签 $x_i$ 。条件随机场如下：

条件随机场符合吉布斯分布：(此处的 $x$ 即上面说的观测值)

$P(\mathbf{X=x|I})=\frac{1}{Z(\mathbf{I})}\exp(-E(\mathbf{x|I}))$

其中的 $E(\mathbf{x|I})$ 是能量函数，为了简便，以下省略全局观测 $\mathbf{I}$ ：

$E(\mathbf{x})=\sum_i{\Psi_u(x_i)}+\sum_{i<j}\Psi_p(x_i, x_j)$

其中的一元势函数 $\sum_i{\Psi_u(x_i)}$ 即来自于前端FCN的输出。而二元势函数如下：

$\Psi_p(x_i, x_j)=u(x_i, x_j)\sum_{m=1}^M{\omega^{(m)}k_G^{(m)}(\mathbf{f_i, f_j)}}$

二元势函数就是描述像素点与像素点之间的关系，鼓励相似像素分配相同的标签，而相差较大的像素分配不同标签，而这个“距离”的定义与颜色值和实际相对距离有关。所以这样CRF能够使图片尽量在边界处分割。

而全连接条件随机场的不同就在于，二元势函数描述的是每一个像素与其他所有像素的关系，所以叫“全连接”。

关于这一堆公式大家随意理解一下吧... ...而直接计算这些公式是比较麻烦的（我想也麻烦），所以一般会使用平均场近似方法进行计算。而平均场近似又是一堆公式，这里我就不给出了（我想大家也不太愿意看），愿意了解的同学直接看论文吧。

CRFasRNN

最开始使用DenseCRF是直接加在FCN的输出后面，可想这样是比较粗糙的。而且在深度学习中，我们都追求end-to-end的系统，所以CRFasRNN这篇文章将DenseCRF真正结合进了FCN中。

这篇文章也使用了平均场近似的方法，因为分解的每一步都是一些相乘相加的计算，和普通的加减（具体公式还是看论文吧），所以可以方便的把每一步描述成一层类似卷积的计算。这样即可结合进神经网络中，并且前后向传播也不存在问题。

当然，这里作者还将它进行了迭代，不同次数的迭代得到的结果优化程度也不同（一般取10以内的迭代次数），所以文章才说是as RNN。优化结果如下：

马尔科夫随机场(MRF)

在Deep Parsing Network中使用的是MRF，它的公式具体的定义和CRF类似，只不过作者对二元势函数进行了修改：

$\Psi(y_i^u, y_i^v)=\sum_{k=1}^K\lambda_ku_k(i, u, j, v)\sum_{\forall{z\in{N_j}}}d(j, z)p_z^v$

其中，作者加入的 $\lambda_k$ 为label context，因为 $u_k$ 只是定义了两个像素同时出现的频率，而 $\lambda_k$ 可以对一些情况进行惩罚，比如，人可能在桌子旁边，但是在桌子下面的可能性就更小一些。所以这个量可以学习不同情况出现的概率。而原来的距离 $d(i,j)$ 只定义了两个像素间的关系，作者在这儿加入了个triple penalty，即还引入了 $j$ 附近的 $z$ ，这样描述三方关系便于得到更充足的局部上下文。具体结构如下：

这个结构的优点在于：

将平均场构造成了CNN
联合训练并且可以one-pass inference，而不用迭代

高斯条件随机场(G-CRF)

这个结构使用CNN分别来学习一元势函数和二元势函数。这样的结构是我们更喜欢的：

而此中的能量函数又不同于之前：

$E(\mathbf{x})=\frac{1}{2}\mathbf{x}^T(\mathbf{A+\lambda I)x}-\mathbf{Bx}$

而当 $(\mathbf{A+\lambda I)}$ 是对称正定时，求 $E(\mathbf{x})$ 的最小值等于求解：

$(\mathbf{A+\lambda I)x}=\mathbf{B}$

而G-CRF的优点在于：

二次能量有明确全局
解线性简便很多

感悟

FCN更像一种技巧。随着基本网络（如VGG， ResNet）性能的提升而不断进步。
深度学习+概率图模型（PGM）是一种趋势。其实DL说白了就是进行特征提取，而PGM能够从数学理论很好的解释事物本质间的联系。
概率图模型的网络化。因为PGM通常不太方便加入DL的模型中，将PGM网络化后能够是PGM参数自学习，同时构成end-to-end的系统。

完结撒花

引用

[1]Fully Convolutional Networks for Semantic Segmentation

[2]Learning Deconvolution Network for Semantic Segmentation

[3]Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials

[4]Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs

[5]Conditional Random Fields as Recurrent Neural Networks

[6]DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs

[7]Semantic Image Segmentation via Deep Parsing Network

[8]Fast, Exact and Multi-Scale Inference for Semantic Image Segmentation with Deep Gaussian CRFs

[9]SegNet

图像分割（Image Segmentation) 重大资源：

入门学习

A 2017 Guide to Semantic Segmentation with Deep Learning 概述——用深度学习做语义分割
- [http://blog.qure.ai/notes/semantic-segmentation-deep-learning-review]
- 中文翻译：[http://simonduan.site/2017/07/23/notes-semantic-segmentation-deep-learning-review/]
从全卷积网络到大型卷积核：深度学习的语义分割全指南
- [https://www.jiqizhixin.com/articles/2017-07-14-10]
Fully Convolutional Networks
- [http://simtalk.cn/2016/11/01/Fully-Convolutional-Networks/]
语义分割中的深度学习方法全解：从FCN、SegNet到各代DeepLab
- [https://zhuanlan.zhihu.com/p/27794982]
图像语义分割之FCN和CRF
- [https://zhuanlan.zhihu.com/p/22308032]
从特斯拉到计算机视觉之「图像语义分割」
- [http://www.52cs.org/?p=1089]
计算机视觉之语义分割
- [http://blog.geohey.com/ji-suan-ji-shi-jue-zhi-yu-yi-fen-ge/]
Segmentation Results: VOC2012 PASCAL语义分割比赛排名
- [http://host.robots.ox.ac.uk:8080/leaderboard/displaylb.php?challengeid=11&compid=6]

进阶论文

U-Net [https://arxiv.org/pdf/1505.04597.pdf]
SegNet [https://arxiv.org/pdf/1511.00561.pdf]
DeepLab [https://arxiv.org/pdf/1606.00915.pdf]
FCN [https://arxiv.org/pdf/1605.06211.pdf]
ENet [https://arxiv.org/pdf/1606.02147.pdf]
LinkNet [https://arxiv.org/pdf/1707.03718.pdf]
DenseNet [https://arxiv.org/pdf/1608.06993.pdf]
Tiramisu [https://arxiv.org/pdf/1611.09326.pdf]
DilatedNet [https://arxiv.org/pdf/1511.07122.pdf]
PixelNet [https://arxiv.org/pdf/1609.06694.pdf]
ICNet [https://arxiv.org/pdf/1704.08545.pdf]
ERFNet [http://www.robesafe.uah.es/personal/eduardo.romera/pdfs/Romera17iv.pdf]
RefineNet [https://arxiv.org/pdf/1611.06612.pdf]
PSPNet [https://arxiv.org/pdf/1612.01105.pdf]
CRFasRNN [http://www.robots.ox.ac.uk/%7Eszheng/papers/CRFasRNN.pdf]
Dilated convolution [https://arxiv.org/pdf/1511.07122.pdf]
DeconvNet [https://arxiv.org/pdf/1505.04366.pdf]
FRRN [https://arxiv.org/pdf/1611.08323.pdf]
GCN [https://arxiv.org/pdf/1703.02719.pdf]
DUC, HDC [https://arxiv.org/pdf/1702.08502.pdf]
Segaware [https://arxiv.org/pdf/1708.04607.pdf]
Semantic Segmentation using Adversarial Networks [https://arxiv.org/pdf/1611.08408.pdf]

综述

A Review on Deep Learning Techniques Applied to Semantic Segmentation Alberto Garcia-Garcia, Sergio Orts-Escolano, Sergiu Oprea, Victor Villena-Martinez, Jose Garcia-Rodriguez 2017
- [https://arxiv.org/abs/1704.06857]
Computer Vision for Autonomous Vehicles: Problems, Datasets and State-of-the-Art
- [https://arxiv.org/abs/1704.05519]
基于内容的图像分割方法综述姜枫顾庆郝慧珍李娜郭延文陈道蓄 2017
- [http://www.jos.org.cn/ch/reader/create_pdf.aspx?file_no=5136&journal_id=jos\]

Tutorial

Semantic Image Segmentation with Deep Learning
- [http://www.robots.ox.ac.uk/~sadeep/files/crfasrnn_presentation.pdf\]
A 2017 Guide to Semantic Segmentation with Deep Learning
- [http://blog.qure.ai/notes/semantic-segmentation-deep-learning-review]
Image Segmentation with Tensorflow using CNNs and Conditional Random Fields
- [http://warmspringwinds.github.io/tensorflow/tf-slim/2016/12/18/image-segmentation-with-tensorflow-using-cnns-and-conditional-random-fields/]

视频教程

CS231n: Convolutional Neural Networks for Visual Recognition Lecture 11 Detection and Segmentation
- [http://cs231n.stanford.edu/syllabus.html]
Machine Learning for Semantic Segmentation - Basics of Modern Image Analysis
- [https://www.youtube.com/watch?v=psLChcm8aiU]

代码

Semantic segmentation

U-Net (https://arxiv.org/pdf/1505.04597.pdf)
- https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/ (Caffe - Matlab)
- https://github.com/jocicmarko/ultrasound-nerve-segmentation (Keras)
- https://github.com/EdwardTyantov/ultrasound-nerve-segmentation(Keras)
- https://github.com/ZFTurbo/ZF_UNET_224_Pretrained_Model (Keras)
- https://github.com/yihui-he/u-net (Keras)
- https://github.com/jakeret/tf_unet (Tensorflow)
- https://github.com/DLTK/DLTK/blob/master/examples/Toy_segmentation/simple_dltk_unet.ipynb (Tensorflow)
- https://github.com/divamgupta/image-segmentation-keras (Keras)
- https://github.com/ZijunDeng/pytorch-semantic-segmentation (PyTorch)
- https://github.com/akirasosa/mobile-semantic-segmentation (Keras)
- https://github.com/orobix/retina-unet (Keras)
SegNet (https://arxiv.org/pdf/1511.00561.pdf)
- https://github.com/alexgkendall/caffe-segnet (Caffe)
- https://github.com/developmentseed/caffe/tree/segnet-multi-gpu (Caffe)
- https://github.com/preddy5/segnet (Keras)
- https://github.com/imlab-uiip/keras-segnet (Keras)
- https://github.com/andreaazzini/segnet (Tensorflow)
- https://github.com/fedor-chervinskii/segnet-torch (Torch)
- https://github.com/0bserver07/Keras-SegNet-Basic (Keras)
- https://github.com/tkuanlun350/Tensorflow-SegNet (Tensorflow)
- https://github.com/divamgupta/image-segmentation-keras (Keras)
- https://github.com/ZijunDeng/pytorch-semantic-segmentation (PyTorch)
- https://github.com/chainer/chainercv/tree/master/examples/segnet(Chainer)
- https://github.com/ykamikawa/keras-SegNet (Keras)
DeepLab (https://arxiv.org/pdf/1606.00915.pdf)
- https://bitbucket.org/deeplab/deeplab-public/ (Caffe)
- https://github.com/cdmh/deeplab-public (Caffe)
- https://bitbucket.org/aquariusjay/deeplab-public-ver2 (Caffe)
- https://github.com/TheLegendAli/DeepLab-Context (Caffe)
- https://github.com/msracver/Deformable-ConvNets/tree/master/deeplab(MXNet)
- https://github.com/DrSleep/tensorflow-deeplab-resnet (Tensorflow)
- https://github.com/muyang0320/tensorflow-deeplab-resnet-crf(TensorFlow)
- https://github.com/isht7/pytorch-deeplab-resnet (PyTorch)
- https://github.com/bermanmaxim/jaccardSegment (PyTorch)
- https://github.com/martinkersner/train-DeepLab (Caffe)
- https://github.com/chenxi116/TF-deeplab (Tensorflow)
FCN (https://arxiv.org/pdf/1605.06211.pdf)
- https://github.com/vlfeat/matconvnet-fcn (MatConvNet)
- https://github.com/shelhamer/fcn.berkeleyvision.org (Caffe)
- https://github.com/MarvinTeichmann/tensorflow-fcn (Tensorflow)
- https://github.com/aurora95/Keras-FCN (Keras)
- https://github.com/mzaradzki/neuralnets/tree/master/vgg_segmentation_keras (Keras)
- https://github.com/k3nt0w/FCN_via_keras (Keras)
- https://github.com/shekkizh/FCN.tensorflow (Tensorflow)
- https://github.com/seewalker/tf-pixelwise (Tensorflow)
- https://github.com/divamgupta/image-segmentation-keras (Keras)
- https://github.com/ZijunDeng/pytorch-semantic-segmentation (PyTorch)
- https://github.com/wkentaro/pytorch-fcn (PyTorch)
- https://github.com/wkentaro/fcn (Chainer)
- https://github.com/apache/incubator-mxnet/tree/master/example/fcn-xs(MxNet)
- https://github.com/muyang0320/tf-fcn (Tensorflow)
- https://github.com/ycszen/pytorch-seg (PyTorch)
- https://github.com/Kaixhin/FCN-semantic-segmentation (PyTorch)
ENet (https://arxiv.org/pdf/1606.02147.pdf)
- https://github.com/TimoSaemann/ENet (Caffe)
- https://github.com/e-lab/ENet-training (Torch)
- https://github.com/PavlosMelissinos/enet-keras (Keras)
LinkNet (https://arxiv.org/pdf/1707.03718.pdf)
- https://github.com/e-lab/LinkNet (Torch)
DenseNet (https://arxiv.org/pdf/1608.06993.pdf)
- https://github.com/flyyufelix/DenseNet-Keras (Keras)
Tiramisu (https://arxiv.org/pdf/1611.09326.pdf)
- https://github.com/0bserver07/One-Hundred-Layers-Tiramisu (Keras)
- https://github.com/SimJeg/FC-DenseNet (Lasagne)
DilatedNet (https://arxiv.org/pdf/1511.07122.pdf)
- https://github.com/nicolov/segmentation_keras (Keras)
PixelNet (https://arxiv.org/pdf/1609.06694.pdf)
- https://github.com/aayushbansal/PixelNet (Caffe)
ICNet (https://arxiv.org/pdf/1704.08545.pdf)
- https://github.com/hszhao/ICNet (Caffe)
ERFNet (http://www.robesafe.uah.es/personal/eduardo.romera/pdfs/Romera17iv.pdf)
- https://github.com/Eromera/erfnet (Torch)
RefineNet (https://arxiv.org/pdf/1611.06612.pdf)
- https://github.com/guosheng/refinenet (MatConvNet)
PSPNet (https://arxiv.org/pdf/1612.01105.pdf)
- https://github.com/hszhao/PSPNet (Caffe)
- https://github.com/ZijunDeng/pytorch-semantic-segmentation (PyTorch)
- https://github.com/mitmul/chainer-pspnet (Chainer)
- https://github.com/Vladkryvoruchko/PSPNet-Keras-tensorflow(Keras/Tensorflow)
- https://github.com/pudae/tensorflow-pspnet (Tensorflow)
CRFasRNN (http://www.robots.ox.ac.uk/%7Eszheng/papers/CRFasRNN.pdf)
- https://github.com/torrvision/crfasrnn (Caffe)
- https://github.com/sadeepj/crfasrnn_keras (Keras)
Dilated convolution (https://arxiv.org/pdf/1511.07122.pdf)
- https://github.com/fyu/dilation (Caffe)
- https://github.com/fyu/drn#semantic-image-segmentataion (PyTorch)
- https://github.com/hangzhaomit/semantic-segmentation-pytorch (PyTorch)
DeconvNet (https://arxiv.org/pdf/1505.04366.pdf)
- http://cvlab.postech.ac.kr/research/deconvnet/ (Caffe)
- https://github.com/HyeonwooNoh/DeconvNet (Caffe)
- https://github.com/fabianbormann/Tensorflow-DeconvNet-Segmentation(Tensorflow)
FRRN (https://arxiv.org/pdf/1611.08323.pdf)
- https://github.com/TobyPDE/FRRN (Lasagne)
GCN (https://arxiv.org/pdf/1703.02719.pdf)
- https://github.com/ZijunDeng/pytorch-semantic-segmentation (PyTorch)
- https://github.com/ycszen/pytorch-seg (PyTorch)
DUC, HDC (https://arxiv.org/pdf/1702.08502.pdf)
- https://github.com/ZijunDeng/pytorch-semantic-segmentation (PyTorch)
- https://github.com/ycszen/pytorch-seg (PyTorch)
Segaware (https://arxiv.org/pdf/1708.04607.pdf)
- https://github.com/aharley/segaware (Caffe)
Semantic Segmentation using Adversarial Networks (https://arxiv.org/pdf/1611.08408.pdf)
- https://github.com/oyam/Semantic-Segmentation-using-Adversarial-Networks (Chainer)

Instance aware segmentation

FCIS [https://arxiv.org/pdf/1611.07709.pdf]
- https://github.com/msracver/FCIS [MxNet]
MNC [https://arxiv.org/pdf/1512.04412.pdf]
- https://github.com/daijifeng001/MNC [Caffe]
DeepMask [https://arxiv.org/pdf/1506.06204.pdf]
- https://github.com/facebookresearch/deepmask [Torch]
SharpMask [https://arxiv.org/pdf/1603.08695.pdf]
- https://github.com/facebookresearch/deepmask [Torch]
Mask-RCNN [https://arxiv.org/pdf/1703.06870.pdf]
- https://github.com/CharlesShang/FastMaskRCNN [Tensorflow]
  1. https://github.com/jasjeetIM/Mask-RCNN [Caffe]
- https://github.com/TuSimple/mx-maskrcnn [MxNet]
- https://github.com/matterport/Mask_RCNN [Keras]
RIS [https://arxiv.org/pdf/1511.08250.pdf]
- https://github.com/bernard24/RIS [Torch]
FastMask [https://arxiv.org/pdf/1612.08843.pdf]
- https://github.com/voidrank/FastMask [Caffe]

Satellite images segmentation

https://github.com/mshivaprakash/sat-seg-thesis
https://github.com/KGPML/Hyperspectral
https://github.com/lopuhin/kaggle-dstl
https://github.com/mitmul/ssai
https://github.com/mitmul/ssai-cnn
https://github.com/azavea/raster-vision
https://github.com/nshaud/DeepNetsForEO
https://github.com/trailbehind/DeepOSM

Video segmentation

https://github.com/shelhamer/clockwork-fcn
https://github.com/JingchunCheng/Seg-with-SPN

Autonomous driving

https://github.com/MarvinTeichmann/MultiNet
https://github.com/MarvinTeichmann/KittiSeg
https://github.com/vxy10/p5_VehicleDetection_Unet [Keras]
https://github.com/ndrplz/self-driving-car
https://github.com/mvirgo/MLND-Capstone

Annotation Tools:

https://github.com/AKSHAYUBHAT/ImageSegmentation
https://github.com/kyamagu/js-segment-annotator
https://github.com/CSAILVision/LabelMeAnnotationTool
https://github.com/seanbell/opensurfaces-segmentation-ui
https://github.com/lzx1413/labelImgPlus
https://github.com/wkentaro/labelme

Datasets

Stanford Background Dataset[http://dags.stanford.edu/projects/scenedataset.html]
1. Sift Flow Dataset[http://people.csail.mit.edu/celiu/SIFTflow/]
2. Barcelona Dataset[http://www.cs.unc.edu/~jtighe/Papers/ECCV10/]
3. Microsoft COCO dataset[http://mscoco.org/]
4. MSRC Dataset[http://research.microsoft.com/en-us/projects/objectclassrecognition/]
5. LITS Liver Tumor Segmentation Dataset[https://competitions.codalab.org/competitions/15595]
6. KITTI[http://www.cvlibs.net/datasets/kitti/eval_road.php]
7. Stanford background dataset[http://dags.stanford.edu/projects/scenedataset.html]
8. Data from Games dataset[https://download.visinf.tu-darmstadt.de/data/from_games/]
9. Human parsing dataset[https://github.com/lemondan/HumanParsing-Dataset]
10. Silenko person database[https://github.com/Maxfashko/CamVid]
11. Mapillary Vistas Dataset[https://www.mapillary.com/dataset/vistas]
12. Microsoft AirSim[https://github.com/Microsoft/AirSim]
13. MIT Scene Parsing Benchmark[http://sceneparsing.csail.mit.edu/]
14. COCO 2017 Stuff Segmentation Challenge[http://cocodataset.org/#stuff-challenge2017]
15. ADE20K Dataset[http://groups.csail.mit.edu/vision/datasets/ADE20K/]
16. INRIA Annotations for Graz-02[http://lear.inrialpes.fr/people/marszalek/data/ig02/]

比赛

MSRC-21 [http://rodrigob.github.io/are_we_there_yet/build/semantic_labeling_datasets_results.html]
Cityscapes [https://www.cityscapes-dataset.com/benchmarks/]
VOC2012 [http://host.robots.ox.ac.uk:8080/leaderboard/displaylb.php?challengeid=11&compid=6]

领域专家

Jonathan Long
- [http://people.eecs.berkeley.edu/~jonlong/\]
Liang-Chieh Chen
- [http://liangchiehchen.com/]
Hyeonwoo Noh
- [http://cvlab.postech.ac.kr/~hyeonwoonoh/\]
Bharath Hariharan
- [http://home.bharathh.info/]
Fisher Yu
- [http://www.yf.io/]
Vijay Badrinarayanan
- [https://sites.google.com/site/vijaybacademichomepage/home/papers]
Guosheng Lin
- [https://sites.google.com/site/guoshenglin/]

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

「万字综述」对抗鲁棒性-AI桥头堡「AI核心算法」
关注：决策智能与机器学习，深耕AI脱水干货作者 | 陶略报道 | 王晋东不在家前言：本文介绍对抗鲁棒性，主要针对的是深度学习时代下深度神经网络的鲁棒性问题。大部分内容探讨最基本的机器学习分类任务。本文作者：陶略&…...
2024/4/21 1:19:33
Python 数据科学入门教程：TensorFlow 聊天机器人
TensorFlow 聊天机器人原文：Creating a Chatbot with Deep Learning, Python, and TensorFlow 译者：飞龙协议：CC BY-NC-SA 4.0 一、使用深度学习创建聊天机器人你好，欢迎阅读 Python 聊天机器人系列教程。在本系列中&#xf…...
2024/4/21 1:19:32
opencv3/4入门学习笔记（几万字长篇，慎入）
欢迎交流，weixin见博客签名，坐标：重庆入门时连续三个多月的学习笔记，一句话：坚持就对了。持续更新，，，，，， opencv安装参考链接安装脚本链接&…...
2024/4/20 10:40:14
【AI视野·今日CV 计算机视觉论文速览第224期】Tue, 22 Jun 2021
AI视野今日CS.CV 计算机视觉论文速览 Tue, 22 Jun 2021 (showing first 100 of 122 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Towards Long-Form Video Understanding Authors Chao Yuan Wu, Philipp Kr henb hl…...
2024/4/21 1:19:33
ActionEnglish Notes
ActionEnglish 1 1. sound engineer 录音师2. Rumor has it that * 人们都说… 据说… * Rumor has it that Andy is a nice guy. * Rumar has it that he is a rather difficult sound engineer. * 类似的还有：It is said that… * 类似的还有：it is …...
2024/4/21 1:19:29
DeepFaceLab：视频中有多人，仅替换特定人脸的方法！
DeepFaceLab自带的视频素材，一个是钢铁侠托尼斯塔克，一个是变形金刚男主角山姆。每一个视频中只有一个人。所以当你第一次玩的时候很顺畅，什么都不用管，一步一步按教程来就好好了。直到有一天你换了一个新的视频。而一个视频中…...
2024/4/21 1:19:28
学习深度学习需要哪些知识_您想了解的有关深度学习的所有知识
学习深度学习需要哪些知识有关深层学习的FAU讲义 (FAU LECTURE NOTES ON DEEP LEARNING) Corona was a huge challenge for many of us and affected our lives in a variety of ways. I have been teaching a class on Deep Learning at Friedrich-Alexander-University Erlan…...
2024/4/21 1:19:27
【今日CV 计算机视觉论文速览第125期】Wed, 5 Jun 2019
今日CS.CV 计算机视觉论文速览 Wed, 5 Jun 2019 Totally 57 papers ?上期速览✈更多精彩请移步主页 Interesting: ?基于ROI正切变形的人脸分析, 人脸分析是为人脸不同区域给出像素级的语义map，传统基于剪切调整大小的方法忽略了ROI区域外的特征，这对于…...
2024/5/2 10:00:58
NN in Image
DeepFace: 1. 先使用3D对齐 （把人脸旋转到正面） 2. 前面几个卷积层使用传统的共享参数卷积核；中间两个卷积层，卷积核不共享参数（对齐的人脸图片中，不同的区域会有不同的统计特征，卷积的局部稳…...
2024/4/21 1:19:25
用pika替换redis存储司机GPS轨迹
一、背景公司原本用redis存司机的GPS轨迹，但是redis内存消耗大,现改用pika来存储司机的GPS轨迹二、pika介绍 https://www.w3cschool.cn/pika/pika-yel222nz.html三、步骤 1.配置文件base.properties文件中新增pika配置2.工具类编写注意连接池的配置，maxTotal最大连接数各个端…...
2024/4/21 1:19:24
DeepFaceLab 换脸
https://github.com/iperov/DeepFaceLab 依赖项： h5py==2.10.0 ffmpeg-python==0.1.17 scikit-image==0.14.2 scipy==1.4.1 colorama tensorflow-gpu==2.4.0 pyqt5 DeepFaceLab 优点：可手动调整每帧中的脸部识别，减少提取脸部时的错误 mt模式下训练出的效果很好，脸部贴合…...
2024/5/1 18:53:04
【资料分享】500篇干货解读人工智能新时代
500篇干货解读人工智能新时代本文主要目的是为了分享一些机器学习以及深度学习的资料供大家参考学习，整理了大约500份国内外优秀的材料文章，打破一些学习人工智能领域没头绪同学的学习禁锢，希望看到文章的朋友能够学到更多，此外:…...
2024/4/20 20:46:08
GitHub上十大热门Python项目
使用Python进行编码的乐趣应该在于看到简短，简洁，易读的类，这些类以少量清晰的代码表达很多动作，而不是使琐碎的代码泛滥成灾。 GitHub上的热门Python项目 GitHub显然是大多数在线代码的所在地。Python是一种了不起的通用编程语…...
2024/4/20 20:46:08
【学术分享】推荐一个免费下载外文文献的网站
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要3分钟跟随小博主，每天进步一丢丢来自：AI算法与图像处理今天给大家分享一个非常好用的外文文献网站，由于版权等的限制有些文献不支持下载，给…...
2024/4/20 20:46:06
收藏！2020 年最具潜力 44 个顶级开源项目，涵盖 11 类 AI 学习框架、平台
通过公众号【计算机视觉联盟】可加博士微信（Kingsplus）交流，备注：单位/学校研究方向 ，分享最新的AI思维导图和笔记笔记作者：王博简介 985AI博士，CSDN博客专家已连载系列《机器学习》…...
2024/4/20 20:46:05
【资料分享】干货解读人工智能新时代
解读人工智能新时代本文主要目的是为了分享一些机器学习以及深度学习的资料供大家参考学习，整理了大约国内外优秀的材料文章，打破一些学习人工智能领域没头绪同学的学习禁锢，希望看到文章的朋友能够学到更多，此外:某些资料在中国访…...
2024/4/21 1:19:22
【资源】领域自适应相关论文、代码分享
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要20分钟跟随小博主，每天进步一丢丢整理 | 专知【导读】领域自适应（Domain Adaptation）是迁移学习（Transfer Learning）的一种&am…...
2024/4/14 10:34:51
预告｜ 4月22日，CVPR 2021论文分享会详细介绍，学术新星云集！
国际计算机视觉与模式识别会议（CVPR）是人工智能领域最有学术影响力的顶级会议之一。根据 CVPR 2021 官方公布的论文收录结果，今年一共有 1663 篇论文被接收，接收率为 23.7%，相较于去年有所上升，但竞争依然非…...
2024/4/21 1:19:22
人脸对齐
人脸关键点对齐踩坑第某人关注 2018.05.29 14:45* 字数 6457 阅读 7786评论 5喜欢 12 摘要： 从传统方法到深度学习方法，对人脸关键点定位/人脸对齐的发展进行梳理，对该领域中经典的方法，最新成果进行汇总，并给出相…...
2024/4/21 1:19:19
最新论文阅读（30）
3D Hand Pose Estimation: From Current Achievements to Future Goals - 2017年12月 - 综述性论文；论文回答了3D手姿态估计的当前状态是什么，还有哪些挑战需要解决？ - 很多人基于HIM2017挑战赛的结果，调查了在三种任务&#xff…...
2024/4/26 9:22:20

图像分割综述【深度学习方法】

CNN图像语义分割基本上是这个套路：

Image Segmentation（图像分割）网络结构比较

Image Segmentation（图像分割）族谱

FCN

按分割目的划分

普通分割

语义分割

实例分割

论文推荐：

Fully Convolutional Networks (FCN)

DeepLab

Pyramid Scene Parsing Network

Mask R-CNN

U-Net

综述介绍

前端

为什么需要FCN？

前端结构

FCN

SegNet/DeconvNet

DeepLab

后端

感悟

引用

图像分割（Image Segmentation) 重大资源：

入门学习

进阶论文

综述

Tutorial

视频教程

代码

Datasets

比赛

领域专家

相关文章

最新文章

图像分割综述【深度学习方法】

CNN图像语义分割基本上是这个套路：

Image Segmentation（图像分割）网络结构比较

Image Segmentation（图像分割）族谱

FCN

按分割目的划分

普通分割

语义分割

实例分割

论文推荐：

Fully Convolutional Networks (FCN)

DeepLab

Pyramid Scene Parsing Network

Mask R-CNN

U-Net

综述介绍

前端

为什么需要FCN？

前端结构

FCN

SegNet/DeconvNet

DeepLab

后端

感悟

引用

图像分割 （Image Segmentation) 重大资源：

入门学习

进阶论文

综述

Tutorial

视频教程

代码

Datasets

比赛

领域专家

相关文章

最新文章

图像分割（Image Segmentation) 重大资源：