1.人脸分割：

①我的二维人脸分割代码，以及对Kinect拍摄的三维人脸分割，两个程序比较鲁棒。可以处理不同姿势的人脸，未来可以加入多表情。（2D训练库加入带表情的彩色分割图+3D BFM库加入带表情的人脸）

②一些深度学习的语义分割的模型，例如deeplab-v3等等，运用到人脸分割领域，应该效果显著

 

2.三维人脸重建

①基于深度学习的结果，然后再利用传统的优化什么loss的方法。还有一些论文比较牛逼值得复现，重建结果比较好，可以看看论文1,2。

 

3.三维去噪

①论文3效果良好，并且提供源代码。也是描述符+机器学习模型结构，可以在描述符以及机器学习模型上进行替换，改善效果。

 

4.三维人脸特征点预测

效果好的方法一般都是要借助于二维人脸图像的，三维描述符来直接预测的方法一般来说效果一般。所以有以下思路：

思路①直接有二维彩色图（例如kinect拍摄的人物），那只要建立一个映射矩阵，投影到三维模型就行了（映射矩阵：①用深度相机以及彩色相机的内外参数矩阵即可，但是深度相机以及彩色相机参数配准这一步骤很重要，两个摄像头存在一定偏差，有的论文就是解决这个问题②求近似矩阵，用posit算法求近似矩阵，像我的“对Kinect拍摄的三维人脸分割”就是这样做的）

思路②通过投影（正交等），自己生成彩色图，这个只能适用于有彩色纹理的三维模型

 思路③普通的三维mesh模型，要借助于图像，只能生成二维的深度图，在二维深度图上能良好预测特征点的话（这一目标可以用深度学习在深度图上学习预测二维特征点），根据深度相机参数反投影到三维模型即可。

思路④不借助图像，直接用一些三维描述符等方法来预测，反正没看见过效果非常好的，要么只能正脸，要么带表情的不行，鲁棒性都一般好像。可以自己多去看看相关论文，改良实现一下，例如论文4。

 

5.三维模型的XYZ姿势预测

①参见论文5，他第一步骤预测X轴用的曲率，只要替换那种对于人脸两侧有相同表现的三维描述符，实验结果应该可以提升。（实在不行可以用手动来提升这一步骤效果）

 

6.三维mesh-deformation形变

①非常有意思的一个课题方向，核心在于：实现对某个loss的优化算法，可以借助于matlab优化算法库，或者libigl库（C++,并且有拉普拉斯变形等几个mesh deformation的例子）。

最经典的就是骆驼变马那个例子：https://github.com/Golevka/deformation-transfer，

应用①就是例如3DMM是100个顶点，100个face；实际人脸是50个顶点，50个face；根据若干组匹配点变形以后，实际人脸外形不变，但是变成100个顶点，100个face了。（作用是把乱七八糟的人脸，变成统一结构的人脸数据，例如3DMM形状）

应用②我有人物A的一组中性以及其他表情的数据，人物B只有中性数据：我可以利用形变算法，生成人物B的其他表情。

 

7.其他计算机视觉方向：

①（三维）人脸识别

②语义分割（现有的精度有待提高）

③很有难度的：

一.计算机理解图像，例如给你一张图，计算机说出：一个人在骑马啥的；

二.说一句话（文字描述），然后图像自己生成一幅相应的图像

④GAN：图像风格转化；噪声生成某一类图像（例如自己生成很多不同的斑点狗图像）；

https://zhuanlan.zhihu.com/p/24767059

⑤强化学习：机器自己学习游戏策略等

http://www.cnblogs.com/steven-yang/p/6649213.html

Q学习：https://blog.csdn.net/u013405574/article/details/50903987

⑥等等其他有趣的想法

8.三维人脸数据库

3DMM三维人脸模型：

①  不带表情：BFM数据库matlab开源。（可以改写然后生成不同姿势，不同光照模型的彩色图）

②  带表情的3DMM模型：https://github.com/fengju514/Expression-Net

https://github.com/anhttran/3dmm_cnn

附录：

论文1：Disentangling Features in 3D Face Shapes for Joint FaceReconstruction and Recognition

论文2：MoFA: Model-based Deep Convolutional Face Autoencoder forUnsupervised Monocular Reconstruction

论文3：Mesh Denoising via Cascaded Normal Regression

论文4：Real-time 3D Head Pose and Facial Landmark Estimation from DepthImages Using Triangular Surface Patch Features

论文5：An Intrinsic Coordinate System for 3D Face Registration