DeepFaceLab相关文章

一：《简单介绍DeepFaceLab（DeepFake）的使用以及容易被忽略的事项》
二：《继续聊聊DeepFaceLab（DeepFake）不断演进的2.0版本》
三：《如何翻译DeepFaceLab（DeepFake）的交互式合成器》
四：《想要提高DeepFaceLab（DeepFake）质量的注意事项和技巧（一）》
五：《想要提高DeepFaceLab（DeepFake）质量的注意事项和技巧（二）》
六：《友情提示DeepFaceLab（DeepFake）目前与RTX3080和3090的兼容问题》
七：《高效使用DeepFaceLab（DeepFake）提高速度和质量的一些方法》
八：《支持DX12的DeepFaceLab（DeepFake）新版本除了CUDA也可以用A卡啦》

（一）关于SimSwap

💬从DeepFaceLab官网看到一个相关的项目：
【SimSwap】：Swapping face using ONE single photo 一张图免训练换脸。

感觉很神奇，百度了解到是上海交通大学和腾讯联合研发的一个框架。
知乎上有介绍，论文链接：Arxiv，ACM DOI。
SimSwap的意思就是Simple Swap，简易的换脸。

似乎没有更多的介绍，于是自己试了一下没有那么完美但似乎还挺有意思，
我放了一个自己做的视频到优酷上面，对比了一下原版DFL和SimSwap的区别：

（二）安装SimSwap

我不确定这个应该叫安装么……

2.1 克隆代码

首先你得安装了git，准备好目录然后：

git clone git@github.com:neuralchen/SimSwap.git

当然也可以通过其他可视化工具来克隆项目代码，比如Sourcetree，TortoiseGit。
记得pull看是否有新代码提交。

项目依赖：

• python3.6+
• pytorch1.5+
• torchvision
• opencv
• pillow
• numpy
• imageio
• moviepy
• insightface

官方推荐用Anaconda来管理。

2.2 安装Anaconda

Anaconda官网 | The World’s Most Popular Data Science Platform。
是个管理基于Python的开发环境管理平台。主要用于管理和切换多套不同项目环境，主要是解决不同的项目依赖不同版本库的问题。

我下载了Windows的版本：Anaconda3-2021.05-Windows-x86_64.exe。
安装过程就略过吧，懒得写了……

2.3 准备Simswap环境

⭐️打开Anaconda控制台，按照官方写的步骤：

conda create -n simswap python=3.6	#创建名为simwap的环境
conda activate simswap				#激活这个环境
conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=10.2 -c pytorch
(option): pip install --ignore-installed imageio
pip install insightface==0.2.1 onnxruntime moviepy

⚠️：使用conda或pip安装时可能会很慢或者失败，请多试几次，或者在更好的网络条件时进行，必要时可以手动用迅雷下载一些实在难以下载的文件……emmm…… 😨

⭐️然后需要下载和放置一些预训练的模型：

1）项目使用了insightface 来做脸部识别和对其，进行图像预处理。
需要下载antelope.zip文件解压到./insightface_func/models 目录中，微软网盘。
不要使用其他版本的 insightface 。

2）项目使用face-parsing.PyTorch进行脸部解析和图像后期处理。
需要下载79999_iter.pth文件到 ./parsing_model/checkpoint 目录中，谷歌网盘。咱们可没法访问谷歌网盘，所以我找了一份文件传到CSDN了。

3）还需要两个预训练模型：
拷贝 arcface_checkpoint.tar 到 ./arcface_model 中。
解压 checkpoints.zip 到项目的根目录中 ./
谷歌网盘 或者 百度网盘，密码: jd2v

PS：前面提到的./目录也就是根目录，就是你克隆下来的项目目录，最终目录结构大概如下：

2.4 RTX3000系列显卡的CUDA版本问题

如果你有个新30系列显卡，那么按前面的步骤完成后，执行命令时会报CUDA版本错误。
那么重新执行一下前面的句，关于cuda和pytorch的安装语句，小改如下：

conda install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch -c conda-forge

顺便提一句，可以通过Nvidia控制面板->系统信息->组件查看你的显卡的CUDA版本。

（三）使用SimSwap

官方给了一些例子如下。
PS：执行命令前，别忘了用Anaconda控制台，并且激活simswap配置，不要在base下就执行命令。

conda activate simswap

确认是在simswap环境配置下，而不是在base下，进入克隆下来的目录，执行代码。

3.1 简单替换已经脸部对齐的图片

(simswap) C:\SimSwap>python test_one_image.py --isTrain false --name people --Arc_path arcface_model/arcface_checkpoint.tar --pic_a_path crop_224/6.jpg --pic_b_path crop_224/ds.jpg --output_path output/

上面的命令，将莱昂纳多的脸，换到了发哥的头上。
是官方的例子，当然自己执行也一样效果。

3.2 视频换脸

只换一张脸 (the one with highest confidence by face detection).

(simswap) C:\SimSwap>python test_video_swapsingle.py --isTrain false --use_mask --name people --Arc_path arcface_model/arcface_checkpoint.tar --pic_a_path ./demo_file/Iron_man.jpg --video_path ./demo_file/multi_people_1080p.mp4 --output_path ./output/multi_test_swapsingle.mp4 --temp_path ./temp_results

换视频中所有的脸（非常诡异的效果）

(simswap) C:\SimSwap>python test_video_swapmulti.py --isTrain false --use_mask --name people --Arc_path arcface_model/arcface_checkpoint.tar --pic_a_path ./demo_file/Iron_man.jpg --video_path ./demo_file/multi_people_1080p.mp4 --output_path ./output/multi_test_swapmulti.mp4 --temp_path ./temp_results

等进度条走完，基本上就完成了。

还可以多种方式，指定脸换脸，去掉logo等，请看原文吧。
大概效果和官方的介绍是一样的。

（四）小结

的确很神奇，大幅度转动头部都可以……

最困难的部分居然是下载那些预训练模型文件（什么是谷歌网盘？微软也不行啊）。
用conda安装各种组件也慢得离谱，经常超时出错，呵呵呵，多试几次就习惯了。

没有Deepfacelab效果那么好，不过速度很快…… 没有训练过程嘛。

和DeepFaceLab相比较，效果不佳大概有两方面原因：

• 😕仅仅替换了五官而不是整个脸部。
• 😯用到的脸部训练数据大抵也许似乎都是欧美人的数据，不适合咱亚洲人的脸型。