在复现Face Xray论文遇到的问题记录：
数据预处理部分—获取训练数据的label xray图片
1、用opencv-python求图片的轮廓（凸包）
对于Deepfakes，已知bbox坐标信息即人脸修改区域，直接绘制四点的凸包获取修改边缘：

xray_img = np.zeros((facesize, facesize, 3), dtype=np.uint8)
points = np.array([[x0, y0], [x0 + masksize, y0], [x0 + masksize, y0 + masksize], [x0, y0 + masksize]])
points = points.reshape((-1, 1, 2))
xray_img = cv2.fillConvexPoly(xray_img, points, (255, 255, 255))
blur = cv2.GaussianBlur(cv2.resize(xray_img / 255, (100, 100)), (9, 9), 0) # 将图片resize为100 是为了做高斯模糊后的边缘能明显一点，自己觉得根据目标图调整参数应当没问题（但文章中对mask做的是3*3的高斯模糊）
img = cv2.resize(4 * blur * (1 - blur), (256, 256))#输出img大小为256

对于Face2Face和FaceSwap人脸数据集，使用对应的mask视频来获取造假区域边缘，需要使用opencv对mask的每一帧进行边缘检测，获取边缘坐标点再绘制凸包。

img_gray = cv2.cvtColor(img0, cv2.COLOR_BGR2GRAY)
ret, thresh = cv2.threshold(img_gray, 0, 255, cv2.THRESH_BINARY) #以0为阈值，非0即255
_, contours, _ = cv2.findContours(thresh, 2, 1)
if len(contours) == 0:continue
for i in range(len(contours)):if contours[i].shape[0] > 50: #判断边缘坐标点数 不然会误判一些细小的边缘points = contours[i]breakxray_img = cv2.fillConvexPoly(xray_img, points, (255, 255, 255))
blur = cv2.GaussianBlur(cv2.resize(xray_img / 255, (100, 100)), (9, 9), 0)
img = cv2.resize(4 * blur * (1 - blur), (256, 256))

网络架构编写—HRNet
HRNet的github：https://github.com/HRNet/HRNet-Image-Classification

先贴几个我遇到问题后的解决帖：（没时间啦之后再整理）
1、HRNet论文详解
https://blog.csdn.net/weixin_37993251/article/details/88043650
2、HRNet分割问题代码详解
https://blog.csdn.net/u013066730/article/details/97787207
3、pytorch多GPU并行训练https://www.cnblogs.com/jfdwd/p/11466126.html
4、详解sigmoid与softmax
https://blog.csdn.net/uncle_ll/article/details/82778750
5、神经网络训练loss不下降原因集合
https://blog.csdn.net/weixin_40267472/article/details/82216668
（我最终发现我网络loss恒定的原因是：我在网络的最后一层加了RELU激活函数，之后输出再做sigmoid，导致所有的pred都在0.5以上。害！提醒自己这个愚蠢的错误）
6、torch.load()加载模型时出现如下错误：RuntimeError: storage has wrong size: expected -5631716438674374980 got 256
https://blog.csdn.net/weixin_43820848/article/details/100710460
7、BCELoss,BCEWithLogitsLoss和CrossEntropyLoss
https://blog.csdn.net/xiaohuihui1994/article/details/93049975
https://blog.csdn.net/qq_16236875/article/details/87980867
https://blog.csdn.net/qq_31347869/article/details/104074421
对于Xray论文中的损失函数，不能使用BCEloss或者CrossEntropyLoss，看了这两个函数的代码发现，它们的目标label只能是torch.long类型的，也就是整型；但是我们的目标Xray图片取值为[0.0，1.0]，所以要自己实现损失函数，这个也蛮好写的。
8、torch.nn.AdaptiveAvgPool2d()
https://blog.csdn.net/caicaiatnbu/article/details/88955272
9、python code调试工具boxx
https://github.com/DIYer22/boxx#2-install
还没试过 感觉应该蛮方便的

下回再继续填坑~~~毕设搞不完了orz