使用Dlib从相机进行人脸识别

从相机检测并识别单张/多张脸；

调用摄像头进行人脸识别，支持多张人脸同时识别;

利用 Python 开发，借助 Dlib 库捕获摄像头中的人脸，提取人脸特征，通过计算特征值之间的欧氏距离，来和预存的人脸特征进行对比，判断是否匹配，达到人脸识别的目的；

可以从摄像头中抠取人脸图片存储到本地，然后提取构建预设人脸特征；

根据抠取的 / 已有的同一个人多张人脸图片提取 128D 特征值，然后计算该人的 128D 特征均值；

然后和摄像头中实时获取到的人脸提取出的特征值，计算欧氏距离，判定是否为同一张人脸；

Python + OpenCV + Dlib ;

识别模型：基于 Dlib 的 ResNet 预训练模型
识别算法：ResNet 神经网络

运行环境

python 3.7
anaconda 3
numpy 1.18.1
OpenCV-python 4.2.0.34
scikit-image 0.16.2
dlib 19.20.0

Anaconda如何安装Dlib库

参考链接：https://blog.csdn.net/weixin_42899627/article/details/105233905?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight

实现介绍

1.摄像头人脸录入

离摄像头过近，人脸超过摄像头范围时会有“ OUT OF RANGE”提醒
2.提取特征存入CSV建立人脸数据库

3.利用摄像头进行人脸识别

4.可同时识别多张人脸

相关算法

**1、基于残差神经网络/残差网络的CNN模型；

2、该模型是具有29个转换层的ResNet网络。它本质上是He，Zhang，Ren和Sun的论文《深度残差学习进行图像识别》中ResNet-34网络的一个版本，删除了几层，每层的过滤器数量减少了一半。**

源代码

get_face_from_camera.py /进行人脸获取

import dlib         # 人脸处理的库 Dlib
import numpy as np  # 数据处理的库 Numpy
import cv2          # 图像处理的库 OpenCV
import os           # 读写文件
import shutil       # 读写文件
import time# Dlib 正向人脸检测器
detector = dlib.get_frontal_face_detector()class Face_Register:def __init__(self):self.path_photos_from_camera = "data/data_faces_from_camera/"self.font = cv2.FONT_ITALICself.existing_faces_cnt = 0     # 已录入的人脸计数器self.ss_cnt = 0                 # 录入 personX 人脸时图片计数器self.faces_cnt = 0              # 录入人脸计数器# 之后用来控制是否保存图像的 flag / The flag to control if saveself.save_flag = 1# 之后用来检查是否先按 'n' 再按 's' / The flag to check if press 'n' before 's'self.press_n_flag = 0self.frame_time = 0self.frame_start_time = 0self.fps = 0# 新建保存人脸图像文件和数据CSV文件夹 / Mkdir for saving photos and csvdef pre_work_mkdir(self):# 新建文件夹 / make folders to save faces images and csvif os.path.isdir(self.path_photos_from_camera):passelse:os.mkdir(self.path_photos_from_camera)# 删除之前存的人脸数据文件夹 / Delete the old data of facesdef pre_work_del_old_face_folders(self):# 删除之前存的人脸数据文件夹, 删除 "/data_faces_from_camera/person_x/"...folders_rd = os.listdir(self.path_photos_from_camera)for i in range(len(folders_rd)):shutil.rmtree(self.path_photos_from_camera+folders_rd[i])if os.path.isfile("data/features_all.csv"):os.remove("data/features_all.csv")# 如果有之前录入的人脸, 在之前 person_x 的序号按照 person_x+1 开始录入 /# If the old folders exists, start from person_x+1def check_existing_faces_cnt(self):if os.listdir("data/data_faces_from_camera/"):# 获取已录入的最后一个人脸序号 / Get the num of latest personperson_list = os.listdir("data/data_faces_from_camera/")person_num_list = []for person in person_list:person_num_list.append(int(person.split('_')[-1]))self.existing_faces_cnt = max(person_num_list)# 如果第一次存储或者没有之前录入的人脸, 按照 person_1 开始录入# Start from person_1else:self.existing_faces_cnt = 0# 获取处理之后 stream 的帧数 / Get the fps of video streamdef update_fps(self):now = time.time()self.frame_time = now - self.frame_start_timeself.fps = 1.0 / self.frame_timeself.frame_start_time = now# 生成的 cv2 window 上面添加说明文字 / putText on cv2 windowdef draw_note(self, img_rd):# 添加说明 / Add some statementscv2.putText(img_rd, "Face Register", (20, 40), self.font, 1, (255, 255, 255), 1, cv2.LINE_AA)cv2.putText(img_rd, "FPS:   " + str(self.fps.__round__(2)), (20, 100), self.font, 0.8, (0, 255, 0), 1,cv2.LINE_AA)cv2.putText(img_rd, "Faces: " + str(self.faces_cnt), (20, 140), self.font, 0.8, (0, 255, 0), 1, cv2.LINE_AA)cv2.putText(img_rd, "N: Create face folder", (20, 350), self.font, 0.8, (255, 255, 255), 1, cv2.LINE_AA)cv2.putText(img_rd, "S: Save current face", (20, 400), self.font, 0.8, (255, 255, 255), 1, cv2.LINE_AA)cv2.putText(img_rd, "Q: Quit", (20, 450), self.font, 0.8, (255, 255, 255), 1, cv2.LINE_AA)# 获取人脸def process(self, stream):# 1. 新建储存人脸图像文件目录 / Uncomment if you need mkdir# self.pre_work_mkdir()# 2. 删除 "/data/data_faces_from_camera" 中已有人脸图像文件 / Uncomment if want to delete the old facesself.pre_work_del_old_face_folders()# 3. 检查 "/data/data_faces_from_camera" 中已有人脸文件self.check_existing_faces_cnt()while stream.isOpened():flag, img_rd = stream.read()        # Get camera video streamkk = cv2.waitKey(1)faces = detector(img_rd, 0)         # Use dlib face detector# 4. 按下 'n' 新建存储人脸的文件夹 / Press 'n' to create the folders for saving facesif kk == ord('n'):self.existing_faces_cnt += 1current_face_dir = self.path_photos_from_camera + "person_" + str(self.existing_faces_cnt)os.makedirs(current_face_dir)print('\n')print("新建的人脸文件夹 / Create folders: ", current_face_dir)self.ss_cnt = 0              # 将人脸计数器清零 / clear the cnt of facesself.press_n_flag = 1        # 已经按下 'n' / have pressed 'n'# 5. 检测到人脸 / Face detectedif len(faces) != 0:# 矩形框 / Show the HOG of facesfor k, d in enumerate(faces):# 计算矩形框大小 / Compute the size of rectangle boxheight = (d.bottom() - d.top())width = (d.right() - d.left())hh = int(height/2)ww = int(width/2)# 6. 判断人脸矩形框是否超出 480x640if (d.right()+ww) > 640 or (d.bottom()+hh > 480) or (d.left()-ww < 0) or (d.top()-hh < 0):cv2.putText(img_rd, "OUT OF RANGE", (20, 300), self.font, 0.8, (0, 0, 255), 1, cv2.LINE_AA)color_rectangle = (0, 0, 255)save_flag = 0if kk == ord('s'):print("请调整位置 / Please adjust your position")else:color_rectangle = (255, 255, 255)save_flag = 1cv2.rectangle(img_rd,tuple([d.left() - ww, d.top() - hh]),tuple([d.right() + ww, d.bottom() + hh]),color_rectangle, 2)# 7. 根据人脸大小生成空的图像 / Create blank image according to the shape of face detectedimg_blank = np.zeros((int(height*2), width*2, 3), np.uint8)if save_flag:# 8. 按下 's' 保存摄像头中的人脸到本地 / Press 's' to save faces into local imagesif kk == ord('s'):# 检查有没有先按'n'新建文件夹 / Check if you have pressed 'n'if self.press_n_flag:self.ss_cnt += 1for ii in range(height*2):for jj in range(width*2):img_blank[ii][jj] = img_rd[d.top()-hh + ii][d.left()-ww + jj]cv2.imwrite(current_face_dir + "/img_face_" + str(self.ss_cnt) + ".jpg", img_blank)print("写入本地 / Save into：", str(current_face_dir) + "/img_face_" + str(self.ss_cnt) + ".jpg")else:print("请先按 'N' 来建文件夹, 按 'S' / Please press 'N' and press 'S'")self.faces_cnt = len(faces)# 9. 生成的窗口添加说明文字 / Add note on cv2 windowself.draw_note(img_rd)# 10. 按下 'q' 键退出 / Press 'q' to exitif kk == ord('q'):breakself.update_fps()cv2.namedWindow("camera", 1)cv2.imshow("camera", img_rd)def run(self):cap = cv2.VideoCapture(0)self.process(cap)cap.release()cv2.destroyAllWindows()def main():Face_Register_con = Face_Register()Face_Register_con.run()if __name__ == '__main__':main()

features_extraction_to_csv.py /人脸特征提取128维特征

import os
import dlib
from skimage import io
import csv
import numpy as np# 要读取人脸图像文件的路径
path_images_from_camera = "data/data_faces_from_camera/"# 1. Dlib 正向人脸检测器
detector = dlib.get_frontal_face_detector()# 2. Dlib 人脸 landmark 特征点检测器
predictor = dlib.shape_predictor('data/data_dlib/shape_predictor_68_face_landmarks.dat')# 3. Dlib Resnet 人脸识别模型，提取 128D 的特征矢量
face_reco_model = dlib.face_recognition_model_v1("data/data_dlib/dlib_face_recognition_resnet_model_v1.dat")# 返回单张图像的 128D 特征
def return_128d_features(path_img):img_rd = io.imread(path_img)faces = detector(img_rd, 1)print("%-40s %-20s" % ("检测到人脸的图像 / Image with faces detected:", path_img), '\n')# 因为有可能截下来的人脸再去检测，检测不出来人脸了# 所以要确保是 检测到人脸的人脸图像 拿去算特征if len(faces) != 0:shape = predictor(img_rd, faces[0])face_descriptor = face_reco_model.compute_face_descriptor(img_rd, shape)else:face_descriptor = 0print("no face")return face_descriptor# 将文件夹中照片特征提取出来, 写入 CSV
def return_features_mean_personX(path_faces_personX):features_list_personX = []photos_list = os.listdir(path_faces_personX)if photos_list:for i in range(len(photos_list)):# 调用return_128d_features()得到128d特征print("%-40s %-20s" % ("正在读的人脸图像 / Image to read:", path_faces_personX + "/" + photos_list[i]))features_128d = return_128d_features(path_faces_personX + "/" + photos_list[i])#  print(features_128d)# 遇到没有检测出人脸的图片跳过if features_128d == 0:i += 1else:features_list_personX.append(features_128d)else:print("文件夹内图像文件为空 / Warning: No images in " + path_faces_personX + '/', '\n')# 计算 128D 特征的均值# personX 的 N 张图像 x 128D -> 1 x 128Dif features_list_personX:features_mean_personX = np.array(features_list_personX).mean(axis=0)else:features_mean_personX = np.zeros(128, dtype=int, order='C')return features_mean_personX# 获取已录入的最后一个人脸序号 / get the num of latest person
person_list = os.listdir("data/data_faces_from_camera/")
person_num_list = []
for person in person_list:person_num_list.append(int(person.split('_')[-1]))
person_cnt = max(person_num_list)with open("data/features_all.csv", "w", newline="") as csvfile:writer = csv.writer(csvfile)for person in range(person_cnt):# Get the mean/average features of face/personX, it will be a list with a length of 128Dprint(path_images_from_camera + "person_" + str(person + 1))features_mean_personX = return_features_mean_personX(path_images_from_camera + "person_" + str(person + 1))writer.writerow(features_mean_personX)print("特征均值 / The mean of features:", list(features_mean_personX))print('\n')print("所有录入人脸数据存入 / Save all the features of faces registered into: data/features_all.csv")

得到的person_X的128维特征均值存入features_all.csv

def return_features_mean_personX(path_faces_personX):features_list_personX = []photos_list = os.listdir(path_faces_personX)if photos_list:for i in range(len(photos_list)):# 调用return_128d_features()得到128d特征print("%-40s %-20s" % ("正在读的人脸图像 / Image to read:", path_faces_personX + "/" + photos_list[i]))features_128d = return_128d_features(path_faces_personX + "/" + photos_list[i])#  print(features_128d)# 遇到没有检测出人脸的图片跳过if features_128d == 0:i += 1else:features_list_personX.append(features_128d)else:print("文件夹内图像文件为空 / Warning: No images in " + path_faces_personX + '/', '\n')# 计算 128D 特征的均值# personX 的 N 张图像 x 128D -> 1 x 128Dif features_list_personX:features_mean_personX = np.array(features_list_personX).mean(axis=0)else:features_mean_personX = np.zeros(128, dtype=int, order='C')return features_mean_personX# 获取已录入的最后一个人脸序号 / get the num of latest person
person_list = os.listdir("data/data_faces_from_camera/")
person_num_list = []
for person in person_list:person_num_list.append(int(person.split('_')[-1]))
person_cnt = max(person_num_list)with open("data/features_all.csv", "w", newline="") as csvfile:writer = csv.writer(csvfile)for person in range(person_cnt):# Get the mean/average features of face/personX, it will be a list with a length of 128Dprint(path_images_from_camera + "person_" + str(person + 1))features_mean_personX = return_features_mean_personX(path_images_from_camera + "person_" + str(person + 1))writer.writerow(features_mean_personX)print("特征均值 / The mean of features:", list(features_mean_personX))print('\n')print("所有录入人脸数据存入 / Save all the features of faces registered into: data/features_all.csv")

face_reco_from_camera.py/进行人脸识别

说明

1、利用“dlib_face_recognition_resnet_model_v1.dat” 这个 pre-trained model，提取人脸图像的 128D 特征，然后比对不同人脸图片的 128D 特征的欧式距离，设定一个 Threshold / 阈值 来判断是否为同一张脸；

2、features_extraction_to_csv.py 这部分代码实现的功能是将之前捕获到的人脸图像文件，提取出 128D 特征，然后计算出某人人脸数据的特征均值存入 CSV 中，方便之后识别时候进行比对；
利用 numpy.mean() 计算特征均值，生成一个存储所有录入人脸数据 database 的 “features_all.csv”；

features_all.csv 是一个 n 行 128 列的 CSV， n 是录入的人脸数，128 列是某人的 128D 特征；
这存储的就是 录入的人脸数据，之后 摄像头捕获的人脸 将要拿过来和 这些特征值 进行比对，如果欧式距离比较近的话，就可以认为是同一张人脸；
3、face_reco_from_camera.py 这部分源码实现的功能：调用摄像头，捕获摄像头中的人脸，然后如果检测到人脸，将 摄像头中的人脸提取出 128D 的特征，然后和 之前录入人脸的 128D 特征 进行计算欧式距离，如果比较小，可以判定为一个人，否则不是一个人；

1 # face recognition model, the object maps human faces into 128D vectors
2 facerec = dlib.face_recognition_model_v1("dlib_face_recognition_resnet_model_v1.dat")
3 
4 shape = predictor(img, dets[0])
5 face_descriptor = facerec.compute_face_descriptor(img, shape)

4、欧氏距离
通过实时的输出结果，看的比较明显；
输出绿色部分：当是自己时，计算出来的欧式距离基本都在 0.2 左右；
输出红色部分：而换一张图片上去比如特朗普，明显看到欧式距离计算结果 达到了 0.8，此时就可以判定，后来这张人脸不是一张人脸；
所以之前提到的欧式距离计算对比的阈值可以由此设定，本项目中取的是 dist=0.4；
dist 的确切取值自己权衡，http://dlib.net/face_recognition.py.html 的说明：
When using a distance threshold of 0.6, the dlib model obtains an accuracy of 99.38% on the standard LFW face recognition benchmark, which is comparable to other state-of-the-art methods for face recognition as of February 2017. This accuracy means that, when presented with a pair of face images, the tool will correctly identify if the pair belongs to the same person or is from different people 99.38% of the time.

 # 寻找出最小的欧式距离匹配 / Find the one with minimum e distancesimilar_person_num = e_distance_list.index(min(e_distance_list))print("Minimum e distance with person", self.name_known_list[similar_person_num])if min(e_distance_list) < 0.4:self.name_camera_list[k] = self.name_known_list[similar_person_num]print("May be person " + str(self.name_known_list[similar_person_num]))else:print("Unknown person")

5、卡顿现象
核心就是 提取人脸特征，然后计算欧式距离和预设的特征脸进行比对；

不过这个实时获取摄像头人脸进行比对，要实时的进行计算摄像头脸的特征值，然后还要计算欧氏距离，所以计算量比较大，可能摄像头视频流会出现卡顿；

6、相关内容参考作者：http://www.cnblogs.com/AdaminXie