环境

win10 + TensorFlow2.0 + Keras + Genki4k笑脸数据集、口罩数据集

准备阶段：

配置好win10+TensorFlow的环境：

pip install tensorflow-gpu==2.2.1

pip安装Keras

pip install keras

下载Genki4k笑脸数据集，和口罩数据集到本地。

1. 理解人脸图像特征提取方法

1.1 HOG(方向梯度直方图)

方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。

它通过计算和统计图像局部区域的梯度方向直方图来构成特征。HoG特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。

1. 主要思想：
   在一副图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。（本质：梯度的统计信息，而梯度主要存在于边缘的地方）。

2. 具体实现方法：
   首先将图像分成小的连通区域，我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。

3. 提高性能：
   把这些局部直方图在图像的更大的范围内（我们把它叫区间或block）进行对比度归一化（contrast-normalized），所采用的方 法是：先计算各直方图在这个区间（block）中的密度，然后根据这个密度对区间中的各个细胞单元做归一化。通过这个归一化后，能对光照变化和阴影获得更 好的效果。

4. 优点：
   与其他的特征描述方法相比，HOG有很多优点。首先，由于HOG是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。其次，在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，只要行人大体上能够保持直立的姿势，可以容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。因此HOG特征是特别适合于做图像中的人体检测的。

5. 实现过程：

   1. 灰度化
   2. 归一化
   3. 计算梯度
   4. 将图像划分成小cell
   5. 统计每个cell的梯度直方图，得到每个cell的特征描述器
   6. 将几个小cell组成一个block，一个block内所有cell的特征描述器串联起来，得到每个block的HOG特征描述器。
   7. 将图像内的所有block的HoG特征串联起来，得到整个图像的HOG特征描述器。

   这个就是最终的可供分类使用的特征向量了。

1.2 Dlib

总体来说就是提取人脸上的68个特征点。Dlib将每张人脸映射为一个128维的向量，当两个向量之间的Euclidean距离小于0.6时，可以认为属于同一个人。具体的还是需要见Dlib官网的信息（但不一定能看懂）

1.3 卷积神经网络（CNN）特征

卷积神经网络（Convolutional Neural Networks, CNN）是深度学习的代表算法之一。基于仿造生物的视知觉机制构建，随着深度学习的发展而不断进步。
CNN的网络结构包括：输入层，隐含层，输出层。
隐含层里又包括了（卷积层，池化层，Inception模块和全连接层），其中
卷积层的作用是对输入数据进行特征提取；
池化层的作用是对卷积层特征提取后的特征图进行特征选择和过滤；
Inception模块是对多个卷积层和池化层进行堆叠所得的隐含层构筑；
全连接层的作用则是对提取的特征进行非线性组合以得到输出，即全连接层本身不被期望具有特征提取能力，而是试图利用现有的高阶特征完成学习目标。
其中很多东西都还没学懂，还需要进一步的学习。

2. 对Genki4k笑脸数据集进行正负样本划分，模型训练，测试过程（基于CNN），并输出训练精度和测试精度

2.1 正负样本划分

导入包

import keras
import os, shutil

先创建对应的文件夹

# The path to the directory where the original
# dataset was uncompressed
original_dataset_dir = './genki4k/files'# The directory where we will
# store our smaller dataset
base_dir = 'data'
os.mkdir(base_dir)# Directories for our training,
# validation and test splits
train_dir = os.path.join(base_dir, 'train')
os.mkdir(train_dir)
validation_dir = os.path.join(base_dir, 'validation')
os.mkdir(validation_dir)
test_dir = os.path.join(base_dir, 'test')
os.mkdir(test_dir)# Directory with our training smile pictures
train_smile_dir = os.path.join(train_dir, 'smile')
os.mkdir(train_smile_dir)# Directory with our training not smile pictures
train_notsmile_dir = os.path.join(train_dir, 'notsmile')
os.mkdir(train_notsmile_dir)# Directory with our validation smile pictures
validation_smile_dir = os.path.join(validation_dir, 'smile')
os.mkdir(validation_smile_dir)# Directory with our validation not smile pictures
validation_notsmile_dir = os.path.join(validation_dir, 'notsmile')
os.mkdir(validation_notsmile_dir)# Directory with our validation smile pictures
test_smile_dir = os.path.join(test_dir, 'smile')
os.mkdir(test_smile_dir)# Directory with our validation not smile pictures
test_notsmile_dir = os.path.join(test_dir, 'notsmile')
os.mkdir(test_notsmile_dir)

smile的正样本划分
将前1000张图片划分给smile的训练集train_smile_dir

# Copy first 1000 smile images to train_smile_dir
# 0-9
fnames = ['file000{}.jpg'.format(i) for i in range(1,10)]
for fname in fnames:src = os.path.join(original_dataset_dir, fname)dst = os.path.join(train_smile_dir, fname)shutil.copyfile(src, dst) 
# 10-99
fnames = ['file00{}.jpg'.format(i) for i in range(10,100)]
for fname in fnames:src = os.path.join(original_dataset_dir, fname)dst = os.path.join(train_smile_dir, fname)shutil.copyfile(src, dst)
# 100-999
fnames = ['file0{}.jpg'.format(i) for i in range(100,1000)]
for fname in fnames:src = os.path.join(original_dataset_dir, fname)dst = os.path.join(train_smile_dir, fname)shutil.copyfile(src, dst)fnames = ['file{}.jpg'.format(1000)]
for fname in fnames:src = os.path.join(original_dataset_dir, fname)dst = os.path.join(train_smile_dir, fname)shutil.copyfile(src, dst)

将之后的500张划分给smile的验证集validation_smile_dir

# Copy next 500 smile images to validation_smile_dir
fnames = ['file{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:src = os.path.join(original_dataset_dir, fname)dst = os.path.join(validation_smile_dir, fname)shutil.copyfile(src, dst)

再将后面的500张划分给smile的测试集test_smile_dir

fnames = ['file{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:src = os.path.join(original_dataset_dir, fname)dst = os.path.join(test_smile_dir, fname)shutil.copyfile(src, dst)

将2000到3000的图片划分给not smile的训练集train_notsmile_dir

fnames = ['file{}.jpg'.format(i) for i in range(2000,3000)]
for fname in fnames:src = os.path.join(original_dataset_dir, fname)dst = os.path.join(train_notsmile_dir, fname)shutil.copyfile(src, dst)

再将3000到3500的图片划分not smile的验证集validation_notsmile_dir

fnames = ['file{}.jpg'.format(i) for i in range(3000, 3500)]
for fname in fnames:src = os.path.join(original_dataset_dir, fname)dst = os.path.join(validation_notsmile_dir, fname)shutil.copyfile(src, dst)

将最后500张图片划分到not smile的测试集test_notsmile_dir

fnames = ['file{}.jpg'.format(i) for i in range(3500, 4000)]
for fname in fnames:src = os.path.join(original_dataset_dir, fname)dst = os.path.join(test_notsmile_dir, fname)shutil.copyfile(src, dst)

听说随机划分的话模型会更符合实际一些，但是这里我没有这样划分，所以可能结果没能达到理想状态。
看一下各个数据集吧：

print('total training smile images:', len(os.listdir(train_smile_dir)))
print('total training not smile images:', len(os.listdir(train_notsmile_dir)))
print('total validation smile images:', len(os.listdir(validation_smile_dir)))
print('total validation not smile images:', len(os.listdir(validation_notsmile_dir)))
print('total test smile images:', len(os.listdir(test_smile_dir)))
print('total test not smile images:', len(os.listdir(test_notsmile_dir)))

2.2 模型训练

先创建模型：

from keras import layers
from keras import modelsmodel = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu',input_shape=(150, 150, 3)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Flatten())
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.summary()

使用Adam优化器和二元交叉熵

from keras import optimizersmodel.compile(loss='binary_crossentropy',optimizer=optimizers.Adam(lr=1e-4),metrics=['acc'])

然后就是数据的预处理阶段了：

from keras.preprocessing.image import ImageDataGenerator# All images will be rescaled by 1./255
train_datagen = ImageDataGenerator(rescale=1./255)
test_datagen = ImageDataGenerator(rescale=1./255)train_generator = train_datagen.flow_from_directory(# This is the target directorytrain_dir,# All images will be resized to 150x150target_size=(150, 150),batch_size=20,# Since we use binary_crossentropy loss, we need binary labelsclass_mode='binary')validation_generator = test_datagen.flow_from_directory(validation_dir,target_size=(150, 150),batch_size=20,class_mode='binary')

然后就可以开始模型的训练了，设置了Epoch为30，每个epoch里有100个数据

history = model.fit_generator(train_generator,steps_per_epoch=100,epochs=30,validation_data=validation_generator,validation_steps=50)

训练完毕后保存该模型

model.save('smile_and_notsmile_1.h5')

结果：请看输出精度
从结果得知，模型训练已经过拟合了
然后我们来进行数据增强操作：

datagen = ImageDataGenerator(rotation_range=40,width_shift_range=0.2,height_shift_range=0.2,shear_range=0.2,zoom_range=0.2,horizontal_flip=True,fill_mode='nearest')
# This is module with image preprocessing utilities
from keras.preprocessing import imagefnames = [os.path.join(train_smile_dir, fname) for fname in os.listdir(train_smile_dir)]# We pick one image to "augment"
img_path = fnames[7]# Read the image and resize it
img = image.load_img(img_path, target_size=(150, 150))# Convert it to a Numpy array with shape (150, 150, 3)
x = image.img_to_array(img)# Reshape it to (1, 150, 150, 3)
x = x.reshape((1,) + x.shape)# The .flow() command below generates batches of randomly transformed images.
# It will loop indefinitely, so we need to `break` the loop at some point!
i = 0
for batch in datagen.flow(x, batch_size=1):plt.figure(i)imgplot = plt.imshow(image.array_to_img(batch[0]))i += 1if i % 4 == 0:break
plt.show()

可以看到如下图片：

由于对图像进行了增强，图片也增加了，所以需要重新建立模型，然后重新训练，然后就按照之前的模型构造就行了，需要构建模型之后添加：

train_datagen = ImageDataGenerator(rescale=1./255,rotation_range=40,width_shift_range=0.2,height_shift_range=0.2,shear_range=0.2,zoom_range=0.2,horizontal_flip=True,)# Note that the validation data should not be augmented!
test_datagen = ImageDataGenerator(rescale=1./255)train_generator = train_datagen.flow_from_directory(# This is the target directorytrain_dir,# All images will be resized to 150x150target_size=(150, 150),batch_size=32,# Since we use binary_crossentropy loss, we need binary labelsclass_mode='binary')validation_generator = test_datagen.flow_from_directory(validation_dir,target_size=(150, 150),batch_size=32,class_mode='binary')

然后再次训练增强后的图像，这里图片增强之后的图片多了，所以也将Epoch增大了，而且跑得也慢了。

history = model.fit_generator(train_generator,steps_per_epoch=100,epochs=100,validation_data=validation_generator,validation_steps=50)

结果:见输精度

2.3 模型测试

在网上随便照一张微笑的图片，来进行测试：
代码如下：

import numpy as np
img = image.load_img("./2.jpg",target_size=(150,150))
img_tensor=image.img_to_array(img)/255
img_tensor=np.expand_dims(img_tensor,axis=0)
prediction = model.predict(img_tensor)
print(prediction)
if prediction[0][0]>0.5:result = 'smile'
else:result = 'no smile'
print(result)

1.jpg:

2.jpg:

准确度还是不太行啊。还是去看看实时摄像头的吧。

2.4 输出精度

从准确率都看出来已经过拟合了，再看看图片吧：

数据增强后：

直方图虽然不好看，但是过拟合程度还是减少了。

3. 完成摄像头采集自己人脸，并对表情进行实时分类判别程序

然后我们就来测试一下自己的人脸吧：
代码如下：

import cv2
from keras.preprocessing import image
from keras.models import load_model
import numpy as np
import dlib
from PIL import Image
# 改成自己模型的路径
model = load_model('E:\\Desktop\\deeplearning\\CNN\\smile_and_notsmile_2.h5')
detector = dlib.get_frontal_face_detector()
video = cv2.VideoCapture(0)
font = cv2.FONT_HERSHEY_SIMPLEXdef rec(img):gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)dets = detector(gray, 1)if dets is not None:for face in dets:left = face.left()top = face.top()right = face.right()bottom = face.bottom()cv2.rectangle(img, (left, top), (right, bottom), (0, 255, 0), 2)img1 = cv2.resize(img[top:bottom, left:right], dsize=(150, 150))img1 = cv2.cvtColor(img1, cv2.COLOR_BGR2RGB)img1 = np.array(img1)/255.img_tensor = img1.reshape(-1, 150, 150, 3)prediction = model.predict(img_tensor)print(prediction)if prediction[0][0] < 0.5:result = 'unsmile'else:result = 'smile'cv2.putText(img, result, (left, top), font,2, (0, 255, 0), 2, cv2.LINE_AA)cv2.imshow('Video', img)while video.isOpened():res, img_rd = video.read()if not res:breakrec(img_rd)if cv2.waitKey(1) & 0xFF == ord('q'):break
video.release()
cv2.destroyAllWindows()

准确度还是不稳定，有时候也没有识别出来，可能还是训练算法不够优化、数据不够多吧。

4. 将笑脸数据集，换成口罩数据集，完成口罩是否佩戴的模型训练和测试

重复之前的笑脸数据集测试就好了，修改一下文件路径。

这里好像不能直接修改文件，因为文件夹的结构不一样。而且mask和nomask的图片混在一起了，所以需要将mask和nomask的图片分出来。

因为这里的mask/train文件里包括的xml文件，即是jpg问价的label，可以通过这个xml将图片分类出来。
代码如下：

import os
try:import xml.etree.cElementTree as ET  #解析xml的c语言版的模块
except ImportError:import xml.etree.ElementTree as ET
import cv2 as cv
import shutil
# 这里需要换成自己的路径
i_path = 'E:\\Desktop\\deeplearning\\CNN\\mask\\train'
# os.mkdir("E:\\Desktop\\deeplearning\\CNN\\mask\\train\\mask\\")
# os.mkdir("E:\\Desktop\\deeplearning\\CNN\\mask\\train\\nomask\\")
filelist = os.listdir(i_path)
i=0
for files in filelist:i=i+1print(i)file_pre, ext = os.path.splitext(files)# imgfile = ImgPath + image# xmlfile = AnnoPath + image_pre + '.xml'if ext == '.xml':DOMTree = ET.ElementTree(file=i_path+"\\"+files)collection = DOMTree.getroot()img = i_path+"\\"+file_pre + '.jpg'objectlist = collection.findall('object')# print(objectlist[0].find("name"))if objectlist[0].find('name').text == "face":shutil.copyfile(img,"E:\\Desktop\\deeplearning\\CNN\\mask\\train\\nomask\\"+file_pre+".jpg")print("nomask")elif objectlist[0].find('name').text == "face_mask":shutil.copyfile(img,"E:\\Desktop\\deeplearning\\CNN\\mask\\train\\mask\\"+file_pre+".jpg")print("mask")else:print("失败")else:continue

分类结果：
mask：

nomask：

然后将mask和nomask文件夹，放到训练文件夹下，不是这个train文件夹，而需要新建一个，例如我的文件夹结构

然后就按照猫狗识别的步骤，继续进行就好了，从模型开始，然后修改两个文件夹路径：

然后就一次进行下去，一直到训练出结果，训练结果如图：

居然没有过拟合，还是比较好的。
增强之后：

来测试一下吧：
进行测试集的测试：
代码如下：

from keras.preprocessing import image
import numpy as np
# 自己的图片路径
img = image.load_img("E:\\Desktop\\deeplearning\\CNN\\mask\\test\\71.jpg",target_size=(150,150))
img_tensor=image.img_to_array(img)/255
img_tensor=np.expand_dims(img_tensor,axis=0)
prediction = model.predict(img_tensor)
print(prediction)
if prediction[0][0]>0.5:result = 'no mask'
else:result = 'mask'
print(result)

多测试几次：

然后来测试实时数据集




可能还是没有训练好吧，但是照片上的全部都能完全的识别画出来，视频流上面的带了口罩就定位不到了，是摄像头的原因吗，还是dlib的版本过低了。这些都有可能，具体的原因我还没发现。
到这里，我们的CNN的笑脸识别及口罩识别都全部完成了。